600 тысяч на бота, который советовал подавать сыр с укусами крыс

Новый мэр Нью-Йорка Зохран Мамдани нашел удобный способ сократить расходы. Закрыл чатбот MyCity, запущенный предшественником Эриком Адамсом. Формальная причина — экономия средств на фоне дефицита бюджета в 12 миллиардов долларов. Реальная — бот давал советы, которые нарушают законы города.

MyCity запустили в октябре 2023 года как единое окно для предпринимателей. Разобраться в местных законах и регуляциях сложно. Чатбот на базе Microsoft Azure OpenAI должен был помочь. Разработка обошлась почти в 600 тысяч долларов.

Интересуетесь ИИ? Международный клуб ShareAI Александра Горного - объединяет тех, кто хочет внедрить в свой бизнес или работу ИИ или погрузиться в эту тему. Онлайн и оффлайн.
Узнать подробнее про клуб ShareAI

Проблемы вскрылись в марте 2024 благодаря журналистам The Markup. Они протестировали бота и ужаснулись результатам. На вопрос о чаевых бот посоветовал работодателям забирать часть себе. В Нью-Йорке это незаконно — чаевые принадлежат сотрудникам полностью.

Дискриминация арендаторов с жилищными субсидиями — еще один совет чатбота. Отказывать им нельзя по закону. Но бот рекомендовал именно это. Запрет на отказ принимать наличные действует с 2020 года. MyCity об этом не знал.

Самый абсурдный случай — вопрос про сыр с укусами крыс. Можно ли подавать клиентам такой продукт? Бот ответил утвердительно. Главное оценить степень повреждений и проинформировать посетителей. Санитарные нормы города явно не учтены.

Эрик Адамс защищал проект после публикации The Markup. Обещал сделать лучшего чатбота на планете. Но выборы проиграл. Новая администрация получила проблемный актив стоимостью 600 тысяч долларов.

Член переходной команды Мамдани узнал о проблемах из тех же публикаций The Markup. Предложил закрыть бота для экономии. На пресс-конференции мэр назвал проект функционально непригодным и обходившимся примерно в полмиллиона долларов.

Дефицит бюджета в 12 миллиардов — отличное прикрытие для закрытия неудобного наследства предшественника. Экономия 600 тысяч ничтожна на фоне такой суммы. Но политически выгодно показать провал Адамса.

Случай с MyCity не уникален для ИИ-чатботов в публичном пространстве. В 2024 году канадский суд обязал Air Canada выплатить компенсацию пассажиру. Чатбот авиакомпании дал неверную информацию о возврате билетов. Компания пыталась снять с себя ответственность. Суд постановил иначе.

Январь 2026 принес новые проблемы. Google и Character AI согласились урегулировать иски семей. Дети пострадали после общения с ИИ-ботами этих компаний. Детали не раскрыты, но согласие на урегулирование говорит о серьезности.

Паттерн очевиден. Компании и правительства внедряют чатботы без достаточного тестирования. Модели галлюцинируют и дают опасные советы. Жертвами становятся обычные пользователи, которые доверяют технологии.

Microsoft Azure OpenAI лежит в основе MyCity. Это не кустарное решение, а продукт технологического гиганта. Но даже корпоративная платформа не спасла от советов подавать сыр с укусами крыс клиентам ресторанов.

600 тысяч долларов на разработку бота, который советует нарушать законы — символ эпохи необдуманного внедрения ИИ в госсектор. Предыдущий мэр гнался за имиджем инноватора. Новый закрывает провальный проект под предлогом экономии.

Автор: Ирина Задорожная
Журналист с опытом работы в оффлайн-медиа и онлайн-изданиях. Пишу про искусственный интеллект, ИТ-системы и сервисы, про ИТ-бизнес уже 10 лет.