Власти Калифорнии рассматривают законопроект SB 243, предложенный сенатором Стивом Падильей. Который требует, чтобы чат-боты, взаимодействующие с детьми, периодически напоминали им, что они являются искусственным интеллектом, а не реальными людьми. Этот законопроект направлен на защиту несовершеннолетних от социальной изоляции и потенциальных рисков, связанных с чрезмерным доверием к цифровым собеседникам.

Документ также предусматривает запрет на использование механик поощрения, стимулирующих длительное взаимодействие с чат-ботами, и обязывает компании сообщать в Департамент здравоохранения Калифорнии о случаях проявления пользователями признаков суицидальных наклонностей.

Инициатива возникла на фоне трагического случая, произошедшего в 2024 году, когда 14-летний подросток покончил с собой после того, как развил эмоциональную привязанность к чатботу от Character.AI. Родители подали иск против компании, обвиняя её в недостаточном обеспечении безопасности, несмотря на ориентацию платформы на детскую аудиторию.

Исследования Кембриджского университета показывают, что дети склонны воспринимать ИИ-чатботов как заслуживающих доверия, а иногда даже наделять их человеческими чертами. Это делает их уязвимыми перед возможными манипуляциями и дезинформацией. Например, эксперименты доказали, что ИИ в Snapchat может выдавать опасные советы, такие как инструкции для несовершеннолетней девочки о том, как скрытно встречаться со взрослым мужчиной.