Группа сотрудников крупных американских ИИ-компаний запустила проект Poison Fountain. Его цель — саботировать обучение языковых моделей через отравленные данные. Об этом сообщает The Register.

Проект стартовал на прошлой неделе. Что делает ситуацию особенной — происхождение участников. По данным источника издания, они работают в крупных американских ИИ-компаниях. Ситуация обостряется так, как общественность в целом не осознает, предупреждает инсайдер.

Poison Fountain предлагает владельцам сайтов кормить веб-скрейперов специально сконструированными отравленными наборами данных. Скрейперы собирают информацию для обучения ИИ. Цель проекта — превратить многомиллиардные разработки в неадекватные системы.

На сайте проекта изложена философия. Мы согласны с Джеффри Хинтоном: машинный интеллект представляет угрозу для человеческого вида. В ответ на эту угрозу мы хотим нанести ущерб системам машинного интеллекта. Хинтон — один из крестных отцов современного ИИ. Он стал одним из самых громких критиков индустрии, которую помог создать.

Успех современного ИИ зависит не только от архитектуры моделей. Для обучения нужны огромные массивы данных, которые раньше считалось невозможным собрать. Интернет стал идеальной золотой жилой. Однако многие считают скрейпинг неэтичным и незаконным. Это вылилось в множество судебных исков о нарушении авторских прав.

Здесь кроется уязвимость. ИИ настолько хорош, насколько хороши данные для обучения. Испортьте данные — испортите ИИ. Ранее подобный подход использовался в инструменте Nightshade. Он позволял художникам незаметно отравлять изображения, чтобы защитить работы от копирования ИИ.

Poison Fountain — призыв к масштабным действиям. Проект предоставляет ссылки на отравленные датасеты. Владельцы сайтов могут спрятать их в коде своих страниц. Эти ссылки обеспечивают практически бесконечный поток отравленных тренировочных данных, обещают активисты.

По словам инсайдера, опасные данные представляют собой код с логическими ошибками и багами. Они способны повредить большие языковые модели, обученные на таком материале.

Атаки отравлением компрометируют когнитивную целостность модели, объяснил инсайдер The Register. Нет иного способа остановить прогресс этой технологии, теперь, когда она распространилась по всему миру.