Тест Тьюринга, десятилетиями считавшийся недостижимой вершиной для ИИ, наконец официально пройден. Двойное, рандомизированное, контролируемое слепое исследование, проведенное учеными из Калифорнийского университета в Сан-Диего, доказало: современные языковые модели научились имитировать людей очень убедительно.
GPT-4.5 с заданием притвориться человеком справился настолько блестяще, что в 73% случаев участники эксперимента принимали именно его за живого собеседника. Это означает, что искусственный интеллект теперь способен имитировать человеческое общение даже лучше, чем сами люди.
Исследование доступно на arXiv.
Llama 3.1, еще одна продвинутая языковая модель, также показала впечатляющие результаты, достигнув показателя в 56% — фактически на уровне реальных людей. Это значит, что участники эксперимента с равной вероятностью принимали ее за человека или корректно идентифицировали настоящего человека.
Более ранние или ограниченные модели, такие как ELIZA и GPT-4o без специальных инструкций, показали гораздо более скромные результаты — лишь 23% и 21% соответственно.
Методология исследования была предельно строгой. Каждый участник одновременно общался с двумя собеседниками — настоящим человеком и ИИ-системой — на протяжении пятиминутной беседы. После этого им предлагалось определить, кто из собеседников был искусственным интеллектом. Эксперимент проводился на двух независимых группах участников: студентах UCSD и пользователях платформы Prolific.
Результаты разбиты по группам: GPT-4.5 с заданной человекоподобной персоной достиг показателя в 69% среди студентов университета и 76% среди участников Prolific. Llama с аналогичными инструкциями получила 45% и 65% соответственно.
Это исследование можно считать первым эмпирическим доказательством того, что искусственная система прошла стандартный трехсторонний тест Тьюринга. Результаты имеют далеко идущие последствия как для дискуссий о природе интеллекта, демонстрируемого большими языковыми моделями, так и для оценки социального и экономического влияния этих систем в будущем.
Любопытные могут самостоятельно попробовать свои силы в отличии человека от ИИ на специальном сайте https://turingtest.live, где проводится онлайн-версия этого знаменитого теста.
