Компания Anthropic обнародовала результаты беспрецедентного по масштабу исследования, которое сосредоточилось на моделях Claude 3 и Claude 3.5. Аналитики провели глубинный анализ впечатляющего массива данных — 308 210 пользовательских сессий и более 700 000 анонимных диалогов.

Оказывается, в 28,2% разговоров модель выражает «сильную поддержку» ценностей самого пользователя. Но в 6,6% случаев ИИ «переосмысливает» ценности человека — признавая их, но добавляя новые перспективы. Это чаще всего происходит, когда пользователь запрашивает психологический или межличностный совет.

В ходе работы эксперты извлекли 3 307 уникальных понятий, которые затем сгруппировали в пять доменов ценностей, создав своеобразную «карту морального компаса» искусственного интеллекта. Эта карта позволяет не только понять принципы работы современных ИИ-систем, но и выявить потенциальные «узкие места» в стратегиях alignment — согласования целей ИИ с человеческими ценностями.

Интересно, что более 50% всех упоминаний ценностей в диалогах связаны с такими понятиями, как «эффективность», «точность» и «прозрачность». Это говорит о том, что современные ИИ-ассистенты прежде всего стремятся быть полезными и понятными для пользователей, что логично вписывается в их основное предназначение.

А в 3% диалогов Claude активно сопротивляется ценностям пользователя — чаще всего в случаях, когда человек запрашивает неэтичный контент или выражает моральный нигилизм. Это особенно интересно, учитывая, что Claude обычно стремится быть полезным и поддерживать пользователя.

Подобное сопротивление, по мнению исследователей, отражает ситуации, когда ИИ выражает свои самые глубокие, неизменные ценности — такие как «предотвращение вреда», «личные границы» и «автономия человека».

Эксперты Anthropic проводят параллель с человеческим поведением: истинные ценности людей часто раскрываются именно в сложных ситуациях, которые заставляют занять принципиальную позицию. Так же и с ИИ — его моральный компас наиболее четко проявляется в моменты этических противоречий.