Стиль нашего общения с нейросетями влияет на ответы: новое исследование

На первый взгляд, общаться с чат-ботом предельно просто: мы задаем вопрос, а он отвечает. Однако на самом деле ситуация гораздо глубже: искусственный интеллект учится на каждом нашем сообщении, и то, как именно мы с ним разговариваем, влияет на качество его ответов.

Люди естественным образом адаптируют свой стиль общения к собеседнику. Например, при разговоре с кредитным специалистом в банке мы автоматически переключаемся на официальный тон, следим за грамматикой и говорим полными предложениями. Но в непринужденной обстановке, например, сидя в баре с друзьями, мы запросто используем сокращения, разнообразные неформальные выражения и сленг.

Похоже, с чат-ботами большинство людей ведет себя так же, как с приятелями в неформальной обстановке, то есть, не церемонится. Фулэй Чжан и Чжоу Ю из компании Amazon проанализировали тысячи реальных переписок, сравнив, как люди разговаривают с живыми операторами службы поддержки и с искусственным интеллектом. Согласно анализу модели Claude 3.5 Sonnet, ученые обнаружили, что с людьми пользователи ведут себя на 14,5% вежливее и официальнее, а также на 5,3% более грамотно формулируют свои запросы, чем при обращении к ботам.

Далее ученые обучили языковую модель Mistral 7B на 13 тысячах сообщений, отправленных живым сотрудникам, после чего проверили, насколько хорошо нейросеть справляется с пониманием 1300 реальных сообщений, написанных пользователями чат-ботам. Чтобы проверить влияние манеры общения, ученые создали несколько версий тех же сообщений — они были более вежливые и прямолинейные, чем изначально — а затем сравнили результаты.