Исследование: стиль общения с чат-ботами влияет на точность их ответов

Каждый раз, когда мы взаимодействуем с чат-ботами, они учатся у нас, чтобы лучше понимать запросы. Как теперь выяснили учёные Amazon, стиль общения с искусственным интеллектом напрямую влияет на качество его ответов.

Так, в банке мы склонны использовать более формальный язык, а в баре — разговорный. Исследователи решили выяснить, происходит ли подобное при разговоре с ИИ, и как это сказывается на его эффективности.

В ходе исследования они проанализировали тысячи сообщений, адресованных как живым операторам службы поддержки, так и ботам. Особое внимание уделялось грамматике, словарному запасу и уровню вежливости. Анализ модели Claude 3.5 Sonnet показал, что с людьми пользователи на 14,5% вежливее и официальнее. Кроме того, с ними они на 5,3% лучше формулируют свои запросы.

Потом учёные взяли 13 000 настоящих диалогов между людьми и обучили на них модель Mistral 7B. Затем протестировали её на 1 300 сообщений, которые люди писали чат-ботам. Для тестов они сделали по несколько версий одних и тех же сообщений, чтобы проверить, как разные стили влияют на работу ИИ.

Результаты показали, что чат-боты, обученные на сочетании сообщений разных форматов, включая искусственно созданных, на 2,9% лучше понимают намерения пользователей по сравнению с ИИ, с которым общаются только в одном стиле. Кроме того, попытка преобразовать неформальные запросы в более формальные прямо во время взаимодействия приводила к снижению качества на 2%.

Исследователи заключили: лучший способ сделать чат-бота умнее — обучить его различным форматам общения. То есть, стоит выбирать стиль по настроению, а не ограничиваться одной подачей.