Каждый раз, когда мы взаимодействуем с чат-ботами, они учатся у нас, чтобы лучше понимать запросы. Как теперь учёные Amazon, стиль общения с искусственным интеллектом напрямую влияет на качество его ответов.
Так, в банке мы склонны использовать более формальный язык, а в баре — разговорный. Исследователи решили выяснить, происходит ли подобное при разговоре с ИИ, и как это сказывается на его эффективности.
В ходе исследования они проанализировали тысячи сообщений, адресованных как живым операторам службы поддержки, так и ботам. Особое внимание уделялось грамматике, словарному запасу и уровню вежливости. Анализ модели Claude 3.5 Sonnet показал, что с людьми пользователи на 14,5% вежливее и официальнее. Кроме того, с ними они на 5,3% лучше формулируют свои запросы.
Потом учёные взяли 13 000 настоящих диалогов между людьми и обучили на них модель Mistral 7B. Затем протестировали её на 1 300 сообщений, которые люди писали чат-ботам. Для тестов они сделали по несколько версий одних и тех же сообщений, чтобы проверить, как разные стили влияют на работу ИИ.
Результаты показали, что чат-боты, обученные на сочетании сообщений разных форматов, включая искусственно созданных, на 2,9% лучше понимают намерения пользователей по сравнению с ИИ, с которым общаются только в одном стиле. Кроме того, попытка преобразовать неформальные запросы в более формальные прямо во время взаимодействия приводила к снижению качества на 2%.
Исследователи заключили: лучший способ сделать чат-бота умнее — обучить его различным форматам общения. То есть, стоит выбирать стиль по настроению, а не ограничиваться одной подачей.
3 места в доме, которые часто захламляются
Съезжаем со съёмной квартиры: чек-лист уборки, которая поможет вернуть депозит
Как заселиться в отель без паспорта: всё о Цифровом ID для путешественников
Пара доставок до мечты