Влияние стиля общения на точность чат-ботов

Когда мы общаемся с чат-ботами, будь то для получения поддержки, рекомендаций или просто для быстрого ответа на вопрос, они постоянно учатся на основе нашего взаимодействия, чтобы улучшить свое понимание и ответы. Новое исследование показывает, что наш стиль общения, будь то формальный или неформальный, напрямую влияет на качество получаемых от них ответов.

Исследователи из Amazon, Фулей Чжан и Чжоу Юй, провели эксперимент, чтобы выяснить, как люди адаптируют свой стиль общения при взаимодействии с чат-ботами по сравнению с другими людьми, и как это влияет на эффективность работы чат-бота. Они проанализировали тысячи сообщений, отправленных как чат-ботам, так и живым операторам, обращая особое внимание на грамматику, словарный запас и вежливость.

Результаты анализа, проведенного моделью Claude 3.5 Sonnet, показали, что люди на 14.5% чаще использовали более вежливый и формальный язык, а также были на 5.3% более грамматически последовательны при общении с людьми, чем при общении с искусственным интеллектом.

Далее, исследователи обучили ИИ-модель Mistral 7B на примерно 13 000 реальных диалогов между людьми. Затем они протестировали, насколько хорошо модель понимает более 1 300 сообщений, отправленных пользователями чат-ботам. Для расширения обучающих данных были созданы как откровенные, так и вежливые перефразировки этих сообщений, чтобы имитировать различные стили коммуникации.

Выяснилось, что чат-боты, обученные на разнообразном наборе стилей сообщений, включая как реальные, так и сгенерированные, демонстрировали на 2.9% лучшее понимание намерений пользователя по сравнению с ИИ, обученным исключительно на оригинальных человеческих разговорах. Попытка улучшить понимание Mistral AI путем переписывания неформальных сообщений в более формальные в последний момент привела к снижению точности понимания почти на 2%.

Таким образом, наиболее эффективным способом повышения «интеллекта» чат-ботов является их обучение на широком спектре стилей общения. Как отмечают исследователи в своей работе, опубликованной на arXiv: "Обучение на разнообразных лингвистических вариациях во время тренировки более эффективно, чем нормализация во время выполнения. Модели должны научиться интерпретировать разнообразные стили общения во время обучения, а не полагаться на хрупкие пост-обработки, которые могут исказить семантику".

Подобные открытия имеют ключевое значение для повышения качества ответов чат-ботов в реальных условиях.