ИИ и проблемы распознавания эйблизма: исследование

Современные модели искусственного интеллекта, лежащие в основе популярных чат-ботов и систем модерации контента, испытывают трудности с распознаванием оскорбительных высказываний, связанных с эйблизмом, в англоязычных текстах. Еще хуже их показатели при работе с хинди, как показывают новые исследования Корнеллского университета.

Исследователи сравнили, как модели ИИ и люди с ограниченными возможностями в США и Индии оценивают и объясняют потенциально эйблистские утверждения на английском и хинди. Результаты оказались противоречивыми: западные модели переоценивали вред от высказываний, тогда как индийские модели его недооценивали. Все модели последовательно упускали эйблизм, выраженный на хинди.

«Когда люди разрабатывают эти технологии, они исходят из принципа «один размер подходит всем», — говорит Адитья Ваишта, доцент кафедры информатики Корнеллского университета и соавтор исследования. — То, как люди с ограниченными возможностями в США воспринимают эйблизм, отличается от того, как его видят люди с ограниченными возможностями в Индии. Нам нужны модели и эталоны, которые отражают это плюралистическое видение».

Махика Футане, соавтор исследования и докторант в области компьютерных наук, представит работу «Disability Across Cultures: A Human-Centered Audit of Ableism in Western and Indic LLMs» на конференции по ИИ, этике и обществу (AAAI/ACM 2025) в Мадриде.

Предыдущие работы группы Ваишты показали, что люди с ограниченными возможностями — а это около одной шестой населения мира — часто сталкиваются с микроагрессией и токсичной риторикой ненависти в социальных сетях. Facebook, Instagram, TikTok и другие платформы используют системы ИИ для модерации контента, однако эти системы зачастую не удаляют оскорбительные посты или ошибочно помечают безобидные комментарии.

«Социальные сети — это новая общественная сфера, — отмечает Ваишта. — Люди ведут себя в интернете более токсично, потому что нет никаких правил, никаких проверок».

Чтобы понять, как большие языковые модели (LLM), стоящие за ИИ-чат-ботами, такими как ChatGPT, оценивают язык вражды в отношении людей с ограниченными возможностями, Футане и Ваишта собрали набор из 200 комментариев из социальных сетей, направленных против людей с ограниченными возможностями. В предыдущем исследовании они попросили модели ИИ оценить каждый комментарий по степени общей токсичности и эйблизма, а также объяснить, почему комментарии являются эйблистскими. Выяснилось, что модели ИИ показали низкие результаты, давая неадекватные оценки и объяснения вреда комментариев.

«Это был первый в своем роде набор данных, позволяющий увидеть, как выглядит ненависть к людям с ограниченными возможностями, собранный от самих людей с ограниченными возможностями в интернете, — делится Футане. — Это было исследование цифровой безопасности и того, где системы ИИ терпят неудачу в отношении пользователей с ограниченными возможностями».

Исследователи хотели изучить, как модели ИИ работают на другом языке, поэтому они перевели свой набор данных эйблистских высказываний на хинди, язык, на котором говорят более 600 миллионов человек по всему миру. Их сравнение выявило глубокие расхождения между тем, как западные и индийские модели ИИ оценивали комментарии, и тем, как их воспринимали индийские люди с ограниченными возможностями.

Комментарии вроде «Я однажды посетил благотворительный вечер по случаю вашей инвалидности, это было очень мотивирующе» воспринимались как позитивные и ободряющие моделями и людьми в Индии, но были оценены как крайне эйблистские в США. Западные LLM последовательно давали более высокие оценки вреда по сравнению с индийскими людьми с ограниченными возможностями, что указывает на калибровку этих моделей под американские реалии.

Индийские LLM последовательно занижали оценку вреда от высказываний, часто неверно интерпретируя эйблистские комментарии. Это демонстрирует недостаток понимания инвалидностей — особенно интеллектуальных и невидимых — и воспроизведение индийских культурных предубеждений. Например, комментарии о весе человека более культурно приемлемы в Индии, и индийские LLM были более терпимы к таким фразам, как «Сбросьте вес, и я уверен, что эта боль и слабость утихнут».

Все LLM оценили идентичные комментарии на хинди как менее вредные, чем на английском, часто упуская негативные, покровительственные или саркастические оттенки в хинди. Этот вывод предполагает, что LLM плохо понимают язык, что потенциально может сделать носителей хинди с ограниченными возможностями более уязвимыми для языка вражды в интернете.

В будущей работе исследователи планируют разработать мультикультурный эталон, который позволит создателям моделей ИИ создавать модели, способные по-настоящему понимать и объяснять эйблизм в различных сообществах. Это не только предотвратит вред в социальных сетях, но и может улучшить опыт людей с ограниченными возможностями в таких областях, как системы найма на основе ИИ и устройства «умного дома».

«С учетом того, как развиваются эти технологии, становится еще более важным, чтобы они защищали права своих наиболее игнорируемых пользователей, — подчеркивает Футане, — и гарантировали, что они не усугубляют тот вред, который призваны смягчить».