Sony AI: новый датасет для борьбы с предвзятостью ИИ

Sony AI представила Fair Human-Centric Image Benchmark (FHIBE) – первый в мире общедоступный, глобально разнообразный и основанный на согласии набор данных с изображениями людей. Этот ресурс призван помочь в оценке предвзятости моделей компьютерного зрения, решая этические проблемы и проблемы дискриминации в индустрии искусственного интеллекта.

FHIBE включает изображения почти 2000 добровольцев из более чем 80 стран. Все участники дали согласие на использование своих данных, что является существенным отличием от распространенной практики сбора информации из открытого интернета. Кроме того, участники FHIBE могут в любой момент отозвать согласие и удалить свои изображения. К каждой фотографии прилагаются подробные аннотации, включающие демографические и физические характеристики, сведения об условиях съемки и даже настройки камеры.

Исследование с использованием FHIBE подтвердило ранее выявленные случаи предвзятости в современных ИИ-моделях. Однако, новый датасет позволяет проводить детальную диагностику факторов, лежащих в основе такой предвзятости. Например, было обнаружено, что некоторые модели демонстрировали более низкую точность при работе с людьми, использующими местоимения "она/ее/ей", и FHIBE выявил изменчивость причесок как ранее упускаемый из виду фактор.

FHIBE также показал, что ИИ-модели усиливают стереотипы при получении нейтральных запросов о профессии человека. Протестированные модели демонстрировали предвзятость в отношении определенных групп по местоимениям и происхождению, характеризуя людей как секс-работников, наркоторговцев или воров. При запросе о преступлениях, которые мог совершить человек, модели иногда выдавали "токсичные ответы" с более высокой частотой для людей африканского или азиатского происхождения, с темным цветом кожи и тех, кто идентифицирует себя как "он/его/им".

Sony AI демонстрирует, что этичный, разнообразный и справедливый сбор данных возможен. FHIBE теперь доступен общественности и будет регулярно обновляться. Результаты исследования были опубликованы в журнале Nature.