AI на Reddit: опасные советы и проблемы модерации

Чат-боты на базе искусственного интеллекта всё чаще выдают непредсказуемые ответы. На этот раз в центре внимания оказался инструмент Reddit Answers, который, по сообщениям модераторов, предоставлял опасные медицинские рекомендации, и это никак нельзя было отключить или скрыть.

Один из модераторов обнаружил, что Reddit Answers предложил пользователям с хронической болью отказаться от текущих рецептурных препаратов и перейти на кратом – нерегулируемое вещество, запрещенное в некоторых штатах. Затем, отвечая на другие медицинские вопросы, система предложила опасные методы лечения неонотовой лихорадки, смешанные с точными действиями, а также намекнула на возможность использования героина для облегчения хронической боли.

Другие модераторы, особенно из тематических медицинских сообществ, выразили обеспокоенность: у них нет возможности отключить или сообщить о некорректной или опасной информации, предоставленной Reddit Answers в их сабреддитах.

Представитель Reddit сообщил изданию 404 Media, что в инструмент были внесены обновления для решения некоторых проблем, поднятых модераторами. «Это обновление гарантирует, что «связанные ответы» по чувствительным темам, которые ранее могли отображаться на странице деталей поста (также известной как страница обсуждения), больше не будут показываться», — заявил спикер. «Это изменение направлено на улучшение пользовательского опыта и обеспечение соответствующей видимости контента на платформе».

Хотя представитель Reddit заверил, что инструмент «исключает контент из приватных, карантинных и NSFW-сообществ, а также некоторые темы для взрослых», очевидно, что ИИ пока не готов корректно предоставлять медицинскую информацию, не говоря уже о том, чтобы справляться со сложным, саркастичным или потенциально вредным контентом, которым могут делиться другие пользователи Reddit.

Помимо последнего изменения, касающегося «чувствительных тем», не похоже, что Reddit планирует предоставлять инструменты для контроля того, как или когда ИИ отображается в сабреддитах. Это может сделать и без того сложную задачу модерации практически невыполнимой.