Уроки безопасности авиации для индустрии ИИ

За более чем столетнюю историю самолетостроения в гражданской авиации произошло около 185 000 аварий. Однако за последние пять лет количество смертельных случаев среди пассажиров авиакомпаний США приблизилось к нулю. Шансы умереть, пользуясь услугами американских авиаперевозчиков, ничтожно малы, гораздо ниже, чем выиграть в большинстве лотерей.

Как удалось добиться такой безопасности в авиации? И можем ли мы применить этот ценный опыт в сфере искусственного интеллекта?

Появление новых революционных технологий всегда вызывает опасения. Изобретение самолета братьями Райт в 1903 году не стало исключением. Новая технология встретила множество возражений — религиозных, политических и технических.

Первая авиакатастрофа произошла вскоре после первого полета — в тот же день. А первая смерть в результате авиационного происшествия зафиксирована в 1908 году. С тех пор в мире произошло более 89 000 авиационных происшествий.

Я, как исследователь в области безопасности авиаперелетов, вижу, как современная индустрия искусственного интеллекта напоминает ранние, куда менее безопасные годы авиации.

От анализа к прогнозированию происшествий

Каждая трагическая авария и каждая потерянная жизнь становились поводом для анализа и обучения. Специалисты пытались детально восстановить ход событий, выявить предшествующие факторы и коренные причины. После определения причин происшествий производители и авиакомпании внедряли меры безопасности, чтобы предотвратить новые инциденты.

Например, в первые годы полетов, если пилот забывал опустить шасси перед посадкой, это могло привести к аварии. Индустрия разработала системы предупреждения, оповещающие пилотов о небезопасном состоянии шасси — урок, усвоенный благодаря уже произошедшим случаям.

В течение 20-го века авиационная отрасль систематизировала и стандартизировала свои операции, процедуры и процессы. В 1938 году президент Франклин Рузвельт подписал Закон о гражданской авиации, учредивший Управление гражданской авиации, которое стало предшественником Федерального управления гражданской авиации (FAA) и включало Совет по безопасности полетов.

Изначально реактивная модель обеспечения безопасности со временем трансформировалась в проактивную, а затем и в предиктивную. В 1997 году группа представителей индустрии, профсоюзов и государственных органов сформировала Команду по безопасности гражданской авиации (Commercial Aviation Safety Team). Они начали анализировать данные и отчеты пользователей, чтобы выявлять риски и опасности до того, как они приведут к катастрофам.

Эта команда, в которую входят FAA и NASA, изначально договорилась о полном отказе от конкуренции между авиакомпаниями в вопросах безопасности. Опыт и данные о безопасности стали открыто paylaşılmakta. Когда-нибудь вы видели рекламную кампанию авиакомпании, заявляющую: «Наша авиакомпания безопаснее, чем у конкурентов»?

Все дело в данных

Команда по безопасности гражданской авиации помогла индустрии перейти от реактивного подхода к предиктивному, используя системный, основанный на данных подход к решению проблем безопасности. Эти данные собирались из отчетов людей и информации с бортовых самописцев.

Ежедневно в мире совершаются миллионы рейсов, и каждый из них генерирует тысячи точек данных. Специалисты по авиационной безопасности теперь используют бортовые самописцы (flight data recorders), ранее применявшиеся лишь для расследования уже случившихся аварий, для анализа данных каждого рейса. Тщательно изучая эти данные, аналитики могут выявлять возникающие проблемы и тенденции. Например, анализ данных позволяет опытному ученому по безопасности заметить, что определенные заходы на посадку становятся более рискованными из-за превышения скорости или неточного выравнивания, и предпринять меры до того, как произойдет авария.

Для дальнейшего повышения проактивных и предиктивных возможностей, любой участник авиационной системы может анонимно и безбоязненно подавать отчеты о безопасности. Без гарантий анонимности люди могут колебаться, сообщая о проблемах, и авиационная индустрия лишится критически важной информации.

Все эти данные хранятся, агрегируются и анализируются учеными по безопасности, которые изучают систему в целом и ищут предшествующие факторы аварий. Риск гибели пассажира на борту американской авиалинии теперь составляет менее 1 к 98 миллионам. Вероятность погибнуть по дороге в аэропорт выше, чем в авиакатастрофе.

Модель для ИИ

Искусственный интеллект стремительно проникает во многие сферы жизни, от беспилотных автомобилей до систем правосудия, подбора персонала и кредитных решений. Однако эта технология далека от совершенства, и ошибки, связанные с ИИ, уже привели к необратимым последствиям, а в некоторых случаях — к гибели людей.

Почти все компании, разрабатывающие ИИ, пытаются внедрить меры безопасности. Но, похоже, они действуют индивидуально, подобно ранним игрокам в авиационной сфере. И эти усилия в основном реактивны: они ждут, пока ИИ совершит ошибку, и только потом действуют.

Что, если бы существовала организация, подобная Команде по безопасности гражданской авиации, где все компании, занимающиеся ИИ, регуляторы, академические круги и другие заинтересованные стороны могли бы объединиться для запуска проактивных и предиктивных процессов, предотвращающих катастрофы, связанные с ИИ?

В плане отчетности, представьте, если бы каждый интерфейс ИИ имел кнопку отчета, которую пользователь мог бы нажать, чтобы сообщить о потенциально недостоверных и небезопасных результатах не только конкретной компании, но и организации по ИИ, созданной по аналогии с Командой по безопасности гражданской авиации. Кроме того, данные, генерируемые системами ИИ, подобно авиации, могли бы собираться, агрегироваться и анализироваться на предмет угроз безопасности.

Хотя такой подход, возможно, не станет панацеей для предотвращения вреда от ИИ, если Big Tech усвоит уроки, извлеченные другими высокорисковыми отраслями, такими как авиация, возможно, удастся регулировать, контролировать и, да, сделать ИИ более безопасным для всех.