Lancelot: Безопасное обучение ИИ с шифрованием

Совместное обучение моделей машинного обучения без раскрытия исходных данных – вот что такое федеративное обучение. Этот метод особенно ценен для разработки ИИ в таких чувствительных сферах, как финансы и медицина, где защита личной информации имеет первостепенное значение.

Однако, как показали предыдущие исследования, системы федеративного обучения уязвимы для атак отравления. В ходе таких атак злоумышленники внедряют некорректные данные, что негативно сказывается на производительности модели. Для борьбы с этим существует подход византийской робастности, который использует математические методы для фильтрации ненадежных данных. Тем не менее, он не гарантирует полную защиту от утечки конфиденциальной информации, хранящейся в нейронных сетях, которую могут реконструировать атакующие.

Исследователи из Китайского университета Гонконга, Городского университета Гонконга и других институтов представили инновационную систему Lancelot. Она эффективно сочетает византийскую робастность с передовыми криптографическими методами, значительно снижая риски как атак отравления, так и утечек персональных данных. Результаты их работы опубликованы в журнале Nature Machine Intelligence.

“Мы стремились решить проблему, с которой постоянно сталкивались в регулируемых отраслях: федеративное обучение может противостоять вредоносным участникам благодаря робастной агрегации, а полное гомоморфное шифрование может сохранять конфиденциальность обновлений. Однако одновременное использование этих методов было слишком медленным для практического применения”, — пояснил Сиян Цзян, ведущий автор исследования. “Наша цель заключалась в создании системы, которая остается надежной даже при попытках отравления модели со стороны некоторых клиентов, сохраняет все обновления зашифрованными от начала до конца и работает достаточно быстро для повседневного использования”.

Система Lancelot от Цзяна и его коллег шифрует локальные обновления модели, одновременно отбирая надежные обновления клиентов без раскрытия самого процесса выбора. Кроме того, система требует меньше вычислительных ресурсов, выполняя всего два более эффективных криптографических шага и перенося тяжелые математические операции на графические процессоры.

“По сути, Lancelot устраняет разрыв в конфиденциальности и безопасности федеративного обучения, значительно сокращая время обучения”, — отметил Цзян. “Lancelot включает три взаимодействующих компонента: клиенты обучают модели на своих данных и отправляют только зашифрованные обновления. Центральный сервер, придерживаясь правил (честный), но потенциально любопытный, работает непосредственно с зашифрованными данными для оценки схожести обновлений и их последующей агрегации”.

В системе Lancelot секретный ключ для шифрования и дешифрования данных хранится в отдельном доверенном центре генерации ключей. Этот центр расшифровывает только ту информацию, которая необходима для ранжирования клиентов по степени их надежности, а затем возвращает зашифрованную “маску” — скрытый список клиентов, которые должны быть включены в обучение модели. Это позволяет серверу агрегировать надежные данные для обучения модели, не узнавая, какие именно клиенты были выбраны.

“Ключевая идея — это маскированное зашифрованное сортирование: вместо выполнения медленных сравнений зашифрованных данных, доверенный центр выполняет сортировку и возвращает только скрытый выбор”, — добавил Цзян.

Для обеспечения высокой скорости работы системы используются две простые, но мощные криптографические техники. Во-первых, применяется ленивая релинеаризация для сокращения количества повторных реопераций, что уменьшает вычислительные накладные расходы. Во-вторых, динамический хойстинг группирует и параллелизует повторяющиеся операции для повышения их эффективности. Кроме того, тяжелые зашифрованные операции, такие как полиномиальные умножения, переносятся на графические процессоры для крупномасштабного параллелизма.

Уникальная архитектура, предложенная исследователями, гарантирует конфиденциальность каждого обновления, отправленного клиентами, на протяжении всего процесса федеративного обучения. Это обеспечивает защиту системы от вредоносных или ошибочных клиентов, а также значительно сокращает время, необходимое для обучения моделей.

“Наша работа представляет собой первую практическую систему, которая успешно объединяет византийскую робастность федеративного обучения (BRFL) с полным гомоморфным шифрованием”, — подчеркнул Цзян. “Вместо выполнения множества медленных сравнений на зашифрованных данных, мы используем маскированное зашифрованное сортирование: доверенная сторона ранжирует клиентские обновления и возвращает только зашифрованный список выбора, что позволяет серверу объединять нужные обновления, никогда не узнавая, кто был выбран. Две простые идеи делают это эффективным на практике: ленивая релинеаризация откладывает дорогостоящий криптографический шаг до конца, а динамический хойстинг группирует и параллелизует повторяющиеся операции. В сочетании с выполнением тяжелых зашифрованных вычислений на графических процессорах, эти изменения сокращают время обработки и ускоряют передачу данных через память”.

В будущем разработанная исследователями система византийской робастной федеративной обучения может найти применение в обучении моделей для различных целей. Особенно примечательно, что она может способствовать разработке инструментов ИИ, повышающих эффективность работы больниц, банков и других организаций, хранящих конфиденциальную информацию. В настоящее время Цзян и его коллеги работают над дальнейшим совершенствованием Lancelot, которая пока находится на стадии пилотной версии, для ее масштабирования и внедрения в реальные условия.

“Параллельно мы исследуем пороговые и многоключевые схемы CKKS для усиления модели доверия без существенного увеличения полосы пропускания или задержки, сохраняя практичность византийской робастной федеративной обучения в больших масштабах”, — добавил Цзян. “Мы также углубляем интеграцию с дифференциальной приватностью и добавляем асинхронную и кластеризованную агрегацию, чтобы система могла эффективно работать с гетерогенными клиентами и нестабильными сетями”.