VFF-Net: Революционная альтернатива обратному распространению ошибок в ИИ

Современные системы искусственного интеллекта (ИИ) полагаются на глубокие нейронные сети (DNN) для анализа и интерпретации данных, будь то изображения, звук или текст. Эти сети, обученные на огромных массивах информации, демонстрируют поразительную точность в прогнозировании и классификации. Традиционно обучение DNN осуществляется с помощью алгоритма обратного распространения ошибок (backpropagation, BP).

Несмотря на свою повсеместную распространенность, BP имеет ряд недостатков: медленная сходимость, склонность к переобучению, высокие вычислительные требования и непрозрачность процесса обучения. В ответ на эти ограничения набирают популярность прямые прямые сети (forward-forward networks, FFN), в которых каждый слой обучается независимо, минуя BP. Однако применение FFN для обучения сверточных нейронных сетей (CNN), широко используемых в анализе изображений, оказалось проблематичным.

Команда исследователей из Сеульского национального университета науки и технологий предложила новое решение — алгоритм обучения VFF-Net (visual forward-forward network). Этот инновационный подход успешно преодолевает трудности, связанные с применением FFN к CNN.

VFF-Net включает три ключевых компонента:

• Label-wise noise labeling (LWNL): Метод обучения на трех типах данных — исходном изображении без шума, позитивных примерах с верными метками и негативных примерах с неверными метками. Это предотвращает потерю информации в пикселях входных изображений.
• Cosine similarity-based contrastive loss (CSCL): Модификация традиционного жадного алгоритма, использующая функцию контрастивной потери на основе косинусного сходства карт признаков. Это помогает сохранить важную пространственную информацию, необходимую для классификации изображений.
• Layer grouping (LG): Решение проблемы индивидуального обучения слоев путем группировки слоев со схожими выходными характеристиками и добавления вспомогательных слоев, что значительно повышает производительность.

Благодаря этим усовершенствованиям VFF-Net демонстрирует существенное улучшение результатов классификации изображений по сравнению с традиционными FFN. Например, для CNN с четырьмя сверточными слоями процент ошибок на наборах данных CIFAR-10 и CIFAR-100 снизился на 8,31% и 3,80% соответственно. Кроме того, VFF-Net, основанный на полносвязных слоях, достиг показателя ошибки всего в 1,70% на наборе данных MNIST.

Разработчики VFF-Net отмечают, что отказ от BP открывает путь к созданию более легких и более «мозгоподобных» методов обучения, не требующих значительных вычислительных ресурсов. Это означает, что мощные ИИ-модели смогут работать непосредственно на персональных устройствах, медицинском оборудовании и бытовой технике, снижая зависимость от энергоемких дата-центров и делая ИИ более устойчивым.