ИИ нового поколения: энергоэффективность и скорость

Революционный подход к разработке искусственного интеллекта (ИИ), вдохновленный структурой нейронных сетей человеческого мозга, обещает сделать ИИ более энергоэффективным и быстрым. Исследователи из Университета Суррея представили новую методику, которая может значительно повысить производительность современных ИИ-моделей, включая те, что используются в генеративном ИИ и таких системах, как ChatGPT, без потери точности.

Разработанный метод, получивший название Topographical Sparse Mapping (TSM), переосмысливает фундаментальные принципы построения ИИ-систем. В отличие от традиционных моделей глубокого обучения, которые соединяют каждую нейронную клетку в одном слое со всеми клетками следующего, что приводит к избыточным вычислениям и энергозатратам, TSM организует соединения таким образом, что каждая нейронная клетка связывается только с близлежащими или тематически связанными клетками. Это имитирует эффективную организацию информации в зрительной системе человека.

Такой подход позволяет отказаться от огромного количества ненужных соединений и вычислений, что ведет к существенной экономии ресурсов. Усовершенствованная версия, Enhanced Topographical Sparse Mapping (ETSM), идет еще дальше, внедряя процесс «обрезки» нейронных связей во время обучения, аналогичный тому, как мозг постепенно оптимизирует свои связи по мере получения нового опыта.

«Обучение многих современных крупных ИИ-моделей может потреблять более миллиона киловатт-часов электроэнергии, что эквивалентно годовому потреблению более сотни американских домов, и обходиться в десятки миллионов долларов. Это просто неустойчиво при текущих темпах роста ИИ», — отметил доктор Роман Бауэр, старший преподаватель Университета Суррея. «Наша работа демонстрирует, что интеллектуальные системы могут быть построены гораздо более эффективно, сокращая энергопотребление без ущерба для производительности».

Усовершенствованная модель Университета Суррея достигла до 99% разреженности, что означает возможность удаления почти всех обычных нейронных связей, при этом сохраняя или превосходя точность стандартных сетей на эталонных наборах данных. Благодаря отсутствию необходимости постоянной донастройки и перестройки связей, характерной для других подходов, модель обучается быстрее, требует меньше памяти и потребляет менее одного процента энергии по сравнению с традиционными ИИ-системами.

«Мозг достигает выдающейся эффективности благодаря своей структуре, где каждая нейронная клетка формирует пространственно организованные связи. Копируя эту топографическую структуру, мы можем обучать ИИ-системы, которые учатся быстрее, потребляют меньше энергии и работают с той же точностью», — пояснил Мохсен Камелиан Рад, аспирант Университета Суррея и ведущий автор исследования. «Это новый взгляд на нейронные сети, построенный на тех же биологических принципах, которые делают естественный интеллект столь эффективным».

В настоящее время разработанная методика применяется к входному слою ИИ-модели. Расширение ее применения на более глубокие слои потенциально может сделать нейронные сети еще более компактными и эффективными. Команда исследователей также изучает возможности применения этого подхода в других областях, например, для создания более реалистичных нейроморфных компьютеров, где прирост эффективности может оказаться еще более значительным.