ИИ ускоряется: новый чип памяти с вычислениями

Современные системы искусственного интеллекта (ИИ) нуждаются в способности быстро обрабатывать огромные объемы данных для точных прогнозов и выполнения задач. Однако существующие электронные устройства вынуждены постоянно пересылать данные между отдельными блоками памяти и обработки, что снижает эффективность.

В последние годы инженеры активно работают над созданием нового аппаратного обеспечения для более эффективного выполнения алгоритмов ИИ, известного как системы с вычислениями в памяти (Compute-In-Memory, CIM). Эти компоненты способны одновременно хранить информацию и выполнять вычисления, выступая в роли процессоров и энергонезависимой памяти. Энергонезависимость означает, что данные сохраняются даже при отключении питания.

Большинство ранее предложенных архитектур CIM базировались на аналоговых вычислениях. Такие системы эффективно используют электрический ток для расчетов и обладают хорошей энергоэффективностью. Однако точность аналоговых методов значительно уступает цифровым, что затрудняет надежную обработку крупных моделей ИИ и больших объемов данных.

Команда исследователей из Университета науки и технологий Южного Китая, Сианьского университета Цзяотун и других институтов представила перспективный чип CIM, который обещает ускорить работу ИИ и повысить его энергоэффективность. Их разработка, описанная в журнале Nature Electronics, основана на магниторезистивной памяти с произвольным доступом и подмагничиванием (STT-MRAM). Это спинтронное устройство хранит двоичные единицы информации (0 и 1) за счет магнитного состояния одного из своих слоев.

Устройства STT-MRAM, подобные использованному исследователями, имеют крошечную структуру, называемую магнитным туннельным переходом (MTJ). Она состоит из трех слоев: магнитного слоя с фиксированной ориентацией, магнитного слоя с изменяемой ориентацией и тонкого изоляционного слоя между ними. Когда магнитные направления двух слоев параллельны, электроны легко проходят через устройство. При противоположных направлениях сопротивление возрастает, затрудняя поток электронов. STT-MRAM использует эти два состояния для хранения двоичных данных.

«Энергонезависимые макросы CIM (предварительно разработанные функциональные модули внутри чипа, способные обрабатывать и хранить данные) позволяют сократить передачу данных между блоками обработки и памяти, обеспечивая быструю и энергоэффективную работу искусственного интеллекта», — отмечают авторы исследования. «Однако архитектуры CIM традиционно опираются на аналоговые вычисления, которые имеют ограничения по точности, масштабируемости и надежности. Мы представляем 64-килобитный энергонезависимый цифровой макрос CIM на основе технологии STT-MRAM 40 нм».

Разработанный исследователями модуль на основе STT-MRAM позволяет надежно выполнять вычисления и хранить биты информации в одном устройстве. Первоначальные тесты показали впечатляющие результаты: макрос продемонстрировал высокую скорость и точность при работе двух различных типов нейронных сетей.

«Наш макрос обеспечивает in situ умножение и оцифровку на уровне битового элемента, цифровую арифмтику с конфигурируемой точностью на уровне макроса и схему обучения, учитывающую скорость переключения, на уровне алгоритма», — пишут авторы. «Макрос поддерживает беспотерьные матрично-векторные умножения с гибкой точностью входных данных и весов (4, 8, 12 и 16 бит). Он достигает точности инференса, эквивалентной программным решениям, для остаточной сети при 8-битной точности и для физически-информированных нейронных сетей при 16-битной точности. Задержки вычислений составляют 7.4–29.6 нс, а энергоэффективность — от 7.02 до 112.3 тераопераций в секунду на ватт при полностью параллельных матрично-векторных умножениях в конфигурациях точности от 4 до 16 бит».

В будущем разработанный CIM-модуль может способствовать энергоэффективному развертыванию ИИ непосредственно на портативных устройствах, устраняя необходимость в крупных дата-центрах. В ближайшие годы он также может послужить основой для разработки аналогичных систем CIM на базе STT-MRAM или других спинтронных устройств.