HERTZ-GSM

Технологии. Компьютеры. Электроника.

Объединение нейронных сетей с мобильными телефонами

Объединение нейронных сетей с мобильными телефонамиМетод моделирования энергопотребления нейронных сетей может помочь сделать системы переносными.

В последние годы наиболее эффективные системы искусственного интеллекта в таких областях как автономное вождение, распознавание речи, компьютерное наблюдение и автоматический перевод, были предоставлены программным системам, известными как нейронные сети.

Но нейронные сети занимают много памяти и потребляют много энергии, поэтому они обычно работают на серверах в облаке, которые получают данные с настольных или мобильных устройств, а затем отправляют свои проанализированные выводы.

В прошлом году, доцент кафедры электротехники и информатики Массачусетского технологического института Вивьен Ше с коллегами представили новый, энергоэффективный компьютерный чип, оптимизированный для нейронных сетей, который мог бы позволить мощным системам искусственного интеллекта работать локально на мобильных устройствах.

Теперь Ше и её коллеги подошли к той же проблеме с противоположной стороны, с батареей технологий для разработки более энергоэффективных нейронных сетей. Во-первых, они разработали аналитический метод, который может определить, сколько энергии потребляет нейронная сеть при работе на определённом типе аппаратного обеспечения. Затем они использовали метод для оценки новых технологий для обхода нейронных сетей, чтобы они могли работать более эффективно на портативных устройствах.

Эти методы дают 73-процентное снижение энергопотребления по сравнению со стандартным внедрением нейронных сетей, а также 43-процентное снижение потребления энергии по сравнению с лучшим предыдущим методом разделения сетей.

Оценка энергии

Основываясь на анатомии головного мозга нейронные сети состоят из тысяч или даже миллионов простых, но плотно взаимосвязанных узлов обработки информации, обычно организованных в слои. Различные типы сетей различаются в зависимости от их количества слоёв, количества соединений между узлами и количества узлов в каждом слое.

Связи между узлами имеют “веса”, связанные с ними, которые определяют, насколько выход данного узла будет способствовать вычислению следующего узла. Во время обучения, в котором сеть представлена примерами вычислений, которые она изучает, эти веса постоянно корректируются до тех пор, пока результат последнего слоя сети не будет соответствовать результату вычисления.

«Первое, что мы сделали, это разработали инструмент энергетического моделирования, который учитывает движение данных, транзакции и поток данных, — говорит Ше. — Если вы дадите ему сетевую архитектуру и значение её весов, она расскажет вам, сколько энергии будет использовать эта нейронная сеть. Один из вопросов, который возникает у людей: “Является ли более энергоэффективным иметь мелкую сеть и больше веса или более глубокую сеть с меньшим весом?” Этот инструмент даёт нам лучшее понимание относительно того, куда идёт энергия, чтобы разработчик алгоритма мог бы лучше понять и использовать это в качестве обратной связи. Второе, что мы сделали, это то, что теперь, когда мы знаем, куда на самом деле идет энергия, мы начали использовать эту модель для разработки нашего проекта энергосберегающих нейронных сетей».

Ше объясняет, что в прошлом исследователи, пытающиеся снизить энергопотребление нейронных сетей, использовали метод, называемый «обрезкой». Соединения с малым весом между узламиочень мало влияют на конечный результат нейронной сети, поэтому многие из них могут быть безопасно устранены или обрезаны.

Принципиальная обрезка

С помощью своей энергетической модели Ше и её коллеги — первый автор Тянь-Цзю Ян и Юй-Синь Чэнь, оба аспиранта по электротехнике и информатике изменили этот подход. Хотя обрезка даже большого количества соединений с низким весом может лишь незначительно повлиять на выход нейронной сети, но обрезка их всех, вероятно, оказала бы значительное влияние, поэтому методы обрезки должны иметь некоторый механизм для принятия решения о том, когда остановиться.

Таким образом, исследователи начинают обрезать те слои сети, которые потребляют больше энергии. Таким образом, обрезка даёт максимально возможную экономию энергии. Они называют этот метод «энергосберегающей обрезкой».

Веса в нейронной сети могут быть как положительными, так и отрицательными, поэтому метод исследователей также рассматривает случаи, когда соединения с весами противоположного знака имеют тенденцию к взаимному уничтожению. Входы для данного узла представляют собой выходы узлов в нижележащем слое, умноженные на веса их соединений. Таким образом, метод исследователей относится не только к весам, но и к тому, как связанные узлы обрабатывают обучающие данные. Только при условии, что группы соединений с положительным и отрицательным весами последовательно компенсируют друг друга, их можно безопасно обрезать. Это приводит к созданию более эффективных сетей с меньшим количеством подключений, чем раньше.

«В последнее время большая активность в сообществе глубокого обучения была направлена на разработку эффективных нейросетевых архитектур для платформ с вычислительными ограничениями, — говорит Хартвиг Адам, руководитель группы Mobile Vision в Google. — Однако большинство из этих исследований сосредоточены либо на уменьшении размера модели, либо на вычислениях, в то время как для смартфонов и многих других устройств потребление энергии имеет первостепенное значение из-за использования батареи и ограничений по температуре. Эта работа использует инновационный подход к оптимизации архитектуры CNN [свёрточной нейронной сети], которая непосредственно ориентирована на минимизацию энергопотребления с использованием сложного нового инструмента оценки энергии, и он демонстрирует большой прирост производительности по сравнению с методами, ориентированными на вычисления. Надеюсь, что другие исследователи в этой области последуют этому примеру и утвердят эту общую методологию для проектирования архитектуры нейронной сети».


Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Защита от спама: *

Подписаться на RSS-ленту

Подпишитесь по e-mail

Архивы