Специализированные аппаратные ускорители, такие как графические процессоры и TPU, значительно ускорили обучение нейронных сетей. Однако проблема заключается в том, что не все операции в данном конвейере обучения могут выполняться на ускорителях, причем более ранние этапы обучения особенно подвержены возникновению узких мест.
Группа исследователей из Google Brain недавно предложила метод «эха данных», который позволяет этим трудоемким этапам обучения также получать пользу от ускорителей. Представленный в статье Ускоренное обучение нейронной сети с эхом данных, этот метод повторно использует промежуточные выходные данные с более ранних этапов конвейера, чтобы можно было восстановить пропускную способность холостого ускорителя.
Эхо данных может ускорить обучение, когда вычисления в восходящем потоке от ускорителей преобладают над временем обучения ... Вместо того, чтобы ждать, когда станут доступны дополнительные данные, мы просто используем данные, которые уже доступны, чтобы держать ускорители занятыми, - говорится в сообщении в блоге Google, объясняющем, что техника.
Исследователи рассматривают обучающую программу для ResNet-50 в ImageNet как типичный пример крупномасштабных программ компьютерного зрения. Перед применением мини-пакетного обновления стохастического градиентного спуска (SGD) различные этапы, в том числе от чтения и декодирования до пакетной обработки, не могут получить выгоду от ускорения, обеспечиваемого специализированными аппаратными ускорителями. Чтобы восстановить простаивающую емкость ускорителя, а не ждать дополнительных данных, предлагаемый подход с эхом данных вставляет в конвейер состояние, которое повторяет (эхо) данные из предыдущего этапа. «После того, как практик определяет самое большое узкое место в конвейере обучения, он может вставить эхо-стадию после него, чтобы восстановить работоспособность ускорителя на холостом ходу», - отмечают исследователи.
Метод отражения данных был исследован на различных наборах данных на двух задачах языкового моделирования, двух задачах классификации изображений и одной задаче обнаружения объектов. Во всех случаях он уменьшал объем восходящих вычислений, необходимых для достижения лучшей ошибки вне выборки. Например, исследователи обнаружили, что эхо-отображение данных позволило ускорить обучение в 3 раза с помощью модели ResNet-50, обученной на наборе данных ImageNet.
Команда Google Brain считает, что повторение данных может оказаться простой и эффективной стратегией для ускорения обучения за счет увеличения использования оборудования, когда конвейер обучения имеет узкое место на этапах разработки.
Статья Ускоренное обучение нейронной сети с эхом данных посвящена arXiv.
Автор: Фаню Цай | Редактор: Майкл Саразен
Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
Думаете о том, чтобы внести свой вклад в синхронизированную проверку? Новая колонка Поделитесь моими исследованиями от Synced приглашает ученых поделиться своими научными открытиями с глобальными энтузиастами искусственного интеллекта.
Нужен всесторонний обзор прошлого, настоящего и будущего современных исследований в области искусственного интеллекта? Отчет Тенденции развития технологий искусственного интеллекта вышел!
Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.
