ИИ-система ASI-Arch сама разработала 105 архитектур нейросетей с лучшими результатами
Из 1773 экспериментов лучшая архитектура подняла результат DeltaNet на 0,97 пункта
Нейросети теперь учатся проектировать нейросети: ASI-Arch без участия людей выдала 105 архитектур, которые в контролируемых испытаниях показали лучшие результаты.
Самая удачная из них подняла средний результат DeltaNet на 0,97 процентного пункта. У Mamba2, одной из сильнейших архитектур авторства людей, прирост составил 0,34, то есть почти втрое меньше.
Как работала система
Всего ASI-Arch поставила 1773 эксперимента. В каждом цикле она придумывала изменения в устройстве модели, пересказывала их кодом, запускала обучение и разбирала итоги, чтобы учесть их при следующих попытках. Поиск шёл в области линейного внимания. Этот способ работы с последовательностями данных обходится дешевле обычного механизма внимания в трансформерах.
Сначала модели обучали в малом масштабе, чтобы быстро отбросить слабые идеи, пишет iXBT.com. Первичный отбор прошли 1350 вариантов из 1773, около 150 двинулись дальше, и 105 из них выиграли испытания на моделях с 340 млн параметров. Пять самых многообещающих затем обучили на моделях с 1,3 млрд параметров и прогнали через 16 тестов. Шесть из этих наборов на ранних этапах не использовались, и преимущество не пропало. Исследовательская часть заняла около 10 000 GPU-часов, а весь проект обошёлся примерно в 20 000.
Общий приём лучших вариантов
У сильнейших архитектур нашёлся общий приём: они сочетают несколько путей обработки информации и по ходу дела выбирают, какие из них подходят конкретным данным. Благодаря этому модель гибче учитывает и локальный контекст, и дальние зависимости. Авторы также применили найденные принципы к Mamba2, GLA и HGRN2, и улучшения появились и за пределами исходной группы архитектур.
Оговорка тоже есть: результат относится только к архитектурам для обработки последовательностей, а преимущество измерено на выбранных тестах. Это не показатель универсальной производительности ИИ.