По данным VentureBeat, исследователи из Meta*, Google* (ТОЛЬКО ДЛЯ КОМПАНИЙ Meta, Instagram или Facebook (признана экстремистской организацией на территории РФ)) и ряда университетов разработали AutoTTS – фреймворк, который автоматически проектирует оптимальные стратегии рассуждений для больших языковых моделей (LLM), сокращая использование токенов на 69,5%. Звучит круто, давайте разберемся, что это значит для нас, простых гиков.
В чем суть проблемы?
Тестирование с масштабированием (TTS) – это метод повышения производительности LLM, который дает им больше вычислительных ресурсов во время обработки запроса. Это позволяет модели генерировать несколько вариантов рассуждений или оценивать промежуточные шаги, прежде чем выдать окончательный ответ. Но раньше эти TTS-стратегии разрабатывались вручную, полагаясь на интуицию людей. Инженеры должны были придумывать правила и пороги для ветвления, углубления или прекращения рассуждений модели.
Этот ручной процесс сильно ограничивал возможности оптимизации и часто приводил к неоптимальному соотношению между точностью и вычислительными затратами. Как говорят разработчики, "огромное количество возможных подходов остаются неизученными".
AutoTTS приходит на помощь
AutoTTS меняет подход к оптимизации TTS, рассматривая проектирование стратегии как алгоритмическую задачу поиска в контролируемой среде. Вместо того, чтобы вручную создавать правила, инженеры теперь строят среду обнаружения. Они определяют границы, включая пространство состояний и действий, цели оптимизации (баланс между точностью и стоимостью) и механизмы обратной связи.
Далее в игру вступает "исследовательская LLM" (например, Claude Code), которая проектирует TTS "контроллеры". Эти контроллеры – политики или алгоритмы, определяющие, как ИИ модель распределяет свой вычислительный бюджет во время обработки запроса. Исследовательская LLM тестирует и улучшает эти контроллеры на основе обратной связи, пока не найдет оптимальную стратегию распределения ресурсов.
Чтобы сделать этот автоматизированный поиск экономически выгодным, AutoTTS использует "офлайн среду воспроизведения". Вместо того, чтобы каждый раз вызывать базовую модель рассуждений для генерации новых токенов при тестировании новой стратегии, она использует тысячи предварительно собранных траекторий рассуждений. Эти траектории включают "сигналы зондирования" – промежуточные ответы, которые помогают контроллеру оценивать прогресс по различным ветвям рассуждений.
Что внутри ИИ-спроектированного контроллера?
Поскольку исследовательский агент ИИ не ограничен человеческой интуицией, он может обнаруживать сложные правила, которые человек вряд ли бы придумал. Например, один из оптимальных контроллеров, обнаруженных AutoTTS, под названием Confidence Momentum Controller, использует несколько неочевидных механизмов для управления вычислениями:
* Остановка на основе тренда: Вместо того, чтобы останавливаться, когда модель достигает определенного порога уверенности, контроллер отслеживает экспоненциальное скользящее среднее (EMA) уверенности и останавливается, только если общий уровень уверенности высок и тренд активно не снижается.
* Совместное управление шириной и глубиной: AutoTTS обнаружил замкнутую петлю обратной связи, в которой расширение новых ветвей рассуждений и углубление текущих ветвей связаны. Если уверенность текущих ветвей останавливается или регрессирует, контроллер автоматически запускает создание новых ветвей.
* Распределение глубины с учетом согласованности: Вместо того, чтобы давать всем активным ветвям рассуждений одинаковый вычислительный бюджет, контроллер динамически определяет, какие ветви согласуются с текущим ведущим ответом. Затем он дает этим ветвям приоритетные "всплески" дополнительных вычислений.
Экономия и повышение точности в реальных тестах
Чтобы проверить, может ли ИИ действительно превзойти людей в проектировании стратегий рассуждений, исследователи протестировали AutoTTS на наборе задач логического вывода. Результаты показали, что AutoTTS может значительно сократить использование токенов без ущерба для точности. В некоторых случаях AutoTTS даже улучшил точность, одновременно снижая затраты.
AutoTTS – это глоток свежего воздуха в мире больших языковых моделей. Вместо того, чтобы полагаться на ручной труд и интуицию людей, этот фреймворк позволяет ИИ самостоятельно проектировать оптимальные стратегии рассуждений, экономя ресурсы и повышая эффективность. Возможно, в следующем году мы увидим, как эта технология будет внедрена в различных приложениях, делая ИИ еще более умным и доступным.