Эксперименты Intel с тысячами нагрузок агентного ИИ выявили ключевые принципы: от плотности агентов до выбора масштабирования
Enterprise-сектор наконец-то перестал воспринимать ИИ как просто «умный чатик». Теперь в фокусе — агентный ИИ: софтовые сущности, которые берут на себя целые бизнес-процессы, тащат задачи от начала до конца, дёргают базы данных, API, перекладывают документы и лезут в корпоративные системы. Звучит как хайп? Инженеры Intel решили проверить это на практике — и выдали вменяемые цифры и рекомендации.
Пять уроков от Intel
Чтобы разобраться в зависимостях, ребята из Intel прогнали тысячи экспериментов с агентными нагрузками. Итог — пять чётких правил, которые стоит запомнить любому, кто собирается внедрять агентный ИИ в серьёзной компании.
Первое: агентный ИИ — это не просто задача инференса, а куда более сложная системная проблема. Второе: большинство существующих бенчмарков для агентов убоги — они не меряют общую производительность системы. Третье: ёмкость надо планировать не по числу агентов, а по их плотности на виртуальное ядро (vCPU). Четвёртое: мониторить надо латентность выполнения задач, а не среднюю загрузку CPU. Пятое: по умолчанию надо масштабироваться горизонтально (scale-out), а вертикальный апгрейд оставлять для тяжёлых агентов с архитектурными ограничениями.
За рамками инференса: агенты как автоматизация процессов
Агентный ИИ — это не только инференс большой языковой модели. Корпоративная ценность рождается на стыке оркестрации задач, доступа к данным, исполнения тулзов, управления задержками и масштабируемой инфраструктуры. Любой агент — это, по сути, автоматизированный воркфлоу: он строит план из нескольких шагов, вызывает инструменты, читает результаты, а если что-то пошло не так — перезапускается. Именно поэтому это не инференс-задача, а системная.
Как измерить «хорошо»?
Обычно метрики агентного ИИ фокусируются на том, насколько хороша сама LLM. Но платформенной команде нужно другое: сколько времени занимает задача, сколько агентов может выдержать ферма, что чувствует пользователь на другом конце, как меняются затраты при росте числа агентов. Intel выделяет шесть практических метрик:
Вместе они дают ответы на ключевые вопросы: работает ли система как надо? Сколько агентов она выдержит? Как масштабироваться дальше?
Строим на твёрдом фундаменте: Terminal-Bench
Чтобы глубже понять производительность агентных нагрузок, инженеры Intel доработали открытый бенчмарк Terminal-Bench — туда добавили профилирование, телеметрию и возможность повторного воспроизведения сценариев. Это позволило увидеть, где именно агенты тратят время помимо инференса.
Расширение использует детерминированный рекорд-реплей ответов LLM: модель отвечает один раз, а потом этот ответ проигрывается одинаково во всех прогонах. Так убирается вариативность, и сравнение становится честным.
Набор задач в Terminal-Bench широкий: компиляция, тестирование, работа с базами данных, булева логика, интерпретация, трассировка лучей, компрессия, линейная алгебра, видеотранскодинг и машинное обучение. Такой разброс делает результаты релевантными реальным enterprise-средам.
Три измерения агентного ИИ
Развёртывание агентного ИИ Intel предлагает разбить на три фазы.
Планируйте плотность, а не количество. Правило номер один: нормализуйте число агентов по доступным вычислительным мощностям. Плотность (агентов на vCPU) — главный сигнал насыщения. Если у вас 10 агентов на 8-ядерной системе и 20 на 16-ядерной — при одинаковой плотности поведение будет схожим. Это даёт архитекторам переносимый способ сравнивать ёмкость на разных инстансах.
Оптимальная плотность зависит от бизнес-цели. Для интерактивных копилотов и ассистентов плотность должна быть ниже — время отклика критично. А вот пакетные задачи типа IT-воркфлоу можно крутить при большей плотности. Команды получают практический рычаг для настройки ферм под SLA и TCO.
Новая наблюдаемость. Средняя загрузка CPU — плохой сигнал для агентных нагрузок. Агенты постоянно скачут: то ждут ответа модели, то выдают короткие всплески вычислительной работы. Средняя загрузка может выглядеть приемлемо, хотя на деле эти всплески создают очереди и тормозят пользователя. Лучше следить за латентностью задач (P95) — она показывает, когда воркфлоу начинает ждать, ещё до того, как среднее время задачи заметно ухудшится. Практическая модель: срабатывать на P95, а затем подтверждать проблему по изменению длительности задач.
Масштабируйтесь горизонтально. Scale-out — добавление новых машин — увеличивает общую ёмкость. Scale-up — добавление ядер или памяти в одну систему — для агентов с тяжёлыми вычислительными всплесками. Данные Intel показывают: scale-out почти всегда предпочтительнее. Агенты полунезависимы, их всплески скромны, а горизонтальное масштабирование улучшает производительность, даёт высокую доступность, часто снижает стоимость и упрощает сохранение целевой плотности агентов на vCPU по мере роста платформы.
Вертикальный апгрейд имеет смысл, когда агентам нужны тяжёлые параллельные вычисления, общее состояние, критична локальность памяти или есть лицензионные ограничения.
Где агенты приносят реальную пользу?
Организации, которые уже получают production-результаты, накидывают слой автоматизации на процессы, где есть кодифицированные правила и измеримые уровни сервиса: написание кода, регрессионные тест-фермы, сортировка тикетов, рыночный анализ, security-ревью. Идеальный enterprise-заказчик для агентного ИИ — не экспериментатор, гонящийся за новизной, а ответственный руководитель, которому нужно сокращать циклы, повышать продуктивность, держать качество, соблюдать политики и масштабировать расходы.
Ценность агентного ИИ в том, чтобы помогать бизнесу выполнять реальную работу — через команды, системы, данные и процессы. Для корпораций приоритет не в том, чтобы сделать модель «ещё умнее», а в создании надёжной среды, где ИИ-агенты поддерживают бизнес-воркфлоу, повышают производительность, работают в рамках управления и масштабируются по мере роста.
На практике успех агентного ИИ зависит от правильного фундамента: стабильные результаты, контроль затрат, управляемость и уверенный переход от пилотов к промышленной эксплуатации. Intel поделилась конкретными цифрами и подходами — осталось внедрить.