Выкатили крутую модель в прод. GPU куплены, RAG-пайплайн настроен, менеджеры потирают руки в ожидании “прорывного AGI”. Проходит неделя — и всё летит в тартарары. Инференс тормозит, пользователи жалуются на галлюцинации, а дата-сайентисты в панике перезагружают кластер. Знакомо? Добро пожаловать в реальный мир, где операционный ИИ разбивается о простую, как лопата, проблему — доставку данных.
Пилот vs Продакшн: разница в терпении
VentureBeat, при поддержке F5, решили ткнуть носом всех в эту проблему. В статье чётко разводят два мира. В пилоте у вас идеальные условия: один клиент, один поток, стабильная сеть. Зависла загрузка? Ну, подождём 5 секунд — не критично. Но в продакшене этот же "затык" — уже полноценный инцидент с часами простоя. "Когда предприятие переводит AI из пилота в промышленную эксплуатацию, доставка данных становится тем самым узким местом, которое решает, будет ли система масштабироваться", — говорит Хантер Смит из F5.
Дело в том, что классическая архитектура "точка-точка", где S3-клиент напрямую тыкается в S3-хранилище, не рассчитана на удары судьбы. Когда у вас одновременно 1000 запросов, а один нод стораджа лёг, начинается цепная реакция: ретраи, таймауты, и весь пайплайн встаёт колом. "Если один нод хранилища падает, весь трафик к кластеру деградирует, а в некоторых случаях кластер может упасть полностью", — объясняет Пол Пинделл из F5.
Самое смешное (и грустное), что современные AI-воркфлоу — RAG-инференс и агентные системы — <<...>> стали относиться к S3 как к первосортному участнику кластера. Но сетевая связка между этим стораджем и GPU изначально проектировалась под обычные бэкапы, а не под непрерывный поток терабайт в секунду.
Цена простоев: GPU простаивают, деньги горят
"Руководители смотрят на загрузку GPU и думают, что это главная метрика. Но AI-инфраструктура — это не код на сервере, это живая система, где каждое взаимодействие влияет на результат", — отмечает Тану Мутреджа из F5. И вот вам последствия: пайплайн инференса встал — вы нарушили SLA и потеряли клиента. RAG-система не успела подтянуть актуальные данные — модель выдала чушь, репутационный риск обеспечен.
А теперь самое больное: деньги. GPU, которые стоят как космический корабль, простаивают в ожидании данных. "Когда GPU недозагружены, это сигнал о неэффективности инфраструктуры, которая раздувает затраты, одновременно ограничивая масштабируемость", — добавляет Мутреджа. Вы купили 8 H100, а используете их на 30% — классика.
Как F5 предлагает чинить этот бардак
Решение, которое они пилят вместе с Dell для ObjectScale, простое и элегантное. Они предлагают сделать "доставку данных" (data delivery) отдельным, осознанным слоем инфраструктуры. Больше никаких наивных "авось сеть выдержит". Вместо этого:
Обсервабилити — вы в реальном времени видите задержки, пропускную способность и здоровье потоков.
Программируемость — вы пишете политики для динамической маршрутизации, ограничения трафика и автоматического фейловера.
Отказоустойчивость — система знает, что сеть будет деградировать, и умеет это переживать.
Конкретный пример: они ставят F5 BIG-IP между ObjectScale и AI-вычислениями. Это такой "умный" контроллер на границе стораджа. "Мы видели случаи, когда ошибка в конфиге AI-слоя фактически устраивала DDoS-атаку на S3-инфраструктуру. Не со зла, а в духе 'Ой, блин, что я наделал?', но сторадж падал на всю организацию", — рассказывает Пинделл.
И самое главное — производительность не страдает. Тесты SecureIQLab показали, что пропускная способность не падает, а иногда даже растёт. "Сохранять и даже улучшать пропускную способность — это обязательное условие. Только так можно накрутить поверху защиту и отказоустойчивость, не жертвуя скоростью", — подчёркивает Пинделл.
Гибридные облака — это ад для данных
Если у вас AI живёт в гибридном или мультиклаудном окружении, проблема усугубляется. Данные таскаются между разными политиками безопасности, системами идентификации и зонами ответственности. Единого окна нет, везде свои глюки.
Тут в игру вступает связка программируемого управления трафиком и обсервабилити. Система даёт единую картину здоровья сети и приложений, а умный роутер на основе этих данных перенаправляет трафик в обход проблем. Это замкнутый цикл обратной связи, который позволяет не замечать, что у вас половина ЦОДов лежит.
Почему одни живут, а другие — вечные пилоты
Компании, которые вылезают из бесконечных пилотов, имеют одну общую черту: они проектируют инфраструктуру с учётом того, что отказы — это норма. Они не надеются на идеальную сеть. Они закладывают задержки, перегрузки и частичные аварии прямо в архитектуру.
"Команды, застрявшие в перпетуальных пилотах, всё ещё оптимизируют под идеальный лаб-тест и узнают о разрыве с реальностью только когда ворклоуд идёт в прод", — резюмирует Смит. Проблема не в качестве модели или количестве GPU. Проблема в том, что слой доставки данных вы спроектировали по остаточному принципу. А он такой же важный, как и сами вычисления.