Разбираемся, почему корпоративные ИИ-системы буксуют не из-за самих агентов, а из-за запутанной паутины взаимодействий, которую невозможно контролировать.
Внутри корпораций прямо сейчас зреет тихая угроза, о которой предпочитают молчать. Речь не о восстании машин и не о суперагенте, который внезапно обретет самосознание. Проблема куда прозаичнее и оттого опаснее — это запутанный клубок взаимодействий между десятками ИИ-агентов, который никто не видит целиком.
Компании не запускают одного агента и не наблюдают за ним в гордом одиночестве. Они разворачивают целые флотилии. Каждый агент дергает API, обращается к другим агентам, лезет в приложения, которые вообще-то проектировались под человека, а не под машину, принимающую решения. Вот где настоящий провал, от которого стоит просыпаться в холодном поту: разветвленная система, которую невозможно разглядеть достаточно ясно, чтобы управлять ею.
Но почему все так быстро становится непрозрачным? Добавьте второго агента в систему — получите одно новое соединение. Добавьте десятого — и соединений не десять, а потенциально десятки. Любой агент может дернуть любого другого, а каждый такой вызов способен запустить цепочку где-то еще. Сложность не ползет вверх вместе с количеством агентов. Она растет экспоненциально от числа путей между ними. И ни у кого в штате нет задачи нарисовать этот граф связей. Обычный тикет в поддержку, который раньше проходил через одну систему, теперь может шлепать через четырех агентов, прежде чем до него доберется живой человек. Каждая такая передача — точка принятия решения, которую никто не утверждал.
Большинство корпоративных ИИ-программ спотыкаются именно тогда, когда люди, ответственные за агентов, теряют нить. Задайте службе безопасности простой вопрос: какие агенты имеют доступ к каким системам? И наслаждайтесь тишиной. Спросите, какой агент запустил какое действие тремя хопами ранее. Тишина будет еще более красноречивой.
Чек-лист — не панацея
Инстинкт подсказывает лечить это чек-листом. Одобрил агента. Записал агента. Пошел дальше. Позвольте не согласиться. Чек-лист фиксирует один момент времени. Сложность же живет в цепочке, и управлять цепью стопкой разовых одобрений — это как назвать диету успешной, потому что вы однажды съели овощ.
Где именно ломается система? Начнем с расползания прав доступа. Кто-то создает агента для суммаризации тикетов, выдает ему широкий доступ к API, потому что нормальное разграничение прав потребовало бы еще один спринт, и забывает о нем. Через полгода этот же агент имеет путь к платежной системе. Никто не помнит, кто это подписал. Да никто и не подписывал.
Владение размывается по мере удлинения цепочки. Пять агентов трогают один рабочий процесс, что-то ломается на четвертом шаге — и вы пытаетесь найти ответственного за звено, которое никто не назначал. Оргструктура закончилась на этапе "разверни агента" и так и не дошла до "назови человека, который за него отвечает".
Идентичность и надзор
Это история про инфраструктуру управления, которая не поспевает за реальным поведением агентов: взаимосвязанных, каскадных, размножающихся быстрее, чем процессы, созданные для их отслеживания.
Решение клубка начинается с идентичности. Каждый агент должен существовать как отдельная сущность, а не как теневое разрешение, позаимствованное у того, кто его развернул. Собственное имя в реестре. Собственные ограниченные полномочия. Названный человек-спонсор, который отвечает за его действия. Это необходимо. Но абсолютно недостаточно.
Самое сложное — надзор, который работает вдоль всей цепочки, а не на каждом отдельном звене. Нужно видеть, что агент сделал, что он запустил дальше по цепочке и где этот след заканчивается. В реальном времени, а не в отчете, который кто-то соберет раз в квартал. Настройте идентичность на уровне агента и остановитесь на этом — получите шкаф с идеально документированными агентами внутри системы, которую никто не может объяснить.
Надзор сам по себе лишь сообщает, что уже случилось. Наблюдение за цепочкой — не то же самое, что контроль над ней. Принуждение — вот элемент, который большинство программ пропускает: возможность остановить недопустимый вызов до его исполнения, а не просто записать его для обнаружения через три недели. Панель мониторинга, показывающая, что агент нарушил свои полномочия пять минут назад, — это инструмент наблюдения. Система, которая предотвращает нарушение с самого начала, — это управление. Компании, серьезно относящиеся к подотчетности агентов, нуждаются в обоих. У большинства построена только первая.
Мы все несемся на бешеной скорости, чтобы не остаться позади в гонке, в которой оказались, и все прекрасно осознаем цену замедления. Любая серьезная компания на пути к агентному ИИ рано или поздно упирается в стену сложности. Те, кто проходит сквозь нее, строят достаточно видимости и подотчетности, чтобы их флот мог расти без потери способности ответить на один вопрос: что эта система делает прямо сейчас и кто за нее отвечает?
Сложность — не повод тормозить
Но не упустите главное. Сложность — не повод жать на тормоза. Компании, которые делают все правильно, не замедляются. Они строят то, что можно назвать гармонией человека и агента, где масштаб и подотчетность растут вместе, а не в ущерб друг другу.
Настоящий риск никогда не был в одном агенте, делающем ровно то, для чего его создали. Риск — в сотне таких агентов, работающих одновременно и взаимодействующих в комбинациях, которые никто не проектировал. Вот такое размножение и держит корпоративный ИИ в вечном режиме пилотов вместо продакшена.
Решите проблему сложности — и автономия перестанет быть злодеем. Она станет смыслом всего предприятия.
Лично мне эта картина кажется одновременно пугающей и обнадеживающей. Пугающей — потому что большинство компаний даже не начали рисовать граф своих агентских связей. Обнадеживающей — потому что те, кто возьмется за это первым, получат гигантское конкурентное преимущество. Будем следить за развитием событий.