Назад в ленту

Управление ИИ-агентами: почему контроль должен жить на уровне данных

Когда агенты действуют сами, абстрактные политики не работают — нужна исполняемая защита прямо в базе данных.

Представьте: корпоративные ИИ-агенты получают все больше свободы. Они планируют, принимают решения и действуют через разные системы без человека, который одобряет каждый шаг. И тут всплывает вопрос, от которого у любого архитектора начинает дергаться глаз: что реально остановит агента, если он попытается выполнить действие, на которое ему никто не давал разрешения?

Это ваши агенты. Они работают на ваших моделях, трогают ваши данные в вашей инфраструктуре. Ответственность за их действия лежит на вас. И ее нельзя закрыть задним числом или набором абстрактных политик, которые существуют только на бумаге. Агентам нужны правила в контексте конкретного момента. Потому что собственного суждения — того самого, что позволяет человеку остановиться и подумать, — у них нет.

Правило автомобильной двери

Вот классический пример. Правило: никогда не открывай дверь машины. Буквальное следование означает, что агент вообще не сможет сесть в авто или выйти из него. Но меняем контекст: машина попала в аварию, начался пожар, человеку нужна помощь. И тогда правило, которое нам на самом деле нужно, — прямо противоположное. Контекст решает всё. Мы хотим, чтобы агенты делали умные вещи. Значит, и правила им нужны умные.

Появляется естественный инстинкт — навесить вокруг агента побольше предохранителей: инструкции, политики, мониторинг. Всё это полезно, но у такого подхода есть фундаментальный предел. Правило про дверь выглядит разумным ровно до того момента, как нужно решать, открывать её или нет. Контроль на уровне агента настолько же надежен, насколько предсказуем вывод агента. А автономность — это как раз свойство, которое делает этот вывод непредсказуемым. Управление, которое требует проверки действия до его выполнения, просто не успеет за системой, работающей за миллисекунды сразу в нескольких местах.

Вывод один: governance должен стать исполняемым. И применяться там, где агенты реально работают, — на операционном слое данных, в контексте, в тот самый момент, когда всё происходит.

Слой данных — точка принуждения

Агенты создают ценность тем, что касаются данных. Они запрашивают их, извлекают, преобразуют и всё чаще действуют на их основе. Политика, которая говорит «агенту нельзя получать доступ к такому-то классу данных», имеет смысл только в том случае, если система может отказать в доступе в момент запроса. Принцип «ИИ должен быть аудируемым» тоже становится реальным, только если организация может восстановить, что именно агент сделал, какие данные затронул, от имени какого пользователя действовал и к чему это привело.

Когда governance живет на уровне данных, он работает независимо от того, как построен агент и как он себя ведет. Контроль — это свойство самой базы данных, а не обещание агента.

Вероятностное поведение и детерминированная защита

Поведение агента может быть вероятностным. Управление — нет. Предприятие не должно полагаться на то, что модель «решит» следовать политике. Политику должна обеспечивать система. Это разница между надеждой, что актер останется в рамках, и конструкцией, в которой выйти за эти рамки физически невозможно.

Механизмы, которые делают это реальным, уже есть во многих компаниях: управление доступом на основе ролей и атрибутов, безопасность на уровне строк и столбцов, классификация и маскирование, политика как код, полные журналы аудита. Агенты ничего не меняют в механизмах. Они меняют лишь то, кого эти механизмы обязаны распознавать.

Управление идентификацией должно рассматривать агента как самостоятельного субъекта — с собственной идентичностью и заявленной целью, которая объявляется при открытии сессии. Как только цель привязана к идентичности, движок политик оценивает её так же, как роль или отдел. А записи о произошедшем фиксируют не только кто действовал и что затронул, но и зачем пришел.

Девять практических механизмов

Все это выливается в девять конкретных контролов, сгруппированных в три императива.

Принудительное исполнение

Управление доступом на основе ролей и атрибутов, применяемое во время запроса — и для агентов, и для пользователей. Динамическое маскирование столбцов, управляемое тем же политическим контуром. Идентичность агента как субъекта первого класса с заявленной целью, привязанной при старте сессии, и сохранением действующего пользователя.

Видимость и доказательность

Классификация и тегирование данных, которые управляют политиками. Журналирование на уровне сессии: какой агент действовал, для какого пользователя, под какой заявленной целью. Прослеживаемость конвейеров данных, чтобы результат можно было проследить до запроса, который его породил.

Унификация и усиление

Централизованное переносимое управление политиками. Шифрование в покое и при передаче. Согласованное принуждение в локальной инфраструктуре, в облаке и в изолированных или закрытых средах.

Заявленная цель — вот что меняет дело. Она становится атрибутом, который слой доступа уже понимает, и оценивается тем же путем, что роль и безопасность на уровне строк. Механизм принуждения не меняется. Меняется то, что цель агента становится частью оценки и частью доказательства задним числом. Это подтверждает и Приянка Джейн, вице-президент EDB по управлению данными и ИИ.

Где бы вы ни находились на пути внедрения ИИ, принуждение на уровне данных позволяет двигаться быстрее, а не медленнее. Контроли уже есть в базе данных. Разница в том, что агенты теперь обязаны через них проходить.

Цифровой поводок, а не закрытая дверь

Цель — не остановить агентов, а определить, как далеко они могут зайти, к чему прикасаться, что менять, что требует эскалации и как организация может восстановить события, если что-то пошло не так. При таком управлении агенты идентифицированы, ограничены по области действия, за мониторены и аудируемы. Предприятие может внедрять их быстрее, потому что службы безопасности, рисков и руководство доверяют операционной модели под капотом.

Открытость и суверенитет на уровне источника

Построенная на открытом Postgres, такая основа оставляет предприятию контроль над тем, где живут данные, кто может до них добраться и по каким правилам. Без передачи управления слою, который не принадлежит организации или который нельзя проверить. Для регулируемых отраслей сочетание суверенитета данных и принуждения на уровне источника — не приятный бонус, а необходимое условие для вывода агентов в продакшн.

Агентные системы будут становиться все более способными и автономными. Это повод задуматься о том, где живет контроль, а не тормозить развитие. Компании, которые внедряют управление на уровне данных, могут агрессивно двигаться в ИИ, потому что защита их данных — это не просто благие пожелания. EDB Postgres AI — открытая, корпоративная, суверенная платформа данных и ИИ, объединяющая транзакционные, аналитические и ИИ-нагрузки с управлением там, где живут данные. Полную структуру можно найти в белой книге EDB, посвященной управлению агентным ИИ на скорости предприятия.

Мы же, со своей стороны, просто радуемся, что дискуссия про ИИ наконец-то спустилась с небес абстрактной этики на землю конкретных баз данных. Потому что спасать нас от умных алгоритмов будут не философские манифесты, а правильно настроенный доступ к таблицам.

Справка по теме (FAQ)
Почему управления на уровне инструкций агента недостаточно?
Инструкции и политики, наложенные поверх модели, работают только до тех пор, пока поведение агента предсказуемо. Автономность делает выводы непредсказуемыми, поэтому контроль, требующий проверки каждого действия, не успевает за системой, действующей за миллисекунды.
Что значит «управление на уровне данных»?
Это перенос точек принуждения политик непосредственно в базу данных: проверка прав доступа в момент запроса, маскирование данных, аудит. Тогда контроль становится свойством самой базы, а не обещанием агента следовать правилам.
Какие механизмы уже есть в базах данных?
Ролевое и атрибутное управление доступом, безопасность уровня строк и столбцов, классификация и маскирование, политика как код, журналы аудита. Эти инструменты используются давно, но теперь они должны распознавать агентов как отдельных субъектов с заявленной целью.
Почему для агентного ИИ важен суверенитет данных?
Регулируемым отраслям нужно контролировать, где хранятся данные и кто может к ним обратиться. Открытая платформа на базе Postgres позволяет сохранить этот контроль на уровне источника, не передавая его стороннему слою, который нельзя проверить.