Пока одни стартапы пытаются впарить нам очередной крипто-кошелёк или AI-генератор котиков, Google DeepMind решили реально взглянуть в глаза апокалипсису. В сети появилась информация о свежем манифесте, подкреплённом живыми деньгами: DeepMind совместно с фондом Schmidt Sciences, британским аналогом DARPA (ARIA) и некоммерческой Коалицией по кооперативному ИИ (Cooperative AI foundation) заколачивают $10 млн на изучение того, что случится, когда в сети столкнутся миллионы автономных AI-агентов.
По данным MIT Tech Review, который и опубликовал оригинальный материал, главный инженер по safety AGI Рохит Шах говорит прямо: мы стоим на грани новой парадигмы угроз. Если раньше мы боялись, что один супер-интеллект поработит человечество, то теперь страх выглядит иначе — миллионы тупых (относительно) агентов, которые торгуются, читают друг другу инструкции, совершают кибератаки и вообще «общаются» без присмотра. Шах сравнивает это с эволюцией человеческих институтов: ни один человек не построит город, но миллионы людей — запросто. С агентами будет то же самое, только цифровое гетто может рухнуть в анархию значительно быстрее.
Куда уходят деньги и чего боятся
Десять миллионов — это не зарплата одного вице-президента Google, а именно «бутстрап» для академической науки. Шах поясняет: академия, в отличие от индустриальных лабораторий, умеет смотреть на 10 лет вперед. Они хотят, чтобы учёные со стороны начали копать тему «мультиагентной безопасности», которой как науки пока просто не существует. План простой: нужно строить виртуальные песочницы, запускать туда толпы AI-моделек и смотреть — когда они начнут ломать друг друга.
Какие риски? Самые денежные и приземлённые. Если сегодня нас достают скамеры из колл-центров, то завтра схему взлома может провернуть рой агентов. Главный ужас — «prompt injection»: когда один агент внедряет в инструкцию другого вредоносную строку, превращая соседа в кибер-зомби. Представьте, что ваш личный финансовый ассистент случайно прочитал документ от враждебного бота и перевёл все сбережения не туда. И это не хайп — об этом говорят на полном серьёзе. Шах и Джеймс Фокс из Schmidt Sciences подчёркивают: «Цифровые общины должны быть защищены от анархии». Дословно — «absolute anarchy».
Мнение экспертов и что делать
В защиту этой идеи выступили даже кибер-безопасники из Akeyless. Рефаэль Анхель их CTO, напоминает: старая школа security построена на том, что софт пишет человек и он делает предсказуемые вещи. Агент же мыслит, появляется, его может перехватить одно слово в 100-страничном PDF. Он приветствует инициативу DeepMind, но предупреждает: не надо увлекаться экзотическими сценариями, пока реальные уязвимости уже здесь. А вот Джеймс Фокс парирует: «Будущее пришло быстрее, чем мы ожидали».
Стоит отметить, что DeepMind — не одиночки в панике. Anthropic буквально пару недель назад опубликовали целые гайдлайны для безопасного развёртывания агентов, основанные на подходе «zero trust» (никому не верь). Они предлагают сразу считать, что любой встречный агент — это злоумышленник. Логично, если у нас в сети скоро будет несколько миллионов таких «нейро-хомячков».
Интересно, что некоторые исследователи DeepMind уже выдвигали теорию: если AGI вообще возможен, то он родится не от одной супермозг-сети, а от роевого разума мультиагентов. То есть, когда миллион тупых агентов вдруг станут умнее целого. Это ли не повод для беспокойства? Мы не просто создаём приложение — мы пытаемся контролировать зарождение массового искусственного сознания. Симуляции сейчас — единственный способ заглянуть за грань.