Руководители крупнейших ИИ-компаний предупреждают: их собственные разработки могут помочь создать биологическое оружие, и призывают замедлиться.
Главы OpenAI и Anthropic — компаний, которые вроде бы должны конкурировать до последнего — вдруг заговорили об одном и том же. Искусственный интеллект может помочь создать биологическое оружие. Дэрио Амодеи из Anthropic заявил, что прогресс стоит замедлить. Сэм Альтман из OpenAI ответил в соцсети: «Согласен с Дэрио, нужно сбавить обороты на передовой». Когда конкуренты начинают соглашаться друг с другом по таким вопросам, это уже не маркетинг.
Чуть раньше исследователь Джейкоб Коксон объявил, что уходит из Anthropic, обвинив компанию и OpenAI в безответственности. «Люди, которые строят ИИ, искренне верят, что он может убить нас всех к концу десятилетия», — написал он. Его коллега Эван Хубингер публично согласился: «Мы действительно искренне верим, что ИИ может убить всех людей. Лично я оцениваю вероятность более 10% в ближайшие десять лет».
Anthropic и отчет о попытках создания биологического оружия
Один из сценариев конца света — использование ИИ для разработки, создания и распространения биологического оружия. Это может быть вирус, нацеленный на людей по генетическому признаку. Грибок, уничтожающий урожай и вызывающий продовольственный кризис. Или токсин без вкуса и запаха, который незаметно попадет в водоснабжение региона.
В 2022 году исследователи из Collaborations Pharmaceuticals обнаружили, что их модель для поиска лекарств легко перепрофилируется. За шесть часов она сгенерировала 40 000 молекул, потенциально пригодных для химического оружия. Некоторые оказались токсичнее известных нервно-паралитических агентов. «Без излишней паники, это должно послужить тревожным звонком для коллег из сообщества "ИИ в разработке лекарств"», — написали авторы.
Для Дэвида Магнуса, профессора медицины и биомедицинской этики Стэнфордского университета, это стало холодным душем. Он оценивает риски misuse медицинской науки с конца 1990-х, но такого поворота не ожидал. «Это было очень страшно. С тех пор всё просто взорвалось», — говорит он.
OpenAI, Anthropic и эрозия барьеров знаний
Сегодня ИИ-боты отвечают на вопросы из всех областей науки. Любой может использовать большие языковые модели, обученные на знаниях «почти каждого ученого, когда-либо жившего на планете», говорит Дунья Сабра, исследователь биобезопасности из Гамбургского университета. Эти модели дают инструкции и видеообучение по проведению экспериментов. Добавьте к этому достижения биотехнологии, которые сделали редактирование генов и синтетическую биологию доступнее — движение DIY-биологии уже позволило многим оборудовать лаборатории дома. «Шансы, что кто-то целеустремленный в итоге добьется своего, довольно высоки», — считает Сабра.
Защитные механизмы есть. Люди, желающие построить новые геномы, обычно заказывают фрагменты ДНК у компаний, которые проверяют подозрительные запросы. Ответственные исследователи проводят «красные команды» — независимые ученые ищут способы misuse работы, и «синие команды» — другие придумывают меры защиты. ИИ-компании настраивают инструменты, чтобы те не выдавали опасную научную информацию. Но ни одна из этих защит не является железобетонной.
В отчете, опубликованном на прошлой неделе, Anthropic признала: люди пытались использовать их модели, чтобы сделать вирус чикунгуньи более заразным, создать форму птичьего гриппа, более опасную для человека, и построить «атлас ядовитых пептидов», среди прочего. «У нас постоянное противостояние, — говорит Магнус. — Нужно строить лучшие системы наблюдения и скрининга, но искусственный интеллект действительно хорош в поиске обходных путей». Вероятно, для ограничения ИИ придется использовать сам ИИ, добавляет он.
Разногласия среди ученых и призывы к регулированию
Не все ученые согласны с уровнем риска. На недавнем брифинге для прессы некоторые биологи из Имперского колледжа Лондона argued, что ИИ-инструменты недостаточно хороши для полной разработки биологического оружия, а тестирование новых патогенов требует сложной, трудоемкой человеческой работы. Некоторые считают существующие ограничения достаточными.
Венди Барклай, профессор инфекционных заболеваний Имперского колледжа, отметила: на данный момент наибольший риск пандемии исходит не от биологического оружия, а от патогенов, которые уже циркулируют. Возьмите H5N1 — вирус птичьего гриппа, который убил миллионы птиц и широко распространился среди молочного скота в США. В прошлом месяце его обнаружили у норок на ферме в Юте.
Сабра предпочитает думать на пять-десять лет вперед. Страны должны укреплять системы здравоохранения, готовить антидоты к известным токсинам и накапливать лекарства. «Нужно быть готовыми», — говорит она. Кевин Эсвельт, биолог из MIT, изобретший технологию ускоренного распространения генетического признака через целую популяцию и способы ограничить эту технологию, поддержал тревогу в посте в соцсети: большая языковая модель «раскрыла новую форму биологического оружия, о возможности которой я не подозревал». Он добавил: «Пожалуйста, ради любви к Богу, детей, будущего человечества или чего вы там считаете святым, давайте проявим осторожность».
Тем временем OpenAI и Anthropic вместе с другими подписали открытое письмо в Конгресс с призывом ввести обязательный скрининг заказов синтетической ДНК и РНК. Сейчас компании делают это добровольно, но письмо требует закрепить практику законодательно. Также предлагается вести учет заказов и точных спецификаций материалов для потенциальных расследований в сфере биобезопасности. «Способность заказывать синтетическую ДНК онлайн ускорила разработку вакцин, обеспечила базовые исследования и позволила небольшим командам получить доступ к возможностям, которые раньше были доступны только крупным институтам», — говорится в письме. Однако та же доступность открывает путь для misuse.
Это редкий момент согласия между отраслями, которые обычно спорят о регулировании. Но когда речь заходит о биологическом оружии, даже конкуренты находят общий язык. Вопрос в том, успеют ли они что-то изменить, пока барьеры знаний не исчезли окончательно.