В последние недели руководители некоторых крупных компаний в сфере AI предупредили, что разрабатываемые ими технологии опасны. CEO Anthropic Dario Amodei заявил, что прогресс необходимо замедлить, а CEO OpenAI Sam Altman отметил, что согласен с ним: темпы «frontier»-исследований следует регулировать.
Исследователь Jacob Coxon, покинувший Anthropic, обвинил Anthropic и OpenAI, где он ранее работал, в безответственном поведении. Coxon написал, что разработчики AI считают, что к концу десятилетия это может привести к гибели всего человечества. Сотрудник Anthropic Evan Hubinger также согласился с этой точкой зрения и заявил, что оценивает вероятность такого сценария в ближайшие десять лет как «>10%».
Одно из опасений заключается в том, что AI может помочь разрабатывать биологическое оружие — например, смертельные вирусы, нацеленные на гены человека, грибки, способные уничтожить сельское хозяйство, или токсины, которые можно незаметно добавлять в воду. В 2022 году исследователи Collaborations Pharmaceuticals продемонстрировали, что с помощью разработанного ими генератора молекул менее чем за шесть часов можно создать 40.000 молекул, способных быть химическими боевыми агентами; некоторые из них были спроектированы так, чтобы быть более токсичными, чем известные нервно-паралитические агенты.
David Magnus из Stanford счёл это очень пугающим. По словам исследовательницы в области биобезопасности Dunja Sabra из Гамбургского университета, боты на базе AI способны предоставлять научную информацию, инструкции по проведению экспериментов и видеоуроки. Распространение генного редактирования, синтетической биологии и домашних лабораторий повышает риск.
Существуют проверки DNA, «red-teaming», «blue-teaming» и меры безопасности AI, однако Sabra отмечает, что в конечном счёте настойчивый человек может добиться успеха.
Почему это важно
Эта дискуссия показывает, что безопасность AI не ограничивается лишь тем, как ведут себя системы, но также охватывает возможность злоупотребления биологическими и химическими угрозами уже на этапе разработки. Хотя существующие проверки DNA, методы межкомандного контроля и другие меры безопасности призваны снизить риск, остаётся неясным, достаточно ли их, чтобы остановить попытку настойчивого человека. Поэтому главный вопрос заключается не только в том, как регулировать темпы разработки, но и на каком этапе следует применять меры безопасности и в какой степени считать их достаточными. Эта тема напрямую касается не только руководителей и сотрудников компаний, занимающихся AI, но и исследователей, работающих в области редактирования генов, синтетической биологии и домашних лабораторий.
Термин: агент
Агент AI — это программное обеспечение, которое не просто генерирует один ответ, а вызывает инструменты и выполняет многоэтапные задачи для достижения цели.