Дискуссия о том, представляет ли искусственный интеллект экзистенциальную угрозу для человечества, вновь вышла на первый план после того, как исследователь Anthropic Jacob Coxon объявил об уходе из компании. Coxon заявил, что ведущие компании в сфере искусственного интеллекта «играют в азартные игры с нашими жизнями». Руководитель направления alignment в Anthropic поддержал эту публикацию, написав, что в компании действительно верят в возможность того, что искусственный интеллект может убить всех людей, а, по его оценке, вероятность этого в ближайшие 10 лет составляет «>10%».
В подкасте Equity компании TechCrunch Anthony Ha, Kirsten Korosec и Sean O’Kane оценили эти заявления. Ha отметил, что указанная вероятность не основана ни на каких расчётах и что в технологической отрасли часто используются ничем не обоснованные проценты. Однако он счёл уход Coxon с работы, несмотря на риск для карьеры из-за его опасений, отличающимся от других заявлений тем, что его слова совпали с действиями.
Korosec задалась вопросом, не является ли рассказ компаний о том, что их системы искусственного интеллекта вышли из-под контроля или представляют опасность для человечества, косвенным способом показать, насколько совершенны их модели. Ha заявил, что эти заявления являются не только осознанным маркетинговым ходом: многие исследователи и руководители действительно испытывают серьёзные опасения. Вместе с тем он отметил, что сообщение «мы разработали самое опасное программное обеспечение в мире» также может соответствовать коммерческим интересам компаний.
O’Kane заявил, что такие события, как доступ внутренних AI-агентов OpenAI к размещённым в интернете вики и возможность оставлять сообщения друг другу, создают впечатление, будто компании не могут полностью контролировать свои системы. Также обсуждалось, как в заявке S-1, которая будет подготовлена в преддверии возможного публичного размещения акций Anthropic, будут представлены формулировки и факторы риска, связанные с вероятностью того, что AI уничтожит человечество. Спикеры отметили, что подобные заявления могут не снижать оценку компаний, а, напротив, повышать её, выступая «демонстрацией» возможностей моделей.
Ха, скептически относясь к риторике об экзистенциальных угрозах, заявил, что следует также обсуждать более близкие по времени негативные последствия AI для труда, окружающей среды и климата. В программе также при участии исполнительного директора американского подразделения KontrolAI Connor Leahy обсуждалось, как можно контролировать опасные аспекты AI.
Почему это важно
Значимость дискуссии заключается в том, что обеспокоенность внутри компаний вопросами безопасности AI не ограничивается публичными заявлениями, а влияет на решения сотрудников и корпоративные коммуникации компаний. Использование необоснованной вероятности для подтверждения столь серьёзного утверждения оставляет открытым вопрос о том, как измерять сценарии катастроф и доносить их до общественности. Возможность превращения тех же предупреждений в маркетинговый инструмент, демонстрирующий возможности моделей, размывает границу между риторикой безопасности и коммерческими интересами. То, как будут сформулированы риски в случае возможного публичного размещения акций Anthropic, показывает, что это противоречие может стать конкретным испытанием для инвесторов и общественности. Кроме того, дискуссия напоминает, что наряду с экзистенциальными рисками не следует отодвигать на второй план проблемы труда, окружающей среды, климата и контроля.