Обнаружить использование искусственного интеллекта в научных публикациях и академических текстах становится всё сложнее. Последнее исследование, проведённое компьютерным лингвистом Fırat Mıhcı, показало, что модели искусственного интеллекта способны переписывать созданные ими собственные черновики и полностью выводить из строя системы обнаружения. Одобрение этих текстов редакторами-людьми и публикация под настоящими именами приводят к тому, что языковые шаблоны, созданные машинами, со временем начинают восприниматься как часть стандартного человеческого словарного запаса.
В исследовании рассмотрены 18 тысяч 989 академических аннотаций
В рамках исследования были подробно изучены 18 тысяч 989 академических аннотаций, опубликованных в трёх различных дисциплинах в период с 2019 по 2026 год. При сравнении периодов до и после начала использования инструментов искусственного интеллекта, которые получили широкое распространение в конце 2022 года, доля слов, связанных с искусственным интеллектом, в аннотациях по компьютерной лингвистике выросла с 1,9 на 10 тысяч слов до 14,0. Этот рост составил примерно семь раз.
Аналогичная тенденция наблюдалась и в аннотациях по нейронауке. Доля таких слов в этой области выросла с 1,7 на 10 тысяч слов до 8,7, увеличившись примерно в пять раз. В математических аннотациях показатель вырос с 0,9 до 1,3. Исследователи использовали это статистически неопределённое изменение в качестве контрольной группы.
Работы, подобные отчёту MIT, показавшему, что в учебных заведениях курсовые работы уже подвергались автоматизации, обращали внимание на влияние искусственного интеллекта на академическое производство. Новое исследование на основе конкретных данных показывает, в какой степени это влияние отражается в опубликованной научной литературе.
Изменения в часто используемых словах
В ходе частотного анализа было установлено, что со временем менялись слова, широко используемые в текстах, созданных искусственным интеллектом. В изученных аннотациях частотность слова «delve» («изучать углублённо»), использованного в 2024 году в 2,75% случаев, снизилась до 0,12% в ещё не завершённом наборе данных за 2026 год. В то же время было установлено, что такие часто используемые искусственным интеллектом термины, как «intricate», «showcase», «nuanced» и «underscore», закрепились в научной литературе.
Было установлено, что рецензенты и редакторы перед публикацией этих текстов не делали никаких пометок об их искусственном происхождении.
Замкнутый круг в системах обнаружения
То, что тексты, созданные искусственным интеллектом, самостоятельно исправляются и приближаются по виду к написанным людьми, создаёт двусторонний риск для существующего программного обеспечения для обнаружения. Системы обнаружения, обученные на старых текстах, могут ошибочно помечать оригинальные тексты реальных авторов, на которых повлиял искусственный интеллект, как созданные искусственным интеллектом. В то же время новые модели, обученные с использованием актуальных статей, считают сформированный искусственным интеллектом язык обычной основой и поэтому оказываются недостаточно эффективными для выявления текстов, созданных искусственным интеллектом в будущем.
Исследователи указывают на то, что текстовые механизмы проверки утратили надёжность. Отмечая, что понятие человеческого письма со временем изменилось, исследователи подчёркивают необходимость методов, выходящих за рамки проверки стиля, чтобы сохранить академическую добросовестность.