科学出版物や学術文書における人工知能の利用を見抜くことは、ますます難しくなっている。計算言語学者のFırat Mıhcıが実施した最新の研究で、人工知能モデルは自ら作成した草稿を書き直すことで、検出システムを完全に無効化できることが示された。これらの文章が人間の編集者によって承認され、実在の名前で公開されることで、機械が生み出した言語パターンが時間の経過とともに、標準的な人間の語彙の一部として受け入れられるようになっている。
研究では18千989件の学術要旨を分析
この研究では、2019年から2026年にかけて3つの異なる分野で発表された18千989件の学術要旨が詳細に分析された。2022年末に普及した人工知能ツールが使われ始める前後の時期を比較すると、計算言語学分野の要旨において、人工知能と関連付けられる語の割合は10千語あたり1.9から14.0へと上昇した。この増加は約7倍と記録された。
神経科学の要旨でも、同様の傾向が見られた。この分野の割合は10千語あたり1.7から8.7へと上昇し、約5倍に増加した。一方、数学の要旨では、割合は0.9から1.3へと上昇した。研究者らは、統計的に不確実なこの変化を対照群として扱った。
教育機関では、学部課題が以前から自動化されていたことを明らかにしたMITの報告書のような研究が、人工知能が学術的な生産に及ぼす影響に注目を集めていた。新たな研究は、この影響が公刊された文献にどの程度反映されているのかを、具体的なデータによって明らかにしている。
頻繁に使われる語の変化
頻度分析の結果、人工知能が生成した出力で広く使われる語が、時間の経過とともに変化していることが明らかになった。調査対象となった要旨では、2024年に2.75％の割合で使われていた「delve」（深く掘り下げて調べる）という語の頻度が、2026年のまだ完成していないデータセットでは0.12％に低下した。一方、「intricate」、「showcase」、「nuanced」、「underscore」といった人工知能が頻繁に使う用語が、文献に定着していることも確認された。
査読者や編集者は、これらの文章を公開する前に、人工知能によって生成されたものであることを示す注記を一切付けていなかったことが明らかになった。
検出システムにおける悪循環
人工知能によって生成された文章が自らを修正し、人間の文章に近づいていくことは、既存の検出ソフトウェアに双方向のリスクをもたらしている。古い文章を使って訓練された検出システムは、人工知能の影響を受けた実在の人間の著者による独自の文章を、誤って人工知能が生成したものとして判定する可能性がある。これに対して、最新の論文を使って訓練された新たなモデルは、人工知能によって形作られた言語を通常の基準として受け入れるため、将来作成される人工知能の文章を特定するうえで不十分になる。
研究者らは、文章を基盤とする監査メカニズムが信頼性を失っていると指摘している。人間の文章という概念が時間とともに変化しているとする研究者らは、学術的誠実性を守るためには、文体の検査を超えた方法が必要だと強調している。