ダートマス大学の研究者が、アンケートボットの検知を99.8%回避するAIエージェントを開発

ダートマス大学の政治学准教授であり、 偏光研究室 は、自動応答の高度な検出方法をほぼすべて回避しながらアンケートの質問に答えることができる「自律型合成回答者」と彼が説明するAIシステムを開発した。 

米国科学アカデミー紀要（PNAS）に掲載されたこの研究は、多くの科学研究におけるデータ収集の基礎となっているオンライン調査研究が、大規模言語モデル（LLM）による脅威に直面する可能性があることを強調しています。

調査によると、AIエージェントは99.8%の確率で検知を回避した。注意力チェック質問、行動指標、回答パターン分析といった従来の調査手法は、不注意な人間や自動ボットを識別するために設計されている。ウェストウッド氏は、これらのツールは効果を発揮しなくなっていると主張している。というのも、彼のAIエージェントは、AI生成回答の特定に特化したものも含め、著名な研究で述べられている標準的な検知手法を回避したからだ。また、AIは容易に処理できるが人間にとっては難しい「逆シボレス」質問にも合格した。

「オンライン調査研究における大規模言語モデルの潜在的存在的脅威」と題された論文によると、このAIシステムは階層的に動作する。推論エンジンが回答を決定すると、第二層が人間の行動を模倣するように設計されたアクションを実行する。システムは、被験者の教育レベルに基づいて現実的な読書時間をシミュレートし、人間のようなマウスの動きを生成し、キー操作ごとに自由形式の回答を入力する。これには、あり得る誤字や訂正も含まれる。また、reCAPTCHAなどの一般的なボット対策を回避するツールと連携するように設定されており、オンライン調査への検知されない自動参加をさらに可能にしている。

AIペルソナが最小限の低コストの回答で全国世論調査を操作する可能性があると研究が警告

研究によると、AIシステムは「一貫した人口統計学的ペルソナ」をシミュレートすることができ、理論上はAIが生成したプロフィールに基づいてオンライン調査の結果を操作し、任意の望ましい結果を反映させることができる可能性がある。結果を変えるには、ほんのわずかな数の偽造回答で十分だろう。論文では、2024年の選挙に至るまでの7つの主要な全国世論調査において、AIが生成した回答をわずか10～52件導入するだけで、予測結果を変えることができた可能性があると指摘している。これらの回答の作成費用は、人間の調査参加者に通常支払われる1.50ドルと比較して、1件あたり約5セントと非常に安価になると推定されている。

WestwoodのAIエージェントはモデルに依存せず、Pythonで実装されているため、次のような主要なAIプロバイダーのAPIを介して機能することができます。 OpenAI、Anthropic、Google、またはオープンウェイトモデルを使用してローカルにホストされる LLamaこの研究では、主に OpenAIo4-miniに加え、DeepSeek R1、Mistral Large、Claude 3.7 Sonnet、Grok3、Gemini 2.5 Previewなどの他のモデルも使用し、このアプローチが複数のLLM間で互換性があることを実証しました。エージェントは約500語の単一のプロンプトで動作し、エミュレートするペルソナのタイプと人間のような応答方法を指示します。

本論文では、AIによる調査操作のリスクを軽減するための潜在的な戦略も強調していますが、それぞれのアプローチにはトレードオフが伴います。参加者の本人確認を強化することで脅威を軽減できる可能性がありますが、プライバシーに関する懸念が生じます。研究者は、調査データ収集の透明性を高め、データの完全性を維持するために、住所に基づくサンプリングや有権者登録ファイルの使用など、より管理された参加者募集方法を検討することが推奨されます。