執筆:白米元気
AIモデルが物理学の研究課題にどこまで対応できるかを評価する新しいベンチマーク「CritPt」が登場しました。この評価は、Gemini 3 ProやGPT-5などの最先端モデルが依然として科学者として独立して機能するには不十分であることを明らかにしました。物理学という複雑で奥深い領域において、その限界が浮き彫りになっています。
「CritPt」ベンチマークの詳細とその結果
「CritPt」は、30以上の機関から集められた50人以上の物理学者によって慎重に構築されました。このベンチマークは、初期段階の博士課程研究レベルにおけるAIモデルの能力を試すことを目的としています。結果として、Googleが開発した「Gemini 3 Pro Preview」は9.1%という正確性を示し、一方でOpenAIが提供する「GPT-5.1」はわずか4.9%という結果となりました。これらの結果は、両システムが多くのタスクを逃していることを示唆しています。「CritPt」には、量子物理学や天体物理学、高エネルギー物理学など11分野から71の研究課題が含まれており、それぞれが高度な専門知識を必要とします。問題は未発表の資料に基づいており、解答を推測させないように工夫されています。また、それぞれの課題は190の小さな「チェックポイント」に分割されており、この仕組みによって部分的な進捗を測定することが可能です。
AI研究助手として期待される役割とその限界
これらの調査結果は、現在の大規模言語モデルが独自にオープンエンドな物理問題を解決するためには、厳密さや創造性、そして精度が不足していることを示しています。しかしながら、モデルは簡単で明確なサブタスクでは改善が見られるため、特定のサポート役割には適している可能性があります。また、「一貫して解決された率」という厳格な指標を用いたテストでは、正しい答えを4回中3回以上出す必要がありますが、この条件下ではパフォーマンスが著しく低下しました。このような脆弱性は研究ワークフローに深刻な影響を与える可能性があります。モデルは見た目には説得力のある回答を生成しますが、その中には微妙な誤りが含まれていることも多く、研究者を誤解させる原因となることもあります。今後数年にわたり、「AI科学者」が人間専門家に取って代わるというよりも、「研究助手」として特定のワークフロー手順を自動化することがより現実的な目標とされています。OpenAIは2026年9月までに研究インターンシステムを提供し、2028年3月までには完全自律型研究者を目指す計画です。
今後への展望とまとめ
「CritPt」ベンチマークはAIモデルが科学研究で直面する課題を明らかにしました。これまでの成果から、自律的な科学者として機能するにはまだ道半ばであることが理解できました。技術が進化していく中で、AIと人間との協力関係によって新たな発見や進展が期待されています。私たち人間はAI技術を活用しつつ、その限界も理解しながら共存していく必要があります。
コメント