Googleの医療AI「Med-Gemini」が架空部位を発明、安全に警鐘

Googleの医療用人工知能モデル「Med-Gemini」が最近、診断報告書において存在しない解剖学的構造を生成しました。医療専門家は、このエラーを臨床現場でのAI導入に伴うリスクの決定的な証拠として強調しています。当初Googleはこれを「誤植」として軽視していましたが、この事件はAIの「幻覚」と患者の安全性に関する広範な議論に火をつけました。

この特定のエラーは、Med-Geminiを紹介する2024年の研究論文に現れ、AIは「旧左basilar ganglia梗塞」と診断しました。認定神経科医でAI研究者のブライアン・ムーア氏は、「basilar ganglia」（基底神経節）が、運動制御と学習を助ける「basal ganglia」（大脳基底核）と、脳幹に血液を供給する「basilar artery」（脳底動脈）という、2つの異なる脳構造の混同であると指摘しました。これらの領域に影響を与える病状は、まったく異なる治療法を必要とします。ムーア氏はGoogleにこの誤りを指摘し、Googleはその後、付随するブログ投稿を静かに、かつ非公表で編集し、「basilar ganglia」を「basal ganglia」に変更しました。ムーア氏による公の精査を受け、Googleはブログ投稿の変更を元に戻しましたが、説明キャプションを追加し、このエラーをトレーニングデータから学習した「一般的な誤転写」によるものとしました。重要なことに、50人以上が共同執筆し、査読済みの元の研究論文は未だに修正されていません。

Med-Geminiは、医療専門家を支援するために、健康データの要約、放射線レポートの生成、電子カルテの分析を行うように設計されたAIモデルのスイートです。Googleは当初、これを様々な医療分野における「飛躍的な進歩」であり、「大きな可能性」を秘めていると宣伝していました。まだ初期の試用段階にあり、「信頼できるテスタープログラム」が実際のパイロットシナリオに拡大する可能性が高い中、AIエラーの影響は増大しています。

医療専門家は、このような不正確さに対し、深い懸念を表明しています。大規模医療システムProvidenceの最高医療情報責任者であるモーリン・シャー氏は、このエラーを「非常に危険」と表現し、医療の文脈において数文字の違いがいかに重要であるかを強調しました。彼は、AIが誤った情報を伝播するリスクを指摘し、AIが医療記録から人為的なエラーを広め、欠陥のあるデータに基づいた決定につながる例を挙げました。Googleの広報担当者ジェイソン・フライデンフェルズ氏は、同社が医療コミュニティと提携しており、モデルの限界について透明性を保っていると述べ、特定のエラーを「見落とされた病理」の「明確化」と呼びました。

この問題はMed-Geminiにとどまりません。Googleのもう一つの医療モデルであるMedGemmaも最近、一貫性の欠如を示しました。エモリー大学医学部の准教授であるジュディ・ギチョヤ博士は、MedGemmaの診断精度が質問の表現方法によって大きく異なることを発見しました。詳細なクエリは正しい診断をもたらすかもしれませんが、同じ画像に対するより単純なクエリは「正常」という評価になり、気腹（横隔膜下のガス）のような重要な問題を見落とす可能性があります。

専門家は、AIシステムの一般的な精度が、人間の医療専門家を自己満足に陥らせる可能性があることを懸念しています。これは「自動化バイアス」として知られる現象です。スタンフォード大学医学部のジョナサン・チェン博士は、これを「非常に奇妙な閾値の瞬間」と表現し、AIツールが未熟であるにもかかわらず、あまりにも早く採用されていると述べました。彼は、AIが時にうまく機能したとしても、その一見権威があるように見えるが誤った出力は、非常に誤解を招く可能性があると強調しました。

医療専門家の間での共通認識は、医療におけるAIは人間のエラー率よりもはるかに高い基準を遵守しなければならないというものです。シャー氏は「作話アラート」を提唱しています。これは、他のAIモデルによる潜在的な幻覚を特定し、情報を保留するか警告を発することでそれをフラグ付けするように設計されたAIシステムです。ギチョヤ氏は、AIが「知らない」と認める代わりに「でっちあげる」傾向があることは、医療のような高リスク分野では大きな問題であると指摘しました。デュークヘルス（Duke Health）のチーフデータサイエンティストであるマイケル・ペンシナ博士は、Med-Geminiのエラーを誤植というよりは幻覚であると見ており、高リスクアプリケーションにおけるそのような間違いの深刻な結果を強調しています。彼は現在のAI開発段階を「ワイルドウェスト」に例えました。

潜在的な利点を認めつつも、チェン氏のような専門家は、AIを盲目的に信頼することに警鐘を鳴らし、自己満足が危険につながる自動運転車の例えと比較しています。彼らは、AIは医療を補強することはできるが、重要な人間の監視に取って代わるべきではないと強調します。Med-Geminiの事件は、より厳格なテスト、透明なエラー修正、そして臨床現場へのAI統合に対する慎重かつ意図的なアプローチの緊急の必要性を浮き彫りにしています。医療現場では、「不完全でさえ耐えがたく感じられる」からです。