核心概念

AgentClinic 是評估「會使用工具的臨床 AI agent」的多模態基準。它不把醫療能力簡化為單題問答，而是模擬資訊不完整的診間：模型要與病患互動、決定追問方向、要求檢驗或影像資料、調用工具，再形成診斷判斷。研究橫跨九個專科與七種語言，核心是把評估單位從單一模型擴大到「模型＋工具＋決策流程」。

摘要翻譯

在臨床情境中評估大型語言模型，是判斷其潛在臨床效用的重要工作。既有基準多依賴靜態問答，無法準確反映臨床決策的複雜與連續性。本文提出 AgentClinic，於模擬臨床環境中評估多模態 LLM agent；環境包含病患互動、在不完整資訊下蒐集多模態資料，以及使用各種工具，並在九個專科、七種語言上進行評估。

作者發現，將 MedQA 改為 AgentClinic 的序列決策格式後，診斷正確率可降至原本的十分之一以下；這說明「知道正確答案」與「能在過程中取得足夠資料、正確使用工具」是不同能力。多數設定下，以 Claude-3.5 為基礎的 agent 表現最佳，但不同模型從經驗學習、適應性檢索與反思迴圈獲益的程度差異很大。Llama-3 加入可跨病例持續寫入與編輯的筆記本工具後，最高出現 92% 的相對改善；同一類工具並非對所有模型都有利。

方法論亮點

AgentClinic 以病患、醫師、量測與主持四種 agent 角色模擬診療；被評估的醫師 agent 必須透過對話請求檢查與影像判讀，而不是直接取得完整病例。案例結合去識別化電子病歷、USMLE 題目與 NEJM 病例挑戰，並以臨床讀者研究檢視對話的真實感與同理性。

它也刻意將 23 種臨床常見的認知或隱性偏誤注入互動條件，並把病患遵從度、對醫師的信心與後續諮詢意願納入結果。這讓「診斷正確」不再是唯一終點，而能觀察錯誤決策如何傷害互動品質；但其工具命令仍是對真實工作流的抽象，不能視作直接的臨床部署驗證。

對實務的意義

醫療 AI 的驗收不能只看 MedQA 等題庫分數。團隊應以端到端情境測試：模型是否問到必要資訊、檢驗與檢索是否適切、工具失敗時能否停止或升級人類、以及每一步是否可追溯。特別是病患資料、影像與外部檢索牽涉權限與隱私，工具層的治理和模型能力同等重要。

這與 臨床醫學人機協作：LLM 系統性回顧與統合分析 的結論相呼應：現有證據較支持 LLM 作為整理、提示與第二意見層，而非最終診療者。AI 共診醫師——Google DeepMind 臨床 AI 研究 則提供了醫病互動系統的產品視角；AgentClinic 的價值在於補上可比較的流程級驗證。再結合 MedGPT-oss：20B 開源生醫多模態語言模型，可看出「能院內部署」與「能在真實流程中被安全驗收」仍是兩道不同門檻。

閱讀限制

本頁已由官方全文補足週報摘要的截斷處，但上述比較仍來自作者所建模擬環境與其測試設定；92% 是相對改善，不等同臨床效益。多 agent 模擬、簡化工具命令與模型角色間的互動偏差，均限制結果直接外推至真實醫療現場。實務採用仍需前瞻性、多機構、受監督的驗證。

反向連結

以下頁面引用了本頁：