為醫療保健開發可靠的AI工具

新研究提出了一個系統，以確定假設醫學環境中預測性AI的相對準確性，以及該系統應遞送到人類臨床醫生何時

人工智能（AI）具有巨大的潛力，可以增強人們在各個行業中的工作方式。但是，要以安全有負責任的方式將AI工具集成到工作場所中，我們需要開發更強大的方法來理解何時最有用的方法。

那麼，什麼時候AI更準確，何時是人類？這個問題在醫療保健中尤為重要，在醫療保健中，預測性AI越來越多地用於高風險任務來協助臨床醫生。

今天在 自然醫學，我們已經通過Google Research發表了聯合論文，該論文提出了CODOC（互補性驅動的延期到臨床工作流），該系統學會了何時依靠預測性AI工具或延遲到臨床醫生，以最準確地解釋醫學圖像。

CODOC探討了我們如何在假設的醫療環境中利用人類AI的合作來提供最佳結果。在一個示例場景中，與常用的臨床工作流相比，CODOC將誤報數量減少了25％，而不是任何真正的陽性。

這項工作是與幾個醫療機構的合作，包括聯合國項目服務的Stop TB合作夥伴關係。為了幫助研究人員建立我們的工作，以提高現實世界中AI模型的透明度和安全性，我們還在Github上開源的CODOC代碼。

CODOC：人類協作的附加工具

構建更可靠的AI模型通常需要重新設計預測性AI模型的複雜內部工作。但是，對於許多醫療保健提供者來說，根本不可能重新設計一個預測性AI模型。 CODOC可能有可能幫助改善其用戶的預測性AI工具，而無需他們修改基礎AI工具本身。

在開發CODOC時，我們有三個標準：

• 像醫療保健提供商這樣的非機器學習專家應該能夠部署系統並將其運行在一台計算機上。
• 培訓將需要相對少量的數據 – 通常只有幾百個示例。
• 該系統可能與任何專有AI模型兼容，並且不需要訪問該模型的內部工作或已訓練的數據。

確定何時預測AI或臨床醫生更準確

使用CODOC，我們提出了一個簡單可用的AI系統，以幫助預測性AI系統“知道何時不知道”，以提高可靠性。我們研究了場景，例如，臨床醫生可能可以使用旨在幫助解釋圖像的AI工具，例如，檢查胸部X射線檢查是否需要結核病測試。

對於任何理論臨床環境，CODOC的系統僅需要培訓數據集中的每種情況的三個輸入。

1. 預測AI的置信得分在0（某些疾病存在）和1（確定存在疾病）之間。
2. 臨床醫生對醫學形象的解釋。
3. 例如，是否存在疾病的基礎真理，例如，通過活檢或其他臨床隨訪建立。

注意：CODOC不需要訪問任何醫療圖像。

CODOC學會了與臨床醫生的解釋相比，建立預測性AI模型的相對準確性，以及該關係如何隨預測AI的置信度得分而波動。

經過培訓後，CODOC可以插入涉及AI和臨床醫生的假設未來臨床工作流程中。當通過預測AI模型評估新的患者形象時，其相關的置信度得分將被饋入系統。然後，CODOC評估接受AI的決定或推遲到臨床醫生是否最終會導致最準確的解釋。

提高準確性和效率

我們對CODOC與多個現實世界數據集進行的全面測試（僅包括歷史和識別數據）表明，將人類最佳專業知識和預測性AI的最佳結合起來，與單獨使用任何一個相比，將其具有更高的準確性。

除了在假設的模擬中，允許AI在某些場合自主行動的假設模擬中，誤陽性陽性數據集降低了25％，CODOC能夠減少兩個臨床醫生需要讀取的病例數量。三分之一。我們還展示了科多克如何假設改善胸部X射線的分類，以進行結核病測試。

負責任地為醫療保健開發AI

儘管這項工作是理論上的，但它表明了我們的AI系統適應的潛力：CODOC能夠提高跨不同人口統計學人群，臨床環境，所使用的醫療成像設備和疾病類型來解釋醫學成像的性能。

CODOC是我們如何利用AI的好處與人類優勢和專業知識相結合的一個有希望的例子。我們正在與外部合作夥伴合作，嚴格評估我們的研究和系統的潛在利益。為了將CODOC等技術安全地帶入現實世界中的醫療環境，醫療保健提供者和製造商還必須了解臨床醫生與AI的互動方式，並使用特定的醫療AI工具和設置驗證系統。

了解有關CODOC的更多信息：