像chatgpt這樣的人工智能係統為您可能提出的任何問題提供了合理的聽起來答案。但是，他們並不總是揭示其知識或不確定領域的差距。由於AI系統越來越多地用於開發藥物，合成信息和驅動自動駕駛汽車之類的事情，因此這個問題可能會產生巨大的後果。
現在，麻省理工學院的旋轉主體AI正在幫助量化模型不確定性並在引起更大問題之前糾正輸出。該公司的CAPSA平台可以與任何機器學習模型一起使用，以在幾秒鐘內檢測和糾正不可靠的輸出。它通過修改AI模型來使其能夠檢測數據處理中的模式，以表明歧義，不完整或偏見。
Themis AI聯合創始人兼麻省理工學院教授Daniela Rus說：“想法是採用模型，將其包裹在CAPSA中，確定模型的不確定性和故障模式，然後增強模型。” “我們很高興提供可以改善模型並提供該模型正常運行的解決方案。”
Rus於2021年與Alexander Amini ’17，SM ’18，PhD ’22和Elaheh Ahmadi ’20，Meng ’21建立了Themis AI。從那以後，他們幫助電信公司進行了網絡計劃和自動化，幫助石油和天然氣公司使用AI了解地震圖像，並發表了有關開發更可靠和可信賴的聊天機器人的論文。
Amini說：“我們希望在每個行業的最高銷售應用中啟用AI。” “我們都看到了AI幻覺或犯錯誤的例子。隨著AI的部署更廣泛，這些錯誤可能會導致毀滅性後果。我們的軟件可以使這些系統更加透明。”
幫助模型知道他們不知道的
多年來，Rus的實驗室一直在研究模型的不確定性。 2018年，她獲得了豐田的資金，以研究基於機器學習的自動駕駛解決方案的可靠性。
RUS說：“這是一個安全至關重要的環境，理解模型可靠性非常重要。”
在單獨的工作中，Rus，Amini及其合作者構建了一種算法，該算法可以檢測面部識別系統中的種族和性別偏見，並自動重量重新授予模型的培訓數據，表明其消除了偏見。該算法通過識別基礎培訓數據的不代表部分並生成新的，類似的數據樣本來重新平衡它。
在2021年，最終的聯合創始人顯示，可以使用類似的方法來幫助製藥公司使用AI模型來預測候選藥物的特性。他們於當年晚些時候建立了Themis AI。
RUS說：“指導毒品發現可能會節省很多錢。” “那是一種用例，使我們意識到該工具的功能強大。”
如今，Themis正在與各種行業的公司合作，其中許多公司都在建立大型語言模型。通過使用CAPSA，模型可以量化每個輸出的不確定性。
Themis AI的技術負責人Stewart Jamieson SM ’20，PhD ’24，許多公司有興趣使用基於數據的LLM，但他們擔心可靠性。 ” “我們幫助LLMS自我報告他們的信心和不確定性，這使得更可靠的問題回答並標記了不可靠的產出。 ”
Themis AI也正在與半導體公司在其芯片上建立AI解決方案的討論，這些解決方案可以在雲環境之外工作。
Jamieson解釋說：“通常，這些在手機或嵌入式系統上使用的較小模型與您在服務器上可以運行的型號相比不是很準確，但是我們可以在兩全其美的情況下獲得最好的優勢：低潛伏期，高效的邊緣計算而無需犧牲質量。” “我們看到了邊緣設備完成大部分工作的未來，但是每當他們不確定輸出時，他們都可以將這些任務轉發到中央服務器。”
製藥公司還可以使用CAPSA來改善用於識別候選藥物的AI模型，並在臨床試驗中預測其性能。
Amini說：“這些模型的預測和輸出非常複雜且難以解釋 – 專家花了很多時間和精力來理解它們。” “ CAPSA可以直接提供見解，以了解預測是否得到培訓集中的證據的支持，或者只是猜測而沒有很多基礎。這可以加速最強的預測，並且我們認為這具有巨大的社會利益潛力。”
影響研究
Themis AI的團隊認為，該公司的位置良好，可以提高不斷發展的AI技術的最前沿。例如，該公司正在探索CAPSA提高AI技術中的精度的能力，稱為“經過思考鏈”推理，LLMS解釋了他們為答案所採取的步驟。
Amini說：“我們已經看到CAPSA的跡象可以幫助指導這些推理過程，以識別推理的最高信心鏈。” “我們認為，這在改善LLM體驗，減少潛伏期和減少計算要求方面具有巨大的影響。這對我們來說是極大的影響機會。”
對於自從到麻省理工學院以來一直共同創立了幾家公司的Rus，Themis AI是確保她的麻省理工學院研究影響的機會。
羅斯說：“我和我的學生變得越來越熱衷於邁出額外的步驟，使我們的工作與世界相關。” “人工智能具有改變行業的巨大潛力，但AI也引起了人們的關注。讓我興奮的是有機會開發解決這些挑戰的技術解決方案，並在人們與正在成為其日常生活一部分的技術之間建立信任和理解。”
