機器學習模型可能會犯錯，並且難以使用，因此科學家已經開發了解釋方法，以幫助用戶了解何時以及如何信任模型的預測。
這些解釋通常很複雜，但是可能包含有關數百個模型特徵的信息。它們有時會作為多方面的可視化呈現，對於缺乏機器學習專業知識無法完全理解的用戶來說，這可能很難。
為了幫助人們理解AI的解釋，麻省理工學院的研究人員使用大型語言模型（LLM）將基於情節的解釋轉化為普通語言。
他們開發了一個分為兩部分的系統，該系統將機器學習解釋轉換為人類可讀文本的段落，然後自動評估敘事的質量，因此最終用戶知道是否信任它。
通過提示系統用一些示例說明，研究人員可以自定義其敘述描述，以滿足用戶的偏好或特定應用程序的要求。
從長遠來看，研究人員希望通過使用戶能夠向現實世界中的預測提出一個模型後續問題來基於此技術。
“這項研究的目標是邁出第一步，使用戶可以與機器學習模型進行全面的對話，以了解他們做出某些預測的原因，以便他們可以更好地決定是否聆聽該模型。”電氣工程和計算機科學（EECS）研究生兼該技術論文的首席作者Alexandra Zytek。
麻省理工學院博士後薩拉·皮多（Sara Pido）加入了她的紙上； EEC的研究生Sarah Alnegheimish；法國國家可持續發展研究所研究總監Laure Berti-équille；以及信息和決策系統實驗室的首席研究科學家Kalyan Veeramachaneni高級作家Kalyan Veeramachaneni。該研究將在IEEE大數據會議上進行。
闡明解釋
研究人員專注於一種流行的機器學習解釋，稱為Shap。在形狀的說明中，將一個值分配給模型用於做出預測的每個功能。例如，如果模型預測房價，則可能是房屋的位置。位置將被分配一個正值或負值，該值表示該功能修改了該模型的總體預測的程度。
通常，形狀解釋是作為條形圖，顯示哪些特徵是最重要的或最不重要的。但是對於具有100多個功能的模型，該條圖很快就變得笨拙。
“作為研究人員，我們必須對我們將在視覺上展示的內容做出很多選擇。如果我們選擇僅展示前10名，人們可能會想知道另一個不在情節中的功能發生了什麼。使用自然語言使我們不必做出這些選擇。” Veeramachaneni說。
但是，研究人員並沒有利用大型語言模型來產生自然語言的解釋，而是利用LLM將現有的形狀解釋轉變為可讀的敘述。
Zytek解釋說，通過僅讓LLM處理該過程的自然語言部分，它限制了將不准確的解釋引入解釋的機會。
他們的系統稱為explingo，分為兩個合作的片段。
第一個組件（稱為敘述者）使用LLM來創建符合用戶偏好的Shap解釋的敘事描述。通過最初為敘事解釋的三到五個書面示例餵養敘述者，LLM在生成文本時會模仿該樣式。
Zytek說：“與其讓用戶試圖定義他們要尋找的解釋類型，不如讓他們寫下他們想要看到的內容。”
這使敘述者可以通過顯示不同的手動書面示例來輕鬆定制新用例。
在敘述者創建了平淡的解釋之後，第二個組成部分（分級器）使用LLM對四個指標的敘述進行評分：簡潔，準確性，完整性和流利度。 Grader會自動提示LLM，並使用敘述者的文字及其描述的形狀說明。
她說：“我們發現，即使LLM犯了一個錯誤，在檢查或驗證該任務時通常不會犯錯。”
用戶還可以自定義分級器以給每個度量標準提供不同的權重。
她補充說：“您可以想像，在高風險的情況下，加權準確性和完整性比流利度高得多。”
分析敘述
對於Zytek和她的同事來說，最大的挑戰之一是調整LLM，以產生自然的敘述。他們為控製樣式添加的指南越多，LLM越有可能將錯誤引入解釋。
她說：“很多迅速的調音一次一次查找和修復每個錯誤。”
為了測試他們的系統，研究人員使用了9個具有解釋的機器學習數據集，並讓不同的用戶為每個數據集編寫敘述。這使他們能夠評估敘述者模仿獨特風格的能力。他們使用分級器在所有四個指標上為每個敘事解釋進行評分。
最後，研究人員發現他們的系統可以產生高質量的敘事解釋，並有效地模仿不同的寫作風格。
他們的結果表明，提供一些手動書面示例的解釋大大改善了敘事風格。但是，這些示例必須仔細編寫 – 包括比較單詞，例如“較大”，可能會導致漸變器標記準確的解釋是不正確的。
在這些結果的基礎上，研究人員希望探索可以幫助其係統更好地處理比較單詞的技術。他們還希望通過增加解釋來擴展extlingo。
從長遠來看，他們希望將這項工作用作通往互動系統的墊腳石，用戶可以在其中向有關解釋的模型後續問題提出了一個。
“這將以多種方式有助於決策。如果人們不同意模型的預測，我們希望他們能夠快速弄清楚他們的直覺是否正確，或者模型的直覺是否正確，以及這種差異來自何處。” Zytek說。
