推理能力對於LLM已成為必不可少的，但是分析這些複雜過程是一個重大挑戰。儘管LLM可以生成詳細的文本推理輸出，但缺乏流程可視化為理解，評估和改進的障礙帶來了障礙。這種限制以三種關鍵方式表現出來：試圖解析複雜推理路徑的用戶的認知負荷增加；難以檢測邏輯謬誤，循環推理和缺失的步驟，這些步驟在冗長的文本輸出中仍然被遮蓋；由於缺乏標準化可視化框架，對下游應用的限制。因此，需要統一的可視化解決方案，可以有效說明在不斷發展的LLM提供商和模型生態系統中的各種推理方法。
諸如順序推理之類的現有方法顯示逐步的問題分解，並通過多種變體演變。基於樹木的方法之類的方法可以使基於狀態的分支為並行路徑探索，而光束搜索推理基於評分機制評估解決方案路徑。此外，當前的可視化方法分為兩類：模型行為分析和推理過程插圖。 Bertviz和Transformers解釋等工具提供了注意機制的詳細可視化，但僅限於低級模型行為。諸如Langgraph之類的框架提供了基本的流動可視化，而無需支持各種推理方法，而Graphviz和Mermaid（Mermaid）等通用工具缺乏特定的LLM推理分析的適應。
劍橋大學和莫納什大學的研究人員提出了Reasongraph，這是一個基於Web的平台，用於可視化和分析LLM推理過程。它支持順序和基於樹的推理方法，同時與主要的LLM提供商和五十多個最先進的模型無縫集成。 Reasongraph將直觀的UI與元推理方法選擇，可配置的可視化參數以及一個促進有效擴展的模塊化框架結合在一起。通過提供一個統一的可視化框架，Reasongraph可以有效地減少分析複雜推理路徑，改善邏輯過程中的錯誤檢測，並使基於LLM的應用程序更有效地開發。
Reasongraph利用一個模塊化框架，該框架通過清晰的組件分離提供了可擴展的推理可視化。前端層處理可視化邏輯和用戶參與處理，實現異步事件處理模塊，用戶與方法選擇和參數配置觸發相應的狀態更新。後端框架是在燒瓶中實現的三個核心模塊周圍組織的：用於狀態更新的配置管理器，用於LLM集成的API工廠以及用於推理方法封裝的推理方法模塊。框架模塊化在API和推理方法級別都存在，API工廠通過BASEAPI類為多個LLM提供商提供統一的接口。
Reasongraph的評估顯示了平台在三個關鍵方面的魯棒性。在解析可靠性中，基於規則的XML解析方法在從適當格式的LLM輸出中提取和可視化推理路徑方面可實現近100％的準確性。對於處理效率，與LLM的推理時間相比，基於美人魚的可視化生成時間可以忽略不計，在平台中實施的所有六種推理方法中保持一致的性能。關於平台可用性，開源平台用戶的初步反饋表明，大約有90％的用戶在沒有幫助的情況下成功使用了該平台，儘管隨著用戶群的擴展，這些指標繼續發展，並且該平台經歷了常規更新。
在本文中，研究人員介紹了Reasongraph，這是一個基於Web的平台，可實現六種主流方法和50多個模型的LLM推理過程的可視化和分析。它通過其模塊化框架和實時可視化功能，在學術界，教育和開發中實現了各種應用的高度可用性。未來的工作包括（a）使用開源社區整合其他推理方法並擴展模型API支持，（b）基於社區反饋和用戶建議來開發平台，（c）探索下游應用程序，例如推理評估，教育教程等，以及（d）在可視化流程中實施可視化流程中的可視化節點，以啟用推理的直接修改。
查看 紙。 這項研究的所有信用都歸該項目的研究人員。另外，請隨時關注我們 嘰嘰喳喳 而且不要忘記加入我們的 80k+ ml子列數。
Sajjad Ansari是來自IIT Kharagpur的最後一年的本科生。作為技術愛好者，他深入研究了AI的實際應用，重點是理解AI技術及其現實世界的影響。他旨在以清晰易於的方式表達複雜的AI概念。
PARLANT：使用LLMS💬💬（晉升）建立可靠的AI AI客戶面對面的代理商
