像人類一樣，大型語言模型（LLMS）通常具有不同的技能和優勢，從其建築和培訓方案中的差異中獲得了不同。但是，他們努力將不同領域的專業專業知識相結合，與人類相比，限制了解決問題的能力。 Metamath，Wizardmath和Qwenmath等專業模型在數學推理方面表現出色，但在需要常識或醫學知識的任務上通常表現不佳。即使在數學等特定領域中，模型也會顯示出細微的能力變化，例如，一個可能在代數上脫穎而出，而另一個掌握幾何形狀。創建需要識別並為特定問題選擇最合適的專家模型的框架。
現有的方法（例如混合專家（MOE）模型）在多個專用組件上分發了計算，最近強調了僅激活每個輸入最相關的專家的稀疏方法。稀疏的MOE（SMOE）方法提高了視覺，語言和多模式任務的效率，但需要通過關節訓練將模型組合在參數空間中。 MOA（MOA的混合物）等最新的框架試圖通過象徵性地組合LLM輸出來解決此問題。此外，多機構推理方法已經成為替代方法，例如將推理能力從更強到較弱的代理提取的學生教師技術，而辯論框架允許多個代理人共同完善論點。
UNC教堂山（UNC Chapel Hill）的研究人員提出了象徵性的摩擦，這是一種符號，基於文本和無梯度的專家框架，以實現預先訓練的LLM專家的自適應實例級別的混合。它通過強調在生物醫學推理中數學或分子生物學中的代數或分子生物學中的更廣泛領域中的專業技能來進行精細的觀點。他們還引入了一種基於技能的招聘策略，該策略會根據其所證明的優勢動態為每個特定推理任務選擇最相關的專家LLM。此外，符號moE的表現優於諸如GPT4O-Mini等強LLM，以及多種方法，其絕對平均值比最佳多代理基線的絕對平均提高了8.15％。
Symbolic-MoE包括三個階段：模型配置文件創建和聚合器選擇，然後是專家招聘和最終答案生成，這兩者都在推理期間進行。為了最大程度地提高吞吐量和效率，符號moe引入了一種創新的批處理策略，首先分析所有實例以確定需要哪些LLMS。然後，該系統根據其所需的專家智能將問題實例分組，從而使每個活躍的專家模型都可以在一批中接收所有相關實例，並確保每個專家僅加載一次。該解決方案可以在單個GPU上進行有效的批處理推斷，同時支持16 LLM的不同池，並具有靈活性，可以添加更多的GPU以進行進一步的並行化。
符號 – 莫伊在不同的基準測試中表現出卓越的性能。它始終超越所有基線方法，超越單模策略，單個模型的多代理辯論以及MOA和Coneclcile等多模型多代理框架。它超過了最強大的多代理基線（自我MOA），令人印象深刻的8.15％的絕對平均提高，MMLU-PRO的8.28％，AIME為13.45％，GPQA為4.92％，MEDMCQA為6.08％。通過使用四個7-8B參數模型，符號-MOE具有具有70B參數的較大模型的可比性或出色的性能。它在AIME和GPQA上的表現優於Llama3.3 70B，同時與MEDMCQA的性能相匹配。效率測試表明，它在單個GPU上的運行速度比MOA快44％，同時實現了更好的準確性。
總之，研究人員介紹了符號-MOE，這是一個可擴展的MOE框架，通過其符號輸出結合了模型。這種方法確定了給定問題所需的技能，並根據這些技能招募代理，以進行有關給定投入的討論。符號-MOE勝過標準推理時間縮放方法以及其他辯論框架和其他代理方法，從而在沒有人類干預的情況下導致跨領域的強勁表現。實際上，在異質任務中的平均表現要強，而諸如GPT4O-MINI等先進的專有模型的表現要強。但是，該方法有局限性：（a）它涉及運行多個模型，這增加了推理成本，並且（b）它依賴於從小驗證設置來設置代理配置文件的技能。
查看 紙和github頁面。 這項研究的所有信用都歸該項目的研究人員。另外，請隨時關注我們 嘰嘰喳喳 而且不要忘記加入我們的 80k+ ml子列數。
Sajjad Ansari是來自IIT Kharagpur的最後一年的本科生。作為技術愛好者，他深入研究了AI的實際應用，重點是理解AI技術及其現實世界的影響。他旨在以清晰易於的方式表達複雜的AI概念。
PARLANT：使用LLMS💬💬（晉升）建立可靠的AI AI客戶面對面的代理商
