由於保留參數知識的局限性，LLMS在持續學習中面臨挑戰，從而導致廣泛採用抹布作為解決方案。 RAG使模型可以訪問新信息而無需修改其內部參數，從而使其成為實時適應的實用方法。但是，傳統的抹布框架在很大程度上依賴於矢量檢索，這限制了他們捕獲知識中復雜關係和關聯的能力。最近的進步已經集成了結構化數據，例如知識圖，以增強推理能力，改善感官創造和多跳連接。儘管這些方法在上下文理解方面提供了改進，但它們通常會損害更簡單的事實召回任務的性能，從而強調了對更精緻方法的需求。
LLM的持續學習策略通常分為三類：持續的微調，模型編輯和非參數檢索。微調定期更新具有新數據的模型參數，但在計算上很昂貴，容易遭受災難性的遺忘。模型編輯修改了針對性知識更新的特定參數，但其效果仍然定位。相比之下，RAG在推理時間動態檢索相關的外部信息，從而可以有效地進行知識更新而不更改模型的參數。高級RAG框架（例如GraphRag和Lightrag）通過將知識構造成圖形來增強檢索，從而提高了模型合成複雜信息的能力。 Hipporag 2通過利用結構化檢索來完善這種方法，同時最大程度地減少LLM生成的噪音，平衡感官的噪音和事實準確性的錯誤。
Hipporag 2是由俄亥俄州立大學和伊利諾伊大學Urbana-Champaign大學的研究人員開發的，通過改善事實召回，感知和聯想記憶來增強抹布。在Hipporag的個性化Pagerank算法的基礎上，它更有效地集成了段落並完善了在線LLM利用率。這種方法比領先的嵌入模型的關聯內存任務提高了7％，同時保持了強大的事實和上下文理解。廣泛的評估表明，其在各種基準測試中的穩健性，表現優於現有的結構增強的抹布方法。 Hipporag 2顯著提高了非參數持續學習，使AI系統更接近人類樣的長期記憶能力。
Hipporag 2是一個神經生物學啟發的LLMS長期記憶框架，通過改善上下文集成和檢索來增強原始河馬。它包括人工新皮層（LLM），一個偏頭腦區域編碼器和開放知識圖（kg）。離線，LLM從段落中提取三元，鏈接同義詞並集成概念和上下文信息。在線查詢使用基於嵌入式的檢索映射到相關的三元組，然後是個性化的Pagerank（PPR）進行上下文感知的選擇。 Hipporag 2通過將查詢鏈接到三倍，增強多跳上推理並提高質量檢查任務的檢索準確性，從而引入了識別記憶和更深層的上下文化識別記憶。
The experimental setup includes three baseline categories: (1) classical retrievers such as BM25, Contriever, and GTR, (2) large embedding models like GTE-Qwen2-7B-Instruct, GritLM-7B, and NV-Embed-v2, and (3) structure-augmented RAG models, including RAPTOR, GraphRAG, LightRAG, and HippoRAG.評估涵蓋了三個關鍵的挑戰領域：簡單的質量檢查（事實召回），多跳質量質量質量檢查（協會推理）和話語理解（理解）。指標包括通過@5的通道回憶和質量保證的F1分數。 Hipporag 2，利用Llama-3.3-70B教學和NV-EMBED-V2優於先前模型，尤其是在多跳任務中，通過其神經心理學啟發的方法表明了提高的檢索和響應準確性。
總之，消融研究評估了連接，圖形結構和三重濾波方法的影響，表明更深的上下文化可顯著改善Hipporag 2的性能。查詢到三重方法的表現優於其他方法，比NER-to-to-node增強了@5乘以12.5％。調整PPR平衡短語和通過節點中的重置概率，以優化檢索。 Hipporag 2與密集的獵犬無縫集成，始終超過它們。定性分析強調了卓越的多跳推理。總體而言，Hipporag 2通過利用個性化的Pagerank，更深的通道集成和LLM來增強檢索和推理，從而在長期記憶建模中提供進步。未來的工作可能會探索基於圖的檢索，以改善對話中的情節記憶。
查看 紙和github頁面。 這項研究的所有信用都歸該項目的研究人員。另外，請隨時關注我們 嘰嘰喳喳 而且不要忘記加入我們的 80k+ ml子列數。
🚨 推薦的閱讀-LG AI研究釋放Nexus：一個高級系統集成代理AI系統和數據合規性標準，以解決AI數據集中的法律問題
Marktechpost的諮詢實習生，IIT Madras的雙學位學生Sana Hassan熱衷於應用技術和AI來應對現實世界中的挑戰。他對解決實踐問題的興趣非常興趣，他為AI和現實生活中的解決方案的交集帶來了新的視角。
🚨推薦開源AI平台：“ Intellagent是一個開源的多代理框架，可評估複雜的對話AI系統”（已晉升）
