人工智能（AI）正在以前所未有的速度發展，大規模模型達到了新的智能和能力水平。從早期的神經網絡到當今的高級體系結構，例如GPT-4，Llama和其他大型語言模型（LLMS），AI正在改變我們與技術的互動。這些模型可以處理大量數據，產生類似人類的文本，協助決策並增強各行業的自動化。但是，隨著人工智能變得更加強大，在沒有達到性能和記憶瓶頸的情況下有效地擴展這些模型的主要問題。
多年來，深度學習一直依賴於傳統的密集層，在該層中，一個層中的每個神經元都與下一個神經元相連。該結構使AI模型能夠學習複雜的模式，但成本很高。隨著模型的增長，參數的指數增加會導致較高的GPU/TPU記憶需求，較長的訓練時間和大量的能耗。 AI Research Labs投資了數百萬美元，以跟上計算需求，從而對高性能硬件進行投資。
Meta AI正在使用可擴展的內存層（SML）直接解決這一挑戰，這是一種深度學習方法，旨在克服密集的層面效率低下。 SML並沒有將所有學習的信息嵌入固定重量參數中，而是引入外部存儲系統，僅在需要時檢索信息。從內存存儲中進行計算的這種分離大大降低了計算開銷，從而提高了可擴展性，而無需過多的硬件資源消耗。
這項創新的影響是巨大的。它不僅使AI培訓和推理更加高效，更具成本效益，而且還可以幫助AI系統變得更加靈活和聰明。這些模型無需依靠存儲在固定參數中的靜態知識，而是可以動態地更新信息，從而消除了不斷再培訓的需求。
人工智能的興起和記憶瓶頸問題
AI迅速改變了諸如自然語言處理，計算機視覺，機器人技術和實時自動化之類的領域，使系統比以往任何時候都更聰明，更有能力。但是，隨著AI模型的增長越來越複雜，它們會隨著記憶和計算效率而面臨嚴重的挑戰。現代模型，尤其是那些具有數十億甚至數万億個參數的模型，需要大量的RAM，VRAM和處理能力。
最初，AI型號相對較小，可以在標準硬件上進行培訓。但是，如今的型號，例如GPT-4和Google的Palm，都需要超級計算機和大量的GPU群集。這種快速增長超過了傳統的密集層，這些層將所有知識存儲在固定重量參數中。雖然對小型模型有效，但這種方法現在導致冗餘計算，過多的內存使用和飆升的能源成本。
密集層的另一個問題是，他們在知識更新中掙扎。由於所有信息都直接嵌入模型的參數中，因此即使進行少量調整也需要從頭開始重新訓練整個模型。這既昂貴又不切實際，尤其是對於需要AI系統的企業和研究人員而言，這些系統可以在不經常進行的情況下不斷學習和適應。
Meta AI引入了SML來解決此問題。 SML並沒有將所有知識存儲在模型中，而是利用外部內存系統，從而實現有效的信息檢索。這樣可以消除冗餘計算並降低成本，從而使AI模型更有效，適應性和可擴展性。
了解傳統的密集層及其局限性
密集層的工作方式
傳統的深度學習體系結構在很大程度上依賴著密集的（完全連接）的層。每個神經元都連接到下一層中的每個神經元，從而使模型可以捕獲輸入之間的複雜關係。這種結構在圖像分類，語音識別和自然語言理解等任務中至關重要。
在訓練過程中，模型調整了這些連接之間的權重，以最大程度地減少錯誤並優化性能。雖然在小尺度上有效，但隨著模型尺寸的增長，密集層效率低下。
為什麼密集的層大規模掙扎
密集層的主要局限性之一是內存效率低下。由於每個神經元都連接到其他每個神經元，因此參數的數量隨著模型大小而二次縮放。較大的模型需要更多的內存和計算功率，從而導致高訓練成本和更長的推理時間。
另一個主要缺點是冗餘計算。即使某些神經元或特徵沒有顯著貢獻，密集層仍然計算所有神經元激活，並浪費處理能力。這會導致推理速度較慢，延遲增加和資源利用率降低。
密集的層也遭受了實時適應性差。更新模型的知識需要完整的再培訓，這對於需要連續更新的應用程序不切實際。此外，密集體系結構的高能消耗引起了人們對大規模AI模型的可持續性的擔憂。
使用可擴展的內存層優化AI知識存儲和檢索
Meta AI通過SMLS引入了深度學習方面的重大進步，這是一種更有效地在AI模型中存儲和檢索知識的新方法。與傳統的密集層不同，在固定重量參數中嵌入了所有學習的信息，SML使用外部存儲系統，使模型能夠根據需要動態訪問信息。該設計優化了內存使用情況，並降低了不必要的計算，從而提高了可擴展性和效率。
SML的關鍵組成部分是可訓練的鍵值查找系統，允許AI模型在不增加計算需求的情況下擴展其知識庫。傳統的深度學習體系結構依賴於隨著模型大小而生長的浮點操作（FLOP），從而使培訓和推理越來越大。 SMLS通過補充有選擇性的內存激活，減少延遲並優化計算資源來解決此問題。
這種方法的關鍵優勢之一是它可以更新知識的能力而無需完整的再培訓。傳統體系結構需要高度計算成本進行修改，而SML則允許對外部知識存儲的獨立更新。這可以實現實時適應性，而無需更改核心網絡結構，從而使其對連續學習應用程序非常有效。
為了提高性能，Meta AI優化了用於跨多個GPU的並行處理的SML，從而有效地處理了大型鑰匙值商店。專門的CUDA內核支持高內存帶寬操作，可更快地檢索信息。這些增強功能使SML特別適合大規模的AI應用程序，包括語言模型，AI驅動搜索引擎和實時自動化系統。
與傳統的密集網絡相比，SML通過減少計算開銷，同時保持或提高模型準確性，尤其是在需要事實精確的任務中，從而提供了可觀的效率提高。這使SMLS成為AI架構中的變革性創新。
性能比較：可擴展記憶層與傳統密集層
下面介紹了可擴展內存層和傳統密度層的性能比較：
記憶效率和計算負載
密集的層與記憶縮放鬥爭。隨著模型大小的增加，參數數量會按比例擴展，從而導致內存瓶頸和高計算成本。 SMLS將知識存儲與計算分開，從而使AI模型可以擴展知識庫而不會增加推理複雜性。
訓練和推理速度
密集層的最大缺點之一是冗餘計算，即使僅相關，每個神經元都會處理數據。 SML僅通過檢索相關信息來消除不必要的計算，從而導致延遲和更快的訓練週期。
可伸縮性而沒有增加計算成本
密集的層需要更大的硬件資源來擴展，而SML則保持固定的計算成本，而無論知識的擴展如何。這使它們對企業AI應用程序，基於雲的服務和實時自動化特別有效。
成本效益和能源效率
除了性能優勢之外，SML可節省大量成本。他們優化的體系結構減少了對昂貴硬件的依賴，從而降低了基礎架構和運營費用。
底線
AI正在迅速增長，但是傳統的密集層由於對記憶，計算和效率的需求不斷增長而掙扎。 SML可以通過使AI動態地檢索知識，減少計算浪費並增強可擴展性來提供更明智的方向。
SML不僅僅是優化，還重新定義了AI模型如何學習和發展，可以在不完全重新培訓的情況下進行連續更新。這使AI系統更適合未來，更具適應性，具有成本效益和可擴展性。
