推進一流的大型型號，最佳的RL代理以及更透明，道德和公平的AI系統
第三十六屆神經信息處理系統國際會議（Neurips 2022）將於2022年11月28日至12月9日舉行，作為一場總部位於美國新奧爾良的混合活動。
Neurips是世界上最大的人工智能會議（AI）和機器學習（ML），我們很自豪地以鑽石贊助商的身份支持該活動，從而幫助促進了AI和ML社區的研究進展。
來自DeepMind的團隊發表了47篇論文，其中包括虛擬面板和海報會議中的35次外部合作。這是我們介紹的一些研究的簡要介紹：
一流的大型型號
大型模型（LMS） – 經過大量數據培訓的生成AI系統 – 導致了語言，文本，音頻和圖像生成等領域的令人難以置信的表現。他們成功的一部分取決於他們的純粹規模。
但是，在Chinchilla中，我們創建了一個700億個參數語言模型，該模型的表現優於包括Gopher在內的許多較大模型。我們更新了大型模型的縮放定律，顯示了先前訓練的模型如何太大，無法進行培訓的數量。這項工作已經塑造了其他遵循這些更新規則的模型，創造了更精簡，更好的模型，並在會議上贏得了出色的主田徑紙獎。
在Chinchilla和我們的多模型NFNET和感知者的基礎上，我們還展示了Flamingo，這是一個少數射擊的學習視覺語言模型的家庭。 Flamingo處理圖像，視頻和文本數據，代表了僅視覺和僅語言模型之間的橋樑。單個火烈鳥模型在多種開放式多模式任務上以幾次學習的方式設置了新的最新技術。
但是，規模和體系結構並不是對基於變壓器模型的力量重要的唯一因素。數據屬性也起著重要的作用，我們在有關促進變形金剛模型中的文化學習的數據屬性的演講中進行了討論。
優化增強學習
強化學習（RL）表現出了巨大的希望，作為創建可以解決各種複雜任務的廣義AI系統的一種方法。這導致了許多領域的突破，從數學到數學，我們一直在尋找使RL代理更聰明和更苗條的方法。
我們引入了一種新方法，通過大幅度擴展可用於檢索的信息規模，從而以計算有效的方式提高RL代理的決策能力。
我們還將在視覺上複雜的環境中展示一種概念上簡單但一般的方法，用於好奇心驅動的探索 – 一種稱為BYOL-explore的RL代理。它可以實現超人的性能，同時又對噪音強大，並且比先前的工作要簡單得多。
算法進步
從壓縮數據到預測天氣的運行模擬，算法是現代計算的基本組成部分。因此，在大規模工作時，增量改進會產生巨大影響，有助於節省能源，時間和金錢。
我們基於神經算法推理，共享一種用於自動配置計算機網絡自動配置的新的新型和高度可擴展的方法，這表明我們的高度靈活方法比當前的最新狀態快490倍，同時滿足大多數輸入約束。
在同一會議上，我們還對“算法對齊”的先前理論概念進行了嚴格的探索，突出了圖神經網絡與動態編程之間的細微關係，以及如何最好地結合它們以優化分佈外部性能。
負責任地開拓
DeepMind使命的核心是我們承諾在AI領域擔任負責任的先驅。我們致力於開發透明，道德和公平的AI系統。
解釋和理解複雜的AI系統的行為是創建公平，透明和準確的系統的重要組成部分。我們提供了一組捕捉這些野心的Desiderata，並描述了一種實用的方式來滿足它們，其中涉及訓練AI系統以建立自身的因果模型，使其能夠以有意義的方式解釋其自身行為。
為了在世界上安全和道德行動，人工智能代理必須能夠推理傷害並避免有害行動。我們將介紹一種稱為反事實危害的新型統計措施的協作工作，並演示其如何克服標準方法以避免採取有害政策的問題。
最後，我們介紹了新論文，該論文提出了診斷和減輕由分配變化引起的模型公平性失敗的方法，這表明這些問題對在醫療機構中的安全ML技術部署有多重要。
在此處查看我們在2022年Neurips的全部工作。
