研究可以概括，擴展和加速科學的AI模型的研究
下周是第11屆學習代表國際會議（ICLR）的開始，於5月1日至5日在盧旺達的基加利舉行。這將是第一次舉辦在非洲舉行的主要人工智能會議，也是自大流行開始以來的第一次面對面活動。
來自世界各地的研究人員將聚集在一起，分享他們在AI，統計學和數據科學領域以及機器視覺，遊戲和機器人技術等應用領域的深入學習方面的尖端工作。我們很榮幸能以鑽石贊助商和DEI冠軍來支持會議。
來自DeepMind的團隊今年發表了23篇論文。這裡有一些亮點：
在通往AGI的道路上的開放問題
最近的進步表明，AI在文本和圖像中的表現令人難以置信，但是系統需要進行更多的研究才能跨越域和尺度。這將是發展人工通用情報（AGI）作為我們日常生活中的變革性工具的關鍵步驟。
我們提出了一種新方法，模型通過解決兩個問題來學習。通過培訓模型同時從兩個角度看一個問題，他們學習瞭如何推理需要解決類似問題的任務，這對概括有益。我們還通過將神經網絡與語言的喬姆斯基層次結構進行比較來探討神經網絡的概括。通過嚴格測試16個不同任務的2200款模型，我們發現某些模型難以推廣，並發現使用外部記憶增強它們對於提高性能至關重要。
我們應對的另一個挑戰是如何在專家級的長期任務上取得進展，獎勵很少。我們開發了一種新的方法和開源培訓數據集，以幫助模型在長期以來學習以人類的方式探索。
創新的方法
隨著我們開發更先進的AI功能，我們必須確保當前方法能夠按預期和有效地工作。例如，儘管語言模型可以產生令人印象深刻的答案，但許多人無法解釋他們的答案。我們介紹了一種使用語言模型來通過利用其潛在邏輯結構來解決多步推理問題的方法，提供了可以由人類理解和檢查的解釋。另一方面，對抗攻擊是一種通過推動錯誤或有害輸出來探測AI模型限制的方式。對對抗性示例的培訓使模型更加強大，但可以按照“常規”輸入的性能成本來實現。我們表明，通過添加適配器，我們可以創建模型，使我們可以即時控制這種權衡。
強化學習（RL）已被證明在一系列現實世界的挑戰方面取得了成功，但是RL算法通常旨在很好地完成一項任務，並難以推廣到新的任務。我們提出了算法蒸餾，該方法使單個模型通過訓練變壓器來模仿不同任務中RL算法的學習歷史來有效地概括為新任務。 RL模型還通過反複試驗來學習，這可能是非常密集且耗時的。在57場Atari遊戲中，我們的模型代理57花了近800億個數據才能達到人類水平的性能。我們分享了一種新的方式，以減少200倍的經驗，大大降低計算和能源成本，以訓練該水平。
AI科學
AI是研究人員分析大量複雜數據並了解我們周圍世界的強大工具。幾篇論文表明，AI如何加速科學進步，以及科學如何發展AI。
從其3D結構中預測分子的特性對於藥物發現至關重要。我們提出了一種非授權方法，該方法實現了分子性質預測的新最新方法，可以進行大規模的預訓練以及在不同生物數據集中的概括。我們還引入了一個新的變壓器，該變壓器可以使用原子位置的數據進行更準確的量子化學計算。
最後，使用Fignet，我們從物理學中汲取靈感到復雜形狀之間的碰撞，例如茶壺或甜甜圈。該模擬器可以跨機器人技術，圖形和機械設計具有應用程序。
請參閱ICLR 2023上的DeepMind論文和活動時間表的完整列表。
