混沌系統（例如流體動力學或大腦活動）對初始條件高度敏感，從而使長期預測變得困難。即使在建模這些系統中，也可能會迅速增長，這限制了許多科學機器學習（SCIML）方法的有效性。傳統的預測方法依賴於在特定時間序列或缺乏真正動態結構的廣泛數據集的模型中。但是，最近的工作表明，通過學習管理這些系統的數值規則，可以使本地預測模型更準確地預測混亂系統。真正的挑戰是實現跨域的概括，即創建可以適應和預測新的，以前看不見的動態系統的模型。這將需要將先驗知識與本地適應能力進行整合。儘管如此，對特定於任務數據的需求仍會限制當前方法，並且經常忽略關鍵動力學系統屬性，例如Ergodicity，通道耦合和保守數量。
動力學系統（MLDS）的機器學習利用了電感偏差等系統的獨特屬性。這些包括系統變量和不變統計措施之間的固定關係，例如奇怪的吸引子或保守數量。 MLDS模型使用這些屬性來構建更準確和可推廣的模型，有時還結合了概率或潛在變量技術。儘管已經策劃了動態系統的數據集，並且通常通過調整參數或使用符號方法生成新系統，但這些方法通常無法確保多樣化或穩定的動態。結構穩定性是一個挑戰 – 小型變化可能不會產生新的行為，而大型行為可能會導致瑣碎的動態。基礎模型旨在通過啟用轉移學習和零射推理來解決這一問題。儘管如此，大多數當前模型還是與標準時間序列模型相似，或者在產生有意義的動態變化方面受到限制。通過嵌入空間或像徵性發現等技術取得了一些進展，但是對動態行為的更豐富，更多樣化的採樣仍然是一個開放的挑戰。
UT奧斯汀的奧登學院的研究人員引入了熊貓（非線性動力學的填補的注意），這是一種經過驗證的模型，僅根據20,000個算法生成的混亂系統的合成數據訓練。這些系統是使用基於已知混沌ODE的進化算法創建的。儘管僅在低維ODE上進行了訓練，但Panda在現實世界中的非線性系統（包括流體動力學和電生理學）上顯示出強烈的零拍攝預測，並且出乎意料地將其推廣到PDES。該模型結合了諸如掩蓋預處理，渠道注意力和內核化補丁等創新，以捕獲動力學結構。神經縮放法也出現了，將熊貓的預測性能與培訓系統的多樣性聯繫起來。
研究人員使用一種遺傳算法產生了20,000個新的混沌系統，該算法從一組策劃的135種已知混亂odes中演變而成。這些系統通過偏斜的產品方法進行了突變和重新組合，僅通過嚴格的測試保留了真正的混亂行為。諸如時間延遲嵌入和仿射轉換之類的增強功能在保留其動態的同時擴展了數據集。持有一組單獨的9300個看不見的系統進行零拍測試。該模型Panda建立在PatchTST上，並具有諸如通道注意力，顳通道注意層以及使用多項式和傅立葉功能的動態嵌入之類的功能，靈感來自Koopman操作員理論。
熊貓在看不見的非線性動力學系統上表現出強烈的零射擊預測能力，在各種指標和預測範圍內都超過了諸如計時-SFT的模型。僅在3D系統上接受培訓，由於渠道的關注，它概括為更高維度的培訓。儘管在訓練中從未遇到過PDE，但Panda還是在現實世界中的實驗數據和混亂的PDE上成功的，例如Kuramoto-Sivashinsky和VonKármánVortex街。建築消融證實了渠道注意力和動態嵌入的重要性。該模型表現出具有增加動力學系統多樣性的神經縮放，並形成了可解釋的注意力模式，表明共鳴和吸引子敏感的結構。這表明熊貓對複雜的動力學行為的廣泛概括。
總之，熊貓是一個驗證的模型，旨在發現動態系統中可概括的模式。熊貓對大型，多樣化的合成混沌系統進行了培訓，在看不見的現實世界數據甚至部分微分方程上都表現出強烈的零射擊預測，儘管僅接受了低維odes的培訓。它的性能通過系統多樣性提高，揭示了神經縮放定律。該模型還顯示了注意力模式中出現的非線性共振。儘管專注於低維動力學，但該方法可以通過利用稀疏相互作用來擴展到更高維度的系統。未來的方向包括改善推出性能預測混亂行為的替代預處理策略。
查看紙張。 這項研究的所有信用都歸該項目的研究人員。另外，請隨時關注我們 嘰嘰喳喳 而且不要忘記加入我們的 95k+ ml子雷迪特 並訂閱 我們的新聞通訊。
Marktechpost的諮詢實習生，IIT Madras的雙學位學生Sana Hassan熱衷於應用技術和AI來應對現實世界中的挑戰。他對解決實踐問題的興趣非常興趣，他為AI和現實生活中的解決方案的交集帶來了新的視角。
