擴散模型已成為至關重要的生成AI框架，在圖像合成，視頻生成，文本到圖像翻譯和分子設計等任務中表現出色。這些模型通過兩個隨機過程運行：一個向前的過程，該過程會逐步添加噪聲，將其轉換為高斯噪聲，並通過學習消除此噪聲來重建樣品的反向過程。關鍵配方包括基於分數的生成模型（SGM）和基於得分的隨機微分方程（SDES）（SDES）的擴散概率模型（DDPM）。 DDPM採用馬爾可夫鏈進行逐漸變質，而SGM估計得分功能以使用langevin Dynamics引導採樣。得分SDE將這些技術擴展到連續時間擴散。鑑於高計算成本，最近的研究集中在使用Kullback -Leibler Divergence，總變異和Wasserstein距離等指標來優化收斂速率，旨在減少對數據維度的依賴。
最近的研究試圖通過解決對數據維度的指數依賴性來提高擴散模型效率。最初的研究表明，融合率隨維度的規模較差，從而使大規模應用具有挑戰性。為了解決這個問題，較新的方法假定L2精確的分數估計值，平滑度和有限的力矩以提高性能。諸如阻尼不足的蘭格文動力學和基於黑森西亞的加速採樣器之類的技術顯示了維度的多項式縮放，從而減少了計算負擔。其他方法利用普通的微分方程（ODE）來完善總變異和瓦斯汀收斂速率。此外，對低維子空間的研究表明，在結構化假設下效率提高。這些進步顯著增強了現實應用應用程序擴散模型的實用性。
漢堡大學數學，計算機科學和自然科學系的研究人員探討了稀疏性（一個完善的統計概念）如何提高擴散模型的效率。他們的理論分析表明，應用ℓ1-調節化通過限制輸入維度的影響，從而降低了計算複雜性，從而提高了S^2/tau的收斂速率，其中S
該研究解釋了分數匹配和離散時間擴散過程。得分匹配是一種用於估計概率分佈梯度的技術，這對於生成模型至關重要。對神經網絡進行了訓練，可以近似此梯度，從而從所需的分佈中進行採樣。擴散過程逐漸向數據添加噪聲，從而創建一系列變量。反向過程通常通過Langevin Dynamics使用學習的梯度重建數據。正則分數匹配，尤其是在稀疏性限制下，提高了效率。所提出的方法加快了擴散模型中的收斂性，從而將復雜性從數據尺寸的平方降低到小得多的值。
該研究探討了擴散模型中正則化的影響，重點是數學證明和經驗評估。它引入了技術，以最大程度地減少逆步誤差並優化調諧參數，從而提高采樣過程的效率。具有三維高斯數據的受控實驗表明，正則化增強了生成樣品中的結構和聚焦。同樣，手寫數字數據集的測試表明，傳統方法在更少的採樣步驟中遇到了困難，而正則化方法也始終產生高質量的圖像，即使計算工作減少。
對時尚相關數據集的進一步評估表明，標準分數匹配會產生過度平滑和不平衡的輸出，而正則化方法則實現了更現實且分佈均勻的結果。該研究強調，正則化通過將依賴性從輸入維度轉移到較小的固有維度來降低計算複雜性，從而使擴散模型更加有效。除了應用稀疏性誘導技術之外，其他形式的正則化可以進一步提高性能。研究結果表明，納入稀疏性原理可以顯著改善擴散模型，使它們在計算上可行，同時保持高質量的輸出。
查看 紙。 這項研究的所有信用都歸該項目的研究人員。另外，請隨時關注我們 嘰嘰喳喳 而且不要忘記加入我們的 75K+ ml子雷迪特。
🚨 推薦的閱讀-LG AI研究釋放Nexus：一個高級系統集成代理AI系統和數據合規性標準，以解決AI數據集中的法律問題
Marktechpost的諮詢實習生，IIT Madras的雙學位學生Sana Hassan熱衷於應用技術和AI來應對現實世界中的挑戰。他對解決實踐問題的興趣非常興趣，他為AI和現實生活中的解決方案的交集帶來了新的視角。
🚨推薦開源AI平台：“ Intellagent是一個開源的多代理框架，可評估複雜的對話AI系統”（已晉升）
