在兩部分的系列中 麻省理工學院新聞 探索生成AI的環境含義。在本文中,我們研究了為什麼這項技術如此之多。第二件作品將調查專家在減少Genai的碳足跡和其他影響方面所做的事情。
從提高工人的生產力到發展科學研究的生成AI潛在好處的興奮是難以忽視的。儘管這項新技術的爆炸性增長使許多行業能夠快速部署強大的模型,但這種生成性AI“淘金熱”的環境後果仍然很難確定,更不用說減輕了。
訓練通常具有數十億個參數的生成AI模型所需的計算能力,例如OpenAI的GPT-4,可能需要大量的電力,從而導致電網上二氧化碳排放和壓力增加。
此外,將這些模型部署在現實世界的應用中,使數百萬在日常生活中使用生成的AI,然後對模型進行微調來提高其性能,從而在開發模型後很久就會吸引大量能量。
除了電力需求之外,還需要大量的水來冷卻用於培訓,部署和微調生成的AI模型的硬件,該模型可能會使市政供水造成損害並破壞當地的生態系統。越來越多的生成AI應用程序也刺激了對高性能計算硬件的需求,從而增加了其製造和運輸的間接環境影響。
“當我們考慮生成AI的環境影響時,不僅是插入計算機時消耗的電力。要採取的更廣泛的後果才能達到系統級別,並根據我們採取的行動持續存在。”材料科學與工程系教授,也是麻省理工學院新氣候項目的脫碳任務的負責人Elsa A. Olivetti。
奧利維蒂(Olivetti)是2024年論文的高級作者,“生成AI的氣候和可持續性含義”,由麻省理工學院同事合著,以回應研究所範圍內的論文呼籲探索生成AI的變革潛力,以積極和消極的影響社會方向。
苛刻的數據中心
數據中心的電力需求是導致生成AI的環境影響的主要因素,因為數據中心用於訓練和運行Chatgpt和Dall-E等流行工具背後的深度學習模型。
數據中心是一個由溫度控制的建築物,可容納計算基礎架構,例如服務器,數據存儲驅動器和網絡設備。例如,亞馬遜在全球範圍內擁有100多個數據中心,每個數據中心都有大約50,000台服務器來支持雲計算服務。
自1940年代以來,數據中心就已經存在(第一個是在1945年在賓夕法尼亞大學建造的,以支持第一台通用數字計算機The Eniac),但生成AI的興起顯著提高了數據中心構建的速度。
“生成AI的不同是它所需的功率密度。從根本上講,它只是計算,但是生成的AI培訓集群可能比典型的計算工作量消耗七或八倍的能量。以及可持續性財團(MCSC)和計算機科學和人工智能實驗室(CSAIL)的博士後。
科學家估計,北美數據中心的功率要求從2022年底的2,688兆瓦增加到2023年底的5,341兆瓦,部分是由於生成AI的需求所驅動的。在全球範圍內,數據中心的電力消耗在2022年上升到460噸。這將使數據中心成為世界上第11大電力消費者,在沙特阿拉伯國家之間(371 Terawatts)和法國(463 Terawatts)之間。經濟合作與發展組織。
到2026年,數據中心的電力消耗預計將接近1,050台Terawatts(這將使數據中心在日本和俄羅斯之間的全球名單上最多排名第五)。
儘管並非所有數據中心計算都涉及生成AI,但該技術一直是能源需求增加的主要驅動力。
“對新數據中心的需求不能以可持續的方式滿足。公司建立新數據中心的速度意味著為它們供電的大部分電力必須來自化石燃料的發電廠,”巴希爾說。
訓練和部署諸如OpenAI的GPT-3之類的模型所需的功率很難確定。在2021年的研究論文中,來自Google和加利福尼亞大學伯克利分校的科學家估計,僅培訓過程就消耗了1,287兆瓦的電力(足以為一年的美國平均房屋供電約120個平均房屋),產生了約552噸二氧化碳。
Bashir解釋說,雖然必須訓練所有機器學習模型,但生成AI所特有的一個問題是能源使用的快速波動在訓練過程的不同階段發生。
電網操作員必須有一種方法來吸收這些波動以保護電網,並且通常使用基於柴油機的發電機來執行該任務。
推理的影響增加
一旦訓練了生成的AI模型,能源需求就不會消失。
每次使用模型時,也許有人要求Chatgpt總結電子郵件,執行這些操作的計算硬件會消耗能量。研究人員估計,Chatgpt查詢的消耗是簡單的Web搜索的五倍。
“但是每天的用戶對此並沒有太多考慮,”巴希爾說。 “生成AI的易用性接口以及缺乏有關我動作的環境影響的信息,這意味著,作為用戶,我沒有太多動力來減少我對生成AI的使用。”
借助傳統的AI,能量使用在數據處理,模型培訓和推理之間相當均勻,這是使用訓練有素的模型對新數據進行預測的過程。但是,巴希爾(Bashir)期望生成AI推斷的電力需求最終會占主導地位,因為這些模型在如此多的應用中變得無處不在,並且隨著模型的未來版本變得更大,更複雜,推理所需的電力將增加。
另外,由於對新AI應用的需求不斷增長,生成的AI模型具有特別短的保質期。 Bashir補充說,公司每隔幾週就會發布新的型號,因此用於培訓先前版本的能量浪費了。新模型通常會消耗更多的訓練能量,因為它們通常比其前任更多的參數。
儘管數據中心的電力需求可能在研究文獻中引起了最大的關注,但這些設施消耗的水量也具有環境影響。
冷藏水用於通過吸收計算設備的熱量來冷卻數據中心。 Bashir說,據估計,對於數據中心消耗的每個千瓦時能源時,它需要兩升水才能冷卻。
“僅僅因為這被稱為’雲計算’並不意味著硬件生存在雲中。數據中心存在於我們的物理世界中,由於它們的用水量,它們對生物多樣性具有直接和間接的影響。”他說。
數據中心內部的計算硬件帶來了自己的,不太直接的環境影響。
雖然很難估計製造GPU需要多少功率,GPU是一種可以處理密集的生成AI工作負載的功能強大的處理器,但由於製造過程更為複雜,因此生產更簡單的CPU所需的功能遠遠超出了生產更簡單的CPU所需的功能。與材料和產品運輸有關的排放,GPU的碳足跡更加複雜。
獲得用於製造GPU的原材料也有環境的影響,這可能涉及骯髒的採礦程序和使用有毒化學物質進行加工。
市場研究公司TechInsights估計,三個主要生產商(NVIDIA,AMD和INTEL)於2023年向數據中心運送了385萬GPU,高於2022年的267萬。 。
巴希爾說,該行業正處於不可持續的道路上,但是有一些方法可以鼓勵負責支持環境目標的生成AI的負責發展。
他,奧利維蒂(Olivetti)和他們的麻省理工學院同事認為,這將需要全面考慮生成AI的所有環境和社會成本,以及對其感知福利的價值進行詳細評估。
“我們需要一種系統和全面地理解新發展中新發展的含義的更情境方式。由於有所改善的速度,我們沒有機會趕上衡量和理解權衡的能力。” Olivetti說。