亞馬遜網絡服務上個月擴大了其芯片影響力,主要是推出了這家巨型云提供商的第三代基于Arm的Graviton處理器,該處理器將為針對計算密集型工作負載的新云實例提供動力,如高性能計算(HPC)、科學建模、分析和基于CPU的機器學習推理。
在AWS的re:Invent會議上,該公司公布了目前處于預覽階段的Graviton3處理器,以及將在這些處理器上運行的EC2C7g實例。同時,AWSCEOAdamSelipsky還宣布了運行在該公司一年前的Trainium芯片上的新Trn1實例,針對機器學習訓練工作負載,并吹噓了2019年推出并利用Inferentia芯片的Inf1實例的性價比能力,為機器學習推理任務。
該公司甚至宣布了存儲優化的EC2實例——Im4gn/Is4gen/I4i——基于其Nitro固態驅動器(SSD),以提高AWS云中I/O密集型工作負載的存儲性能。
AWS專注于芯片
最新處理器和EC2實例的推出是AWS多年來努力構建自己的處理器以在其云實例及其Outposts基礎設施中運行的最新證明,這些基礎設施旨在提供AWS服務和連接到-在企業采用混合云模型快速增長的時候部署數據中心。
這一切發生在AWS于2016年收購以色列初創公司AnnapurnaLabs五年之后,這使其成為其芯片制造工作的基礎。
MoorInsightsandStrategy的首席分析師PatrickMoorhead告訴TheNewStack:“AWS已經在自己的芯片上投入了數年時間,從Nitro開始,擴展到通用Graviton、用于推理的Inferentia,以及現在用于訓練的Trainium。”“AWS可以挑選它想要的每一個功能,以及它不需要利用自己軟件的每一個功能。它還可以針對其特定的網絡和存儲優化其I/O。在規模上,這應該允許它以更低的成本提供計算,并在某些情況下提供更高的性能,亞馬遜自研芯片背后的大潮流。”
Moorhead說,英特爾、AMD和Nvidia服務于更廣泛的市場,跨越多種環境,一些客戶并沒有使用所有功能。AWS正在使用本土計算來區分其實例。
性價比是關鍵
在他的主題演講中,Selipsky強調企業將看到在利用AWS芯片而不是來自英特爾和AMD的x86CPU或來自這些供應商和Nvidia的GPU的實例上運行人工智能、機器學習和分析等工作負載的性價比優勢。
“借助Trainium和Inferentia,客戶可以獲得最佳的機器學習性價比,從擴展訓練工作負載到通過高性能推理加速生產中的深度學習工作負載,讓所有客戶都可以使用機器學習的全部功能,”CEO說。“長期以來,這一直是我們的目標,降低訓練和推理的成本是這一旅程的主要步驟。”
AWS沒有透露關于Graviton3的很多細節。他說,隨著新的硅情況下為25%,快于Graviton2運行的通用計算工作負載作為動力的情況下,并會更好一些專門的工作負載。例如,它在科學工作負載和加密作業的浮點性能方面是兩倍。運行機器學習應用程序的速度也快了三倍。
電源效率的一個因素
Graviton3將在相同性能下使用多達60%的能量,部分原因是使用DDR5內存,它比DDR4消耗更少的功率,同時提供50%的帶寬。該處理器將運行多達64個內核,擁有500億個晶體管,時鐘速度為2.6GHz。
AWS副總裁JeffBarr在博客文章中寫道,基于Graviton3的C7g云實例將提供各種尺寸,包括裸機模型。
基于Inferentia和Trainium的實例還旨在降低運行特定工作負載的成本。Selipsky說,Inf1實例的每次推理成本比類似的基于GPU的EC實例低70%。同時,Trainium驅動的Trn1實例針對自然語言處理和圖像識別等工作,將提供兩倍于基于GPU的實例的帶寬——高達800Gb/s的EFA網絡吞吐量。
企業還將能夠在EC2UltraClusters中部署Trn1實例,該實例可以擴展到數萬個Trainium芯片并達到PB級。這些UltraCluster將比之前的EC2UltraCluster大2.5倍。
“Inferentia和Trainium都是為了在生產級推理和核心訓練中省錢,”Moorhead說。“AWS一直堅持其在節省資金方面的立場,因此,在我看到Trainium結果之前,我非常有信心在某些工作負載上,您會看到顯著的節省。”
定制芯片的趨勢
Graviton、Inferentia和Trainium是行業向專用處理器發展的更廣泛趨勢的一部分。在本周的一篇博客文章中,Arm基礎設施業務線的高級副總裁兼總經理ChrisBergey寫道,他的公司設計芯片并將這些設計授權給其他公司,正以其高能效推動這一設計趨勢。
“數據中心工作負載和互聯網流量幾乎每兩年翻一番,因此每瓦性能優勢對于防止計算增加其碳足跡至關重要,”Bergey寫道,并補充說Arm在云中的增長“讓開發人員可以選擇通過在每個核心的基礎上提供一致的性能和可擴展性,繼續可持續創新,實現可擴展的性能和效率的組合,以提供行業領先的TCO。”
AWS并不是唯一一家希望設計自己的芯片的超大規模企業,因為他們尋求更高的性能和效率。據報道,微軟去年決定構建基于Arm的芯片,用于Azure服務器和谷歌,谷歌擁有諸如張量處理單元和OpenTitan安全芯片等定制芯片。Facebook也在構建自己的數據中心芯片。
構建自己的處理器的挑戰
TheEnderleGroup的首席分析師RobEnderle告訴TheNewStack,他不確定這將如何發展。
“當公司達到一定規模時,他們傾向于相信他們的內部規模經濟將使他們能夠與專注的供應商作為同行有效競爭,”Enderle說。“這一最新趨勢很大程度上是英特爾錯過了許多關鍵里程碑的結果……迫使云行業的大多數人考慮這條道路。”
然而,在CEOPatGelsinger的領導下,英特爾的執行力正在提高。他說,與此同時,AMD的EpycCPU和GPU繼續給人留下深刻印象,這表明對定制芯片的需求可能正在減少。
“在供應短缺時期,像AMD和英特爾這樣的公司也可能更容易工作,而不是單獨行動,因為這些公司不僅應該有更好的供應冗余,而且還應該能夠更好地轉移內部決策者的責備如果短缺甚至超出了他們的控制范圍,”Enderle說。“成本確實仍然是單打獨斗的潛在優勢,但前提是你忽略了各家公司的知識產權保護和數十年經驗的價值,這些經驗通常會提供相互抵消的可靠性、一致性和性能優勢。”
此外,隨著時間的推移,成本會增加,內部努力可能變得無利可圖且不可持續。分析師表示,部分原因是很難找到和留住所需的人才,這是在熟練員工嚴重短缺的時期面臨的一項特殊挑戰。
“雖然過去并不總是能預測未來,而且AWS規模的公司可以成功地完成即使是最大的企業也無法做到的事情”Enderle說,他進一步指出,“只要專業化公司的基本優勢在執行,它們就仍然有效。” |