撰寫文章、編寫代碼、譜寫 Rap,上知天文,下知地理,十八般武藝樣樣精通……從 2022 年底開始,一款由美國人工智能研究實(shí)驗(yàn)室 OpenAI 發(fā)布的自然語言處理工具 ChatGPT 備受關(guān)注,成為現(xiàn)象級的 AI 產(chǎn)品,掀起全球的 AI 浪潮。
在以 ChatGPT 為代表的 AI 應(yīng)用蓬勃發(fā)展的背后,離不開數(shù)據(jù)中心提供的算力支撐。而隨著相關(guān)應(yīng)用的不斷發(fā)展,它們所需的算力將呈指數(shù)級增長,所需的能耗也不容小覷。根據(jù) 2021 年國外研究人員年發(fā)表的研究結(jié)果,部分基于 GPT-3 模型的訓(xùn)練共消耗1,287 兆瓦時(shí)電力,并產(chǎn)生了超過550 噸二氧化碳當(dāng)量的排放,這相當(dāng)于一個(gè)人往返紐約和舊金山550 次所消耗的二氧化碳量[1]。
Ampere Computing 一直致力于為數(shù)據(jù)中心帶來高性能、高能效的云原生處理器,助力減少環(huán)境足跡,構(gòu)建綠色數(shù)據(jù)中心,降低總體擁有成本(TCO),以更可持續(xù)的方式為用戶提供更多的綠色算力。在 AI 領(lǐng)域,Ampere 提供的 AI 解決方案具備卓越的推理性能和優(yōu)越的能效,幫助用戶輕松應(yīng)對算力及能耗的挑戰(zhàn)。
想知道 ChatGPT 如何看待AI 在“減碳”方面的作用嗎?快來參與文末的趣味互動(dòng)吧!
云原生設(shè)計(jì),強(qiáng)力賦能 AI 推理
Ampere Altra Max 基于高性能、高能效及可預(yù)測的創(chuàng)新架構(gòu),非常適合在云中執(zhí)行 AI 推理工作,不僅可以滿足延遲和吞吐量的要求,而且性能優(yōu)于基于 x86 架構(gòu)的 CPU。讓我們一起來看一下在 Ampere Altra Max 處理器上運(yùn)行 AI 推理的收益吧!
開箱即用,暢享便捷體驗(yàn)
在 Ampere Altra Max 上運(yùn)行 AI 推理不需要修改或轉(zhuǎn)換已有神經(jīng)網(wǎng)絡(luò),即可在 TensorFlow、PyTorch 或 ONNX 框架上開發(fā)和運(yùn)行 AI 推理的工作負(fù)載。用戶可從 Ampere 或 Ampere 云服務(wù)合作伙伴處免費(fèi)獲得優(yōu)化框架,高效地部署和運(yùn)行應(yīng)用程序。同時(shí),Ampere Altra Max 是目前唯一支持 fp16 數(shù)據(jù)格式,并已廣泛可用的云原生處理器,將 fp32 訓(xùn)練的網(wǎng)絡(luò)量化為 fp16 極為簡單,且不會(huì)導(dǎo)致明顯的精度損失。
此外,Ampere 還提供一系列不斷優(yōu)化、預(yù)訓(xùn)練的模型,供用戶下載用于演示或在實(shí)際應(yīng)用程序中進(jìn)行調(diào)整并使用。并且,Ampere Altra Max CPU 還可與 NVIDIA GPU 協(xié)同工作,滿足用戶的訓(xùn)練需求。
高度可擴(kuò)展,有效抵抗干擾
憑借創(chuàng)新的可橫向擴(kuò)展架構(gòu),Ampere Altra Max 處理器具有更高的核心數(shù)和出色的單線程性能。結(jié)合所有內(nèi)核可同時(shí)一致頻率運(yùn)行的特性,Ampere Altra Max 的單 CPU 整體性能比目前最好的 x86 服務(wù)器更高、更穩(wěn)定,在多租戶的云環(huán)境中對“嘈雜鄰居”的干擾也更具抵抗力。
基準(zhǔn)測試,彰顯卓越推理性能
為展示 Ampere Altra Max CPU 在多個(gè)具有代表性的 AI 推理任務(wù)中的卓越性能,Ampere 按照 MLCommons 指南運(yùn)行了一系列基準(zhǔn)測試(包括計(jì)算機(jī)視覺和 NLP 應(yīng)用),部分測試的結(jié)果如下。
計(jì)算機(jī)視覺方面,使用 SSD ResNet-34 測試典型的對象檢測應(yīng)用,在 fp32 模式下與比較對象相比,Ampere Altra Max 在低延遲方面最高可領(lǐng)先近 4 倍。在 fp16 模式下,Altra Max 將領(lǐng)先優(yōu)勢擴(kuò)大了兩倍,同時(shí)保持了相同的精度。
在性能功耗比方面,Ampere Altra Max 也具有顯著優(yōu)勢。在 fp16 分辨率下,Ampere Altra Max 的能效與比較對象相比高約 5 倍。而在 fp32 分辨率下,Ampere Altra Max 則擁有高約 2 倍的領(lǐng)先優(yōu)勢。
面對蓬勃發(fā)展的 AI 應(yīng)用,Ampere AI 解決方案將為 AI 應(yīng)用和數(shù)據(jù)中心的發(fā)展提供更可持續(xù)的綠色算力支撐,助力解決不斷升級的算力需求和日益突出的環(huán)境問題。一直以來,Ampere 著眼未來、不斷創(chuàng)新,將卓越性能和能效融入到為云定制的解決方案中,助力釋放數(shù)字經(jīng)濟(jì)生產(chǎn)力,助推科技產(chǎn)業(yè)在可持續(xù)發(fā)展的道路上一路“狂飆”。
審核編輯:湯梓紅
-
AI
+關(guān)注
關(guān)注
87文章
31711瀏覽量
270510 -
人工智能
+關(guān)注
關(guān)注
1796文章
47791瀏覽量
240574 -
云原生
+關(guān)注
關(guān)注
0文章
252瀏覽量
7995 -
算力
+關(guān)注
關(guān)注
1文章
1023瀏覽量
14979 -
ChatGPT
+關(guān)注
關(guān)注
29文章
1570瀏覽量
8117
原文標(biāo)題:創(chuàng)芯課堂|當(dāng) AI 遇上云原生,綠色算力助力開啟 AI 新時(shí)代
文章出處:【微信號:AmpereComputing,微信公眾號:安晟培半導(dǎo)體】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
云原生AI服務(wù)怎么樣
云原生LLMOps平臺(tái)作用
如何選擇云原生機(jī)器學(xué)習(xí)平臺(tái)
企業(yè)AI算力租賃模式的好處
什么是云原生MLOps平臺(tái)
廣和通開啟端側(cè)AI新時(shí)代
企業(yè)AI算力租賃是什么
AI時(shí)代算力的重要性及現(xiàn)狀:平衡發(fā)展與優(yōu)化配置的挑戰(zhàn)
存算一體架構(gòu)創(chuàng)新助力國產(chǎn)大算力AI芯片騰飛
大模型時(shí)代的算力需求
HDC2024華為發(fā)布鴻蒙原生智能:AI與OS深度融合,開啟全新的AI時(shí)代
![HDC2024華為發(fā)布鴻蒙<b class='flag-5'>原生</b>智能:<b class='flag-5'>AI</b>與OS深度融合,<b class='flag-5'>開啟</b>全新的<b class='flag-5'>AI</b><b class='flag-5'>時(shí)代</b>](https://file1.elecfans.com//web2/M00/F3/1D/wKgaomZ4y9mAJ3ziAEzrplVRPls193.png)
軟通動(dòng)力亮相2024中國移動(dòng)算力網(wǎng)絡(luò)大會(huì),共繪算力網(wǎng)絡(luò)新藍(lán)圖
![軟通動(dòng)力亮相2024中國移動(dòng)<b class='flag-5'>算</b><b class='flag-5'>力</b>網(wǎng)絡(luò)大會(huì),共繪<b class='flag-5'>算</b><b class='flag-5'>力</b>網(wǎng)絡(luò)新藍(lán)圖](https://file1.elecfans.com/web2/M00/E0/3D/wKgZomY4PqCABaH5AAAYHwKWwAM350.jpg)
一圖看懂星河AI數(shù)據(jù)中心網(wǎng)絡(luò),全面釋放AI時(shí)代算力
![一圖看懂星河<b class='flag-5'>AI</b>數(shù)據(jù)中心網(wǎng)絡(luò),全面釋放<b class='flag-5'>AI</b><b class='flag-5'>時(shí)代</b><b class='flag-5'>算</b><b class='flag-5'>力</b>](https://file1.elecfans.com/web2/M00/C6/49/wKgaomX87SSAEXr2AAFTlT-bC2M298.jpg)
評論