當(dāng)前，人工智能產(chǎn)業(yè)飛速發(fā)展，用戶對AI智能體驗的需求不斷升級，而一個出色的AI應(yīng)用或AI體驗的誕生，很大程度上依賴于底層芯片算力的極致發(fā)揮。

作為麒麟芯片計算能力的開放平臺，HUAWEI HiAI Foundation提供300+算子支持，具備業(yè)界最佳的模型兼容性，助力開發(fā)者快速開發(fā)和部署AI應(yīng)用。但麒麟芯片計算能力開放還只是第一步，為了更好地利用麒麟芯片NPU的優(yōu)勢，降低開發(fā)工作量、提高開發(fā)效率，HUAWEI HiAI Foundation與眾多開發(fā)者在業(yè)務(wù)對接中，還需要解決諸多難題。

其一，開發(fā)者設(shè)計的模型大多是基于CPU或GPU運行，當(dāng)模型部署到NPU時，需要進(jìn)一步為NPU做設(shè)計匹配，這對開發(fā)者而言是陌生的。舉個例子，模型設(shè)計時，更小的Channel拆分和更多的Vector算子，將無法發(fā)揮NPU的性能與功耗優(yōu)勢。

其二，因開發(fā)者的模型結(jié)構(gòu)對HUAWEI HiAI Foundation保密，在需要對AI模型進(jìn)行調(diào)優(yōu)時，雙方團(tuán)隊溝通解決問題的時間成本較高，開發(fā)效率低。

洞察上述痛點后，HUAWEI HiAI Foundation技術(shù)團(tuán)隊迅速行動，在最新版本100.510.020.010中創(chuàng)新性地推出了HUAWEI HiAI Foundation Model Zoo，將當(dāng)前已經(jīng)識別出來的NPU友好模型展示給開發(fā)者，幫助其設(shè)計 NPU友好模型算法結(jié)構(gòu)、了解NPU優(yōu)化策略，更好地發(fā)揮麒麟芯片的NPU加速優(yōu)勢。

HUAWEI HiAI Foundation Model Zoo提供可直接調(diào)用的硬件最優(yōu)模型庫，集成圖片分類、物體檢測、語義分割、超分等典型場景的網(wǎng)絡(luò)模型，包含IR算子性能調(diào)優(yōu)使用指導(dǎo)，以及NPU性能友好模型結(jié)構(gòu)和推薦指數(shù)，幫助開發(fā)者快速了解，哪個算子的哪種參數(shù)取值在硬件上能夠獲得更好的性能和能效的收益，如何優(yōu)化模型結(jié)構(gòu)可以實現(xiàn)高性能與低功耗。目前，HUAWEI HiAI Foundation的模型結(jié)構(gòu)可視化已經(jīng)在Netron工具適配上線，可以支持開發(fā)者打開Model Zoo中的模型文件，方便調(diào)試。

實測數(shù)據(jù)顯示，Resnet18模型在CPU上推理耗時74ms，在NPU上推理僅耗時6ms，耗時降低90%以上，可見NPU加速后性能優(yōu)勢明顯。除此之外，開發(fā)者的工作效率也明顯提高，參考Model Zoo提供的OM模型，開發(fā)者可以基于自身業(yè)務(wù)需求進(jìn)行模型訓(xùn)練，省去了將原始模型轉(zhuǎn)換成OM模型的過程，提升了DDK易用性。

當(dāng)然，HUAWEI HiAI Foundation Model Zoo的目標(biāo)遠(yuǎn)不止于此。除了解決開發(fā)者的模型設(shè)計痛點，HUAWEI HiAI Foundation Model Zoo還在著手構(gòu)建NPU算法交流平臺，針對互聯(lián)網(wǎng)生態(tài)開發(fā)者和高效算法研究者，上線Model Zoo門戶網(wǎng)站，通過模型分類、查找、上傳功能，建立模型評分機制，提供算法開發(fā)者社區(qū)討論平臺等，輔助開發(fā)者高效開發(fā)適用于NPU平臺的模型算法。未來，HUAWEI HiAI Foundation Model Zoo將支持端云協(xié)同的模型訓(xùn)練、調(diào)優(yōu)和部署流程，支持算法懸賞任務(wù)機制，構(gòu)建完整的NPU算法生態(tài)，最終實現(xiàn)HUAWEI HiAI Foundation社區(qū)的自繁榮。

原文標(biāo)題：自主調(diào)優(yōu)AI模型結(jié)構(gòu)，麒麟芯片NPU加持！HUAWEI HiAI Foundation Model Zoo上線

文章出處：【微信公眾號：華為麒麟】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。