騰訊云計(jì)算加速套件 TACO Kit 包含 TACO Train 和 TACO Infer 兩個(gè) AI 組件。基于 GPU 異構(gòu)計(jì)算平臺(tái)針對(duì)業(yè)界 AI 訓(xùn)練和推理任務(wù)進(jìn)行了全方位的加速優(yōu)化。TACO Kit 不僅大大提升了 GPU 集群上多機(jī)多卡分布式訓(xùn)練的效率，對(duì)于 GPU 上的模型推理也通過集成 NVIDIA TensorRT 帶來了顯著加速。雙方團(tuán)隊(duì)就 GPU 推理加速這一話題將進(jìn)行持續(xù)深入的合作，推出定制化的優(yōu)化方案，為業(yè)界客戶帶來顯著的性能收益。

騰訊云計(jì)算加速套件TACO Kit（Tencent Cloud Accelerated Computing Optimization Kit）是一種異構(gòu)計(jì)算加速軟件服務(wù)，具備領(lǐng)先的 GPU 共享技術(shù)和業(yè)界唯一的 GPU 在離線混部能力，搭配騰訊自研的軟硬件協(xié)同優(yōu)化組件和硬件廠商特有優(yōu)化方案，支持物理機(jī)、云服務(wù)器、容器等產(chǎn)品的計(jì)算加速、圖形渲染、視頻轉(zhuǎn)碼各個(gè)應(yīng)用場(chǎng)景，幫助用戶實(shí)現(xiàn)全方位全場(chǎng)景的降本增效。

其中，AI 加速引擎 TACO Train 和 TACO Infer 是騰訊云虛擬化團(tuán)隊(duì)依托云帆團(tuán)隊(duì)，立足于騰訊內(nèi)部豐富的 AI 業(yè)務(wù)場(chǎng)景，深耕訓(xùn)練框架優(yōu)化、分布式框架優(yōu)化、網(wǎng)絡(luò)通信優(yōu)化、推理性能優(yōu)化等關(guān)鍵技術(shù)，攜手打造的一整套 AI 加速方案。為了更好的服務(wù)用戶，騰訊云決定將內(nèi)部深度優(yōu)化的加速方案免費(fèi)提供給公有云用戶，助力廣大用戶提高 AI 產(chǎn)品迭代效率。

無論對(duì)于 AI 訓(xùn)練或 AI 推理，如何有效提升 AI 任務(wù)的性能，節(jié)省硬件資源成本，是業(yè)界持續(xù)追求的目標(biāo)。在訓(xùn)練方面，隨著 AI 模型規(guī)模的擴(kuò)大及訓(xùn)練數(shù)據(jù)的增多，用戶對(duì)模型的迭代效率要求也隨之增長(zhǎng)，單個(gè) GPU 的算力已無法滿足大部分業(yè)務(wù)場(chǎng)景，使用單機(jī)多卡或多機(jī)多卡訓(xùn)練已成為趨勢(shì)。但用戶在部署分布式訓(xùn)練系統(tǒng)時(shí)，時(shí)常面臨著難以充分利用 GPU 資源、訓(xùn)練效率低下的問題，而分布式訓(xùn)練性能調(diào)優(yōu)卻是需要同時(shí)進(jìn)行通信優(yōu)化、計(jì)算優(yōu)化的極其復(fù)雜的問題。

在推理方面，對(duì)多種多樣的工作負(fù)載進(jìn)行推理加速也是業(yè)界共同的需求。這需要考慮如何對(duì)不同框架訓(xùn)練的模型進(jìn)行統(tǒng)一的高效部署；如何整合各類加速軟件和技術(shù)，對(duì)接不同模型和業(yè)務(wù)場(chǎng)景。

在訓(xùn)練方面，TACO Train 推出 Tencent TensorFlow（以下簡(jiǎn)稱 TTF）, 針對(duì)特定業(yè)務(wù)場(chǎng)景的 XLA，Grappler 圖優(yōu)化，以及自適應(yīng)編譯框架解決冗余編譯的問題，并對(duì) TensorFlow 1.15 添加了對(duì)CUDA 11的支持，讓用戶可以使用NVIDIA A100 Tensor Core GPU來進(jìn)行模型訓(xùn)練。另外，TACO Train 推出 LightCC 這一基于 Horovod 深度優(yōu)化的分布式訓(xùn)練框架，在保留了原生 Horovod 的易用性上，增加了性能更好的通信方式。相比 Horovod，LightCC 能夠?qū)?2D AllReduce 充分利用通信帶寬；在 GPU 上訓(xùn)練時(shí)提供高效的梯度融合方式；并使用 TOPK 壓縮通信，降低通信量，提高傳輸效率。最后，騰訊云自研了用戶態(tài)網(wǎng)絡(luò)協(xié)議棧 HARP，可以通過 Plug-in 的方式集成到NVIDIA NCCL中，無需任何業(yè)務(wù)改動(dòng)，加速云上分布式訓(xùn)練性能，從而解決了目前普遍使用的內(nèi)核網(wǎng)絡(luò)協(xié)議棧存在著一些必要的開銷導(dǎo)致其不能很好地利用高速網(wǎng)絡(luò)設(shè)備的問題。

在推理方面，TACO Infer 通過跨平臺(tái)統(tǒng)一的優(yōu)化接口賦能用戶，讓渴望加速計(jì)算的用戶輕松駕馭騰訊云上豐富的異構(gòu)算力。TACO Infer 針對(duì) GPU 推理任務(wù)，集成了NVIDIA TensorRT，利用其極致的模型優(yōu)化能力，使推理過程能夠達(dá)到令人滿意的性能。此外，TACO 也將自定義的高性能 kernel 實(shí)現(xiàn)與TensorRT相結(jié)合，極大地提升用戶的推理效率。

TACO Kit 針對(duì) GPU 的訓(xùn)練優(yōu)化，為諸多業(yè)務(wù)帶來了顯著的性能提升。在某電商平臺(tái)推薦業(yè)務(wù)Wide & Deep 模型訓(xùn)練任務(wù)中，TACO Train 提供的方案通過定制化高性能 GPU 算子，使延遲從 14.3ms 下降至 2.8ms；整體訓(xùn)練性能提升 43%，成本下降 11%；在另一電商推薦場(chǎng)景 MMoE 模型的訓(xùn)練任務(wù)中，TACO Train 提供的訓(xùn)練方案，在NVIDIA V100 Tensor Core GPU集群上，使計(jì)算速度性價(jià)比相比于 CPU 集群提升了 3.2 倍，收斂速度性價(jià)比相比于 CPU 集群提升了 24.3 倍。

目前，騰訊云 TACO Kit 與 NVIDIA 雙方團(tuán)隊(duì)仍持續(xù)為 AI 推理加速進(jìn)行合作。未來也將針對(duì)一些常見的業(yè)務(wù)模型，圍繞TensorRT進(jìn)行聯(lián)合優(yōu)化，將模型推理的性能推向更高的水準(zhǔn)，為業(yè)界有推理加速需求的客戶提供一站式的優(yōu)化方案。

審核編輯：湯梓紅