伴隨著大數(shù)據(jù)、算法、硬件的進步，“人工智能”這一極具未來感的高新科技，正在走入我們的日常生活。從“新一代勞?！睊叩?a target="_blank">機器人，到沙特第一個獲得公民身份的“索菲亞”，再到可隨身攜帶的“貼心小管家”……人工智能正在改變著我們的生活。未來，隨著人工智能的普及，我們每個人都會擁有屬于自己的人工智能助手。

然而，人工智能若要實現(xiàn)真正的普及，僅有云端側的人工智能并不夠，終端側人工智能同樣重要。那么，什么是終端側人工智能？它的優(yōu)勢又有哪些？我們要如何實現(xiàn)它？今天，就讓我們?yōu)槟愫煤媒獯鹨幌??！?/p>

什么是終端側人工智能？

在解釋終端側人工智能前，我們先從人工智能定義說起。從廣義上講，“人工智能”描述的是機器與周圍世界交互的各種方式。通過軟件和硬件的結合——一臺“人工智能”設備可以基于硬件，通過算法處理數(shù)據(jù)，最終模仿人類的行為或像人一樣執(zhí)行任務。而終端側人工智能就是將人工智能算法在終端上運行。

人工智能需要基于大量數(shù)據(jù)，由擁有強大運算能力的硬件承載計算，通過算法進行推演處理得出結論。因此，人工智能對硬件的運算能力提出了很高的要求。

終端側人工智能有何優(yōu)勢？

如果說云是人工智能的大腦，那么智能終端就是感官。把智能終端和云大腦完美結合起來，才是人工智能未來的方向。

云端因其強大的數(shù)據(jù)匯總能力以及運算處理能力，對于人工智能非常重要。并且，它還可作為終端側處理的補充而存在。云端可以匯集大數(shù)據(jù)并完成在終端上運行的許多人工智能推理算法的訓練（現(xiàn)階段）。

但在很多情況下，完全基于云端運行推理也會存在一些問題。比如，在自動駕駛等時延敏感和關鍵型任務的實時應用中，從終端采集數(shù)據(jù)，上傳到云端，云端再通過算法推演給出解決方案，然后下達到終端，鏈路太長會產生一定的時延，并且還會受到網絡等因素影響。

如果這些應用運行在終端側，問題將會得到解決。終端側人工智能是將人工智能算法在終端上運行。與在云端運行的人工智能相比，在終端側運行人工智能算法具有即時響應、可靠性提升、隱私保護增強，以及高效利用網絡帶寬等諸多優(yōu)勢。尤其是如今的移動終端已經成為了人們生活中必不可少的角色，終端側運行的優(yōu)勢更加凸顯。

不過，終端側人工智能并不意味著僅僅在運行終端側推理。它會與云端協(xié)同合作，面向手勢識別、連續(xù)認證、個性化用戶界面和面向自動駕駛的精密地圖構建等使用場景進行終端側人工智能訓練?；诟咚龠B接和高性能本地處理，實現(xiàn)最佳的總體系統(tǒng)性能。

如何實現(xiàn)終端側人工智能？

人工智能的運算需要基于硬件以完成大量的數(shù)據(jù)處理，因此終端側人工智能在工作負載這方面提出了挑戰(zhàn)。

Qualcomm 于十年前就開始了對人工智能的研究，目前也已經有了許多人工智能用例。十多年來，Qualcomm 在移動終端的專注研究，讓驍龍移動平臺成為了最高性能移動終端的首選系統(tǒng)級芯片（SoC），可以高效地處理多種計算工作負載。

通過在適宜的計算引擎上運行各種機器學習任務（如 CPU、GPU 和 DSP 等），Qualcomm 可以提供最高效的解決方案。并且這已經集成在了我們的 SoC 中。

Qualcomm Hexagon DSP 就是一個典型范例，它最初是面向其他向量數(shù)學密集型工作而設計，但已通過進一步增強用來解決人工智能的工作負載。實際上，在驍龍835 上支持 Qualcomm Hexagon 向量擴展的 Hexagon DSP，與 Qualcomm Kryo CPU 相比，在運行相同工作負載時（GoogleNet Inception網絡）能夠實現(xiàn) 25 倍能效提升和 8 倍性能提升。

架構的多樣性是至關重要的，人工智能的運算不能僅依賴某一類引擎處理所有工作。Qualcomm 還將持續(xù)演進面向機器學習工作負載的現(xiàn)有引擎，保持 Qualcomm 在性能表現(xiàn)最大化上的領先優(yōu)勢。并利用對新興神經網絡的研究，專注提升性能表現(xiàn)，以擴展異構計算能力，充分應對未來人工智能工作負載。

我們正大規(guī)模普及人工智能

僅有優(yōu)良硬件還不夠，讓開發(fā)者可以簡單便利的使用異構計算很重要。為了彌補這一差距，我們發(fā)布了驍龍神經處理引擎（NPE）軟件開發(fā)包（SDK）。它能縮短終端側卷積神經網絡（CNN）和遞歸神經網絡（RNN）在合適的驍龍引擎（例如 Kryo CPU、Qualcomm Adreno GPU 和 Hexagon DSP）上的運行時間，對圖形識別和自然語言處理分別都有著重要作用。相同的開發(fā)者 API 給每個引擎都提供接入口，從而使開發(fā)者能夠方便地無縫切換人工智能任務。

該神經處理引擎還支持通用深度學習模型框架，例如 Caffe/Caffe2 和 TensorFlow。該 SDK 是利用驍龍技術提供最佳性能和功耗的輕量靈活平臺，旨在幫助從醫(yī)療健康到安全的廣泛行業(yè)內的開發(fā)者和終端設備廠商，在便攜式終端上運行它們自己的專有神經網絡模型。例如，今年的 F8 大會上，F(xiàn)acebook 和 Qualcomm 宣布合作，支持優(yōu)化 Facebook 開源深度學習框架 Caffe2，以及 NPE 框架。

在終端側完成全部或大部分思考的、“始終開啟”的智能終端中蘊藏著巨大的機遇，Qualcomm 期待通過研究和產品化推動先進機器學習的發(fā)展。

目前，Qualcomm 人工智能平臺可通過高效的終端側機器學習，提供高度響應、高度安全且直觀的用戶體驗。未來還有更多可能。