為了全面提升淘寶直播體驗(yàn)和互動(dòng)能力，淘系技術(shù)團(tuán)隊(duì)聯(lián)合阿里云經(jīng)歷三年時(shí)間打造了首個(gè)全鏈路RTC實(shí)時(shí)傳輸網(wǎng)。在時(shí)延、成本、抗弱網(wǎng)等指標(biāo)均取得巨大提升。小編將介紹GRTN的技術(shù)演進(jìn)路線及未來(lái)規(guī)劃。

我從2016年開(kāi)始做淘寶直播，在2017年也做了很多分享。從2016年啟動(dòng)到現(xiàn)在這幾年內(nèi)淘寶直播還是有了很多技術(shù)沉淀，記得2017年當(dāng)時(shí)最早說(shuō)的是在直播上行上通過(guò)RTC優(yōu)化直播鏈路，這個(gè)方案當(dāng)時(shí)在業(yè)界還比較少被談到，因?yàn)楫?dāng)時(shí)大部分方案都是傳統(tǒng)的上行走RTMP，下行走FLV，沒(méi)記錯(cuò)的話我們應(yīng)該是較早在直播上引入RTC的技術(shù)，當(dāng)時(shí)來(lái)看淘寶直播在技術(shù)上還是具備一定的前瞻性。技術(shù)一直在進(jìn)步，說(shuō)明從2016年到現(xiàn)在RTC技術(shù)在直播的應(yīng)用越來(lái)越廣，研究也越來(lái)越深入。

從淘寶的經(jīng)驗(yàn)來(lái)看，引入RTC技術(shù)后對(duì)整個(gè)淘寶直播的體驗(yàn)、核心的業(yè)務(wù)指標(biāo)都帶來(lái)很大的幫助。GRTN是淘寶直播和阿里云團(tuán)隊(duì)共建的RTC網(wǎng)絡(luò)，我會(huì)分享GRTN在淘系內(nèi)容業(yè)務(wù)上的落地和規(guī)劃，也會(huì)介紹下GRTN的關(guān)鍵技術(shù)點(diǎn)。

1淘寶的業(yè)務(wù)數(shù)據(jù)

回顧淘寶直播以往的業(yè)務(wù)數(shù)據(jù)，2016年啟動(dòng)淘寶直播，到2020年雙十一為止整個(gè)數(shù)據(jù)的增速非常驚人，這是一個(gè)從0到1的業(yè)務(wù)，剛啟動(dòng)時(shí)既沒(méi)有業(yè)務(wù)基礎(chǔ)也缺少技術(shù)儲(chǔ)備，唯一有的是2016年淘寶直播在手淘首頁(yè)的“愛(ài)逛街”有一個(gè)很小的版塊，只有60萬(wàn)DAU，但較好的點(diǎn)是在主播供給有一些沉淀。實(shí)際在逛逛的業(yè)務(wù)之前，淘系在一些小的內(nèi)容賽道上如有好貨、必買(mǎi)清單上還是做了不少嘗試。愛(ài)逛街也是其中一個(gè)典型例子，當(dāng)然后面遇到了很多困難，DAU跌得比較厲害，在首頁(yè)的位置也往下移。但在早期為淘系積累了一大批優(yōu)質(zhì)的內(nèi)容生產(chǎn)者，達(dá)人、寫(xiě)手，這些積累為淘寶直播在最早啟動(dòng)時(shí)帶來(lái)了幫助。

回到2016年的啟動(dòng)淘寶直播的時(shí)間點(diǎn)，早期對(duì)整個(gè)直播的業(yè)務(wù)模式定義很清楚，2016年市場(chǎng)并沒(méi)有電商直播的概念，所謂的“百播大戰(zhàn)”，其實(shí)大家提到的都是秀場(chǎng)、游戲、或是傳統(tǒng)的YY直播廠商將直播平臺(tái)移動(dòng)化的產(chǎn)物，基本沒(méi)有提到電商或“賣(mài)貨”在直播場(chǎng)景中的模式。這里可以重點(diǎn)提一下，確實(shí)是淘寶直播定義了整個(gè)電商直播的標(biāo)準(zhǔn)——邊看邊買(mǎi)：主播講、用戶問(wèn)問(wèn)題、主播回答問(wèn)題形成的購(gòu)買(mǎi)鏈路，這其實(shí)是2016年淘寶直播的第一個(gè)版本上線后，這個(gè)核心的商業(yè)模式已經(jīng)建立。后續(xù)我們做了很多工作，低時(shí)延、互動(dòng)能力優(yōu)化、在多媒體互動(dòng)上大量的玩法，都是在模式邊緣性的擴(kuò)充和升級(jí)，本質(zhì)并沒(méi)有變，過(guò)去4年內(nèi)的核心還是“邊看邊買(mǎi)”，并且非常好的將直播互動(dòng)能力應(yīng)用起來(lái)。在很長(zhǎng)一段時(shí)間，整個(gè)淘寶直播的轉(zhuǎn)換率僅次于“手猜”，對(duì)大部分人逛淘寶都是具備極強(qiáng)的目的性，很少逛“猜你喜歡”，大部分還是打開(kāi)手淘搜索欄直接搜索?；?dòng)+電商直播對(duì)整個(gè)購(gòu)買(mǎi)鏈路的轉(zhuǎn)換率提升影響很大，這就是創(chuàng)新的力量。

整體數(shù)據(jù)基本是連年翻倍的增速，無(wú)論是直播間DAU、還是整個(gè)直播開(kāi)播場(chǎng)次、成交規(guī)模在去年全年已經(jīng)突破4000億。

覆蓋的內(nèi)容形態(tài)上也發(fā)生了很多變化，早期典型場(chǎng)景是女裝類(lèi)和美妝類(lèi)，但最近幾年如珠寶、美食，包括村播各種形態(tài)都涌現(xiàn)出來(lái)，數(shù)據(jù)表現(xiàn)還不錯(cuò)，除了內(nèi)容的多樣化之外，成交規(guī)模上也有33個(gè)過(guò)億的直播間（雙11期間），整體呈現(xiàn)出非常健康的狀態(tài)，這也是我們過(guò)去在生態(tài)多樣性努力的成果。

在供給側(cè)，開(kāi)播鏈路也做了大量的簡(jiǎn)化。原來(lái)電商平臺(tái)上較為復(fù)雜的開(kāi)店、上新、認(rèn)證安全機(jī)制導(dǎo)致淘寶直播在很長(zhǎng)一段時(shí)間在開(kāi)播、入駐、發(fā)送商品的整個(gè)流程會(huì)相當(dāng)復(fù)雜，所以從業(yè)務(wù)方面去年在開(kāi)播鏈路上做了極簡(jiǎn)：一鍵開(kāi)播、一鍵入駐、一鍵上架，整個(gè)商家開(kāi)播的場(chǎng)次、頻次得到大幅提升。技術(shù)上，去年雙11單個(gè)直播間同時(shí)在線人數(shù)突破200萬(wàn)，這是真實(shí)連接的同時(shí)在線（淘寶直播間的口徑是嚴(yán)格意義上的真實(shí)在線，一定是長(zhǎng)連接能夠維持在播放態(tài)），在200萬(wàn)的真實(shí)在線中，單個(gè)直播間的播放時(shí)延在1.2s以內(nèi)，更大的困難在于極低時(shí)延的同時(shí)要確保畫(huà)面和消息的同步，要保證畫(huà)面中上鏈接時(shí)，鏈接能夠同時(shí)彈出來(lái)，這是很關(guān)鍵的。而且因?yàn)椤皳尩骄褪琴嵉健?，目前直播間內(nèi)的購(gòu)買(mǎi)模式已經(jīng)變成了強(qiáng)實(shí)時(shí)的“秒殺模式”，意味著推送的寶貝鏈接一定要第一時(shí)間與畫(huà)面同步且最低時(shí)延推送給直播間的所有用戶，才能夠?qū)崿F(xiàn)“看到就搶到”。這其實(shí)是規(guī)模所帶來(lái)的最大技術(shù)挑戰(zhàn)。

另外規(guī)模的上升如果沒(méi)有編解碼、碼率層面的優(yōu)化，會(huì)帶來(lái)成本線性的增加。所以我們也做了基于H.265的全鏈路、包括H.266的預(yù)研。利用帶寬95峰值計(jì)費(fèi)的特性通過(guò)削峰填谷的手段做一些智能的調(diào)度，以達(dá)到兩個(gè)目的：第一個(gè)是使峰值降下來(lái)。第二個(gè)是在峰值不變（總成本不變）的條件下，把日常碼率提上去。

我的主題也會(huì)圍繞以上幾個(gè)方面展開(kāi)。

2 玩法介紹

大家平?？粗辈ラg時(shí)，除了觀看之外，會(huì)給主播側(cè)提供一些營(yíng)銷(xiāo)類(lèi)能力包括抽獎(jiǎng)、打賞、倒計(jì)時(shí)紅包。我會(huì)從業(yè)務(wù)角度重點(diǎn)介紹“情景互動(dòng)”。

其實(shí)在我們做整個(gè)直播間的實(shí)時(shí)內(nèi)容理解之前，直播間的內(nèi)容分發(fā)鏈路是很困難的，因?yàn)橹辈ラg具有強(qiáng)實(shí)時(shí)性，可能存在兩個(gè)小時(shí)就結(jié)束了，意味著內(nèi)容只有在兩個(gè)小時(shí)內(nèi)分發(fā)價(jià)值最大。比如在主播賣(mài)貨結(jié)束后再進(jìn)行分發(fā)，此時(shí)貨已經(jīng)沒(méi)有了，分發(fā)的價(jià)值不大，只剩下簡(jiǎn)單的內(nèi)容介紹價(jià)值。

第二個(gè)點(diǎn)是在直播的過(guò)程中，如何最大鏈路將分發(fā)價(jià)值發(fā)揮出來(lái)。分發(fā)網(wǎng)絡(luò)的實(shí)時(shí)性是沒(méi)有問(wèn)題的，這是阿里巴巴集團(tuán)最大的優(yōu)勢(shì)。困難是直播間內(nèi)發(fā)生的事情無(wú)法預(yù)測(cè)，不像視頻、圖文，有大量已知的前置內(nèi)容，在上線內(nèi)容分發(fā)之前就有許多預(yù)處理可以將它做到結(jié)構(gòu)化。但直播不一樣，也是剛才所說(shuō)的結(jié)合圖像識(shí)別，語(yǔ)音信息甚至上下文信息將整個(gè)直播間內(nèi)容做到結(jié)構(gòu)化。最佳狀態(tài)是主播正在賣(mài)連衣裙，而我們希望用戶在主搜中搜索“連衣裙”時(shí)命中的就是主播此時(shí)介紹的連衣裙，現(xiàn)在也已經(jīng)很接近這個(gè)狀態(tài)了。

3技術(shù)架構(gòu)

介紹一下我們的技術(shù)架構(gòu)。

首先從層次上看，最底層的基礎(chǔ)設(shè)施主要基于阿里云的多媒體體系，包括邊緣推流、中心轉(zhuǎn)碼、時(shí)移、錄制能力。第二點(diǎn)包括播放側(cè)的分發(fā)機(jī)制，這是阿里云的技術(shù)應(yīng)用。直播的一個(gè)比較大的不同點(diǎn)在于，淘寶直播在阿里云的基礎(chǔ)之上建立自己的分法體系——RTC分發(fā)體系，這是有一個(gè)過(guò)程的，不是一步到位的，它們共同構(gòu)成了淘寶直播底層基座。

直播開(kāi)放平臺(tái)層核心分成三方面，一方面分為兩頭。一頭是生產(chǎn)側(cè)，包括編解碼體系、主播APP、前處理（美顏處理）、場(chǎng)景識(shí)別、端側(cè)推流能力、上線的處理包括流控。另一頭是觀看側(cè)，整個(gè)淘寶直播的房間應(yīng)用了自研播放器，做了大量后置電路處理包括畫(huà)面增強(qiáng)、自研的H.265軟件解碼器，值得一提的是淘寶直播間大概率是唯一一家實(shí)現(xiàn)了全鏈路H.265覆蓋，意味著整個(gè)鏈路沒(méi)有轉(zhuǎn)碼（生產(chǎn)、推流、分發(fā)側(cè)、播放側(cè)）完全支持全鏈路H.265，而且覆蓋比例非常高。有同學(xué)疑惑軟解H.265在端側(cè)實(shí)現(xiàn)的難度，解決了這個(gè)問(wèn)題也就解決了整個(gè)H.265在端側(cè)解碼的覆蓋，結(jié)合硬解鏈路做到極大的提升，也會(huì)節(jié)約很多轉(zhuǎn)碼成本。

在流媒體鏈路之上，分裝了整個(gè)直播間直播業(yè)務(wù)領(lǐng)域模型的概念，比如流狀態(tài)、互動(dòng)能力、商品管理能力、彈幕、營(yíng)銷(xiāo)型玩法。我們分裝了整體的一套API支撐核心業(yè)務(wù)。

直播底層最核心的兩個(gè)傳輸鏈路：一個(gè)是流媒體鏈路，另一個(gè)是消息點(diǎn)鏈路。消息點(diǎn)鏈路是整個(gè)評(píng)論消息和營(yíng)銷(xiāo)型類(lèi)玩法怎么和流媒體鏈路同時(shí)向下做分發(fā)、同步。這是我們核心的幾個(gè)技術(shù)點(diǎn)。

4 技術(shù)演進(jìn)

直播在過(guò)去幾年除了基礎(chǔ)性優(yōu)化，最大的底層改造是從傳統(tǒng)基于CDN的中心化分發(fā)機(jī)制轉(zhuǎn)化為去中心化網(wǎng)絡(luò)上。我們先介紹一下原始網(wǎng)絡(luò)特點(diǎn)及問(wèn)題。

首先在第一個(gè)階段（上方左圖），是迄今為止大部分直播廠商所用的最典型方案。大家基于CDN最傳統(tǒng)的中心分發(fā)網(wǎng)絡(luò)，主要以FLV文件為主。這樣的好處是一方面對(duì)整個(gè)CDN改造低，其二是無(wú)論是RTMP還是FLV，在兩端業(yè)務(wù)方面支持是最完備的。而且底層協(xié)議流控方面，都走TCP，不需要做太多優(yōu)化改造，是最快從0到1直播業(yè)務(wù)構(gòu)建體系，但這個(gè)模式存在的問(wèn)題是什么？雖然這個(gè)模式很快，包括淘寶直播第一期也是這樣做的，但是整個(gè)鏈路一定會(huì)從L1到L2到中心節(jié)點(diǎn)，存在回源機(jī)制，這是不可避免的。因?yàn)檫@是靜態(tài)的結(jié)構(gòu)，不存在任何動(dòng)態(tài)感知能力，會(huì)帶來(lái)大量回源成本和時(shí)延問(wèn)題。時(shí)延問(wèn)題一方面與回源有關(guān)系，也與整個(gè)流控協(xié)議缺少更精細(xì)力度的控制有關(guān)系，RTMP和端側(cè)的FLV是典型的TCP底層協(xié)議，在業(yè)務(wù)上能優(yōu)化的點(diǎn)有限，調(diào)調(diào)本地的Cache，L1緩存的GOP大小，手段有限，會(huì)帶來(lái)很多額外的成本。

我們?cè)谔詫氈辈グl(fā)現(xiàn)了這種體系下更為嚴(yán)重的一個(gè)點(diǎn)，淘寶直播的主播相對(duì)秀場(chǎng)、游戲等比較分散。秀場(chǎng)上熱門(mén)主播是比較集中的狀態(tài)，可能占了頭部整個(gè)流量的60%甚至80%，這樣它的中心化分發(fā)可以將成本攤平，而淘寶大部分主播在線處于平均水位線以下，和頭部差別很大，但這一部分用戶占了絕大多數(shù)。剛剛中心化機(jī)制主要解決熱點(diǎn)集中的問(wèn)題，但在淘寶直播中，100萬(wàn)的在線人數(shù)可能分布在上萬(wàn)個(gè)直播間中，所以這個(gè)機(jī)制會(huì)進(jìn)一步放大成本高的問(wèn)題。

以上就是為什么會(huì)演化出淘寶會(huì)向GRTN去中心化方式走，這里有一個(gè)形成過(guò)程。

第一個(gè)階段起源于一個(gè)很簡(jiǎn)單的問(wèn)題，當(dāng)時(shí)通過(guò)線上數(shù)據(jù)分析，絕大多數(shù)在播放側(cè)引發(fā)的卡頓大多是因?yàn)樯闲芯W(wǎng)絡(luò)的抖動(dòng)，基本上在第一跳（主播的RTMP到L1節(jié)點(diǎn)之間的波動(dòng)引發(fā)了大多數(shù)卡頓），但在當(dāng)時(shí)情況下無(wú)法對(duì)鏈路重新做優(yōu)化，很典型的設(shè)計(jì)機(jī)制是我們?cè)谂cL1同級(jí)的節(jié)點(diǎn)中部署了淘寶直播自己的上升節(jié)點(diǎn)，與主播走的是私有的RTC協(xié)議，從RTC協(xié)議節(jié)點(diǎn)上直推到L1，中間走的是同一個(gè)地方，走專(zhuān)線或者GRTN，也就是最前面的一公里用私有協(xié)議走掉，這是第一步的RTC。

第二步先走的下行，就是主播的下行和下行的L1節(jié)點(diǎn)之間，把它改造成了RTC。改造后的效果比較好，但這里的效果更多的是解決卡頓問(wèn)題。基于WebRTC的上行，整個(gè)RTMP上行改造之后對(duì)卡頓的優(yōu)化非常明顯，卡頓降了接近1/3，尤其在弱網(wǎng)場(chǎng)景以及海外推流場(chǎng)景下表現(xiàn)非常突出。但是后面經(jīng)過(guò)時(shí)延統(tǒng)計(jì)，兩頭編解碼大概在60ms，整個(gè)發(fā)送在不到100ms，播放側(cè)也類(lèi)似，核心在整個(gè)分發(fā)鏈路時(shí)延占的最多。所以說(shuō)兩頭問(wèn)題解決的話可以解決卡頓問(wèn)題，但并不能解決時(shí)延的問(wèn)題，這就回到了如何真正做到全鏈路RTC。

這不是業(yè)務(wù)型決策，中間的整個(gè)分發(fā)機(jī)制一定要跟整個(gè)CDN的原來(lái)的技術(shù)貼近。因?yàn)樵瓉?lái)的CDN分發(fā)機(jī)制并不是流媒體的分發(fā)網(wǎng)絡(luò)，它本質(zhì)是文件的分發(fā)網(wǎng)絡(luò)。那么如何改造它，我們聯(lián)合了多個(gè)團(tuán)隊(duì)，最終完成了GRTN全鏈路RTC的升級(jí)。這里帶來(lái)的優(yōu)勢(shì)幾乎基本可以解決前面的問(wèn)題，一方面它是完全去中心化不存在任何回源的邏輯，對(duì)一些區(qū)域非常接近的房室的話，利用整個(gè)動(dòng)態(tài)路由的策略，完全可以不經(jīng)過(guò)中心的浪費(fèi)。

全鏈路的RTC帶來(lái)的好處是節(jié)點(diǎn)和節(jié)點(diǎn)之間的感知以及傳輸做到更細(xì)密度的控制，甚至是一些針對(duì)流媒體傳輸?shù)奶厥庑?。流媒體傳輸中有些包可以丟，策略上面可以做一些更細(xì)力度的控制，不一定是可靠到達(dá)；在提出多網(wǎng)融合之前，我們?cè)谡麄€(gè)直播、視頻會(huì)議、連麥場(chǎng)景等很多時(shí)候其實(shí)走的是獨(dú)立的通道，播放的時(shí)候可能走FLV，用戶之間連麥用RTC。

目前為止大部分在線教育廠商因?yàn)槌杀締?wèn)題還是采用的這個(gè)策略，但是如果完成了整個(gè)RTC全鏈路網(wǎng)絡(luò)，任何一個(gè)節(jié)點(diǎn)都可以做上行或下行，同時(shí)下行直播鏈路和它成為雙向的通話場(chǎng)景本質(zhì)上沒(méi)有任何區(qū)別，這意味著我們可以在同一個(gè)通道完成連麥和直播播放場(chǎng)景。當(dāng)然視頻會(huì)議在整個(gè)外圍系統(tǒng)增加了MCU或SIP網(wǎng)關(guān)中其實(shí)也是類(lèi)似，也就是說(shuō)在直播、連麥、視頻會(huì)議和點(diǎn)對(duì)點(diǎn)通話做到了四網(wǎng)合一。今天來(lái)說(shuō)這個(gè)方向得到了普遍意義的認(rèn)可。

成本上面包括回源成本、鏈路過(guò)長(zhǎng)的成本都會(huì)得到解決，全雙工和多網(wǎng)融合是一個(gè)概念，同時(shí)具備上行和下行的邏輯。

以上基本是網(wǎng)絡(luò)演進(jìn)的一個(gè)過(guò)程。

5 低延時(shí)直播

回到剛剛提到的直播間里主播上鏈接的機(jī)制，本質(zhì)上包括幾個(gè)問(wèn)題：

消息到達(dá)率：消息超過(guò)百萬(wàn)級(jí)在線的話其實(shí)跟原來(lái)幾千幾萬(wàn)在線分發(fā)所面對(duì)的困難完全不是一個(gè)技術(shù)體系。做法上除了對(duì)原來(lái)的Push模式大量的改造，包括分統(tǒng)機(jī)制、飽和機(jī)制，這里最大的技術(shù)改造是把消息做到分層，包括主播推送給用戶的消息，這個(gè)到達(dá)率及對(duì)業(yè)務(wù)的價(jià)值我們認(rèn)為是最大的。這類(lèi)采用Push消息，把原來(lái)的進(jìn)出直播間、評(píng)論、擴(kuò)散的消息更多在CDN靜態(tài)化。最終其實(shí)是把整個(gè)消息機(jī)制做成了推拉結(jié)合機(jī)制，把整個(gè)5s消息到達(dá)率做到高于三個(gè)9，大概是3s的三個(gè)9。

單純的消息穩(wěn)定到達(dá)率及時(shí)效性，它如果不能和畫(huà)面的到達(dá)率結(jié)合起來(lái)，效果是不能發(fā)揮出來(lái)的（上鏈接之后，畫(huà)面要更短時(shí)間看到，同時(shí)搶寶貝的鏈接在主播側(cè)盡可能短的看到并且時(shí)延要縮短，這里一方面依賴消息鏈路的改造，一方面依賴整個(gè)GRTN低時(shí)延傳輸之外，兩者的同步方面主要是基于幀的染色，目前走的SEI，或者是特殊幀的附加信息保證兩者同步，關(guān)鍵在于同步的時(shí)間窗要盡可能??；上鏈接過(guò)大的話，極有可能是畫(huà)面到了，用戶通過(guò)提前畫(huà)面的截選把鏈接解出來(lái)），這也是需要關(guān)注的點(diǎn)。2018年，有一個(gè)場(chǎng)景是“點(diǎn)題成金”-沖關(guān)答題分獎(jiǎng)金，即使這種技術(shù)在“點(diǎn)題成金”模式下會(huì)更為迫切，但畫(huà)面和題目一定要高度一致，這就是直播和消息的強(qiáng)同步。

依賴于整個(gè)RTC的全鏈路，時(shí)延基本可以做到小于1s，這是一個(gè)均值，在一些更為非盲情況下，時(shí)延可以做到更低。

6淘寶直播連麥

雙通道帶來(lái)的優(yōu)勢(shì)是RTC通道可以同時(shí)承接直播推流與連麥，再借助于外圍系統(tǒng)的配套，視頻會(huì)議也可以承接（MCU），這也是我們正在做的方向，希望四個(gè)場(chǎng)景（直播、通話、視頻會(huì)議、連麥）各有一個(gè)真實(shí)的業(yè)務(wù)能夠承接起來(lái)，并具有一定的規(guī)模。

淘寶目前的端合流與云合流分別有一個(gè)演進(jìn)階段，但最終走向了融和型。因?yàn)槎撕狭鲿?huì)帶來(lái)成本上的優(yōu)勢(shì)，但云合流在調(diào)度和擴(kuò)展性更有優(yōu)勢(shì)，所以兩種方向我們都做了支持。演進(jìn)的路徑上基本也是從早期的RTMP支持連麥的時(shí)候，后面因?yàn)樯闲泻拖滦蠷TMP的階段化，已經(jīng)有了融和態(tài)，最后走了全鏈路RTC徹底解決了直播連麥通道上不統(tǒng)一的問(wèn)題。

7GRTN動(dòng)態(tài)路徑規(guī)劃

GRTN的動(dòng)態(tài)路徑規(guī)劃中有幾個(gè)重點(diǎn)。

一個(gè)是動(dòng)態(tài)路由規(guī)劃，這里核心是每一個(gè)節(jié)點(diǎn)對(duì)任一個(gè)節(jié)點(diǎn)的到達(dá)路徑都是可感知的，有很多衡量的指標(biāo)，比如任何兩個(gè)節(jié)點(diǎn)之間的丟包率、時(shí)延、抖動(dòng)、容量、成本都有動(dòng)態(tài)預(yù)估。因?yàn)橹虚g整個(gè)網(wǎng)絡(luò)會(huì)持續(xù)發(fā)送探測(cè)包把信息記錄下來(lái)，所以節(jié)點(diǎn)1方面它對(duì)自己可連接的節(jié)點(diǎn)到任意一個(gè)節(jié)點(diǎn)的路由都是有動(dòng)態(tài)的策略表并記錄的。根據(jù)策略方式，有些質(zhì)量最優(yōu)，那在丟包、時(shí)延、抖動(dòng)方面有權(quán)重的設(shè)計(jì)，保證它一定處于最低時(shí)延及最小卡頓率下傳輸；另一種成本最優(yōu)，可能中間的鏈路比較長(zhǎng)，走的節(jié)點(diǎn)成本消耗不同，有些走專(zhuān)線，有些走LTN，會(huì)產(chǎn)生成本的不同，這塊也會(huì)計(jì)算成本還是質(zhì)量最優(yōu)。

目前GRTN真正在線上跑的版本還是融合了各種策略，典型的一個(gè)例子如果是RTC通話連麥場(chǎng)景，它對(duì)時(shí)延也就是質(zhì)量要求最高，卡頓要求最低，這就會(huì)選擇質(zhì)量最優(yōu)的策略。所以這塊也會(huì)根據(jù)不同場(chǎng)景做一些設(shè)計(jì)。

8參數(shù)自學(xué)習(xí)

在整個(gè)網(wǎng)絡(luò)上面，很多參數(shù)是此消彼長(zhǎng)的（卡頓和時(shí)延），但這只是最終的表現(xiàn)。如果在細(xì)粒度，如編碼側(cè)、解碼側(cè)、端側(cè)的緩存設(shè)置上面，整個(gè)系統(tǒng)目前有超過(guò)400個(gè)參數(shù)，這些參數(shù)的最優(yōu)解是什么，在收斂過(guò)程中很難確定也很難證實(shí)。

所以我們做了參數(shù)自學(xué)習(xí)的方式，前期有人工剪枝，之后利用線上大量的AP系統(tǒng)對(duì)400個(gè)參數(shù)的收斂做了非?？斓脑O(shè)計(jì)。純粹通過(guò)參數(shù)優(yōu)化方式帶來(lái)收益，在底層機(jī)制不變的條件下純粹的參數(shù)優(yōu)化已經(jīng)對(duì)卡頓和時(shí)延帶來(lái)明顯的優(yōu)勢(shì)。

9 游戲玩法

去年我們做了大量了基于玩法型的優(yōu)化，包括營(yíng)銷(xiāo)類(lèi)優(yōu)化（抽獎(jiǎng)、發(fā)紅包）和社區(qū)互動(dòng)型玩法或游戲類(lèi)玩法，可以拉近主播和用戶之間的連接（如：抖音前段時(shí)間的潛水艇），既有樂(lè)趣也有內(nèi)容的產(chǎn)出。但這個(gè)模式在之前沒(méi)有很好的應(yīng)用在直播中，會(huì)遇到幾個(gè)問(wèn)題：

首先，用到大量端側(cè)推理模型，在手淘無(wú)論是MN還是端側(cè)的網(wǎng)絡(luò)小樣本訓(xùn)練都沒(méi)有完全跟上。今年基本可以做到和業(yè)界對(duì)齊。

其次，有很多探索靠單純端側(cè)的算力無(wú)法滿足。比如3D直播間、虛擬主播技術(shù)，對(duì)一些算力的訴求是綜合的單純放在端上是不現(xiàn)實(shí)的，如何用更好的方案一方面把端側(cè)和云端的算力一致化運(yùn)用起來(lái)，去除差異。本質(zhì)上來(lái)說(shuō)，前處理的模式就識(shí)別或是畫(huà)面特效配合，在端側(cè)或云側(cè)處理對(duì)于用戶側(cè)和主播側(cè)是無(wú)感知的。舉個(gè)例子，比如人臉識(shí)別或是特效識(shí)別，我們既可以把這個(gè)模型放在主播側(cè)推優(yōu)之前，完全用主播側(cè)APP或PC處理，也可以完全放在GRTN的某個(gè)節(jié)點(diǎn)處理完成后通過(guò)實(shí)時(shí)回顯鏈路放到主播側(cè)APP上。所以對(duì)主播來(lái)說(shuō)，如果可以解決時(shí)延的問(wèn)題，回顯來(lái)自本地還是云端是沒(méi)有任何區(qū)別的。解決如何充分靈活地調(diào)動(dòng)云端算力，并結(jié)合GRTN實(shí)時(shí)回顯鏈路解決直播的流內(nèi)互動(dòng)玩法問(wèn)題是我們的根本目的。

簡(jiǎn)單介紹一下，上圖中的幾個(gè)玩法。第二個(gè)“打年獸”，主播通過(guò)人臉控制屏幕下方炮臺(tái)的左右移動(dòng)，打上方小蜜蜂，通過(guò)人臉輸入控制道具。游戲基于兩種機(jī)制，人臉的識(shí)別、流的處理、渲染和最終合成完全是一個(gè)端上的版本，同時(shí)我們也做了云端的版本。

3D直播間，人員站在綠幕前，后面的場(chǎng)景是3D數(shù)字直播間，通過(guò)摳圖、合成方式做成。在3D場(chǎng)景下，完全放在端側(cè)不現(xiàn)實(shí)，沒(méi)有很好的算力，它和后面的3D場(chǎng)景完全不交互，但做到完全的3D化后，可以和場(chǎng)景中的元素交互，解決直播間里的遠(yuǎn)程機(jī)樣的問(wèn)題。

10多媒體處理中心

整個(gè)的設(shè)計(jì)模式上述介紹的差不多，最重要的的幾點(diǎn)是把前置的能力作為GRTN的算子掛接上去，還可以掛在端上調(diào)度的系統(tǒng)上。另外GRTN整個(gè)實(shí)時(shí)回顯模式也做到了云端一體化設(shè)計(jì)。

11智能控制

最后一部分的核心是針對(duì)目前帶寬的水位或是業(yè)務(wù)數(shù)據(jù)上的策略，對(duì)于整個(gè)線上碼率、根據(jù)更細(xì)粒度人群的投放，我們做整個(gè)成本和畫(huà)質(zhì)的平衡，在雙11期間發(fā)揮了很好的作用，晚上可以做到分裝級(jí)降碼率，還會(huì)自動(dòng)根據(jù)線上的變化提升整個(gè)畫(huà)質(zhì)。

以上是分享的內(nèi)容，謝謝！

責(zé)任編輯：lq6