本文的三位作者正陽、海洋、阿力，是來自不同公司的工程師，將 Agora SDK 與智能小車結(jié)合，開發(fā)了一款通過智能小車來實(shí)時視頻遠(yuǎn)程看房的創(chuàng)新項(xiàng)目。本文將從方案設(shè)計到具體實(shí)現(xiàn)，詳實(shí)分享他們的開發(fā)經(jīng)驗(yàn)。三人也憑借該項(xiàng)目，在7月1日結(jié)束的 Agora RTC Hack 上海站編程馬拉松獲得大獎。

創(chuàng)意與構(gòu)思

此前聽到多很多次“黑客馬拉松”這樣的活動，一群來自不同地方的人聚在一起，組隊(duì)、構(gòu)思、開發(fā)，在48小時內(nèi)做出產(chǎn)品雛形。我們?nèi)吮еヂ犅爠e人的創(chuàng)意，重在參與的想法參加了這次比賽。對于想要做的東西，在比賽前也只是有一個大概的方向：

構(gòu)思的方向依據(jù)我們擅長的部分來組合拼接，這就得說到我的兩位給力隊(duì)友海洋、阿力；海洋是嵌入式軟件工程師，汽車電子方向，寫個驅(qū)動做個小車手到擒來。阿力是后端工程師，具備處理服務(wù)器端和前端頁面的能力。

于是隊(duì)伍有了嵌入式和云端兩部分的能力，技術(shù)構(gòu)思的方向是云端為嵌入式賦能。希望有一個小車，小車可以傳遞回視頻圖像，視頻圖像可以實(shí)時傳給多個用戶，用戶在得到授權(quán)之后，實(shí)現(xiàn)遠(yuǎn)程對小車的操控。

方案設(shè)計與分工

出于這樣的構(gòu)思，實(shí)現(xiàn)架構(gòu)如上圖所示?，F(xiàn)在有了一個基本架構(gòu)，也清楚了我們要實(shí)現(xiàn)的功能，接下來就是分工了?？紤]到我們各有所長，分工如下：

從硬件開發(fā)開始

小車采用了是4輪伺服電機(jī)驅(qū)動，搭配有視頻采集模塊、伺服電機(jī)驅(qū)動模塊、STM32控制模塊和攝像頭云臺模塊，安裝后整體效果圖如下：

圖：效果圖

用戶在遠(yuǎn)程操控小車各種動作之前，需要小車通過wifi連接到互聯(lián)網(wǎng)。用戶可以通過上位機(jī)（Android App 或網(wǎng)頁前端）控制小車前后左右移動或控制云臺調(diào)整攝像頭方向。

視頻采集模塊包含有 Wi-Fi 模塊，可以連接到wifi熱點(diǎn)為視頻傳輸提供網(wǎng)絡(luò)基礎(chǔ)。也提供 HDMI 接口與顯示器連接，方便用戶調(diào)試。攝像頭通過 USB 的方式與視頻采集模塊連接，我們采用免驅(qū)動的天敏6602型號攝像頭，分辨率可以達(dá)到640*480，并能夠自動調(diào)焦。

STM32控制模塊采用 Arduino 接口與伺服電機(jī)驅(qū)動模塊連接，STM32模塊負(fù)責(zé)控制電機(jī)、云臺信號的產(chǎn)生，并由伺服電機(jī)驅(qū)動模塊直接驅(qū)動電機(jī)工作。伺服電機(jī)輸入電壓為6~12V，直流驅(qū)動。

工作原理

小車上的視頻采集模塊采用了定制的 Android 系統(tǒng)，提供網(wǎng)絡(luò)連接、指令轉(zhuǎn)發(fā)和視頻流采集、傳輸功能。當(dāng)上位機(jī)通過遠(yuǎn)程服務(wù)連接到小車后，上位機(jī)可以請求到當(dāng)前小車攝像頭上的視頻信息；同時，視頻采集模塊也將上位機(jī)上傳來的控制信號解析為指定格式和功能的協(xié)議數(shù)據(jù)，并通過串口發(fā)送到 STM32控制模塊。

小車上的 STM32控制模塊在接收到相關(guān)控制信號后，調(diào)整輸出脈沖信號的占空比，由驅(qū)動板轉(zhuǎn)換輸出電平后直接控制伺服電機(jī)或云臺模塊做出相應(yīng)的動作，從而完成上位機(jī)用戶想要的操控功能。

控制信號協(xié)議

對于只需要實(shí)現(xiàn)簡單的小車控制的話，我們只需要實(shí)現(xiàn)通過串口向 STM32控制模塊發(fā)送控制信號即可，簡單的控制信號協(xié)議如下：

Android SDK 的定制

開發(fā)工具

為了實(shí)現(xiàn)我們想要的實(shí)時視頻與小車的遠(yuǎn)程控制功能，我們需要采用聲網(wǎng)的視頻通話SDK，并運(yùn)行在 Android 開發(fā)板上。開發(fā)板，我們選用了 Firefly的 RK3128平臺，采用 Cortex-A7 架構(gòu)四核1.3GHz 處理器、Mali-400MP2 GPU，板載千兆以太網(wǎng)口、2.4GHz Wi-Fi 和藍(lán)牙4.0，支持 Android 與 Ubuntu 雙系統(tǒng)。

定制串口驅(qū)動

為了實(shí)現(xiàn) RK3128 對小車的控制，我們需要實(shí)現(xiàn) RK3128 通過 USB 轉(zhuǎn)串口模塊與 STM32控制模塊通信。因此我們首先要重新配置 RK3128 內(nèi)核，使得RK3128支持 USB 轉(zhuǎn)串口驅(qū)動程序。

首先下載完 RK3128 Android SDK 并先驗(yàn)證文件 MD5值：

md5sum/path/to/fireprime_android5.1_git_20180510.tar.gzfce0e6d65549939167923260142b2c1efireprime_android5.1_git_20180510.tar.gz

確認(rèn)無誤后解壓：

mkdir-p~/proj/fireprimecd~/proj/fireprimetarxvf/path/to/fireprime_android5.1_git_20180510.tar.gzgitreset--hardgitremoteaddbitbuckethttps://bitbucket.org/T-Firefly/firenow-lollipop.gitgitpullbitbucketfireprime:fireprime

配置并編譯內(nèi)核：

cd~/proj/fireprime/kernelmakerk3128-fireprime_defconfigmakemenuconfigmake-j8rk3128-fireprime.img

其中make menuconfig這一步需要勾選上Device Drivers —> USB support —> USB Serial Converyer support —> USB Serial Console device support / USB Generic Serial Driver，并勾選上 CP210x / CH341 / FTDI / PL2303 等常用串口工具設(shè)備。

編譯 Android 系統(tǒng)：

cd~/proj/fireprime.build.shmake-j8./mkimage.sh

最后編譯完成后燒錄分區(qū)鏡像，并插入USB轉(zhuǎn)串口工具查看系統(tǒng)dmesg是否出現(xiàn)以下log信息：

[2213.003173]usb1-1.3:newfull-speedUSBdevicenumber6usingrockchip_ehct[2213.113759]usb1-1.3:NewUSBdevicefound,idVendor=10c4,idProduct=ea60[2213.113839]usb1-1.3:NewUSBdevicestrings:Mfr=1,Product=2,SerialNumbe3[2213.113883]usb1-1.3:Product:CP2102USBtoUARTBridgeController[2213.113921]usb1-1.3:Manufacturer:SiliconLabs[2213.113956]usb1-1.3:SerialNumber:0001[2213.120813]cp210x1-1.3:1.0:cp210xconverterdetected[2213.209852]usb1-1.3:resetfull-speedUSBdevicenumber6usingrockchip_et[2213.320161]usb1-1.3:cp210xconverternowattachedtottyUSB0

出現(xiàn)串口設(shè)備附著到 ttyUSBx，即說明定制串口驅(qū)動成功。

以上為全編譯Android SDK的方法，需要編譯 Android 系統(tǒng)，相較于僅編譯內(nèi)核而言比較費(fèi)時。我們可以在上述make menuconfig時將需要的串口驅(qū)動程序勾選為 M，通過make modules的方法，將驅(qū)動編譯成.ko文件，然后在 Android系統(tǒng)開機(jī)時自動加載驅(qū)動程序：

首先將.ko驅(qū)動程序文件復(fù)制到 Android 文件系統(tǒng)內(nèi)

adbshellsumount-oremount,rw/mkdir/moduleschmod777/moduleschown-Rnobody:nobody/modulesexitexitadbpush./xxxx.ko/modules

編寫啟動運(yùn)行腳本/data/serial.sh

#!/system/bin/shinsmod/modules/xxxx.komknod/dev/ttyUSBc2400

修改init.rc并添加運(yùn)行自己的腳本

serviceserial/system/bin/sh/data/serial.shuserrootoneshot

在 App 端實(shí)現(xiàn)視頻傳輸

視頻傳輸和信令傳輸?shù)牟糠?，我們通過聲網(wǎng) Agora SDK 來實(shí)現(xiàn)。由于涉及到與嵌入式開發(fā)板的結(jié)合，我們主要參考的是聲網(wǎng)在 Github 提供的各種案例中的抓娃娃機(jī) demo。示例代碼中的結(jié)構(gòu)圖如下：

示例代碼有視頻傳輸?shù)牟糠?，控制信令需要參考聲網(wǎng)信令文檔自己完成。

聲網(wǎng) SDK 的集成

1. 首先申請AppID

Android APP 中在 res/values/strings_config.xml加入如下內(nèi)容，將agora_app_id進(jìn)行配置

1a486ee31a30xxxxxxxxxx

2. 將.jar文件拷貝到libs/中

因?yàn)橛玫叫帕詈鸵曨l傳輸兩部分，需要兩個.jar 文件分別為 agora-rtc-sdk.jar和 agora-sig-sdk.jar

3. 在 src/main/jniLibs 加入 armeabi-v7a 與其中的.so文件

并在 build.gradle 中確定擁有如下描述：

dependencies{compilefileTree(dir:'libs',include:['*.jar'])testCompile'junit:junit:4.12'compile'com.android.support:appcompat-v7:23.4.0'}

就此，使用示例代碼可以順利開啟視頻傳輸功能。

用信令讓 App 控制小車

信令的實(shí)現(xiàn)

信令的具體使用方法見聲網(wǎng)官網(wǎng)文檔中心的參考，這里就不進(jìn)行詳盡描述了。主要使用的函數(shù)如下：

//初始化信令SDKm_agoraAPI=AgoraAPIOnlySignal.getInstance(context,appID);//登錄Agora信令系統(tǒng)m_agoraAPI.login2(appId,account,token,uid,deviceID,retry_time_in_s,retry_count)//////////////點(diǎn)對點(diǎn)測試///////////////發(fā)送點(diǎn)對點(diǎn)消息m_agoraAPI.messageInstantSend(account,uid,msg,msgID)//設(shè)置對端收到消息回調(diào)（m_agoraAPI.onMessageInstantReceive(account,uid,msg){//codethere}/////////////頻道測試/////////////////加入頻道m(xù)_agoraAPI.channelJoin(channelName)//發(fā)送頻道消息m_agoraAPI.messageChannelSend(channelName,msg,msgID)//設(shè)置對端接收到頻道消息回調(diào)m_agoraAPI.onMessageChannelReceive(channelID,account,uid,msg){//codethere}////////////////////////////////////退出Agora信令系統(tǒng)m_agoraAPI.logout()

Android App 操作串口

對于小車端的 Android App 得到信令之后需要串口發(fā)送數(shù)據(jù)。因此如何實(shí)現(xiàn) Android App 操作串口。這里簡述兩種方案：

采用 Android 系統(tǒng)給出的架構(gòu)進(jìn)行處理， Android 帶有串口demo代碼，名稱為 SerialPort。這里注意兩點(diǎn)，此處的代碼依賴于 JNI 工具和 NDK，如果沒有完整安裝在使用項(xiàng)目代碼的時候會出現(xiàn)問題。另外，串口操作不方便使用 Android 模擬器進(jìn)行測試，對于沒有串口的設(shè)備，在開啟串口的動作時，會報錯并可能導(dǎo)致程序退出崩潰。

選擇使用 Android 代碼發(fā)送 shell 命令的方式，直接模擬 Linux 的 shell 控制代碼，示例 echo ‘a(chǎn)a’ > /dev/ttyUSB0 將aa發(fā)送到串口ttyUSB0,這樣做的好處時代碼本身簡單，串口直接調(diào)用底層。

對于短時間實(shí)現(xiàn)功能來說，方案2是更容易實(shí)現(xiàn)的方法，這里需要非常注意的一點(diǎn)，需要重新編譯 Android 的 framework 層給 App 賦予 root 權(quán)限

當(dāng)信令解析完成，串口調(diào)試通過，就可以實(shí)現(xiàn)遠(yuǎn)程控制小車的行進(jìn)了。

最后：服務(wù)器端的部署

為了實(shí)現(xiàn)用戶可以方便通過手機(jī)或者電腦在線實(shí)時看房，我們需要通過 Web 端連接小車的 Android App 端，獲取實(shí)時傳輸過來的視頻內(nèi)容。在我們的設(shè)想中，用戶可以通過遠(yuǎn)程控制小車，這樣可以方便用戶了解房屋各個方面的情況。綜上所述，我們需要實(shí)現(xiàn)如下兩個功能：

具有視頻連接功能

具有遠(yuǎn)程遙控功能

幸運(yùn)的是，通過聲網(wǎng)提供的服務(wù)，我們可以很便捷的搭建這兩個服務(wù)。在本項(xiàng)目中，我們使用聲網(wǎng)的視頻 SDK 實(shí)現(xiàn)網(wǎng)頁端和小車 App 端的視頻連接，通過信令 SDK 發(fā)送消息，去控制小車的前后左右行走和攝像頭上下左右擺動。

羅列一下我們使用到的工具:

聲網(wǎng)視頻通話Web SDK 及文檔，用來實(shí)現(xiàn)遠(yuǎn)程的視頻交互功能；

聲網(wǎng)信令 SDK 及文檔，用來實(shí)現(xiàn)遠(yuǎn)程遙控智能小車;

服務(wù)器，用于部署靜態(tài)頁面；

實(shí)現(xiàn)視頻連接和發(fā)送消息

先在頁面上引入視頻和信令的 SDK。然后我們先來實(shí)現(xiàn)視頻連接。

//創(chuàng)建AgoraRTC實(shí)例并加入頻道constclient=AgoraRTC.CreateClient({mode:"interop"})client.init(appId,function(){console.log("AgoraRTCclientinitialized");client.join(channel_key,CHANNEL_NAME,null,function(uid){console.log("User"+uid+"joinchannelsuccessfully")console.log(newDate().toLocaleTimeString())//dosomething}}

訂閱遠(yuǎn)端的視頻流并播放。

letstream=AgoraRTC.creatStream(merge(defaultConfig.config))localStream.init(()=>{client.on('stream-added',function(evt){varstream=evt.stream;console.log("Newstreamadded:"+stream.getId());console.log("Subscribe",stream);client.subscribe(stream,function(err){console.log("Subscribestreamfailed",err);});});client.on('stream-subscribed',function(evt){varstream=evt.stream;console.log("Subscriberemotestreamsuccessfully:"+stream.getId());if($('div#video#agora_remote'+stream.getId()).length===0){$('div#video').append('');}stream.play('agora_remote'+stream.getId());});})

通過下述方法來實(shí)現(xiàn)發(fā)送信息。

//創(chuàng)建信令的對象constsignal=Signal(appId)//在實(shí)驗(yàn)條件下，不設(shè)置tokenconsttoken='_no_need_token'//登錄constsession=signal.login(account,token)session.onLoginSuccess=(uid)=>{//發(fā)送消息給指定的賬號signal.sendMessage(reciveAcount,message)}

完成上述的步驟之后，與小車端設(shè)置相同的appId和token(如有必要)，設(shè)定好對應(yīng)的參數(shù)，我們就可以遠(yuǎn)程控制小車并獲取視頻了

圖：現(xiàn)場演示

圖：48小時改裝的小車