一、準(zhǔn)備工作

硬件部分：旭日X3派，USB免驅(qū)攝像頭，電源適配器，燒錄Ubuntu系統(tǒng)的SD卡，USB揚(yáng)聲器，顯示屏（或者VNC/SSH遠(yuǎn)程連接）

軟件部分：Thonny IDE集成開(kāi)發(fā)環(huán)境

首先，關(guān)于Ubuntu系統(tǒng)鏡像的燒錄官方有詳細(xì)的教程，這里不再贅述，我自己是選擇桌面Ubuntu 20.04，大家選擇最新的即可。如果是第一次進(jìn)入系統(tǒng)，記得使用命令行更新一下軟件源等，使用快捷鍵ctrl+alt+T打開(kāi)命令行，輸入以下命令：

# 更新軟件源 apt-get update # 更新升級(jí)所有軟件 apt-get upgrade

接下來(lái)就可以開(kāi)始安裝Thonny IDE，作為一款輕量化的python集成開(kāi)發(fā)環(huán)境，對(duì)新手十分友好，簡(jiǎn)單易上手，后續(xù)安裝各種python依賴庫(kù)也相當(dāng)方便。安裝方式Thonny官方網(wǎng)址提供了三種Linux的命令行下載方式，大家可以根據(jù)自己的情況進(jìn)行選擇。

flatpak install org.thonny.Thonny //Flatpak sudo apt install thonny //Debian,Raspbian,Ubuntu,Mintand others sudo dnf install thonny //FedoraFedora

耐心等待程序安裝即可，如果中途出現(xiàn)異常大概率是網(wǎng)絡(luò)不穩(wěn)定導(dǎo)致，檢查網(wǎng)絡(luò)連接并再次運(yùn)行命令行即可。由于Ubuntu系統(tǒng)不會(huì)自動(dòng)生成快捷方式，所以安裝成功后在命令行輸入Thonny即可啟動(dòng)IDE。

重頭戲來(lái)了，安裝項(xiàng)目依賴庫(kù)。啟動(dòng)Thonny IDE后，選擇左上方工具>>管理包，根據(jù)附件中提供的程序開(kāi)始安裝python依賴庫(kù)。過(guò)程可能會(huì)比較漫長(zhǎng)，這取決于當(dāng)前網(wǎng)絡(luò)情況，還有部分庫(kù)文件可能會(huì)出現(xiàn)下載失敗的情況，請(qǐng)耐心多嘗試幾次。

import os import threading import cv2 import mediapipe as mp import time import torch as t from model import HandModel from tools.landmark_handle import landmark_handle from tools.draw_landmarks import draw_landmarks from tools.draw_bounding_rect import draw_bounding_rect import numpy as np from tools.draw_rect_text import draw_rect_txt from PIL import Image, ImageFont, ImageDraw import pyttsx3 # 大家可以根據(jù)這個(gè)來(lái)添加項(xiàng)目依賴

（PS.cv2是opencv-python的縮寫，在import的時(shí)候采用這種縮寫，但添加庫(kù)的時(shí)候不能直接搜索cv2，而是要打全稱opencv-python。）

二、實(shí)現(xiàn)原理

智能手語(yǔ)識(shí)別系統(tǒng)共包括語(yǔ)音播報(bào)模塊，模型訓(xùn)練模塊，手勢(shì)識(shí)別模塊，文字轉(zhuǎn)寫模塊，一共可識(shí)別播報(bào)“也”、“吸引”、“美麗的”、 “相信”、“的”、“懷疑”、“夢(mèng)想”、“表達(dá)”、“眼睛”、 “給”、“很難”、“有”、“許多”、“我”、“方法”、“不”, “只有”、“超過(guò)”、“請(qǐng)”、“放”、“說(shuō)”、“微笑”、“星星”、“十分”、“看”、“你”等27個(gè)國(guó)家通用手語(yǔ)。

model_path = 'checkpoints/model_test1.pth' label = ["也", "吸引", "美麗的", "相信", "的", "懷疑", "夢(mèng)想", "表達(dá)", "眼睛", "給", "很難","有","許多","我", "方法", "不", "只有", "結(jié)束", "請(qǐng)", "放", "說(shuō)", "微信", "星星", "十分","看","你"]

語(yǔ)音播報(bào)模塊采用pyttsx3第三方庫(kù)，它是一個(gè)用于文字轉(zhuǎn)語(yǔ)音的第三方python庫(kù)，還可實(shí)現(xiàn)對(duì)音量，聲源，語(yǔ)速的調(diào)整，可脫機(jī)工作，兼容python2和python3。

def run(): str_show = this_label star_date = open("2.txt", "w", encoding="utf-8") star_date.write(str_show) star_date.close() star_data = open("2.txt", "r", encoding="utf-8") star_read = star_data.readlines() star_data.close() file = "2.txt" res = open(file, encoding="utf-8").read() engine = pyttsx3.init() content = res engine.say(content) engine.runAndWait() time.sleep(1)

模型訓(xùn)練模塊采用torch第三方庫(kù)，torch廣泛運(yùn)用深度學(xué)習(xí)。它能夠幫助我們構(gòu)建深度學(xué)習(xí)項(xiàng)目，強(qiáng)調(diào)靈活性，而且允許使用我們習(xí)慣的python表示方法來(lái)表達(dá)深度學(xué)習(xí)模型。算力高，易學(xué)習(xí)，比較容易入門。

# 模型保存地址 targetX = [0 for xx in range(label_num)] target = [] for xx in range(label_num): target_this = copy.deepcopy(targetX) target_this[xx] = 1 target.append(target_this) # 獨(dú)熱碼 lr = 1e-3 # learning rate model_saved = 'checkpoints/model' # 模型定義 model = HandModel() optimizer = t.optim.Adam(model.parameters(), lr=lr) criterion = nn.CrossEntropyLoss() loss_meter = meter.AverageValueMeter() epochs = 40 for epoch in range(epochs): print("epoch:" + str(epoch)) loss_meter.reset() count = 0 allnum = 1 for i in range(len(label)): data = np.load('./npz_files/' + label[i] + ".npz", allow_pickle=True) data = data['data'] for j in range(len(data)): xdata = t.tensor(data[j]) optimizer.zero_grad() this_target = t.tensor(target[i]).float() input_, this_target = Variable(xdata), Variable(this_target) output = model(input_) outLabel = label[output.tolist().index(max(output))] targetIndex = target[i].index(1) targetLabel = label[targetIndex] if targetLabel == outLabel: count += 1 allnum += 1 output = t.unsqueeze(output, 0) this_target = t.unsqueeze(this_target, 0) loss = criterion(output, this_target) loss.backward() optimizer.step() loss_meter.add(loss.data) print("correct_rate:", str(count / allnum)) t.save(model.state_dict(), '%s_%s.pth' % (model_saved, epoch))

準(zhǔn)備好數(shù)據(jù)集就可以開(kāi)始進(jìn)行模型訓(xùn)練，模型推薦在電腦上進(jìn)行訓(xùn)練，我自己的電腦是win10的系統(tǒng)，用的pycharm IDE的集成開(kāi)發(fā)環(huán)境，如果只是想體驗(yàn)一下的話也可以直接使用附件里訓(xùn)練好的模型。

手勢(shì)識(shí)別模塊采用Mediapipe和OpenCV庫(kù)對(duì)人手進(jìn)行特征提取與骨骼綁定，旭日X3派根據(jù)攝像頭捕捉的關(guān)鍵幀的進(jìn)行特征提取，基于PyTorch模型進(jìn)行推理，并將推理翻譯結(jié)果顯示到屏幕上，同時(shí)將翻譯結(jié)果以txt文件形式進(jìn)行保存和API接入后上傳到百度語(yǔ)音開(kāi)發(fā)平臺(tái)，由平臺(tái)進(jìn)行人聲的合成，然后將生成的mp3文件下載到旭日X3派終端用揚(yáng)聲器進(jìn)行播放，實(shí)現(xiàn)了為語(yǔ)言障礙人士發(fā)聲，為“礙”發(fā)聲。

# 百度大腦AI開(kāi)放平臺(tái)API接入實(shí)現(xiàn)語(yǔ)音合成的示例 def fetch_token(): print("fetch token begin") params = {'grant_type': 'client_credentials', 'client_id': API_KEY, 'client_secret': SECRET_KEY} post_data = urlencode(params) if (IS_PY3): post_data = post_data.encode('utf-8') req = Request(TOKEN_URL, post_data) try: f = urlopen(req, timeout=5) result_str = f.read() except URLError as err: print('token http response http code : ' + str(err.code)) result_str = err.read() if (IS_PY3): result_str = result_str.decode() print(result_str) result = json.loads(result_str) print(result) if ('access_token' in result.keys() and 'scope' in result.keys()): if not SCOPE in result['scope'].split(' '): raise DemoError('scope is not correct') print('SUCCESS WITH TOKEN: %s ; EXPIRES IN SECONDS: %s' % (result['access_token'], result['expires_in'])) return result['access_token'] else: raise DemoError('MAYBE API_KEY or SECRET_KEY not correct: access_token or scope not found in token response') """ TOKEN end """ if __name__ == '__main__': token = fetch_token() tex = quote_plus(TEXT) # 此處TEXT需要兩次urlencode print(tex) params = {'tok': token, 'tex': tex, 'per': PER, 'spd': SPD, 'pit': PIT, 'vol': VOL, 'aue': AUE, 'cuid': CUID, 'lan': 'zh', 'ctp': 1} # lan ctp 固定參數(shù) data = urlencode(params) print('test on Web Browser' + TTS_URL + '?' + data) req = Request(TTS_URL, data.encode('utf-8')) has_error = False try: f = urlopen(req) result_str = f.read() headers = dict((name.lower(), value) for name, value in f.headers.items()) has_error = ('content-type' not in headers.keys() or headers['content-type'].find('audio/') < 0) except URLError as err: print('asr http response http code : ' + str(err.code)) result_str = err.read() has_error = True save_file = "error.txt" if has_error else 'result.' + FORMAT with open(save_file, 'wb') as of: of.write(result_str) if has_error: if (IS_PY3): result_str = str(result_str, 'utf-8') print("tts api error:" + result_str) print("result saved as :" + save_file) # 骨架綁定的可視化 draw_landmarks(frame, hand_local) brect = draw_bounding_rect(frame, hand_local)

文字轉(zhuǎn)寫模塊通過(guò)旭日X3派外接麥克風(fēng)進(jìn)行收音，API接入后將錄制的mp3文件上傳，通過(guò)云端語(yǔ)音平臺(tái)實(shí)時(shí)轉(zhuǎn)寫為文字后顯示到旭日X3派終端的屏幕上。最后利用python的多線程將手勢(shì)識(shí)別，語(yǔ)音播報(bào)，文字轉(zhuǎn)寫同時(shí)運(yùn)行，至此，實(shí)現(xiàn)了聾啞人士與普通人的雙向無(wú)障礙溝通交流。

三、效果展示

得益于旭日X3派的強(qiáng)大算力，系統(tǒng)對(duì)手勢(shì)的識(shí)別展示并播報(bào)十分靈敏，畫面流程度也得到保障（溫馨提示：長(zhǎng)時(shí)間運(yùn)行請(qǐng)準(zhǔn)備小風(fēng)扇給開(kāi)發(fā)板降溫哦）。

四、性能測(cè)試

系統(tǒng)測(cè)試方案：將訓(xùn)練好模型導(dǎo)入旭日X3派中，接入電源后等待初始化完成，由小組成員們隨機(jī)在鏡頭前做出27個(gè)國(guó)家通用手語(yǔ)，將翻譯終端識(shí)別播報(bào)的準(zhǔn)確率記錄，同時(shí)將識(shí)別的總時(shí)長(zhǎng)記錄收集。

測(cè)試數(shù)據(jù)如下：

結(jié)果分析：實(shí)驗(yàn)數(shù)據(jù)表明，27個(gè)國(guó)家通用手語(yǔ)隨機(jī)檢驗(yàn)的識(shí)別準(zhǔn)確率均在90%以上，單次執(zhí)行時(shí)間也均在1秒之內(nèi)。

結(jié)論：手語(yǔ)翻譯終端有很高的實(shí)時(shí)性，充分保障聾啞殘障人士的無(wú)障礙溝通交流。

本文轉(zhuǎn)自地平線開(kāi)發(fā)者社區(qū)
原作者：鑫辰大海王