作為實(shí)現(xiàn)智能制造、工業(yè)4.0、工業(yè)互聯(lián)網(wǎng)和智能城市的一種技術(shù)和手段，數(shù)字孿生（Digital twin）正迅速引起學(xué)術(shù)界和工業(yè)界的關(guān)注并被逐漸應(yīng)用。數(shù)字孿生是以數(shù)字化的方式建立多空間尺度、多時(shí)間尺度、多物理實(shí)體的多維動(dòng)態(tài)虛擬模型來(lái)仿真真實(shí)環(huán)境中的屬性、行為和性能等。目前，基礎(chǔ)的數(shù)字孿生模型通常為最初定義的三維模型，即物理實(shí)體、虛擬實(shí)體以及它們之間的聯(lián)系。隨著物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新信息技術(shù)的發(fā)展，數(shù)字孿生在向著基于物聯(lián)網(wǎng)的集成、虛擬實(shí)體與實(shí)體的互聯(lián)等方向發(fā)展。通過(guò)大數(shù)據(jù)分析方法和人工智能的深入結(jié)合，融合多源異構(gòu)數(shù)據(jù)，支持虛擬數(shù)據(jù)與真實(shí)數(shù)據(jù)的連接，數(shù)字孿生模型可以提供智能決策。這一進(jìn)展為實(shí)時(shí)仿真和優(yōu)化創(chuàng)造了可能，從而提供了按需智能服務(wù)。

本研究旨在結(jié)合人工智能中的視覺(jué)問(wèn)答技術(shù)，將數(shù)字孿生模型應(yīng)用于人機(jī)協(xié)作任務(wù)上。如圖1所示，用于人機(jī)協(xié)作的數(shù)字孿生模型由五部分組成：物理系統(tǒng)、虛擬系統(tǒng)、服務(wù)系統(tǒng)、數(shù)據(jù)庫(kù)和各部分間的交互。物理系統(tǒng)中包括每個(gè)物理實(shí)體，人類和機(jī)器是重要的組成部分，此外，還考慮了加工的產(chǎn)品、加工設(shè)備、周圍環(huán)境信息等。速度、能量、溫度、濕度、壓力等數(shù)據(jù)可直接由傳感器從材料、設(shè)備和環(huán)境中采集，人類的行為、狀態(tài)、意圖則以攝像、語(yǔ)音或計(jì)算及外部輸入設(shè)備等方式進(jìn)行獲取。上述數(shù)字信息共同構(gòu)成了人機(jī)協(xié)作的數(shù)字孿生模型中的虛擬系統(tǒng)。然后，在服務(wù)系統(tǒng)中，應(yīng)用人工智能技術(shù)，對(duì)系統(tǒng)中的視覺(jué)信息、自然語(yǔ)言信息和傳感器信息進(jìn)行綜合分析、建模、表征和預(yù)測(cè)，其結(jié)果進(jìn)一步補(bǔ)充至虛擬系統(tǒng)。最后，虛擬系統(tǒng)對(duì)現(xiàn)實(shí)世界中的人類、機(jī)器進(jìn)行反饋，從而形成完整的數(shù)字孿生閉環(huán)系統(tǒng)。

圖1 數(shù)字孿生五維模型示意圖

結(jié)合視覺(jué)問(wèn)答技術(shù)，現(xiàn)實(shí)的物理世界在虛擬系統(tǒng)中進(jìn)行演化，其演化結(jié)果進(jìn)一步反饋并影響現(xiàn)實(shí)世界，過(guò)程如圖2所示。舉例來(lái)說(shuō)，如果采用新的策略對(duì)生產(chǎn)線進(jìn)行改造，則可以首先在數(shù)字孿生系統(tǒng)中對(duì)生產(chǎn)過(guò)程進(jìn)行仿真。用數(shù)字孿生模型模擬人類、機(jī)器及其相互作用。例如，如果將產(chǎn)品的尺寸改為較小的尺寸，則可能會(huì)調(diào)整相機(jī)的位置、傳感器參數(shù)以獲得清晰的圖像和數(shù)據(jù)。同時(shí)，模型的結(jié)構(gòu)和參數(shù)也可能需要調(diào)整。如果在數(shù)字孿生模型中新的策略得到成功的測(cè)試，那么就可以在實(shí)際的生產(chǎn)環(huán)境中進(jìn)行部署。

圖2 人機(jī)協(xié)作（HMC）流程示意圖