基于ARQ反饋的無人機(jī)通信中繼自主選擇研究

摘要:?無人機(jī)通信是實(shí)現(xiàn)無人機(jī)功能的關(guān)鍵環(huán)節(jié)，且往往以中繼通信方式存在。中繼選擇是提升中繼通信效能的一種重要方法。本文研究無人機(jī)中繼通信在無信息情況下通過自主學(xué)習(xí)進(jìn)行中繼選擇的問題，提出基于自動(dòng)重傳請(qǐng)求(ARQ)反饋的1 bit成功與否信息構(gòu)建效用函數(shù)(即信息成功傳輸概率)，并利用多臂老虎機(jī)(MAB)中的湯普森采樣算法進(jìn)行中繼選擇。實(shí)驗(yàn)表明，基于ARQ反饋的1 bit信息進(jìn)行選擇，無論信道差異大小，都能以較大的概率最終收斂到最優(yōu)中繼，并且信道差異大時(shí)，收斂速度更快更穩(wěn)定，收斂到最優(yōu)中繼的概率更大。

1. 引言

隨著低成本小型化無人機(jī)技術(shù)的不斷發(fā)展，得益于其機(jī)動(dòng)靈活和按需即時(shí)部署等優(yōu)點(diǎn)，無人機(jī)將在軍民領(lǐng)域發(fā)揮越來越重要的作用?[1] [2]。建立和維持無人機(jī)間的無線通信鏈路是實(shí)現(xiàn)無人機(jī)應(yīng)用的關(guān)鍵環(huán)節(jié)。無人機(jī)通信往往以中繼通信的方式存在 [3]，而中繼選擇是實(shí)現(xiàn)無人機(jī)中繼通信效能提升的關(guān)鍵技術(shù) [4]。

由于無人機(jī)大規(guī)模等特點(diǎn)導(dǎo)致其決策交互信息過多等問題?[5]，與傳統(tǒng)無線中繼通信相比，無人機(jī)通信往往難以獲得中繼選擇決策所需要的信息。本文研究無人機(jī)中繼通信在無信息條件下，通過自主學(xué)習(xí)獲取中繼選擇所需信息，從而進(jìn)行中繼選擇。

在傳統(tǒng)基于自主學(xué)習(xí)進(jìn)行中繼選擇的研究中，存在多種多樣的效能函數(shù)設(shè)計(jì)方法進(jìn)行中繼選擇，實(shí)現(xiàn)不同的性能函數(shù)優(yōu)化?[6] - [14]。這些方法在各自的應(yīng)用場景和模型中都能完成最優(yōu)中繼選擇。然而，現(xiàn)有研究中效用函數(shù)采用的具體性能指標(biāo)各異，如容量、誤碼性能、延時(shí)、用戶滿意度等，且效用函數(shù)多是連續(xù)值。不同研究采用不同的效用函數(shù)形式，難以形成統(tǒng)一機(jī)制和在不同通信系統(tǒng)中相互兼容。本文提出利用自動(dòng)重傳請(qǐng)求(Automatic Repeat reQuest, ARQ)的1bit成功與否反饋信息設(shè)計(jì)效用函數(shù)(即信息成功傳輸概率)進(jìn)行中繼選擇，以期實(shí)現(xiàn)統(tǒng)一的效用函數(shù)設(shè)計(jì)和在不同系統(tǒng)中的兼容。

ARQ是通信系統(tǒng)鏈路層的基本功能、基礎(chǔ)協(xié)議，廣泛存在于移動(dòng)通信、無線局域網(wǎng)和短波通信等無線通信領(lǐng)域 [15]。ARQ通過重傳保證通信質(zhì)量，利用1比特信息(0和1)指示傳輸成功與否，具有協(xié)議基礎(chǔ)廣泛和反饋信息少等優(yōu)點(diǎn)。通過ARQ信息，可間接獲得系統(tǒng)的信道質(zhì)量、誤碼和容量等信息。本文提出通過ARQ獲得信息傳輸成功概率，并將其作為效用函數(shù)，利用多臂老虎機(jī)(Multi-Armed Bandit, MAB) [16] 進(jìn)行中繼選擇。在給定無人機(jī)中繼通信兩跳信道條件下，基于ARQ反饋設(shè)計(jì)效用函數(shù)進(jìn)行中繼選擇的實(shí)驗(yàn)表明：無論是在信道差異大還是信道差異小，使用湯普森采樣算法均有較大的概率能夠選擇到最優(yōu)中繼；信道差異大時(shí)，選擇到最優(yōu)中繼的收斂速度更快，收斂更穩(wěn)定且收斂到最優(yōu)中繼的概率更大。

2. 基于自主學(xué)習(xí)的無人機(jī)中繼選擇模型

2.1. 無人機(jī)中繼通信模型

無人機(jī)通常以集群的方式執(zhí)行通信任務(wù)。在充當(dāng)中繼時(shí)，發(fā)送方先在無人機(jī)集群中選擇一個(gè)無人機(jī)作為中繼發(fā)送信息，無人機(jī)接收到信息后將信息放大并轉(zhuǎn)發(fā)至接收方。本文研究的是收發(fā)雙方及收發(fā)雙方和中繼無人機(jī)均處于相對(duì)固定位置且信道質(zhì)量不發(fā)生變化的情況下的中繼選擇。圖1為無人機(jī)群進(jìn)行中繼通信選擇的模型。

Figure 1. Model of relay selection for UAV communication

圖1. 無人機(jī)通信中繼選擇模型

2.2. 基于ARQ反饋信息進(jìn)行中繼選擇方法

在上圖所示通信過程中，發(fā)射方向無人機(jī)發(fā)送信息，無人機(jī)接收發(fā)送方信息并作為中繼轉(zhuǎn)發(fā)至接收方。接收方如譯碼成功，它反饋一個(gè)成功指示信息(本文中設(shè)定反饋為1)，表示此次信息發(fā)送成功，反饋信息通過無人機(jī)中繼傳輸后到達(dá)發(fā)送方。發(fā)送方收到反饋信息1后，將繼續(xù)發(fā)送新的信息。如果接收方譯碼失敗，它發(fā)送消極的反饋(本文中設(shè)定反饋為0)，則表示接收信息發(fā)生錯(cuò)誤，發(fā)送方將重傳發(fā)送的信息。

在上述過程中不同的無人機(jī)作為中繼傳輸信息會(huì)產(chǎn)生不同的傳輸效果。因此，發(fā)送方可以根據(jù)收到的反饋信息確定哪個(gè)無人機(jī)具有最好的通信效果。上述模型中，假設(shè)反饋信息(1或0)可以通過專用控制信道無差錯(cuò)傳輸，且不同無人機(jī)之間反饋的信息互相不干擾。本文基于ARQ的反饋信息，設(shè)計(jì)無人機(jī)中繼通信效用函數(shù)，來反映無人機(jī)作為中繼時(shí)轉(zhuǎn)發(fā)信息的成功概率，并采取MAB中的湯普森采樣算法進(jìn)行中繼選擇。這種算法是在無外界信息情況下，通過自主學(xué)習(xí)獲得中繼選擇所需信息，然后進(jìn)行中繼選擇，即通過自主學(xué)習(xí)獲得不同無人機(jī)轉(zhuǎn)發(fā)信息成功概率，并以此作為效用函數(shù)進(jìn)行中繼選擇。一些事先并不知道成功概率的問題，通過做若干次試驗(yàn)以及統(tǒng)計(jì)成功的次數(shù)，可以很直觀地計(jì)算出成功概率，但是由于成功概率是未知的，計(jì)算出來的概率只能是成功概率的最優(yōu)估計(jì)。因此，不能確定概率的具體數(shù)值，但是它也是一個(gè)隨機(jī)變量，符合beta分布。這樣其先驗(yàn)分布是Beta分布，且每個(gè)選擇的收益的分布是Bernoulli分布，在這種情況下的后驗(yàn)分布仍然是Beta分布。

湯普森采樣算法要先記錄每個(gè)選擇成功和失敗的次數(shù)?αα?和?ββ，生成每個(gè)選擇的beta分布，用每個(gè)選擇現(xiàn)有的beta分布產(chǎn)生一個(gè)隨機(jī)數(shù)，比較選擇所有臂產(chǎn)生的隨機(jī)數(shù)中最大的那個(gè)選擇。假定進(jìn)行1000次中繼選擇，選擇的過程如圖2。

Figure 2. Relay selection flow chart using Thompson sampling algorithm

圖2. 湯普森采樣算法中繼選擇流程圖

2.3. 最優(yōu)中繼選擇理論分析

考慮自由空間的傳播損耗，當(dāng)天線具有單位增益時(shí)，其路徑損耗為：?PL(db)=?10lg[λ2(4π)2d2]PL(db)=?10lg[λ2(4π)2d2]，則可得到自由空間傳播損耗因子為：?α=λ4πdα=λ4πd。令發(fā)送端與無人機(jī)中繼間的自由空間傳播損耗為?α1α1，無人機(jī)中繼與接收端間的自由空間傳播損耗為?α2α2。首先由發(fā)射端發(fā)送信號(hào)給無人機(jī)中繼，則可得到無人機(jī)中繼接收的信號(hào)為：

3. 仿真

為了驗(yàn)證本文算法的性能，使用MATLAB平臺(tái)，結(jié)合兩跳鏈路的中繼選擇模型分析分別在信道差異大和信道差異小的情況下湯普森采樣算法進(jìn)行中繼選擇的情況。

仿真的通信場景如圖1所示。仿真參數(shù)設(shè)置如下：無人機(jī)中繼的個(gè)數(shù)?nB=20nB=20，本模型隨機(jī)設(shè)定每個(gè)無人機(jī)與發(fā)送方及接收方的?|h1||h1|?和?|h2||h2|?的瑞利分布的參數(shù)，?|h1||h1|?和?|h2||h2|?的值將由對(duì)應(yīng)的分布隨機(jī)產(chǎn)生，具體的瑞利分布參數(shù)將按信道差異大和信道差異小兩種情況隨機(jī)產(chǎn)生。設(shè)定每個(gè)無人機(jī)和發(fā)送節(jié)點(diǎn)及接收節(jié)點(diǎn)間的距離?d1d1?和?d2d2?的值為4000 m。設(shè)定發(fā)送端的發(fā)送功率?PF=10?WPF=10?W，發(fā)射波的波長?λλ?= 1米，無人機(jī)的發(fā)送功率?PW=10?WPW=10?W，無人機(jī)中繼和接收端接收的噪聲功率分別為?N1=N2=2e?11?WN1=N2=2e?11?W，門限信噪比?SNRm=30?dBSNRm=30?dB。設(shè)定選擇的次數(shù)?nP=1000nP=1000?次。無人機(jī)與接收方及發(fā)信方的距離均設(shè)置為4000 m，兩種類型信道設(shè)置分別如下。

信道差異大的情況：使?|h1||h1|?和?|h2||h2|?瑞利分布的參數(shù)σ1和σ2均勻分布在0.3到1的區(qū)間內(nèi)；具體如表1。

信道差異小的情況：使?|h1||h1|?和?|h2||h2|?瑞利分布的參數(shù)σ1和σ2均勻分布在0.9到1的區(qū)間內(nèi)。具體如表2。

Table 1. Setting of Rayleigh distribution parameters σ1 and σ2 for channel with large channel differences

表1. 信道差異大時(shí)信道的瑞利分布的參數(shù)σ1和σ2的設(shè)置

Table 2. Setting of Rayleigh distribution parameters σ1 and σ2 for channel with small channel differences

表2. 信道差異小時(shí)信道的瑞利分布的參數(shù)σ1和σ2的設(shè)置

Figure 3. The comparison of success probability between selecting by Thompson sampling algorithm and optimal relay in theory, when channel?difference is large

圖3. 信道差異大時(shí)湯普森采樣算法選擇成功概率與理論最優(yōu)中繼成功概率比較

Figure 4. The comparison of success probability between selecting by Thompson sampling algorithm and optimal relay in theory, when channel difference is small

圖4. 信道差異小時(shí)湯普森采樣算法選擇成功概率與理論最優(yōu)中繼成功概率比較

如圖3為在信道差異大的情況下總的成功概率隨著選擇的變化情況，圖4為在信道差異小的情況下的總的成功概率隨著選擇的變化情況。

從仿真結(jié)果可以看出，在信道差異大和信道差異小兩種情況下最終都收斂于最優(yōu)的中繼，但明顯在信道差異大時(shí)收斂速度較快且比較穩(wěn)定。為了使結(jié)果更加可靠，隨機(jī)設(shè)定信道參數(shù)并進(jìn)行1000次實(shí)驗(yàn)，每次實(shí)驗(yàn)選擇1000次直到收斂到最優(yōu)中繼為止，統(tǒng)計(jì)1000次實(shí)驗(yàn)中收斂到最優(yōu)中繼的次數(shù)，并生成柱形圖圖5。

Figure 5. The probability of convergence to optimal relay in 1000 experiments when channel difference is large and small

圖5. 1000次實(shí)驗(yàn)中信道差異大和信道差異小兩種情況下收斂到最優(yōu)中繼的概率

當(dāng)信道差異大時(shí)，可看到收斂到最優(yōu)中繼的概率達(dá)到了95%，當(dāng)信道差異小時(shí)收斂到最優(yōu)中繼的概率也達(dá)到了50%。可見湯普森采樣算法能夠較準(zhǔn)確的選擇出最優(yōu)的中繼。

4. 結(jié)論

本文提出利用ARQ反饋的1bit成功與否信息構(gòu)建效用函數(shù)(即信息傳輸成功概率)，基于MAB方法進(jìn)行自主學(xué)習(xí)獲取無人機(jī)中繼通信中的信息，進(jìn)行中繼選擇。所提的基于ARQ反饋進(jìn)行中繼選擇方法能以大概率選出最優(yōu)中繼。同時(shí)，基于ARQ反饋進(jìn)行效用函數(shù)設(shè)計(jì)可不改變現(xiàn)有通信協(xié)議，容易與現(xiàn)有系統(tǒng)兼容。

審核編輯：湯梓紅