中文字幕一级黄色A级片|免费特级毛片。性欧美日本|偷拍亚洲欧美1级片|成人黄色中文小说网|A级片视频在线观看|老司机网址在线观看|免费一级无码激情黄所|欧美三级片区精品网站999|日韩av超碰日本青青草成人|一区二区亚洲AV婷婷

集群無人機進行偵查任務(wù)時，受環(huán)境及無人機自身質(zhì)量等因素影響集群無人機偵查任務(wù)的完成。本文在部分可觀察Markov決策過程（POMDP）框架下，對集群無人機偵察任務(wù)進行了仿真，構(gòu)建了包括戰(zhàn)備完好率和單機失效率在內(nèi)的可靠性指標(biāo)與偵查任務(wù)實現(xiàn)的定量關(guān)系模型。

 

無人機智能化程度高、造價相對低廉，但在實際應(yīng)用中也暴露出嚴(yán)重的安全隱患。在受到熱、電、溫循、振動等環(huán)境應(yīng)力的影響下，無人機的失效率有可能升高；無人機的維護水平也制約每次任務(wù)能夠投入的機器的架次。對于某型號無人機，其平均一般故障間隔時間為500h，平均嚴(yán)重故障間隔時間為1300h，故障檢測率為93%。2008年以來的無人機實際飛行公開數(shù)據(jù)顯示，常用國外無人機機型和國內(nèi)投入運行機型的故障間隔時間在9.1h-55.1h之間，可用度40%-98%。無人機飛行風(fēng)險可以總結(jié)為: 高危害性、不可控性和預(yù)測難度大，其中不可控性是對于視距外的故障，地面人員無法針對無人機故障妥善處理。在現(xiàn)代控制方法支撐下，無人機向通過集群化方向發(fā)展，可以實現(xiàn)更多的任務(wù)。由于集群無人機的任務(wù)變化和功能時變性，給建立集群無人機可靠性與任務(wù)成功之間的關(guān)系模型帶來了挑戰(zhàn)。

 

POMDP是具有有限分立狀態(tài)和有限行動選擇的不可全知Markov系統(tǒng)在取得狀態(tài)和行動對應(yīng)回報下的決策問題。POMDP框架可以應(yīng)用于無人機對抗、無線網(wǎng)絡(luò)協(xié)議、對話系統(tǒng)等應(yīng)用描述。POMDP的不確定性使得求解依賴于歷史，占據(jù)龐大的數(shù)據(jù)空間。使過程期望回報最大的行動序列，稱為最優(yōu)策略。然而傳統(tǒng)的POMDP值迭代算法需要在整個信念空間上更新值函數(shù)，這種精確解法的時間和空間復(fù)雜度極高，只能解決小規(guī)模的POMDP問題?；邳c的值迭代算法只在少量信念狀態(tài)上更新值函數(shù)，計算效率有所提高。論文提出了一種緊湊的信念狀態(tài)表示法，對于求解大規(guī)模POMDP問題具有良好性能。

 

本文將在POMDP框架下，考慮集群無人機可靠性對于任務(wù)的影響，對集群無人機偵察任務(wù)進行建模，通過仿真計算，構(gòu)建包括戰(zhàn)備完好率和單機失效率在內(nèi)的可靠性指標(biāo)與偵查任務(wù)實現(xiàn)效能的定量關(guān)系模型。

 

集群無人機POMDP控制方法

 

POMPD框架

 

POMDP模型用于描述具有隱藏的系統(tǒng)狀態(tài)且行為效果是不確定的Markov過程。POMDP模型用六元組{S,A,T, Ω,R,O}表示，其中S是系統(tǒng)所有狀態(tài)的非空集合，部分狀態(tài)是不能直接觀察到的;A表示行動的有限集合;T表示狀態(tài)轉(zhuǎn)移函數(shù)，用T(s,a,s')=P(s'|s,a)表示觀察點在狀態(tài)S上對應(yīng)行動A后轉(zhuǎn)移到狀態(tài)s'的概率;R是回報函數(shù)，R(s,a)表示觀察點在狀態(tài)s上對應(yīng)行動a可提供的回報;O表示觀察點被觀察到的狀態(tài)的有限集合;Ω表示觀察函數(shù)，用Ω(a,s',o)=P(o|a,s')表示觀察點對應(yīng)行動a轉(zhuǎn)移到狀態(tài)s'后被觀察到狀態(tài)o的概率。

 

信念表示

 

信念狀態(tài)是系統(tǒng)歷史的充分統(tǒng)計量，由狀態(tài)集合S上的概率分布組成的|S|維向量。一種緊湊的信念狀態(tài)表示法假定系統(tǒng)的所有Markov過程均獨立進行，認(rèn)為此時可能存在一種維數(shù)隨獨立的系統(tǒng)點個數(shù)線性增長的信念表示。對于離散時間t組成的狀態(tài)歷史h，定義條件概率φ(t)：

其中w1ki(t)為系統(tǒng)點1置于狀態(tài)Ki的概率。而對于任意h，可以證明觀察到的條件概率分布φ(t)為系統(tǒng)點條件概率分布B(h)的一種等價表示。從而系統(tǒng)點彼此獨立時，緊湊的信念狀態(tài)表示法可以使得POMDP狀態(tài)空間隨系統(tǒng)點數(shù)量僅線性增長。

 

狀態(tài)更新

 

對于當(dāng)前不可觀察的系統(tǒng)點n，條件概率wn會按照Markov矩陣P更新。對于當(dāng)前可觀察的系統(tǒng)點n，系統(tǒng)點狀態(tài)具有確定值，條件概率wn將會置于對應(yīng)有限觀察狀態(tài)k的單位向量，o=k表示觀察值為k，o=null表示不可觀察的部分。

仿真計算條件設(shè)置

 

本文考慮的場景是：集群無人機在不確定環(huán)境下偵察，例如山火現(xiàn)場。集群無人機根據(jù)對環(huán)境的部分觀察，自主規(guī)劃獲取最大偵察信息的路徑，即尋找最大期望回報的行動組合。

 

地形被考慮成一系列系統(tǒng)點，每個點的環(huán)境信息在有限狀態(tài)間的轉(zhuǎn)換具有單調(diào)矩陣的屬性。我們可以基于Markov單調(diào)矩陣特性，“預(yù)測”當(dāng)前不可觀察點的信念狀態(tài)。

 

每個系統(tǒng)點可以提供偵察回報，但同時具有對無人機的傷害能力。本文對每個系統(tǒng)點同時具有提供信息和給予傷害的屬性，選取單調(diào)Markov矩陣進行描述，分別稱為信息模型I和威脅模型R。本文把偵察信息和偵察威脅分為4種類型，分別具有5種信息狀態(tài)和5種威脅狀態(tài)。本文采用的復(fù)雜偵察地形圖如圖1。

圖1 無人機偵察任務(wù)信息值地形圖和威脅值地形圖

 

格點代表偵察對象，連線代表可飛行路徑。格點顏色區(qū)分不同的對象，黑、藍(lán)、綠、紅格點對應(yīng)屬性變化規(guī)律為Markov矩陣M1~M4，L1~L4為信念向量。4種Markov矩陣及對應(yīng)信念向量如下所示：

各狀態(tài)對應(yīng)回報值為

回報值是基于偵察信息狀態(tài)和偵察威脅狀態(tài)的回報值的組合函數(shù)。某時刻的偵察回報為：

式中：

 

fI(OIi）和fR(ORi）---無人機此時基于偵察信息和偵察威脅而獲得的信息值和威脅值。

 

本文用蒙特卡洛算法求解偵察回報，并設(shè)定集群無人機不在同一時刻巡邏同一系統(tǒng)點。同時減少無人機在偵察一個系統(tǒng)點后，下一個時間步時對其進行重復(fù)偵察的可能。具體為：當(dāng)前時刻被偵察到的點，將在下一時刻按照單調(diào)Markov矩陣M1~M4首列的概率進行衍變，即有更大概率回報值取序列中的最小值。

 

仿真計算結(jié)果分析

 

1 、路徑搜索深度的影響

 

通過以上POMDP框架和信念表示求解本文設(shè)定地形。考慮每次決策都進行多步搜索，集群無人機時依次考慮單機最大回報值路徑，排次在后的無人機不到訪同一時間步已有無人機偵察的系統(tǒng)點。假設(shè)無人機的續(xù)航時間為10h，飛行速度為每0.01h經(jīng)過相鄰系統(tǒng)點。集群無人機的初始位置為隨機分布。仿真20架次無人機在不同路徑搜索深度下的偵察回報，搜索深度從1到7步，每個狀態(tài)的蒙特卡洛事例數(shù)100次。結(jié)果如圖2所示。

圖2 20架無人機搜索深度與平均回報值標(biāo)準(zhǔn)差

可見，平均總回報值在4步搜索深度之后穩(wěn)定，并基本達(dá)到飽和。為提高仿真計算效率，搜索深度將固定在4步。

 

2 、無人機數(shù)量的影響

 

仿真計算5-25架無人機同時執(zhí)行同一地形偵察任務(wù)的總回報值（圖3），在集群無人機數(shù)量達(dá)到17時，回報值達(dá)到最大。曲線先增后減的走向是由于不同無人機探測同一地點時，信息值不重復(fù)計算，而威脅值是累加的，回報值因同時更多架次無人機受到傷害而減小。

圖3 無人機數(shù)量與平均回報值標(biāo)準(zhǔn)差

 

3、 可靠性指標(biāo)的影響

 

假設(shè)戰(zhàn)備完好率以及單架無人機的失效率為常數(shù)。本文建立無人機數(shù)量N取值范圍在10~18架，戰(zhàn)備完好率k在（60-100）%，單機失效率λ在1x10-4-5x10-2 h-1范圍內(nèi)的集群無人機偵察任務(wù)可靠性研究，定量分析偵察回報的影響因素。各條件蒙特卡洛仿真事例數(shù)均為400。

 

戰(zhàn)備完好率將影響無人機任務(wù)中的實際出動架次期望值F，F(xiàn)=k·N。對各條件下蒙特卡洛仿真求平均，得到各條件下的回報值均值。擬合出動架次N和單機失效率λ對回報值Vr的影響。擬合曲面表達(dá)式形如：

圖4 無人機出動架次和失效率組合條件下偵察任務(wù)回報值

 

曲面是按曲面(4)對偵察回報值的擬合。用顏色區(qū)分任務(wù)架次的條件。

 

表達(dá)式(4)對出動架次的影響用二次多項式描述，對失效率影響采用指數(shù)形式。從圖4可以看到，回報擬合曲面與仿真結(jié)果吻合，最大偏差在5%以內(nèi)，擬合結(jié)果見表1。

 

表1 擬合參數(shù)值

圖5~6給出擬合回報值對出動架次和失效率的偏差分布。即在特定形和合理的戰(zhàn)備完好率、失效率范圍內(nèi)， (4)在預(yù)測不同架次和失效率的偵察回報上表現(xiàn)穩(wěn)定，可以有效評估架次和失效率變化對偵察回報的影響。

圖5 不同出動架次下回報值預(yù)測誤差分布

圖6 不同失效率下回報值預(yù)測誤差分布

 

結(jié)論

 

本文對在給定的任務(wù)設(shè)定下，基于POMDP框架和蒙特卡洛仿真計算方法，對集群無人機偵察任務(wù)進行了仿真計算，給出了在有限探索深度下集群無人機自主決策的行動序列，建立了集群無人機總數(shù)、單機失效率、戰(zhàn)備完好率與任務(wù)回報值時間的定量關(guān)系模型。該方法可為集群無人機偵查任務(wù)的可靠性指標(biāo)的制定提供定量分析工具。