無人機(jī)(unmanned aerial vehicle, UAV)低空攝影測量具有現(xiàn)勢性強(qiáng)、分辨率高、采集方式靈活、傳感器多樣化等優(yōu)點(diǎn),近年來在應(yīng)急測繪[1]、城市三維重建[2]、滑坡地形重建[3]、文物三維重建[4]等領(lǐng)域得到了越來越廣泛的應(yīng)用。然而,由于低空UAV一般搭載非量測相機(jī),且受平臺(tái)不穩(wěn)定性及傳感器多樣化等諸多因素影響,獲取的影像尺度不一致,且數(shù)據(jù)量龐大,為影像匹配帶來極大挑戰(zhàn)。此外,近年來新興的仿地飛行、環(huán)繞飛行、貼近飛行等數(shù)據(jù)獲取方式,更使傳統(tǒng)的影像匹配方法難以滿足需求。 影像匹配作為三維自動(dòng)重建的基礎(chǔ)環(huán)節(jié),其效率與穩(wěn)健性對重建結(jié)果起著決定性作用。尤其針對復(fù)雜地形條件下的三維重建,可以獲取的有效匹配像對越多,影像連接成功的概率也越高?？傮w上可將其分為2個(gè)環(huán)節(jié): ①提取匹配像對,即從大數(shù)據(jù)量的遙感影像中按照一定方法提取具有重疊區(qū)的一對影像; ②按照影像匹配算法對提取的像對進(jìn)行雙像匹配提取匹配像對,獲取同名點(diǎn)列表。近年來,針對多角度、大傾角的無人機(jī)影像,文獻(xiàn)[5,6,7]在尺度不變特征變換(scale-invariant feature transform,SIFT)[8]和仿射尺度不變特征變換(affine-scale-invariant feature transform, ASIFT)[9]算法基礎(chǔ)上提出了相應(yīng)的匹配策略,同時(shí)借助圖形處理器(graphics processing unit, GPU)?[10]并行運(yùn)算,這一類方法均可快速完成像對的同名點(diǎn)匹配。然而,如何從大量影像中提取匹配像對的研究還處于比較初級的研究階段。 在UAV影像匹配像對提取方面,文獻(xiàn)[11,12]采用窮舉遍歷策略,對影像集中任意兩兩影像進(jìn)行匹配。該類方法可靠性最高,但存在大量盲目的無效運(yùn)算,效率太低; 文獻(xiàn)[13]利用影像初始地理位置信息,計(jì)算當(dāng)前影像與其相鄰影像的空間距離,進(jìn)而采用固定閾值范圍內(nèi)的像對進(jìn)行匹配; 文獻(xiàn)[14]則通過動(dòng)態(tài)搜索的方法確定閾值,提高了匹配的可靠度,但當(dāng)測區(qū)內(nèi)存在多層次、不同分辨率的UAV影像時(shí),其獲取的搜索閾值無法保證為全局最優(yōu)值; 文獻(xiàn)[7,15-16]則利用影像的定位定向系統(tǒng)(positioning and orientation system, POS)測量數(shù)據(jù)、傳感器結(jié)構(gòu)設(shè)計(jì)參數(shù)及內(nèi)方位元素、測區(qū)地形信息等先驗(yàn)常識,計(jì)算每張影像的腳印圖,進(jìn)而利用腳印圖的拓?fù)潢P(guān)系,判定像對是否具有重疊區(qū)。由于該類方法計(jì)算量小,且對常規(guī)數(shù)據(jù)獲取方式具有不錯(cuò)的適應(yīng)性,因此是目前低空UAV影像匹配像對提取的主要方法。然而,從原理可知,該類方法高度依賴先驗(yàn)常識的準(zhǔn)確性,因此,當(dāng)測區(qū)地形信息不確定(如滑坡、山谷、獨(dú)立地物等)、或者傳感器設(shè)計(jì)參數(shù)無法準(zhǔn)確得知時(shí)(如多鏡頭傾斜相機(jī)、組合傾擺相機(jī)),該類方法便無法準(zhǔn)確計(jì)算出像對的相關(guān)性。文獻(xiàn)[17]則從影像內(nèi)容信息出發(fā),利用提取的特征信息構(gòu)建視覺詞袋(bag of visual words, BoW)模型,進(jìn)而利用影像檢索方式確定待匹配像對; 文獻(xiàn)[18]在生成BoW模型過程當(dāng)中,計(jì)算海明嵌(hamming embedding, HE)來提升影像檢索的準(zhǔn)確度; 文獻(xiàn)[19]則提出了一種霍夫投票算法加速影像檢索過程。由于這類方法一般面向的都是無序、無地理信息的網(wǎng)絡(luò)圖像數(shù)據(jù),其檢索結(jié)果與影像是否具有重疊區(qū)沒有明確關(guān)系,且計(jì)算量過大,難以直接使用。 針對上述問題,本文提出一種顧及影像地理空間信息的BoW模型方法來確定待匹配像對,對地形條件、影像獲取方式、傳感器類型均無限制條件,進(jìn)而減少影像匹配過程當(dāng)中的冗余計(jì)算,以解決UAV影像匹配像對的高效、準(zhǔn)確提取問題。 1 方法原理 本文提出的UAV影像匹配像對提取方法流程為: ①按照文獻(xiàn)[8]和[10]所述方法,依次完成測區(qū)所有影像的SIFT特征提取; ②為了提高影像檢索效率,對提取的SIFT特征進(jìn)行降維,下降生成視覺詞匯樹的運(yùn)算量; ③采用文獻(xiàn)[20]方法,利用降維后的特征向量構(gòu)建視覺詞匯樹; ④檢索所有影像,并計(jì)算詞匯樹內(nèi)單詞的檢索權(quán)重; ⑤在詞匯樹內(nèi),查詢與當(dāng)前影像最相似的影像列表,并計(jì)算其與查詢列表內(nèi)影像的空間距離指數(shù),綜合相似指數(shù)與空間距離指數(shù)對檢索列表進(jìn)行排序,最后利用綜合指數(shù)計(jì)算查詢深度閾值,將閾值之前的查詢影像與當(dāng)前影像組合形成匹配像對。具體方法流程如圖1所示。 2 實(shí)驗(yàn)與分析 2.1 實(shí)驗(yàn)數(shù)據(jù)與配置參數(shù) 為驗(yàn)證本文方法在多采集方式、多傳感器類型、多地形條件下提取匹配像對的可行性、精度與效率,共收集了5組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)集的詳細(xì)信息如表1所示。 基于Windows10 64位操作系統(tǒng),采用VC++2015開發(fā)了海量UAV影像自動(dòng)空三處理軟件MRI,用于測試本文方法的適應(yīng)性。硬件平臺(tái)為Dell Precision 3630工作站,CPU i7-8700K 3.7 GHz,內(nèi)存64 G DDR4,硬盤512 G SSD,顯卡為英偉達(dá) Titan XP 12 G。 2.2 結(jié)果與分析 為了評價(jià)低維特征對影像檢索效率及精度造成的影響,對表1中5組影像提取的原始128維特征向量進(jìn)行降維,分別降至96維、64維、32維,并按照文獻(xiàn)[19]方法對影像進(jìn)行檢索。檢索過程當(dāng)中,生成詞匯樹的聚類中心數(shù)量統(tǒng)一設(shè)置為影像數(shù)量的200倍,檢索深度統(tǒng)一設(shè)置為100,構(gòu)建詞匯樹的影像從數(shù)據(jù)集中隨機(jī)提取,其數(shù)量設(shè)置為數(shù)據(jù)集影像數(shù)量的20%,且最大影像數(shù)量不高于500幅。評價(jià)檢索方法精度時(shí),首先采用窮舉法完成5組影像匹配,然后以其匹配結(jié)果為基準(zhǔn),評價(jià)其他檢索方法的查詢精度。 評價(jià)影像查詢精度通常采用查準(zhǔn)率和查全率(圖4)。查準(zhǔn)率通過計(jì)算查詢深度內(nèi)準(zhǔn)確的查詢影像與查詢深度的比值構(gòu)成,它反映了查詢過程當(dāng)中準(zhǔn)確像對的比例,查準(zhǔn)率越低,意味著匹配環(huán)節(jié)引入錯(cuò)誤匹配像對數(shù)量越高,相應(yīng)的匹配耗時(shí)也越高。查全率則通過計(jì)算查詢深度內(nèi)準(zhǔn)確的查詢影像與窮舉法匹配中得到的所有準(zhǔn)確影像數(shù)量比值構(gòu)成,它反映了當(dāng)前特征條件下,能提取到的匹配像對的完整度,查全率越低,意味著稀疏重建時(shí)的可靠性越低,容易丟片。因此,查準(zhǔn)率與查全率之間相互制約,在查全率相當(dāng)?shù)那疤嵯?查準(zhǔn)率越高,則算法的效率越高。除了計(jì)算128維、96維、64維、32維特征的檢索精度外,按照本文方法分別計(jì)算32維和64維的綜合檢索因子檢索精度,分別用32G和64G表述。從圖4(a)中可知,總體上,影像查詢的查準(zhǔn)率隨著特征維度下降而遞減,當(dāng)特征維度降到32維時(shí),其影像查準(zhǔn)率明顯下降。反觀圖4(b),此時(shí)的查全率卻最高。其原因主要是32維的影像特征丟失了過多的細(xì)節(jié)信息,使特征之間的可分性下降,在引入大量錯(cuò)誤匹配像對基礎(chǔ)上,也將大量弱連接的像對引入匹配環(huán)節(jié)。雖然提升了整體的查全率,但后續(xù)的匹配環(huán)節(jié)效率太低。因此,綜合考慮效率與精度,將特征下降至64維進(jìn)行影像檢索是合適的。