基于魯棒特征匹配和彈性變形的高光譜圖像自動拼接

高光譜圖像不僅包含空間信息，還包含豐富的光譜信息，目前已被廣泛應用于農業、城市規劃等領域。近年來，無人機的快速發展使高光譜在更多領域成為可能。無人機操控簡單、成本相對較低、使用靈活，航空高光譜拍攝示意圖如圖1所示。但是航空高光譜技術也存在一些限制，當追求高的分辨率時，成像儀的視場角就會變小，從而導致成像區域變小。單幅圖像很難覆蓋大面積的區域，需要運用圖像拼接技術得到一幅全景高光譜圖像。

圖1 航空高光譜拍攝示意圖

普通圖像的拼接領域已經獲得了較多成果，但高光譜圖像拼接的研究還并不是十分成熟。而且高光譜圖像與普通圖像存在一定的差異，高光譜圖像的拼接目前面臨了一系列的困難。高光譜圖像有幾十上百個波段，數據量非常大，直接對高光譜數據進行拼接會產生很大的計算量從而導致拼接時間過長，降低效率。其次，用于遙感的高光譜圖像通常由機載設備拍攝，無人機拍攝的條件不穩定，飛機振動、曝光時飛機快速運動導致的像點偏移等現象會使拍攝得到的圖像質量下降并且存在非剛性變換。這些情況造成特征點匹配時存在大量的誤匹配。除此之外，無人機的飛行高度并不高，圖像會存在視差，要得到好的高光譜拼接效果，需要解決上述挑戰。在此背景下，迫切需要一種高精度的高光譜圖像拼接方法。

武漢大學梅曉光副教授團隊利用我司推掃式無人機高光譜成像系統（GaiaSky-mini）在300m高度拍攝的一組植物園場景。數據包含18 幅圖像，大小為96×1057，光譜范圍是400nm 到1000nm，共176 個波段。圖2以偽彩色  圖像的形式展示了18 張高光譜圖像數據，選取的三個波段分別為第13 波段(436.5nm)，第47 波段(547.6nm)，第92 波段(700.2nm)，將圖片從左往右，從上往下依次標號為1-18。

圖2 18幅高光譜圖像數據

首先，選取一個波段作為參考波段，得到灰度圖像后用SIFT算法提取相鄰兩幅圖像的特征點。本研究對比了SIFT、SURF、SS-SIFT這三種特征點提取的算法。其中SIFT和SURF是針對單個波段的圖像進行特征點的提取，SS-SIFT是針對高光譜的算法，所提取的特征點具有三維信息。實驗選取圖2中的第1、2作為圖片進行測試，實驗記錄了三個算法的幾個衡量指標，實驗結果如表1所示。

表1 特征點提取的算法對比結果

從以上實驗結果可以看出，SS-SIFT相較于SIFT和SURF需要運行大量時間，降低了算法的效率，因此不能采用直接從高光譜圖像數據中直接提取特征點的方法。SIFT和SURF算法相比較，SIFT的運行時間為10.012s，雖然沒有SURF運行速度快，但是檢測和匹配的特征點的數量足夠多，使后續的圖像配準更加準確。

無人機拍攝的遙感圖像通常存在局部地形變化、尺度變化、旋轉、視差以及其他非剛性變化等情況，在特征點的匹配過程中會造成很多誤匹配現象。為了解決這個問題，本研究采用基于mTopKRP的算法來剔除誤匹配，得到的結果如圖3所示。

圖3 通過mTopKRP算法剔除誤匹配的結果

接下來，為了驗證mTopKRP算法在剔除誤匹配點上的優越性，我們對比了mTopKRP和其他誤匹配剔除算法VFC和LPM。我們選擇**率（precision），召回率（recall）和F-score作為評價特征點匹配算法的指標。得到的特征點匹配算法對比實驗結果如圖4所示。

圖4 特征點匹配算法對比實驗結果

從以上實驗結果中可以看出，無論是在圖像存在剛性變換還是非剛性變換時，本研究特征點匹配算法mTopKRP都得到了更好的F-score，證實了我們的特征點匹配算法的優越性。在得到正確的匹配點集之后，我們需要用匹配的特征點來建立圖片對之間的變換關系，即計算圖片對之間的單應性矩陣。為了避免投影變換帶來的失真，本研究采用基于魯棒彈性扭曲的算法。并將本研究采用的圖像變換模型和其他圖像變換模型ANAP，NISwGSP和ELA進行對比，實驗利用線性加權的圖像融合算法，分別在單個波段拼接了18幅高光譜圖像，得到圖5的結果。

圖5 圖像拼接模型對比（從左到右ANAP、NISwGSP、ELA和本研究算法）

從實驗結果中可以看出，算法ANAP，NISwGSP 和ELA 得到結果均在邊處有明顯的形變、不規則放大或扭曲。而本研究的魯棒彈性變換模型更準確地對齊圖像，在拼接后的非重疊區域消除了形變、扭曲等問題。本研究所采用的圖像變換模型得到的拼接結果中圖像清晰，沒有明顯模糊、重影的現象。

高光譜圖像拼接的*后一步就是進行全波段的圖像融合。將參考波段的魯棒彈性變換模型參數運用于其他剩余波段，這樣就可以獲得所有波段的空間信息。在單個波段的重疊部分得到光譜值之后，將融合參數應用到其他波段，則全波段重疊部分都得到新的光譜值，非重疊部分的光譜值保留本身波段原有的光譜值。此處，將得到的高光譜全景圖像用 RGB 圖像的形式展示如圖6所示。選取的三個波段分別為第 13 波段 （436.5nm），第 47 波段（547.6nm），第 92 波段（700.2nm）。

圖6 以RGB形式展示的高光譜圖像整體拼接結果

對于圖像的光譜進行分析可以實現對地物的分類和識別，所以拼接任務除了關注空間信息外，還應對光譜曲線進行分析。理想情況下拼接后的全景圖在重疊區域的光譜曲線應該與參考圖像的保持一致。通過計算兩個光譜曲線的光譜角大?。⊿AD），可以判斷它們的相似程度。找出在圖1、2重疊部分的兩對典型地物（土地和植被），分別記錄為A、A′ 和B、B′，如圖7所示。由于圖像1是參考圖像，因此拼接得到的高光譜圖像的光譜曲線應該與圖像1的光譜曲線接近。通過圖8計算得到，對于同名點對A、A′，圖像1和2在此點的光譜角為0.0894。在同名點B、B′，圖1與圖2 光譜角大小為0.0471。因此，可以得出結論，在原始圖像同名點對的光譜值有較大差異的情況下，本研究的算法得到的圖像的光譜接近于參考圖像，保證了光譜信息的一致性。

圖7 同名點對示意圖

圖8 光譜分析曲線

本研究提出了新的高光譜圖像拼接方法，適用于存在旋轉、尺度變化、非剛性變換的圖像集。得到的圖像清晰，無明顯錯誤拼接和接縫，圖像的光譜曲線失真較小，適用于存在大視差的機載高光譜圖像。

通訊作者簡介：

梅曉光，博士，武漢大學電子信息學院副教授，博士生導師。

主要研究方向：高/超光譜應用中的計算機視覺、機器學習等相關問題的研究。

參考文獻：Yujie Zhang, Zhiying Wan, Xingyu Jiang and Xiaoguang Mei, in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 13, pp. 3145-3154, 2020, doi: 10.1109/JSTARS.2020. 3001022.