龔健雅院士 | 智能遙感深度學(xué)習(xí)框架與模型設(shè)計(jì)

近年來，隨著遙感技術(shù)的快速發(fā)展,遙感對地觀測數(shù)據(jù)獲取量與日俱增。在對海量遙感數(shù)據(jù)的特征提取與表征上,基于深度學(xué)習(xí)的智能遙感影像解譯技術(shù)展現(xiàn)出了顯著優(yōu)勢。然而，遙感影像智能處理框架和信息服務(wù)能力還相對滯后，開源的深度學(xué)習(xí)框架與模型尚不可滿足遙感智能處理的需求。在分析現(xiàn)有深度學(xué)習(xí)框架和模型的基礎(chǔ)上，針對遙感影像幅面大、尺度變化大、數(shù)據(jù)通道多等問題，本文設(shè)計(jì)了嵌入遙感特性的專用深度學(xué)習(xí)框架，并重點(diǎn)討論了其構(gòu)建方法，以及地物分類任務(wù)的初步試驗(yàn)結(jié)果等。本文提出的智能遙感解譯框架架構(gòu)將為構(gòu)建具備多維時空譜遙感特性的深度學(xué)習(xí)框架與模型提供有力支撐。 遙感對地觀測技術(shù)的發(fā)展與地理國情普查等項(xiàng)目的實(shí)施，形成了時效性強(qiáng)、覆蓋范圍廣、信息量豐富的海量數(shù)據(jù)[1-2]。隨著大數(shù)據(jù)、人工智能等技術(shù)的發(fā)展，基于深度學(xué)習(xí)的遙感影像解譯與監(jiān)測技術(shù)表現(xiàn)出了一定的優(yōu)勢。但在實(shí)際應(yīng)用中，遙感影像智能處理框架和信息服務(wù)能力相對滯后[3-5]，仍未形成與人臉識別、車牌識別等類似的可廣泛實(shí)用化的智能系統(tǒng)。截至目前，開源的深度學(xué)習(xí)框架與模型尚不可滿足遙感影像智能處理的迫切需求。 ? 遙感影像的智能解譯涉及場景識別、目標(biāo)檢測、地物分類、變化檢測、多視角三維重建等典型任務(wù)。在深度學(xué)習(xí)框架和模型方面，大多由通用圖像識別的模型改造而來，一般只考慮可見光波段的圖像特征，未顧及更廣泛的遙感物理特性和地學(xué)常識等重要因素。在可擴(kuò)展性方面，已有的深度學(xué)習(xí)框架大多只支持輸入小尺寸影像，難以支持大幅面遙感影像整體訓(xùn)練[6]。例如訓(xùn)練語義分割網(wǎng)絡(luò)，如果直接載入30 000×30 000像素的大幅影像，則會出現(xiàn)內(nèi)存溢出問題造成訓(xùn)練失敗。為保證正常訓(xùn)練，通常需將大幅遙感影像裁剪為512×512像素的固定尺寸作為語義分割網(wǎng)絡(luò)的輸入。然而，在這種處理方式下，現(xiàn)有深度學(xué)習(xí)框架難以挖掘到影像大范圍空間上下文信息，使其擴(kuò)展性受限；在尺度通道構(gòu)建方面，普通影像包含場景范圍小，尺度有限，而遙感影像受傳感器、觀測平臺影響，分辨率各不相同、地物尺度變化極大，例如水體、植被等[7]?，F(xiàn)有深度學(xué)習(xí)框架缺乏應(yīng)對如此大尺度變化的優(yōu)化方法；在數(shù)據(jù)通道挑選方面，普通影像的三通道相關(guān)性小，無須復(fù)雜的通道選取。遙感影像，尤其是高光譜影像，包含數(shù)百個通道，亟須深度學(xué)習(xí)框架具備優(yōu)選能力[8-9]；在常識融合與建模方面，深度學(xué)習(xí)過程存在“災(zāi)難性遺忘”[10-11]，難以同時保有新舊數(shù)據(jù)處理能力。遙感影像有“同譜異物、同物異譜”現(xiàn)象，僅靠學(xué)習(xí)的圖像特征，難達(dá)到理想精度，不可運(yùn)用先驗(yàn)常識集成地學(xué)抽象規(guī)則，做出可解釋、高可靠的決策。因此，亟須設(shè)計(jì)嵌入遙感地學(xué)先驗(yàn)常識的高效、可靠的智能遙感深度學(xué)習(xí)框架與模型。 ? 人工智能時代，智能遙感深度學(xué)習(xí)框架與模型是連通遙感硬件、軟件、應(yīng)用場景的樞紐與關(guān)鍵。由于遙感對地觀測與智能處理的戰(zhàn)略價值，美國在2020年將基于人工智能的遙感技術(shù)列為敏感技術(shù)并限制出口，對我國形成新一輪封鎖態(tài)勢。鑒于目前尚無顧及遙感大幅面、多通道、常識融合特性的深度學(xué)習(xí)框架，研究面向遙感應(yīng)用、具備自主常識產(chǎn)權(quán)的專用深度學(xué)習(xí)框架與模型，占領(lǐng)遙感人工智能生態(tài)鏈的制高點(diǎn)已顯得尤為緊迫。本文針對遙感影像特色以及目標(biāo)識別與動態(tài)監(jiān)測等應(yīng)用需求，提出了兼顧遙感影像特性的智能遙感深度學(xué)習(xí)框架與模型的研究思路(圖 1)，并基于該研究路線設(shè)計(jì)了具備多維時空譜遙感特性的遙感專用深度學(xué)習(xí)框架與模型。 遙感專用深度學(xué)習(xí)框架具備不限制遙感影像大小特色，具有多框架混合編程、可拖拽的可視化操作及數(shù)據(jù)與框架協(xié)同等功能，使其可以與樣本庫緊密結(jié)合，自動適應(yīng)多類型、多尺度、多級別的大規(guī)模遙感影像樣本的訓(xùn)練與測試。同時，該框架可以構(gòu)建顧及遙感特性的優(yōu)化分析方法，為模型結(jié)構(gòu)優(yōu)化提供了科學(xué)依據(jù)。本文方法將形成尺度通道可靈活創(chuàng)建、數(shù)據(jù)通道可自適應(yīng)優(yōu)選、多層級聯(lián)合優(yōu)化的遙感專用深度學(xué)習(xí)框架與模型，能為遙感影像智能處理新理論、新技術(shù)和新成果的驗(yàn)證奠定基礎(chǔ)。 ? 遙感智能解譯框架與模型現(xiàn)狀 ? 自2012年ImageNet挑戰(zhàn)賽以來，面向通用圖像處理的深度學(xué)習(xí)框架和模型迅猛發(fā)展。而現(xiàn)有的遙感領(lǐng)域影像處理模型，多由普通影像預(yù)訓(xùn)練模型遷移獲得，并不具備遙感影像解譯所需特性。 ? 目前開源深度學(xué)習(xí)框架種類繁多(表 1)。國內(nèi)中國科學(xué)院計(jì)算所推出了人臉識別深度學(xué)習(xí)框架Dragon[12]，清華大學(xué)發(fā)布了計(jì)圖(Jittor)，百度、華為、曠世、一流科技等公司相繼開源了PaddlePaddle、MindSpore、MegEngine及OneFlow等框架。在國外，早期蒙特利爾理工學(xué)院開源了Theano[13]、伯克利大學(xué)研發(fā)了Caffe[14]，日本首選網(wǎng)絡(luò)研發(fā)了Chainer框架, Google、Facebook、Amazon等先后開源了Tensorflow[15]、PyTorch[16]、MXNet[17]等框架。雖然通用深度學(xué)習(xí)框架數(shù)目眾多，但構(gòu)建框架的核心技術(shù)呈收斂態(tài)勢，包括：控制流與數(shù)據(jù)流及操作符與張量；計(jì)算圖優(yōu)化與自動梯度計(jì)算；執(zhí)行引擎、編程接口、部署運(yùn)維及分布式訓(xùn)練等。