所屬的技術(shù)人員能夠理解,本公開的各個方面可以實(shí)現(xiàn)為系統(tǒng)、方法或程序產(chǎn)品。因此,本公開的各個方面可以具體實(shí)現(xiàn)為以下形式,即:完全的硬件實(shí)施方式、完全的軟件實(shí)施方式(包括固件、微代碼等),或硬件和軟件方面結(jié)合的實(shí)施方式,這里可以統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”。下面參照圖11來描述根據(jù)本公開的這種實(shí)施方式的電子設(shè)備1100。圖11顯示的電子設(shè)備1100僅僅是一個示例,不應(yīng)對本公開實(shí)施例的功能和使用范圍帶來任何限制。如圖11所示,電子設(shè)備1100以通用計算設(shè)備的形式表現(xiàn)。電子設(shè)備1100的組件可以包括但不限于:上述至少一個處理單元1110、上述至少一個存儲單元1120、連接不同系統(tǒng)組件(包括存儲單元1120和處理單元1110)的總線1130。其中,存儲單元存儲有程序代碼,程序代碼可以被處理單元1110執(zhí)行,使得處理單元1110執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本公開各種示例性實(shí)施方式的步驟。例如,處理單元1110可以執(zhí)行上述方法實(shí)施例的如下步驟:獲取多個攝像機(jī)的標(biāo)定參數(shù),其中,多個攝像機(jī)用于采集待監(jiān)控登機(jī)橋多個方位的監(jiān)控畫面;根據(jù)多個攝像機(jī)的標(biāo)定參數(shù)構(gòu)建動態(tài)投影查找表,動態(tài)投影查找表用于將各個攝像機(jī)采集的監(jiān)控畫面中的二維像素點(diǎn)映射到三維空間中;基于動態(tài)投影查找表對多個攝像機(jī)采集的監(jiān)控畫面進(jìn)行圖像融合處理,生成用于環(huán)視監(jiān)控登機(jī)橋的全景視圖。存儲單元1120可以包括易失性存儲單元形式的可讀介質(zhì),例如隨機(jī)存取存儲單元(ram)11201和/或高速緩存存儲單元11202,還可以進(jìn)一步包括只讀存儲單元(rom)11203。存儲單元1120還可以包括具有一組(至少一個)程序模塊11205的程序/實(shí)用工具11204,這樣的程序模塊11205包括但不限于:操作系統(tǒng)、一個或者多個應(yīng)用程序、其它程序模塊以及程序數(shù)據(jù),這些示例中的每一個或某種組合中可能包括網(wǎng)絡(luò)環(huán)境的實(shí)現(xiàn)??偩€1130可以為表示幾類總線結(jié)構(gòu)中的一種或多種,包括存儲單元總線或者存儲單元控制器、外圍總線、圖形加速端口、處理單元或者使用多種總線結(jié)構(gòu)中的任意總線結(jié)構(gòu)的局域總線。電子設(shè)備1100也可以與一個或多個外部設(shè)備1140(例如鍵盤、指向設(shè)備、藍(lán)牙設(shè)備等)通信,還可與一個或者多個使得用戶能與該電子設(shè)備1100交互的設(shè)備通信,和/或與使得該電子設(shè)備1100能與一個或多個其它計算設(shè)備進(jìn)行通信的任何設(shè)備(例如路由器、調(diào)制解調(diào)器等等)通信。這種通信可以通過輸入/輸出(i/o)接口1150進(jìn)行。并且,電子設(shè)備1100還可以通過網(wǎng)絡(luò)適配器1160與一個或者多個網(wǎng)絡(luò)(例如局域網(wǎng)(lan),廣域網(wǎng)(wan)和/或公共網(wǎng)絡(luò),例如因特網(wǎng))通信。如圖所示,網(wǎng)絡(luò)適配器1160通過總線1130與電子設(shè)備1100的其它模塊通信。應(yīng)當(dāng)明白,盡管圖中未示出,可以結(jié)合電子設(shè)備1100使用其它硬件和/或軟件模塊,包括但不限于:微代碼、設(shè)備驅(qū)動器、冗余處理單元、外部磁盤驅(qū)動陣列、raid系統(tǒng)、磁帶驅(qū)動器以及數(shù)據(jù)備份存儲系統(tǒng)等。通過以上的實(shí)施方式的描述,本領(lǐng)域的技術(shù)人員易于理解,這里描述的示例實(shí)施方式可以通過軟件實(shí)現(xiàn),也可以通過軟件結(jié)合必要的硬件的方式來實(shí)現(xiàn)。因此,根據(jù)本公開實(shí)施方式的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來,該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)(可以是cd-rom,u盤,移動硬盤等)中或網(wǎng)絡(luò)上,包括若干指令以使得一臺計算設(shè)備(可以是個人計算機(jī)、服務(wù)器、終端裝置、或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行根據(jù)本公開實(shí)施方式的方法。特別地,根據(jù)本公開的實(shí)施例,上文參考流程圖描述的過程可以被實(shí)現(xiàn)為計算機(jī)程序產(chǎn)品,該計算機(jī)程序產(chǎn)品包括:計算機(jī)程序,所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述實(shí)施例中的方法。在本公開的示例性實(shí)施例中,還提供了一種計算機(jī)可讀存儲介質(zhì),該計算機(jī)可讀存儲介質(zhì)可以是可讀信號介質(zhì)或者可讀存儲介質(zhì)。其上存儲有能夠?qū)崿F(xiàn)本公開上述方法的程序產(chǎn)品。在一些可能的實(shí)施方式中,本公開的各個方面還可以實(shí)現(xiàn)為一種程序產(chǎn)品的形式,其包括程序代碼,當(dāng)所述程序產(chǎn)品在終端設(shè)備上運(yùn)行時,所述程序代碼用于使所述終端設(shè)備執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本公開各種示例性實(shí)施方式的步驟。本公開中的計算機(jī)可讀存儲介質(zhì)的更具體的例子可以包括但不限于:具有一個或多個導(dǎo)線的電連接、便攜式計算機(jī)磁盤、硬盤、隨機(jī)訪問存儲器(ram)、只讀存儲器(rom)、可擦式可編程只讀存儲器(eprom或閃存)、光纖、便攜式緊湊磁盤只讀存儲器(cd-rom)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。在本公開中,計算機(jī)可讀存儲介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號,其中承載了可讀程序代碼。這種傳播的數(shù)據(jù)信號可以采用多種形式,包括但不限于電磁信號、光信號或上述的任意合適的組合??勺x信號介質(zhì)還可以是可讀存儲介質(zhì)以外的任何可讀介質(zhì),該可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序??蛇x地,計算機(jī)可讀存儲介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸,包括但不限于無線、有線、光纜、rf等等,或者上述的任意合適的組合。在具體實(shí)施時,可以以一種或多種程序設(shè)計語言的任意組合來編寫用于執(zhí)行本公開操作的程序代碼,所述程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言—諸如java、c++等,還包括常規(guī)的過程式程序設(shè)計語言—諸如“c”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨(dú)立的軟件包執(zhí)行、部分在用戶計算設(shè)備上部分在遠(yuǎn)程計算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計算設(shè)備或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計算設(shè)備的情形中,遠(yuǎn)程計算設(shè)備可以通過任意種類的網(wǎng)絡(luò),包括局域網(wǎng)(lan)或廣域網(wǎng)(wan),連接到用戶計算設(shè)備,或者,可以連接到外部計算設(shè)備(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。應(yīng)當(dāng)注意,盡管在上文詳細(xì)描述中提及了用于動作執(zhí)行的設(shè)備的若干模塊或者單元,但是這種劃分并非強(qiáng)制性的。實(shí)際上,根據(jù)本公開的實(shí)施方式,上文描述的兩個或更多模塊或者單元的特征和功能可以在一個模塊或者單元中具體化。反之,上文描述的一個模塊或者單元的特征和功能可以進(jìn)一步劃分為由多個模塊或者單元來具體化。此外,盡管在附圖中以特定順序描述了本公開中方法的各個步驟,但是,這并非要求或者暗示必須按照該特定順序來執(zhí)行這些步驟,或是必須執(zhí)行全部所示的步驟才能實(shí)現(xiàn)期望的結(jié)果。附加的或備選的,可以省略某些步驟,將多個步驟合并為一個步驟執(zhí)行,以及/或者將一個步驟分解為多個步驟執(zhí)行等。通過以上實(shí)施方式的描述,本領(lǐng)域的技術(shù)人員易于理解,這里描述的示例實(shí)施方式可以通過軟件實(shí)現(xiàn),也可以通過軟件結(jié)合必要的硬件的方式來實(shí)現(xiàn)。因此,根據(jù)本公開實(shí)施方式的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來,該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)(可以是cd-rom,u盤,移動硬盤等)中或網(wǎng)絡(luò)上,包括若干指令以使得一臺計算設(shè)備(可以是個人計算機(jī)、服務(wù)器、移動終端、或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行根據(jù)本公開實(shí)施方式的方法。本領(lǐng)域技術(shù)人員在考慮說明書及實(shí)踐這里公開的發(fā)明后,將容易想到本公開的其它實(shí)施方案。本公開旨在涵蓋本公開的任何變型、用途或者適應(yīng)性變化,這些變型、用途或者適應(yīng)性變化遵循本公開的一般性原理并包括本公開未公開的本中的公知常識或慣用技術(shù)手段。說明書和實(shí)施例僅被視為示例性的,本公開的真正范圍和精神由所附的權(quán)利要求指出。
背景技術(shù):
1、登機(jī)橋作為連接飛機(jī)艙門與候機(jī)樓的通道,其外形輪廓比較復(fù)雜,而且多個部件可以運(yùn)動,比如接機(jī)口旋轉(zhuǎn)、通道伸縮,通道繞旋轉(zhuǎn)平臺中心旋轉(zhuǎn),升降機(jī)構(gòu)帶動接機(jī)口升降以及通道俯仰等,登機(jī)橋底部可以掛接飛機(jī)電源,飛機(jī)空調(diào)等多種設(shè)備,基于登機(jī)橋自身輪廓復(fù)雜,且有多種橋掛設(shè)備,登機(jī)橋在靠接飛機(jī)和撤橋的過程中很容易發(fā)生碰撞,全球范圍內(nèi)已經(jīng)發(fā)生多起登機(jī)橋剮蹭飛機(jī)引擎、剮蹭機(jī)翼,與臨橋碰撞等事故,為了避免碰撞,通常會增加一些安全檢測的傳感器,增加攝像機(jī)來監(jiān)控危險區(qū)域,減少操作員的視覺盲區(qū)帶來的風(fēng)險,除安裝在旋轉(zhuǎn)平臺或內(nèi)通道下方用于觀察登機(jī)橋下方狀態(tài)的攝像機(jī)外,額外會增加輪架前方照輪架區(qū)域的攝像機(jī),在接機(jī)口右側(cè)以及服務(wù)梯平臺位置增加機(jī)翼防撞保護(hù)的攝像機(jī)以及接機(jī)口左側(cè)增加照風(fēng)速管的攝像機(jī)等,攝像機(jī)的數(shù)量越來越多。
2、隨著登機(jī)橋技術(shù)的發(fā)展,出現(xiàn)了遠(yuǎn)程操作模式,操作員的操作位置從登機(jī)橋本地的操作臺轉(zhuǎn)移到了遠(yuǎn)程操作室的遠(yuǎn)程操作臺,操作位置離開本地操作臺后,原先操作員可以通過前窗和側(cè)窗以及后視鏡等現(xiàn)場目視查看的區(qū)域也必須通過新增攝像機(jī)來觀察,比如通道左右兩側(cè)區(qū)域,接機(jī)口活動地板以及接機(jī)口正前方區(qū)域等,通過攝像機(jī)數(shù)量的增加,在一定程度上可以解決操作員視覺盲區(qū)的問題,但是攝像機(jī)畫面數(shù)量過多也造成了操作員需要實(shí)時監(jiān)控多個攝像機(jī),操作人員容易散焦,降低了防碰撞的效果。
3、需要說明的是,在上述背景技術(shù)部分公開的信息僅用于加強(qiáng)對本公開的背景的理解,因此可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。
技術(shù)實(shí)現(xiàn)思路
1、本公開提供一種登機(jī)橋環(huán)視監(jiān)控方法、裝置、系統(tǒng)及相關(guān)設(shè)備,至少在一定程度上克服由于相關(guān)技術(shù)中由于監(jiān)控畫面太多導(dǎo)致操作人員容易散焦,降低了防碰撞的效果的問題。
2、本公開的其他特性和優(yōu)點(diǎn)將通過下面的詳細(xì)描述變得顯然,或部分地通過本公開的實(shí)踐而習(xí)得。
3、根據(jù)本公開的一個方面,提供了一種登機(jī)橋環(huán)視監(jiān)控方法,包括:獲取多個攝像機(jī)的標(biāo)定參數(shù),其中,所述多個攝像機(jī)用于采集待監(jiān)控登機(jī)橋多個方位的監(jiān)控畫面;根據(jù)多個攝像機(jī)的標(biāo)定參數(shù)構(gòu)建動態(tài)投影查找表;獲取多個攝像機(jī)的實(shí)時圖像數(shù)據(jù),基于所述動態(tài)投影查找表和預(yù)先設(shè)置的融合規(guī)則進(jìn)行圖像融合處理,生成用于環(huán)視監(jiān)控所述登機(jī)橋的全景視圖;在監(jiān)控畫面中實(shí)時顯示所述全景視圖。
4、在本公開的一些示例性實(shí)施例中,基于前述方案,獲取多個攝像機(jī)的實(shí)時圖像數(shù)據(jù),基于所述動態(tài)投影查找表和預(yù)先設(shè)置的融合規(guī)則進(jìn)行圖像融合處理,生成用于環(huán)視監(jiān)控所述登機(jī)橋的全景視圖,包括:獲取多個攝像機(jī)的實(shí)時圖像數(shù)據(jù),基于所述動態(tài)投影查找表得到具有重疊區(qū)域的映射圖像;基于預(yù)先設(shè)置的融合規(guī)則對所述映射圖像進(jìn)行圖像融合處理,生成用于環(huán)視監(jiān)控所述登機(jī)橋的全景視圖。
5、在本公開的一些示例性實(shí)施例中,基于前述方案,所述融合規(guī)則包括:將所述登機(jī)橋的外通道兩側(cè)設(shè)置的攝像機(jī)所拍攝的監(jiān)控畫面以及所述外通道底部設(shè)置的攝像機(jī)所拍攝的監(jiān)控畫面融合為一個監(jiān)控畫面;將所述登機(jī)橋的接機(jī)口兩側(cè)設(shè)置的攝像機(jī)所拍攝的監(jiān)控畫面融合為一個監(jiān)控畫面;將所述登機(jī)橋的外通道融合后的監(jiān)控畫面與所述登機(jī)橋的接機(jī)口融合后的監(jiān)控畫面通過畫面拼接技術(shù),拼接成一個監(jiān)控畫面;或,將所述登機(jī)橋的外通道兩側(cè)設(shè)置的攝像機(jī)所拍攝的監(jiān)控畫面融合為一個監(jiān)控畫面;將所述登機(jī)橋的接機(jī)口兩側(cè)設(shè)置的攝像機(jī)所拍攝的監(jiān)控畫面融合為一個監(jiān)控畫面;將所述登機(jī)橋的外通道融合后的監(jiān)控畫面與所述登機(jī)橋的接機(jī)口融合后的監(jiān)控畫面通過畫面拼接技術(shù),拼接成一個監(jiān)控畫面。
6、在本公開的一些示例性實(shí)施例中,基于前述方案,獲取多個攝像機(jī)的標(biāo)定參數(shù),包括:將所述登機(jī)橋調(diào)整至預(yù)設(shè)姿態(tài)和預(yù)設(shè)位置后,標(biāo)定多個攝像機(jī)的內(nèi)部參數(shù);基于多個攝像機(jī)的內(nèi)部參數(shù),標(biāo)定多個攝像機(jī)相對于所述登機(jī)橋以及地面間的外部參數(shù)。
7、在本公開的一些示例性實(shí)施例中,基于前述方案,根據(jù)多個攝像機(jī)的標(biāo)定參數(shù)構(gòu)建動態(tài)投影查找表,包括:獲取多個攝像機(jī)對同一場景區(qū)域拍攝產(chǎn)生的圖像;基于標(biāo)定出的多個攝像機(jī)的內(nèi)部參數(shù)對圖像進(jìn)行畸變校正,得到畸變校正圖;基于標(biāo)定出的多個攝像機(jī)的外部參數(shù)對所述畸變校正圖進(jìn)行透視變換,得到地面投影圖;確定相鄰地面投影圖的融合邊界及融合角度,得到俯視鳥瞰圖;采用分區(qū)投影的方法分別將所述地面投影圖對應(yīng)的近區(qū)圖像和遠(yuǎn)區(qū)圖像分別投影到預(yù)先設(shè)置的3d模型的對應(yīng)區(qū)域,其中,所述地面投影圖對應(yīng)的近區(qū)圖像和遠(yuǎn)區(qū)圖像表示為距離攝像機(jī)遠(yuǎn)近的區(qū)域所拍攝到的圖像轉(zhuǎn)換后得到的俯視鳥瞰圖;對所述3d模型進(jìn)行多視角觀測并生成對應(yīng)的動態(tài)查找表。
8、在本公開的一些示例性實(shí)施例中,基于前述方案,獲取多個攝像機(jī)的實(shí)時圖像數(shù)據(jù),基于所述動態(tài)投影查找表和預(yù)先設(shè)置的融合規(guī)則進(jìn)行圖像融合處理,生成用于環(huán)視監(jiān)控所述登機(jī)橋的全景視圖之前,所述方法還包括:獲取多個攝像機(jī)的實(shí)時圖像數(shù)據(jù),對所述實(shí)時圖像數(shù)據(jù)進(jìn)行圖像處理,以得到用于進(jìn)行圖像融合處理的圖像數(shù)據(jù),其中,所述圖像處理至少包括以下中的一種或多種:圖像去噪處理、圖像邊緣提取、圖像直方圖處理以及圖像變換處理。
9、根據(jù)本公開的另一個方面,還提供了一種登機(jī)橋環(huán)視監(jiān)控裝置,包括:參數(shù)標(biāo)定模塊,用于獲取多個攝像機(jī)的標(biāo)定參數(shù),其中,所述多個攝像機(jī)用于采集待監(jiān)控登機(jī)橋多個方位的監(jiān)控畫面;動態(tài)投影查找表構(gòu)建模塊,用于根據(jù)多個攝像機(jī)的標(biāo)定參數(shù)構(gòu)建動態(tài)投影查找表;全景視圖生成模塊,用于獲取多個攝像機(jī)的實(shí)時圖像數(shù)據(jù),依據(jù)所述動態(tài)投影查找表和預(yù)先設(shè)置的融合規(guī)則進(jìn)行圖像融合處理,生成用于環(huán)視監(jiān)控所述登機(jī)橋的全景視圖;全景視圖顯示模塊,用于在監(jiān)控畫面中實(shí)時顯示所述全景視圖。
10、根據(jù)本公開的另一個方面,還提供了一種登機(jī)橋環(huán)視監(jiān)控系統(tǒng),包括:攝像系統(tǒng),用于獲取多個攝像機(jī)的實(shí)時圖像數(shù)據(jù);圖像處理系統(tǒng),用于獲取多個攝像機(jī)的標(biāo)定參數(shù),其中,所述多個攝像機(jī)用于采集待監(jiān)控登機(jī)橋多個方位的監(jiān)控畫面;根據(jù)多個攝像機(jī)的標(biāo)定參數(shù)構(gòu)建動態(tài)投影查找表;基于所述動態(tài)投影查找表和預(yù)先設(shè)置的融合規(guī)則對多個攝像機(jī)的實(shí)時圖像數(shù)據(jù)進(jìn)行圖像融合處理,生成用于環(huán)視監(jiān)控所述登機(jī)橋的全景視圖;監(jiān)控畫面顯示系統(tǒng),用于實(shí)時顯示所述全景視圖。
11、根據(jù)本公開的另一個方面,還提供了一種電子設(shè)備,該電子設(shè)備包括:處理器;以及存儲器,用于存儲所述處理器的可執(zhí)行指令;其中,所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令來執(zhí)行上述任意一項(xiàng)所述的登機(jī)橋環(huán)視監(jiān)控方法。
12、根據(jù)本公開的另一個方面,還提供了一種計算機(jī)可讀存儲介質(zhì),其上存儲有計算機(jī)程序,所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述任意一項(xiàng)所述的登機(jī)橋環(huán)視監(jiān)控方法。
13、根據(jù)本公開的另一個方面,還提供了一種計算機(jī)程序產(chǎn)品,包括計算機(jī)程序,所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述任意一項(xiàng)的登機(jī)橋環(huán)視監(jiān)控方法。
14、本公開的實(shí)施例中提供的登機(jī)橋環(huán)視監(jiān)控方法、裝置、系統(tǒng)及相關(guān)設(shè)備,通過在登機(jī)橋外部布置多個攝像機(jī)并獲取多個攝像機(jī)的標(biāo)定參數(shù),基于多個攝像機(jī)的標(biāo)定參數(shù)構(gòu)建動態(tài)投影查找表,對獲取的多個攝像機(jī)的實(shí)時圖像數(shù)據(jù),基于動態(tài)投影查找表和預(yù)先設(shè)置的融合規(guī)則進(jìn)行圖像融合處理,生成用于環(huán)視監(jiān)控登機(jī)橋的全景視圖并在監(jiān)控畫面中實(shí)時顯示全景視圖,操作員就可以通過觀察外界的顯示器,輕松判斷登機(jī)橋四周的情況。
15、應(yīng)當(dāng)理解的是,以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的,并不能限制本公開。