在智慧視覺領(lǐng)域，面對橫向路段或特別廣闊的場景，單攝像頭視場角十分有限，故需要多個攝像頭才能"看到"整個畫面，同時，或需要多個屏幕，或需要不斷切換畫面，給使用者帶來極大不便；如果使用魚眼鏡頭，畫面變形又太過夸張，因此，基于實際應(yīng)用中的大場景需求，為旌科技海山系列旗艦產(chǎn)品VS839，可提供單芯片“全景拼接”方案，全領(lǐng)域"觀看"，感知無盲區(qū)。
01 全景視野，大場景感知
為旌科技于6月7日正式發(fā)布的為旌海山?旗艦產(chǎn)品VS839，內(nèi)置全景拼接算法(Any View Stitching，簡稱AVS)，可支持2路或4路sensor拼接，其中，2路拼接支持每路3840*2160@30fps輸入，拼接后4320x3840@30fps輸出；4路拼接支持每路2688*1520@30fps輸入，拼接后6080x2688@30fps輸出。（下圖示例有圖像壓縮損失）
4路輸入畫面
拼接后圖像
為旌全景拼接方案可實現(xiàn)多路視頻數(shù)據(jù)采集、曝光均衡和多幀同步，有效克服視頻拼接重影和錯位現(xiàn)象，將多角度采集的視頻數(shù)據(jù)一體化呈現(xiàn)，視場角超過180°，有效解決信息盲區(qū)問題，同時保證了目標(biāo)對象數(shù)據(jù)采集的連續(xù)性。
采用支持全景拼接方案的為旌海山?VS839，客戶可以完全擯棄“一桿多設(shè)備”的做法，水平方向視角最大可以支持360°，實現(xiàn)大場景全景感知無盲區(qū)。
為旌全景拼接方案包含圖像標(biāo)定和圖像拼接兩部分，下文將分別闡述。
02 圖像標(biāo)定
AVS可對多路輸入圖像按照指定模式進行拼接輸出。但要保證拼接效果達到最優(yōu)，拼接前對鏡頭內(nèi)參、外參進行標(biāo)定是最為重要的一步。方案主要針對以下幾個方面進行圖像標(biāo)定：
LSC(Lens Shade Correction)：由于Lens的光學(xué)特性，Sensor影像區(qū)邊緣區(qū)域接收光強比中心小，會造成中心亮、四角偏暗的現(xiàn)象，這就是鏡頭暗角。在拼接場景下，圖像的重疊區(qū)一般位于圖像邊緣，而暗角變化相反，導(dǎo)致相鄰兩路圖像在重疊區(qū)的亮度有一定差異。因而完成LSC后，拼接處會獲取更加自然的圖像效果。
AWB(Automatic White Balance)：在不同色溫光源下，會對采集圖像中物體的真實顏色產(chǎn)生影響，例如：在高色溫光源下，白色物體偏藍，在低色溫光源下，白色物體偏紅。為了使采集物體的顏色更加接近理想光源下物體的顏色，也更加符合人眼的視覺感知，會對圖像進行AWB(自動白平衡)處理。
一般相機中的白平衡模式
CCM(Color Correction Matrix)：采集物體的顏色除受光源影響外，還會受到鏡頭、濾光片、傳感器光譜響應(yīng)等的影響，所以，為了使采集物體顏色信息更接近人眼的期望值，還需要對圖像進行CCM(色彩校正)。
拼接標(biāo)定：完成LSC、AWB、CCM 等處理后，進入拼接標(biāo)定環(huán)節(jié)。以下圖4路拼接標(biāo)定為例，1號標(biāo)定板位于sensor1與sensor2的重疊區(qū)，2號標(biāo)定板位于sensor2與sensor3的重疊區(qū)，3號標(biāo)定板位于sensor3與sensor4的重疊區(qū)(一般重疊區(qū)占圖像比例在10%左右)。上述環(huán)境搭建好后，將4路sensor所拍圖像與待拼接機器參數(shù)一同輸入拼接工具，即可得到此拼接機器的標(biāo)定查找表。查找表會在重疊區(qū)域融合時用到，以保證拼縫處無重影，過渡自然。
4路拼接標(biāo)定示意圖
03 圖像拼接
AVS方案的第二步是圖像拼接，內(nèi)部處理流程由幾何變換(Transform)、相鄰重疊區(qū)融合(Blend)、亮度矯正(Gain correction)三個部分組成。
幾何變換：AVS 按照展開時的投影模式來分可以分成三種投影模式，分別為等距柱面投影、柱面投影、直線投影。為旌科技全景拼接方案支持上述三種投影方式，滿足不同應(yīng)用場景需求。另外在幾何變換中完成姿態(tài)角(Yaw、Pitch、Roll)與投影中心點調(diào)節(jié)，可以對圖像進行畸變校正，使得拼接圖像無錯位歪斜。
示例：柱面投影
重疊區(qū)融合：經(jīng)過上述變換并且畸變校正之后，根據(jù)標(biāo)定時的查找表，由硬件對重疊區(qū)域進行融合，在目標(biāo)拼接距離附近，重疊區(qū)域融合之后無重影、無錯位，圖像清晰流暢。
亮度調(diào)節(jié)：亮度增益控制分為兩部分，首先會在為旌瑤光?ISP中調(diào)節(jié)AE(自動曝光)，完成各路圖像亮度調(diào)節(jié)，保證各路圖像亮度一致。之后，拼接后的圖像亮度會由ISP再進一步調(diào)節(jié)，以滿足不同場景及客戶對圖像亮度的需求。
