人工智能如何創(chuàng)建全彩色夜視攝像機

曹欣

夜視攝像頭技術(shù)在數(shù)字時代取得了長足的進步。隨著傳感器的不斷改進，低光環(huán)境下的圖像質(zhì)量也在不斷提高。然而，與紅外夜視攝像機一樣，它們是單色的。研究人員希望通過將紅外相機技術(shù)與人工智能相結(jié)合來改變這種狀況，開發(fā)出一種夜視相機，即使在人眼完全黑暗的情況下也能產(chǎn)生全彩色圖像。

專門的夜視攝像系統(tǒng)在紅外光中可“看到”肉眼看不到的影像，然后將其數(shù)字轉(zhuǎn)換為可見光譜中的單色圖像，人的肉眼可見光譜的波長范圍為400至700 nm，對于暗部細(xì)節(jié)的觀察有局限性。如果通過優(yōu)化的深度學(xué)習(xí)架構(gòu)，提供支持的成像算法，那么場景中的紅外光譜照明就可以用來預(yù)測光譜渲染，實現(xiàn)彩色夜視圖像。

為了實現(xiàn)彩色夜視圖像這一目標(biāo)，團隊需要使用合適的圖像集充分訓(xùn)練深度學(xué)習(xí)模型。使用在多光譜照明下顯示的打印圖像，對卷積神經(jīng)網(wǎng)絡(luò)進行了優(yōu)化，以預(yù)測在紅外光下看到的不同圖像在可見光譜中的樣子?！斑@項研究是從難以察覺的近紅外照明，預(yù)測人類可見光譜場景的第一步?！?/p>

先前的嘗試包括使用典型的相機和紅外相機拍攝相同的場景，讓機器學(xué)習(xí)模型，從紅外圖像中預(yù)測顏色。后來科學(xué)家們改為使用多種波長的紅外光來改進顏色預(yù)測算法，結(jié)果表明，與實際彩色圖像相比，增加了紅外通道的數(shù)量之后，該模型做出了更好的預(yù)測，可以實現(xiàn)更準(zhǔn)確的全色預(yù)測。

但到目前為止，該團隊的深度學(xué)習(xí)模型僅使用三個輸入紅外圖像就產(chǎn)生了一致的 RGB 重建。此外，所提出的U-Net架構(gòu)每秒可以處理三個圖像。該技術(shù)可用于監(jiān)視、安全、動物觀察和軍事行動，還可用于處理和研究對可見光敏感的生物樣本，例如研究視網(wǎng)膜組織時。雖說目前并不能完全充當(dāng)實時的全彩色夜視攝像機，但隨著架構(gòu)的改進、多線程或更快的硬件的升級，迭代只是時間問題。

FID 分?jǐn)?shù)（越低越好）隨著模型的訓(xùn)練越來越多，紅外波長捕獲的圖像質(zhì)量得到提高。從黑線可以看出，使用三個紅外波長（718、777 和 807 nm）獲得了最佳結(jié)果