計算攝影學(Computational Photography)是一門將計算機視覺、數字信號處理、圖形學等深度交叉的新興學科,旨在結合計算、數字傳感器、光學系統(tǒng)和智能光照等技術,從成像機理上來改進傳統(tǒng)相機,并將硬件設計與軟件計算能力有機結合,突破經典成像模型和數字相機的局限性,全方位地捕捉真實世界的場景信息。
從今年的影像市場業(yè)績來看,數碼單反相機似乎已經死了一半,佳能在7月28日發(fā)布的今年4~6月份的業(yè)績報告顯示,該公司遭遇史上首個季度虧損,4~6月的銷售額同比下滑26%;實現(xiàn)營收449億元,同比下降25.7%;虧損5.87億元,去年同期為盈利。
我們家里有價值幾萬元的影像設備,但旅行時卻帶了iPhone,為什么?因為攝影的整個體系變化了。
斯坦福大學教授兼計算機攝影先驅馬克·萊沃伊(他也是Google Pixel相機許多創(chuàng)新的幕后人物)給出了另一個定義——計算機成像技術增強或擴展數字攝影,傳統(tǒng)相機無法實現(xiàn)的能力。
計算攝影不僅僅來自手機自拍的軟件算法背景虛化,如果不使用計算攝影方法,就不會拍攝黑洞的照片。要使用標準望遠鏡拍攝此類照片,我們必須使其體積達到地球的大小。但是,通過組合地球不同位置的八個射電望遠鏡的數據并編寫一些很酷的Python腳本,人類獲得了世界上第一張黑洞圖。
以Instagram(照片墻)為例,這是一款運行在移動端上的社交應用,以一種快速、美妙和有趣的方式將你隨時抓拍下的圖片彼此分享,每個人都沉迷于其中的照片濾鏡,包括X-Pro II、Lo-Fi和Valencia三個部分。
現(xiàn)代的智能手機和APP上有更多的照片濾鏡,從數字角度來看比Ins的照片濾鏡更加復雜。智能手機上的硬件著色器和OpenCL的出現(xiàn),可以應用到GPU,這被認為是非常具有科技含量。
自動化的應用通過打開照片編輯器,來完成過去攝影師花大量時間做的工作,如固定燈光和增加拍攝物的陰影角度,增加亮度,消除紅眼,甚至化妝。如今,只是修改幾行新代碼的事情。
如今,數字處理的優(yōu)化按鈕已轉移到機器學習領域,一些人甚至都懶到不想去拖動對比度或者曝光值,而是寄希望于計算機為他們移動滑塊。換句話說,使用輸入圖像來確定一組最佳參數,這些參數將使給定圖像更接近于對“良好攝影”的特定主觀理解。說起來有些拗口,實際上就是希望計算機能傻瓜化地達到自己想要的影像圖片調整效果。
比如“放大并增強”圖片容量和質量是陳詞濫調,但是AI的進步正在慢慢將其變?yōu)楝F(xiàn)實。研究人員表明,機器學習可以放大低分辨率圖像,恢復以前沒有的清晰度?,F(xiàn)在,這項技術正在向消費者推廣,圖像編輯器Pixelmator率先提供了這種功能。
過去幾年中,像Google和Nvidia這樣的科技公司都在創(chuàng)建自己的算法,軟件在是包含成對的低分辨率和高分辨率圖像的數據集上進行訓練的。該算法比較此數據,并創(chuàng)建像素如何在圖像之間變化的規(guī)則。然后,當顯示以前從未見過的低分辨率圖片時,它會預測需要額外的像素并將其插入。
這種算法與通常大50倍的研究算法相比,產生的數據容量只有5MB的大小,它針對一系列圖像進行了訓練,以預測用戶的不同需求,訓練數據集也不大,僅需15000個樣本即可創(chuàng)建Pixelmator的ML超分辨率工具。現(xiàn)在線上還有很多類似的超分辨率工具,包括BigJPG.com和LetsEnhance.io,這些都是未來數字處理的方向。