Photoshop“魔變”，感受生成式填充

曹欣　崇光

Adobe 最近發(fā)布了AdobePhotoshop 的最新公開測試版后，驚呼聲此起彼伏，其中包含一種新的生成填充功能，可以使用生成AI 技術在現(xiàn)有照片中創(chuàng)建逼真的對象、背景和場景擴展。

筆者已經(jīng)感受到Adobe 在AdobeFirefly 中實現(xiàn)生成人工智能，堪稱魔術師施展的變法，用于根據(jù)文本提示創(chuàng)建整個合成圖像。

什么是Generative Fill（AI 圖像合成工具）？ 就是使用Firefly 技術以更有針對性的方式編輯現(xiàn)有圖像，將生成AI 作為標準功能引入Photoshop。至于其他生成AI 系統(tǒng)相關聯(lián)的第三方Photoshop 插件，已經(jīng)有一些了，例如Alpaca 和Stability AI。

Firefly 生成式AI 系統(tǒng)會根據(jù)文本提示中的描述，創(chuàng)建完全原始的圖像，新的素材疊加創(chuàng)建新構圖，而不會用傳統(tǒng)形式提取現(xiàn)有圖像的各個部分。系統(tǒng)利用從攝取數(shù)百萬張照片中學到的知識，發(fā)明場景和對象以匹配它理解文本的含義。諸如“夜間下雨街道上的古董車”之類的提示，會讓軟件從大量隨機像素中組合出一幅圖像，以匹配系統(tǒng)理解的“汽車”“雨”“街道”和“夜晚”，系統(tǒng)通常會根據(jù)主題提供多種變體。

如果你已經(jīng)有一張晚上下雨的街道的照片，并且想在構圖中添加一輛古董車怎么辦？很簡單，使用Photoshop 的生成填充功能，先選擇我們希望汽車出現(xiàn)的區(qū)域，并鍵入“古董車”生成一個基礎圖形（也可稱為“修復”），然后選擇要從圖像中刪除的部分，在沒有特定文本提示的情況下使用生成填充去替代它，工具會自動填充缺失區(qū)域。

從體驗上主觀的感受，Adobe 這個過程比其他生成AI 系統(tǒng)更加友好。它具有將工具直接構建到Photoshop 中的優(yōu)勢，其中Generative Fill 具有干凈直接的界面。

根據(jù)文本提示在Adobe Firefly中生成圖像

在上下文任務欄可見的情況下在Photoshop 中進行選擇

單擊“生成填充”會顯示文本提示字段

單擊“生成填充”會顯示文本提示字段生成結果后，游客將被刪除，這是三個變體之一，在“屬性”面板中顯示為縮略圖

相比之下，當前流行的Midjourney服務需要加入Discord 服務器，訂閱該服務，進入設置為接收文本提示的聊天室，然后使用“想象下雨天的古董車”等命令，輸入想要生成的內(nèi)容“晚上的街道”，圖形結果會顯示在聊天室的滾動討論中，不太令人習慣。

Photoshop 的方法是推出了一個新的上下文任務欄，其中包含選擇主題或刪除背景等命令。當使用任何選擇工具（例如套索工具）進行選擇時，任務欄中的一個選項會是生成填充按鈕，非常直接。

單擊該按鈕會顯示一個文本字段，可以在其中描述應在選擇中創(chuàng)建的內(nèi)容。或者將該字段留空并單擊“生成”按鈕，讓Photoshop 根據(jù)周圍場景的上下文確定將顯示的內(nèi)容。

單擊“生成”后，Photoshop 會生成三個Firefly 生成的變體并向使用者展示第一個。你可以使用上下文任務欄中的按鈕，或通過單擊“屬性”面板中的縮略圖來循環(huán)瀏覽它們，如果它們都不好看，可以再次單擊“生成”以獲得另外三個變體，怎么樣，是不是找到了ChatGPT 的感覺？

順便說一句，如果你對每個選擇正下方出現(xiàn)的上下文任務欄感到不便，可以將其拖動到想要的位置，然后單擊欄上的三點圖標，并從菜單中選擇 Pin Bar Position。

所有變化都包含在一個新型層中，即生成層，該層還包括用戶所選區(qū)域的遮罩。如果將生成填充應用于圖像的另一個區(qū)域，則會創(chuàng)建一個新的生成層。以上操作的所有變化都保存在這些圖層中，可以返回修改并以非破壞性方式嘗試變化、隱藏或顯示圖層、設置混合模式和不透明度，以及使用圖層的所有其他靈活屬性。

另外需要注意的是，生成填充以與原始照片相同的分辨率創(chuàng)建結果，這與大多數(shù)系統(tǒng)形成的圖像對比有巨大優(yōu)勢，因為后者生成的圖像分辨率較低（通常為1024×1024 像素），接下來我們看看生成填充可以做什么。

通常情況下，當我們使用工具從照片中刪除不需要的項目時，該軟件會嘗試使用圖像中其他地方的像素來回填缺失區(qū)域。當要移除的區(qū)域很大時，像素回填會變得更加困難，導致重復的鬼影，一眼就能看到圖像的某些部分被移除。

相反，生成填充會查看圖像的前后文件，并嘗試創(chuàng)建在其位置上有意義的內(nèi)容。在上面我們移除游客的示例中，Photoshop 重新創(chuàng)建了建筑物的線條和顏色，并匹配了地面的紋理。

Photoshop還是生成了一系列替代“人物”（左側(cè)），圖片來自官方演示

根據(jù)Adobe的在線建議，不需要編寫“刪除人員”之類的命令就能把圖像左側(cè)的背景顯現(xiàn)出來

但是我們不能假設該功能每次都能正確處理，以下面兩個人的形象為例。我們可以嘗試刪除一個人（左邊的人），方法是使用套索工具在他周圍進行松散選擇以定義我們要替換的區(qū)域，然后單擊文本框中的空生成。奇怪的是，在多次嘗試中，該工具假設我們想用另一個隨機的人替換這個人，這簡直是合成的噩夢。

根據(jù)Adobe 的說法，使用 GenerativeFill 時不需要鍵入“刪除人員”等命令作為提示，但最終，鍵入該提示給了我們想要的結果。此處要注意，雖然Photoshop 給出一個沒有左側(cè)人物的修改（見下文），但它同時也創(chuàng)建了兩個仍然包含人物的變體。我們或許可以將此歸因于預發(fā)布功能的不完善，因為當前機器學習量很大，還沒有盡善盡美。

刪除對象是一回事，但是用完全不同的東西替換它們呢？使用生成填充，我們還可以創(chuàng)建原始圖像中從未有過的東西。例如，在下面的照片中，我們可以通過在餡餅周圍進行選擇（稍微擴大選擇有助于拾取它們后面的紙張紋理）并在文本提示字段中鍵入“藍莓”，將其中一種甜點變成藍莓餡餅，反復試了幾次才找到匹配的，但這些藍莓看起來很有說服力。

更換背景中的飲料效果會怎么樣？我們可以選擇左側(cè)的玻璃杯，然后輸入“品脫啤酒”作為提示，而不是冷萃咖啡。注意，不僅玻璃杯稍微偏離焦點以匹配它所替換的景深，前面的餡餅和旁邊的咖啡還有玻璃光線的一絲反射，很逼真吧。

將任意項目添加到空白空間會如何？我們在前景中繪制了一個矩形選區(qū)并鍵入提示“Dog lying down”，隨后Photoshop 創(chuàng)建了多個小狗變體，其中我們最喜歡下面的那個，后期填充之后光線和陰影的角度匹配得很好。

除了替換或添加前景對象外，通過使用“選擇主題”并反轉(zhuǎn)選擇以選擇背景，我們可以輸入提示以重新定義場景的整個格局。

選中盆子的原始圖像

用藍莓代替前景餡餅中的草莓

后面的冷咖啡換成了一品脫（約0.4732升）啤酒

帶有矩形選區(qū)的原始照片

添加一條狗，尤其是在光線保持一致的情況下

選中背景的原始照片，將選區(qū)擴大了20個像素（類似羽化操作），包括了車輛的邊緣

背景變成了雪地

用“叢林之路”替換背景

說了這么多， 我們來看如何獲取該軟件： 生成填充功能在最新的Photoshop 24.6.0 公測版中，Creative Cloud 訂閱者可以使用該版本，在Creative Cloud 應用程序中，選擇邊欄中的 Beta 應用程序，然后在右側(cè)列表中查找 Photoshop （Beta），單擊安裝即可。Photoshop 的測試版和發(fā)行版可以同時存在于計算機上，此外測試版不會覆蓋你已經(jīng)安裝的內(nèi)容。