要點:
1. 谷歌和康奈爾提出的RealFill技術能使用少量參考圖像實現真實的圖像補全，保持場景的一致性和真實性。
2. RealFill通過微調預訓練的模型，并使用標準的擴散采樣來填充目標圖像的缺失區域，同時處理不同視角和光照條件。
3. 實驗結果顯示RealFill在場景保真度和與參考圖像的一致性方面表現出色，相比其他方法更具優勢。
站長之家（ChinaZ.com）10月2日 消息:谷歌研究與康奈爾大學合作提出了一項名為RealFill的真實圖像補全技術，旨在解決圖像修復中的真實性和場景一致性問題。該技術的核心目標是使用少量的參考圖像來填充給定目標圖像的缺失部分，同時盡可能保持原始場景的真實性。
RealFill的優勢在于其能夠使用最多5張不需要與目標圖像完全一致的參考圖像，甚至可以在視角、光線條件、相機光圈或圖像風格等方面存在極大差異。通過對參考圖像和目標圖像進行微調，創建一個個性化的生成模型，RealFill保持了圖像的視覺先驗，同時學習了輸入圖像的場景內容、光照和風格。然后，使用微調后的模型，通過標準的擴散采樣過程來填充目標圖像中的缺失區域。
論文鏈接:https://arxiv.org/abs/2309.16668
項目頁面:https://realfill.github.io/
RealFill特別關注處理具有挑戰性的情況，包括不同視點、環境條件、相機光圈、圖像風格以及移動的對象。實驗結果顯示，該技術能夠生成視覺上引人入勝且與參考圖像一致的圖像內容，即使參考圖像與目標圖像之間存在巨大差異。
與其他基準方法相比，RealFill表現出更高的場景保真度和與參考圖像的一致性。相比之下，其他方法如Paint-by-Example依賴于CLIP嵌入，而Stable Diffusion Inpainting則在表達能力上存在限制，無法實現高度的場景保真。RealFill的優勢在于通過添加更多條件（參考圖像）來擴展生成型圖像修復模型的表達力，提供了更好的結果。
然而，RealFill也存在一些局限性，包括處理速度較慢、在大幅度視點變化時無法恢復3D場景以及無法處理對基礎模型具有挑戰性的情況。盡管如此，RealFill技術為圖像修復領域帶來了重要的進展，能夠生成更真實和一致的圖像內容，為圖像處理和編輯提供了有力的工具。
在圖像修復領域，RealFill技術的出現為解決真實性和一致性的問題提供了創新性的方法，使圖像補全更加真實、高質量。這項技術的應用潛力廣泛，將為圖像處理和編輯領域帶來新的可能性，使我們能夠獲得更完美的圖像。
（舉報）
