您的位置: 首頁 >互聯(lián)網(wǎng) >

使用顏色分量中的差異識別深度網(wǎng)絡(luò)生成的圖像

2019-06-11 17:07:04 編輯: 來源:
導(dǎo)讀 深圳大學(xué)的研究人員最近設(shè)計了一種檢測深度神經(jīng)網(wǎng)絡(luò)生成的圖像的方法。他們的研究預(yù)先發(fā)布在arXiv上,確定了一組捕獲彩色圖像統(tǒng)計數(shù)據(jù)的功

深圳大學(xué)的研究人員最近設(shè)計了一種檢測深度神經(jīng)網(wǎng)絡(luò)生成的圖像的方法。他們的研究預(yù)先發(fā)布在arXiv上,確定了一組捕獲彩色圖像統(tǒng)計數(shù)據(jù)的功能,可以檢測使用當前人工智能工具生成的圖像。

“我們的研究受到圖像生成模型的快速發(fā)展和生成的假圖像的傳播的啟發(fā),”進行這項研究的研究人員之一Bin Li告訴Tech Xplore。“隨著先進圖像生成模型(如生成對抗網(wǎng)絡(luò)(GAN)和變分自動編碼器)的興起,深度網(wǎng)絡(luò)生成的圖像變得越來越逼真,用人眼識別它們已經(jīng)不再容易了,這需要嚴格的安全性。風(fēng)險“。

最近,一些研究人員和全球媒體平臺已經(jīng)表達了他們對人工神經(jīng)網(wǎng)絡(luò)培養(yǎng)生成圖像所帶來的風(fēng)險的擔憂。例如,諸如生成對抗網(wǎng)絡(luò)(GAN)和變分自動編碼器之類的深度學(xué)習(xí)算法可以用于生成虛假新聞的真實圖像和視頻,或者可以促進在線欺詐和在社交媒體上偽造個人信息。

通過試驗和錯誤過程訓(xùn)練GAN算法以產(chǎn)生越來越逼真的圖像,其中一個算法生成圖像,另一個算法,鑒別器,提供反饋以使這些圖像更逼真。假設(shè),該鑒別器也可以被訓(xùn)練以檢測來自真實圖像的假圖像。然而,這些算法主要使用RGB圖像作為輸入,并且不考慮顏色分量的差異,因此它們的性能很可能不令人滿意。

在他們的研究中,Li和他的同事們分析了GAN生成的圖像與真實圖像之間的差異,提出了一系列可以有效幫助對其進行分類的特征。結(jié)果方法通過分析真實圖像和生成圖像之間的顏色分量的差異來工作。

“我們的基本想法是,真實圖像和生成圖像的生成管道是完全不同的,因此這兩類圖像應(yīng)該具有一些不同的屬性,”研究人員之一的Haodong Li說。“事實上,它們來自不同的管道。例如,真實圖像是由成像設(shè)備(如相機和掃描儀)生成以捕獲真實場景,而生成的圖像是以完全不同的方式創(chuàng)建的,其中卷積,連接和激活來自神經(jīng)網(wǎng)絡(luò),差異可能導(dǎo)致不同的統(tǒng)計特性。在這項研究中,我們主要考慮顏色分量的統(tǒng)計特性“。

研究人員發(fā)現(xiàn),盡管生成的圖像和真實圖像在RGB色彩空間中看起來相似,但它們在HSV和YCbCr的色度分量中具有明顯不同的統(tǒng)計特性。他們還觀察到將R,G和B顏色組分組裝在一起時的差異。

他們提出的特征集,包括從幾個顏色分量的圖像高通濾波殘差中提取的共現(xiàn)矩陣,利用這些差異,捕獲真實和生成圖像之間的顏色差異。此功能集尺寸較小,即使在小圖像數(shù)據(jù)集上進行訓(xùn)練也可以很好地執(zhí)行。

Li和他的同事在三個圖像數(shù)據(jù)集上測試了他們的方法的性能:CelebFaces屬性,高品質(zhì)CelebA和野外Labeled Faces。他們的研究結(jié)果非常有希望,這些特征在所有三個數(shù)據(jù)集上都表現(xiàn)良好。

“我們研究中最有意義的發(fā)現(xiàn)是,通過從某些顏色成分中提取特征,可以很容易地檢測到深層網(wǎng)絡(luò)生成的圖像,盡管生成的圖像在視覺上可能與人眼無法區(qū)分,”Haodong Li說。“當生成的圖像樣本或生成模型可用時,所提出的配備二元分類器的特征可以有效地區(qū)分生成的圖像和真實的圖像。當生成模型未知時,所提出的特征與一類分類器一起也可以達到令人滿意的性能。”

該研究可能具有許多實際意義。首先,該方法可以幫助在線識別假圖像。

提出的方法的總體框架。首先將輸入圖像分解成不同的顏色分量,然后計算每個顏色分量的殘差。為了計算共現(xiàn),組裝R,G和B分量,而獨立地處理H,S,Cb和Cr分量。最后,將所有同現(xiàn)矢量連接起來并饋送到分類器以獲得判定結(jié)果。圖片來源:李等人。

他們的發(fā)現(xiàn)也暗示了現(xiàn)有生成模型尚未有效復(fù)制真實圖像的幾種固有顏色特性。將來,這些知識可用于構(gòu)建能夠生成更逼真圖像的新模型。

最后,他們的研究證明,用于產(chǎn)生真實圖像和生成圖像的不同生成管道反映在所生成圖像的屬性中。顏色分量僅包括這兩種圖像的不同方式之一,因此進一步的研究可以集中于其他屬性。

“未來,我們計劃通過將這項研究成果應(yīng)用于圖像生成模型來提高圖像生成性能,”其中一位研究人員表示。“例如,將真實和生成圖像的顏色分量的視差度量包括在GAN模型的目標函數(shù)中可以產(chǎn)生更逼真的圖像。我們還將嘗試利用來自真實圖像生成管道的其他固有信息,例如傳感器模式噪聲或濾色器陣列的特性,以開發(fā)更有效和穩(wěn)健的方法來識別生成的圖像。“


免責聲明:本文由用戶上傳,如有侵權(quán)請聯(lián)系刪除!

精彩推薦

圖文推薦

點擊排行

2016-2022 All Rights Reserved.平安財經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ280 715 8082   備案號:閩ICP備19027007號-6

本站除標明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。