生成“神奇補(bǔ)丁”，秒變隱形人

他們是如何生成這塊神奇的 “對(duì)抗性補(bǔ)丁” 的呢？

優(yōu)化目標(biāo)包括以下三個(gè)部分：

Lnps：非可打印性得分，這個(gè)因子表示貼紙中的顏色在多大程度上可由普通打印機(jī)打印出來(lái)。有下式：

其中 ppatch 是貼紙中的一個(gè)像素，而 cprint 是一組可打印顏色 C 中的顏色。這種損失有利于確保圖像中的顏色與可打印顏色集中的顏色密切相關(guān)。

Ltv：圖像總變化。該損失函數(shù)損失確保優(yōu)化器支持平滑顏色過渡的圖像并防止圖像噪聲?？梢杂?P 計(jì)算 Ltv：

如果相鄰像素相似則得分較低，如果相鄰像素不同則得分較高。

Lobj：圖像中的最大對(duì)象分?jǐn)?shù)。補(bǔ)丁的目標(biāo)是隱藏圖像中的人。所以訓(xùn)練的目標(biāo)是對(duì)探測(cè)器輸出的目標(biāo)或類別分?jǐn)?shù)實(shí)現(xiàn)最小化。將這三個(gè)部分相加得到總損失函數(shù)：

采用由經(jīng)驗(yàn)確定的因子 α 和 β 對(duì)三個(gè)部分進(jìn)行按比例縮放，然后求和，并使用 Adam 算法進(jìn)行優(yōu)化。優(yōu)化器的目標(biāo)是總損失 L 的最小化。在優(yōu)化過程中凍結(jié)網(wǎng)絡(luò)中的所有權(quán)重，并僅更改 patch 中的值。在過程開始時(shí)，以隨機(jī)值對(duì) patch 進(jìn)行初始化。

圖 3 所示為目標(biāo)損失的計(jì)算，遵循相同的程序來(lái)計(jì)算類概率

YOLOv2 對(duì)象檢測(cè)器輸出一個(gè)單元網(wǎng)格，每個(gè)單元格包含一系列錨點(diǎn)（默認(rèn)值為五個(gè)）。每個(gè)錨點(diǎn)包含邊界框的位置、對(duì)象概率和類別得分。為了讓探測(cè)器忽略圖像中的人，研究人員嘗試了三種不同的方法：最小化類人的分類概率（圖 4d），最小化對(duì)象得分（圖 4c），或兩者的組合（圖 4b 和 4a）。

研究人員分別嘗試了每一種方法。最小化類分?jǐn)?shù)傾向于將類中的人員移至不同的類。在使用 MS COCO 數(shù)據(jù)集訓(xùn)練的 YOLO 探測(cè)器的實(shí)驗(yàn)中，研究人員發(fā)現(xiàn)生成的貼紙會(huì)作為 COCO 數(shù)據(jù)集中的另一個(gè)類被檢測(cè)到。圖 4a 和 4b 分別為采用類和對(duì)象概率的實(shí)例。

研究人員提出的最小化對(duì)象性得分的另一種方法則不存在這個(gè)問題。雖然在優(yōu)化過程中僅僅將其其置于 “人” 這一類別之上，但是生成的貼紙對(duì)于某個(gè)類的特定性低于其他方法，如圖 4c 所示。

研究團(tuán)隊(duì)對(duì)各種類型的 patch 進(jìn)行了實(shí)驗(yàn)，比如隨機(jī)生成的圖像噪聲或者模糊化的圖像，最后，他們發(fā)現(xiàn)經(jīng)過多次圖像處理的隨機(jī)物體的照片的效果最好。

例如，他們提出的圖像補(bǔ)丁 (圖 4c) 是通過隨機(jī)選取一幅圖像來(lái)創(chuàng)建的，圖像經(jīng)過了旋轉(zhuǎn)，隨機(jī)放大和縮小，隨機(jī)添加隨機(jī)噪聲，隨機(jī)修改正確率和對(duì)比度。