人們都不喜歡馬賽克,以至于誕生出了“馬賽克阻止人類文明進(jìn)步”的箴言。影片里看到馬賽克,你會(huì)索然無味;文檔里看到馬賽克,你會(huì)興致掃地……無數(shù)朋友都在尋找一個(gè)問題的答案——馬賽克真的是不可消除的嗎?有碼能不能用什么黑科技,一鍵變成無碼?
從原理上來說,馬賽克屬于永久性的信息丟失。馬賽克的原理很簡(jiǎn)單,把大量的小像素點(diǎn)合并到一個(gè)大的像素點(diǎn),并取平均色,就制造成了馬賽克。馬賽克顯然屬于不可逆運(yùn)算,你無法從一個(gè)平均數(shù),推斷出它是由哪幾個(gè)數(shù)平均而來的。
然而,馬賽克是否當(dāng)真完全不可能還原?一般來說,要消除馬賽克,需要人進(jìn)行想象腦補(bǔ),然后把缺失的內(nèi)容重新畫出來。這種方法效率低,而且效果并不穩(wěn)定。近幾年AI技術(shù)的風(fēng)行,帶來了很多不可思議的應(yīng)用。最近,又出現(xiàn)了一些和AI去馬賽克相關(guān)的消息,一起來看看。
Depix
這是一款近來引起了熱烈關(guān)注的去碼工具。Depix在GitHub上進(jìn)行了開源,它主要用于去除文字馬賽克。如果你是一名開發(fā)者,可以通過下面的鏈接進(jìn)入到GitHub的頁面,來關(guān)注該項(xiàng)目。
Depix GitHub主頁:https://github.com/beurtschipper/Depix
我們先來看看Depix的效果。
Depix去馬賽克的效果,從上到下分別是馬賽克后的字符、用Depix還原的效果、原圖
雖然不是完美還原馬賽克,但也足夠驚人——能夠?qū)⒁粓F(tuán)不可名狀的東西,還原成為有一定可讀性的字符,這是人工也難以做到的。Depix是怎么做到這種程度的呢?
Depix的原理其實(shí)并不難理解。首先,Depix使用了一個(gè)文本表格,將這些文本打一次馬賽克。Depix使用的文本表格采用了De Bruijn sequence布魯因序列,這個(gè)序列包含了預(yù)期還原字符的2字符組合。
Depix的開發(fā)者認(rèn)為,2字符非常重要,因?yàn)楹芏辔谋敬蝰R賽克以后,一些馬賽克塊會(huì)是2字符的組合。例如下圖,某個(gè)馬賽克像素其實(shí)同時(shí)包含了“o”和“b”,2字符能提供更加精確的匹配。
最終,生成了一個(gè)馬賽克塊查找表。
接著,Depix就可以憑借DebBruijn序列的馬賽克查找表,來匹配想要還原的馬賽克文本了。一旦某個(gè)馬賽克文本的塊,匹配上了查找表中的結(jié)果,那么就會(huì)很大程度上還原成為比較精確的文字——雖然還不算完美,但效果已經(jīng)足夠讓人辨認(rèn)這是怎樣的字符。
簡(jiǎn)單來說,Depix的原理是用讓馬賽克匹配已知的打碼數(shù)據(jù),然后進(jìn)行還原。這項(xiàng)技術(shù)的出現(xiàn),對(duì)于用馬賽克隱藏密碼等場(chǎng)景,造成了挑戰(zhàn)。不過Depix顯然也有局限,它當(dāng)前主要用于識(shí)別英文字母和阿拉伯?dāng)?shù)字,對(duì)于海量的漢字,Depix暫時(shí)還無能為力。
Google Brain
Depix讓人看到了文字去碼的希望,而Google Brain,則是圖像去碼方面的代表。Google Brain是Google開展的AI項(xiàng)目,其中對(duì)于圖像消除馬賽克的研究,可謂是非常深入。
Google Brain使用的是一種全新的像素遞歸超分辨率技術(shù),通過大量高、低分辨率的采樣學(xué)習(xí),然后得出規(guī)律來匹配修復(fù)結(jié)果。例如,Google Brain學(xué)習(xí)到了某種黑點(diǎn)是屬于眼睛,那么在還原馬賽克的時(shí)候,就可以把這種黑點(diǎn)還原成眼睛。從測(cè)試來看,效果的確不同凡響。
這樣的AI技術(shù)有什么用?去除馬賽克只是特定場(chǎng)合的具體應(yīng)用,類似的算法在很多時(shí)候都可以發(fā)揮作用——只要當(dāng)圖像需要修復(fù)的時(shí)候,就有用武之地。例如拍照片手抖了失焦了,糊成一片該咋辦?傳統(tǒng)的方法可能就是簡(jiǎn)單粗暴的銳化了,而如果拍照APP使用AI技術(shù),就可以“腦補(bǔ)”回丟失的細(xì)節(jié)和銳度,給你一張盡量可用的照片。
總結(jié)
除了上文所提到的,現(xiàn)在還有很多利用AI增強(qiáng)圖像的技術(shù),例如Waif2x智能放大圖片技術(shù),乃至NV家的DLSS技術(shù),其實(shí)都和去馬賽克的AI有異曲同工之妙,都是通過AI“腦補(bǔ)”出不存在或者已損的圖像信息,來增強(qiáng)圖像清晰度。
在未來,隨著AI算法的完善、機(jī)器學(xué)習(xí)的積累以及硬件算力的進(jìn)步,AI去碼、圖像增強(qiáng)還會(huì)有更多驚人的效果,或許在未來某一天,馬賽克將不再成為觀瞻的障礙吧。
關(guān)鍵詞: