原標(biāo)題：谷歌用AI檢測(cè)透明對(duì)象，實(shí)現(xiàn)玻璃上生成AR可視化效果 來(lái)源：砍柴網(wǎng)

諸如RGB-D攝像頭和LIDAR等光學(xué)3D距離傳感器已在機(jī)器人技術(shù)中得到廣泛應(yīng)用，并正在為從無(wú)人駕駛汽車到自動(dòng)操縱器的一系列應(yīng)用生成豐富準(zhǔn)確的環(huán)境3D映射。然而，諸如玻璃容器這樣的透明對(duì)象會(huì)造成昂貴傳感器的混亂。這是因?yàn)楣鈱W(xué)3D傳感器是由假定所有表面均為朗伯（Lambertian）的算法驅(qū)動(dòng)，即它們?cè)谒蟹较蚓鹊胤瓷涔饩€，從而在所有視角下產(chǎn)生均勻的表面亮度。但是，透明對(duì)象違反了這一假設(shè)，因?yàn)樗鼈兊谋砻婕日凵溆址瓷涔饩€。所以，來(lái)自透明對(duì)象的大多數(shù)深度數(shù)據(jù)一般為無(wú)效，或包含不可預(yù)測(cè)的噪點(diǎn)。

光學(xué)3D傳感器通常難以檢測(cè)透明對(duì)象。例如，玻璃瓶沒有出現(xiàn)在英特爾實(shí)感D415 RGB-D攝像頭捕獲的3D深度圖像之中（上方靜態(tài)圖）；下方動(dòng)圖：根據(jù)深度圖像和點(diǎn)云方法構(gòu)建的3D可視化

支持機(jī)器更好地感知透明表面，這不僅可以提高安全性，而且能夠在非結(jié)構(gòu)化應(yīng)用中開啟一系列全新的交互，如可以處理廚具或分類塑料以進(jìn)行回收利用的機(jī)器人，導(dǎo)航室內(nèi)環(huán)境，或在玻璃桌面生成AR可視化效果等等。

為了解決這個(gè)問題，谷歌與Synthesis AI和哥倫比亞大學(xué)的研究人員合作開發(fā)了名為ClearGrasp的機(jī)器學(xué)習(xí)算法。據(jù)介紹，它能夠根據(jù)RGB-D圖像估計(jì)透明對(duì)象的精確3D數(shù)據(jù)。這主要得益于一個(gè)大規(guī)模合成數(shù)據(jù)集（谷歌日前同樣進(jìn)行了公開）。ClearGrasp可以配合所有標(biāo)準(zhǔn)RGB-D攝像頭，然后使用深度學(xué)習(xí)來(lái)準(zhǔn)確地重建透明對(duì)象的深度，并泛化為訓(xùn)練期間不可見的全新對(duì)象。作為對(duì)比，以前的方法需要事先理解透明對(duì)象，并且通常需要結(jié)合背景照明的映射和攝像頭位置。在這項(xiàng)研究中，谷歌同時(shí)演示了將ClearGrasp集成到拾取和放置式機(jī)器人的控制系統(tǒng)中。谷歌表示，他們留意到透明塑料對(duì)象的抓取成功率有了顯著提高。

ClearGrasp使用深度學(xué)習(xí)來(lái)恢復(fù)透明表面的準(zhǔn)確3D深度數(shù)據(jù)。

1. 透明對(duì)象的可視數(shù)據(jù)集

要訓(xùn)練有效的深度學(xué)習(xí)模型（如用于視覺的ImageNet或用于BERT的Wikipedia），你需要大量的數(shù)據(jù)。ClearGrasp也不例外。遺憾的是，我們?nèi)狈ν该鲗?duì)象的3D數(shù)據(jù)集。諸如Matterport3D或ScanNet這樣的現(xiàn)有3D數(shù)據(jù)集會(huì)忽略透明表面，因?yàn)樗鼈冃枰嘿F且耗時(shí)的標(biāo)記過(guò)程。

為解決此問題，研發(fā)團(tuán)隊(duì)自行構(gòu)建了透明對(duì)象的大規(guī)模數(shù)據(jù)集，其中包含50000多個(gè)具有相應(yīng)表面法線（表示表面曲率），分割蒙版，邊緣和深度的圖片真實(shí)感渲染，并可用于訓(xùn)練各種2D和3D檢測(cè)任務(wù)。每個(gè)圖像最多包含五個(gè)透明對(duì)象，而它們要么位于平坦的地平面之上或手提袋之內(nèi)，并且具有不同的背景和照明。

ClearGrasp合成數(shù)據(jù)集中的透明對(duì)象的示例數(shù)據(jù)。

研究人員同時(shí)納入了包含286張真實(shí)世界圖像的測(cè)試集，而它們具有相應(yīng)的ground truth深度。對(duì)于真實(shí)世界圖像，團(tuán)隊(duì)將場(chǎng)景中的每個(gè)透明對(duì)象替換為具有相同姿態(tài)的繪制對(duì)象。圖像是在各種不同的室內(nèi)照明條件下并使用各種布料和貼面背景捕獲，并且包含散布在場(chǎng)景周圍的不透明對(duì)象。它們既包括合成訓(xùn)練集中存在的已知對(duì)象，又包含新的對(duì)象。

左：現(xiàn)實(shí)世界中的圖像捕獲設(shè)置；中：可以用噴涂副本精確替換每個(gè)透明對(duì)象；右：捕獲數(shù)據(jù)的示例。

2. 挑戰(zhàn)

通過(guò)透明對(duì)象看到的扭曲背景視圖會(huì)混淆典型的深度估計(jì)方法，但存在暗示對(duì)象形狀的線索。透明表面會(huì)出現(xiàn)鏡面反射，并在光線充足的環(huán)境中顯示為亮點(diǎn)。由于這種視覺提示在RGB圖像中十分明顯，并且主要受對(duì)象形狀的影響，所以卷積神經(jīng)網(wǎng)絡(luò)可以利用反射來(lái)推斷出精確的表面法線，然后再將其用于深度估計(jì)。

透明對(duì)象的鏡面反射會(huì)創(chuàng)建不同的特征（特征會(huì)根據(jù)對(duì)象的形狀而變化），并提供強(qiáng)大的視覺提示來(lái)幫助估計(jì)表面法線。

大多數(shù)機(jī)器學(xué)習(xí)算法都嘗試直接根據(jù)單眼RGB圖像估計(jì)深度。但即便是人類，單眼深度估計(jì)都是一項(xiàng)艱巨的任務(wù)。我們?cè)诠烙?jì)平坦背景表面的深度時(shí)會(huì)觀察到較大的誤差，這加深了放置于其上的透明對(duì)象的深度估計(jì)誤差。所以，研究人員認(rèn)為與其直接估計(jì)所有幾何圖形的深度，不如更正來(lái)自RGB-D 3D攝像頭的初始深度估計(jì)值，這將允許他們使用非透明表面的深度來(lái)確定透明表面的深度。

3. ClearGrasp算法

ClearGrasp使用3個(gè)神經(jīng)網(wǎng)絡(luò)：一個(gè)用于估計(jì)表面法線的網(wǎng)絡(luò)，一個(gè)用于遮擋邊界（深度不連續(xù)）的網(wǎng)絡(luò)，另一個(gè)用于遮蓋透明對(duì)象的網(wǎng)絡(luò)。遮罩用于刪除屬于透明對(duì)象的所有像素，以便能夠填充正確的深度。然后團(tuán)隊(duì)使用了全局優(yōu)化模塊，使用預(yù)測(cè)的表面發(fā)現(xiàn)來(lái)引導(dǎo)重建的形狀，以及使用預(yù)測(cè)的遮擋邊界來(lái)保持不同對(duì)象之間的分離。

團(tuán)隊(duì)提出的方法的綜述。點(diǎn)云是使用輸出深度生成并用表面法線著色。

每個(gè)神經(jīng)網(wǎng)絡(luò)都利用合成數(shù)據(jù)集進(jìn)行訓(xùn)練，而它們能夠很好地處理真實(shí)世界的透明對(duì)象。但是，諸如如墻壁或水果等表面的表面法線估計(jì)糟糕。這是由于合成數(shù)據(jù)集的局限性：僅包含位于地面地透明對(duì)象。為了應(yīng)對(duì)這個(gè)問題，團(tuán)隊(duì)在表面法線訓(xùn)練循環(huán)中納入了來(lái)自Matterport3D和ScanNet數(shù)據(jù)集的真實(shí)室內(nèi)場(chǎng)景。通過(guò)域內(nèi)合成數(shù)據(jù)集和域外實(shí)詞數(shù)據(jù)集的訓(xùn)練，模型在測(cè)試集中的所有表面均取得出色的表現(xiàn)。

根據(jù)真實(shí)圖像的表面法線預(yù)測(cè)：a 僅Matterport3D和ScanNet（MP + SN）；b 僅合成數(shù)據(jù)集；c MP + SN以及合成數(shù)據(jù)集。注意，通過(guò)MP + SN訓(xùn)練的模型無(wú)法檢測(cè)透明對(duì)象。僅根據(jù)合成數(shù)據(jù)訓(xùn)練的模型可以很好地拾取真實(shí)塑料瓶，但對(duì)其他對(duì)象和表面的效果不理想。當(dāng)通過(guò)兩者進(jìn)行訓(xùn)練時(shí)，模型可以同時(shí)兼顧兩個(gè)方面。

4. 結(jié)果

總體而言，團(tuán)隊(duì)的定量實(shí)驗(yàn)表明，ClearGrasp能夠以比其他方法高得多的保真度來(lái)重建透明對(duì)象深度。盡管僅就合成的透明對(duì)象接受過(guò)訓(xùn)練，但團(tuán)隊(duì)發(fā)現(xiàn)模型能夠很好地適應(yīng)現(xiàn)實(shí)世界域，在不同域的已知對(duì)象方面實(shí)現(xiàn)了非常相似的定量重建性能。模型同時(shí)可以很好地推廣到具有復(fù)雜形狀的新對(duì)象。

為了確定ClearGrasp的定性性能，團(tuán)隊(duì)根據(jù)輸入和輸出深度圖像構(gòu)造3D點(diǎn)云，如下所示。生成的估計(jì)3D表面具有清晰且連貫的重構(gòu)形狀（這對(duì)于諸如3D映射和3D對(duì)象檢測(cè)的應(yīng)用而言非常重要），沒有單眼深度估計(jì)方法中出現(xiàn)的鋸齒噪點(diǎn)。模型十分穩(wěn)定，并且在挑戰(zhàn)性條件下都取得出色的表現(xiàn)，如識(shí)別位于帶圖案背景中的透明對(duì)象，或區(qū)分部分遮擋的透明對(duì)象。

真實(shí)圖像的定性結(jié)果。前兩行：已知對(duì)象的結(jié)果；下兩行：新對(duì)象的結(jié)果。用表面法線著色的點(diǎn)云是根據(jù)對(duì)應(yīng)的深度圖像生成。

最重要的是，ClearGrasp的輸出深度可以直接用作利用RGB-D圖像的操作算法的輸入。通過(guò)使用ClearGrasp的輸出深度估算值而非原始傳感器數(shù)據(jù)，UR5機(jī)械臂的抓取算法在抓取透明對(duì)象的成功率方面取得了顯著提升。在使用抓爪時(shí)，成功率從基線的12％提高到74％，而抽吸的成功率則從64％提高到86％。

使用ClearGrasp處理新透明對(duì)象。請(qǐng)注意具有挑戰(zhàn)性的條件：無(wú)紋理背景，復(fù)雜的對(duì)象形狀，以及定向光會(huì)導(dǎo)致混亂的陰影和焦散。

5. 局限與未來(lái)的研究方向

谷歌指出，合成數(shù)據(jù)集的局限性在于，由于傳統(tǒng)路徑追蹤算法的渲染存在局限性，所以它不能代表精確的焦散。結(jié)果是，模型將明亮的焦散與陰影混淆為獨(dú)立的透明對(duì)象。盡管存在這樣的缺點(diǎn)，但ClearGrasp的研究表明，合成數(shù)據(jù)依然是一種可行的方法，可以幫助基于學(xué)習(xí)的深度重建方法取得令人滿意的結(jié)果。對(duì)于未來(lái)的研究，一個(gè)充滿前景的方向是通過(guò)生成具有物理正確的焦散和表面缺陷的渲染來(lái)改善域轉(zhuǎn)真實(shí)世界圖像。