『壹』 Deep Depth Completion of a Single RGB-D Image
單個RGB-D圖像的深度補全
主頁: http://deepcompletion.cs.princeton.e/
Github: https://github.com/yindaz/DeepCompletionRelease
Paper: http://deepcompletion.cs.princeton.e/paper.pdf
Goal --complete the depth channel of
an RGB-D image
Problem --Commodity-grade depth cameras often fail to sense depth for shiny, bright, transparent, and distant surfaces
Method --takes an RGB image as input and predicts dense surface normals and occlusion boundaries. Those predictions are then combined with raw depth observations provided by the RGB-D camera to solve for depths for all pixels, including those missing in the original observation
Goal: to complete the depth channel of
an RGB-D image captured with a commodity camera (i.e., fill all the holes) 填充深度圖的空缺
以前的depth inpainting (深度修復)方法 使用 hand-tuned(手工調整)來解決,該方法通過 外推邊界表面、馬爾可夫圖像合成;來fill holes
深度網路已經用於depth estimation,但還未用來depth completion,因為有以下幾個難點:
對於和 補全的深度圖 配對的 捕獲的RGB-D圖像,這樣的大規模訓練數據不易獲得
這樣 depth estimation只能重現 observed depth,不能估計 unobserved 深度信息
本文引入了新數據集,105432張RGB-D 圖像,且與在72個真實環境中從大規模表面重建計算出的完整深度圖像對應
深度表示
直接用FCN回歸depth不work尤其是對圖1中缺失那麼大的一片區域,因為即使對人類來說,從單眼 color image 估計精確深度也很難啊
所以本文先用網路預測depth的 局部微分屬性:表面法線&遮擋邊界
以前沒有人去訓練一個端對端網路去從RGB-D圖像補全深度
一個想法是擴展一下前人color to depth 的網路,但是
這里的 不對齊 具體指啥,有空間位置的不對齊嗎.有顏色信息的像素不一定有深度信息?
本文是 只將 color image 作為輸入,先預測 local surface normals and occlusion boundaries with supervision,因為 從顏色信息預測局部特徵是深度網路可以勝任的 。然後通過一個把這些預測和輸入depth組合起來的全局優化問題來complete depth
Main Insight
好處:這樣做smaller relative error ,網路獨立於observed depth,不需要因為新的depth sensors再次訓練 ?
depth estimation from a monocular color image 單目彩色圖像
Shape-from-defocus
Others
-Old methods
Auto-encoder
GAN
先前的方法沒有研究depth images的inpainting,由於depth images缺少魯棒的特徵strong features 和 大規模訓練數據,這是比較難的問題
Markov random fields
Shape-from-shading
Segmentation
Dictionary methods
盡管一些方法可以被用來 depth completion,但兩者的關注點是不同的。
其他工作已經研究了用稀疏深度測量集增強的彩色圖像的深度重建。
但是該研究的motivation是降低一定設置下的感測成本(例如 節省機器人的成本),而不是depth completion
對應於introction提到的三個難點,本文的研究也聚焦於以下三個問題:
但這方法昂貴耗時,這個類型的public dataset只包含少量的 indoor scenes
for example: Matterport3D [6], ScanNet [10], SceneNN [28], and SUN3D[22,67]
這就得到了包含 RGB-D & D* 圖像對的數據集!
疑問:多視點的 RGB-D images 的結合 是需要圖像之間的 配准regirstration 吧?難道這個得到mesh的過程是原來的數據集現成的?全局表面重建是數據集現有的
參見
由於表面重建以與深度相機的解析度相當的3D網格尺寸構造,因此在完成的深度圖像中通常不會損失解析度。 然而,當投影到視平面上時,相同的3D解析度為遠離相機的表面提供了有效的更高像素解析度 。 因此,完成的深度圖像可以在渲染高解析度網格時利用子像素抗鋸齒來獲得比原始圖像更精細的解析度(請注意圖3中傢具中的細節)。 WHY
本文的數據集有 117516 RGB-D images with rendered completions:
Training set:105432;Test set:12084
然而difficult to predict absolute depth from monocular images,
本文是預測每個像素的局部屬性,表面法線、遮擋邊界
why use 表面法線 遮擋邊界:
so,的工作在從顏色圖像到表面法線的密集預測效果不錯 [1,15,34,66,75]
那麼,如何從surface normals & occlusion boundary 計算深度:
a) What loss should be used to train the network
two choices: trained only on holes vs all pixels:
trained with rendered normals VS raw normals ?
詳見論文附件
對比實驗結果:
b) What image channels should be input to the network
實驗表明如果用RGB-D作為輸入來預測法線,在holes部分像素的預測很差(盡管對於observed pixels work),推測這種網路只是從RGB-D中的depth channel預測normals,所以對於hole就不能work了
圖5的結論啟發作者僅用color image 預測 surface normals
separating 「prediction without depth」 from 「optimization with depth」 is compelling for two reasons:好處
前面的網路預測得到 surface normal image N 和 occlusion boundary image B(==長什麼樣子?==)
求解一個方程組
目標函數由 四個 平方誤差的加權求和
$E_D$ :估計的深度和原始觀察到的深度的距離
$E_N$ :預測的深度 和表面法線的一致性 by 切線 點乘 法線
$E_S$ :促使相鄰像素有相似的深度值
B: $B ∈ [0, 1] $ down- weights the normal terms based on the predicted probability a pixel is on an occlusion boundary $(B(p))$
==提問:如果在邊界, 實際是不滿足法線垂直切線,所以減小他的權重 ?極端情況只考慮在遮擋邊界的 $E_N$ ??==
==疑問:本來平方誤差不就已經是非線性了嗎==
目標函數的矩陣形式 是 稀疏 且 對稱正定的,所以可使用==a sparse Cholesky factorization [11] 稀疏 Cholesky 分解== 來求解 近似的目標含函數
Evaluation metrics
(以上衡量depth error,下面是衡量surface normals)
table 1展示了不同輸入下的結果(表中箭頭向上 越大越好;反之,越小越好)
例如 normal 的 median error 17.28 < 23.59;depth的 Rel 0.089<0.09
==補充材料==里還展示了不同loss 設置下(observed only VS unobserved only),這個優勢依然存在
作者認為當為observed depth時,網路會學習進行插值而不是在holes合成新的depth。
++這個實驗結果促使本文將整個方法 分為兩個步驟 two stage system++ !!
表二 注意這里的D是從depth 預測 depth
以Rel為例 N 0.089 < N+DD 0.092 < DD 0.100 < D 0.167。
作者認為由於表面法線只代表了orientation of surfaces ,比較好預測,詳見[31];而==且他不隨深度的變化而變化,在不同的視圖里更一致==
表2 yes 表示有B,No 表示沒有down-weights 對比 0.089<0.110,提升約 19%。
occlusion boundaries ==區域的surface normals是 嘈雜,不準確的?== 圖6
第2列是網路輸出的法線和遮擋邊界,第2行第3、4列為 是否有boundary weight 的對比。第1行的3、4列是從輸出的深度圖計算的surface normal。遮擋(閉塞)邊界==提供了深度不連續性信息,有助於保持邊界的清晰度/銳度==看從深度計算的法線圖
圖 7
圖像橫軸是圖像中具有深度的像素的個數(未被masked),左圖展示了predicted depth accuracy of observed pixels,右圖為predicted depth accuracy of unobserved pixels
顯然unobserved 的accuracy 低於 observed;但是只要有一小部分的輸入depth(==2000 depths 只佔all pixels 的 2.5%==) .這從側面說明即使是其他depth sensors designs with sparse measurements,也能得到比較客觀的預測效果,==也不用重訓練網路(網路輸入只是顏色啊)== 但是你訓練網路時的ground truth normals 來自rendered depth image 啊??如果只做個測試感覺確實不特別依靠raw depth的數目
表3
表中的對比方法分別是 聯合雙線性濾波、快速雙邊求解、全局邊緣感知能量優化
發現Rel是所有方法中最小的
圖8展示了與 聯合雙線性濾波的比較
圖8展示的結果看,本文方法的深度圖邊界更精確
和color to depth的深度估計方法對比
表 4
本文方法個指標都為最佳,提升23-40%。 Y表示 observed depth N表示 unobserved
這也表明 預測法線 對於深度估計問題也是不錯的方法
注意看,不僅預測的深度更准確,而且通過對比計算出的surface normals,說明本文方法學習到了更好的場景幾何結構
搭建橋梁溝通了彩色圖和深度圖信息 橋就是normals!
顯而易見,這是一個犧牲時間換取圖像質量的游戲
1.速度很慢。
解析度320x256的圖像,使用NVIDIA TITAN X GPU還需要大約0.3秒;Intel Xeon 2.4GHz CPU上大約1.5秒.
2.依賴高性能硬體。難以控製成本
『貳』 3d tof感測器什麼時候出現的
目前的深度相機有TOF、結構光、激光掃描等幾種。主要用於機器人、互動游戲等應用。
其中較多的是指TOF相機,TOF是Time of flight的簡寫,直譯為飛行時間的意思。所謂飛行時間法3D成像,是通過給目標連續發送光脈沖,然後用感測器接收從物體返回的光,通過探測光脈沖的飛行(往返)時間來得到目標物距離。
目前主流的有TOF相機廠商有PMD、MESA、Optrima、微軟等幾家,其中MESA在科研領域使用較大,相機緊湊性好,而PMD是唯一一款能夠在戶內、戶外均能使用的TOF相機,並且能夠具有多種探測距離,可用於科研、工業等各種場合。而Optrima、微軟(還不是真正的TOF技術)的相機主要面向家庭、娛樂應用,價位較低。
進一步討論,請加
『叄』 買保姆機器人需要多少錢
Samsung吸塵機器人VC-RP30W
功能:採用最新的3D地圖映射技術來確定自己的位置,不像別的智能吸塵機器人使用隨機打掃程序來進行打掃。通過安裝在房間天花板上的視覺系統,Samsung的機器人能知道哪些地方需要打掃,因而更加智能化,使用者可以根據自身的作息時間來預先設定機器人的工作時間。這樣,在家裡沒人的時候,機器人可以被設定開始自動清潔工作,當你回到家的時候,家裡的地板是乾乾凈凈的。
參考價格:3000美元
德國RC3000智能清潔機器人
功能:號稱世界上第一個智能清潔機器人,扁平的設計使其能夠清潔床、沙發、茶幾等傢具的下部位置。它會隨機移動,遇到障礙物時,可自動改變一個角度,繼續行走。通過感測器對於污漬的判斷,它會在自己「認為」比較臟的地方來回清掃。在遇到樓梯與台階時,還能自動避開,不會「摔跤」。
參考價格:18000元左右
iRobot的Roomba
功能:可以自己計算所需的清潔時間,機器人可以知道被卡住,並記住路線。機器人一次可以清潔多個房間,會自動檢測地面臟污度,並實施重點清潔,隨機配備的紅外線牆可規定工作空間,專利設計的機器人仿生刷頭,甚至可以將地毯和牆角的垃圾灰塵掃除。機器人可以自動判斷地面類型,適合各種地板、地毯、人造革等地面。工作中可以探測到樓梯,可避免跌落損壞,可以連續工作120分鍾,清潔3-4個房間,快速充電,只要3個小時。
參考價格:200美元
松下吸塵機器人
功能:能避開桌子、衣櫃、沙發等房間里的障礙物,依靠安裝在側面的兩個輪子自動行走,並使用內置吸塵器收拾垃圾。其功能充分考慮到家中可能存在的不利於機器人行走的因素,如可以避免因地毯花紋影響而偏離方向、在台階等落差較大的障礙物前自動停下以防摔倒等。同時還可以通過吸塵部位安裝的感測器來探測垃圾,發現垃圾後會自動放慢行走速度、加大吸力。
伊萊克斯「三葉蟲」吸塵機器人
功能:它具備在復雜多變的家居環境下工作的能力。吸塵器使用超聲波探測障礙物,可以在房間中行走最佳路線。吸塵器通過超聲波躲避桌椅等障礙物,超聲波系統幫助它測量房間的尺寸,但使用者須在房間和樓梯盡頭貼上磁條,以阻止機器人前進。據悉,伊萊克斯公司是第一個把吸塵機器人投入批量生產的廠商。
參考價格:999英鎊
『肆』 用機器人3d治療三叉神經痛得多少錢
目前治療三叉神經痛最先進的外科手術叫作顯微血管減壓術,也是唯一可以根治三叉神經痛的首選方式。手術費用和住院費用在5萬左右,具體還有根據患者自身情況,建議去公立三甲醫院神經外科接受治療。
『伍』 首台全能掃拖機器人,還能這樣玩科沃斯地寶X1 OMNI體驗
9月15日,在iPhone 13發布會的同一天,科沃斯於「多維進化」新品發布會上推出了行業第一台全能的掃拖機器人DEEBOT X1 OMNI、全新的AI智能語音助手YIKO、多功能空氣凈化機器人沁寶Z1等多款新品。
科沃斯地寶X1 OMNI售價5999元, 其賣點太多,在升級到5000Pa吸力、引入全新的拖地系統之外,我們集中講一下全自動多功能的基站、用上無人駕駛技術的AIVI 3D、掃地機器人上出現的真·語音助手。
像2/3D戶型圖切換、多Wi-Fi自動切換、5200mAh電池、實時雙向語音和視頻之類的就不細說了。
因為加入了全自動多功能基站,科沃斯地寶X1 OMNI的包裝高度就超過60cm。配合18.7kg的裸重,新機開箱的過程中,腦海只有一句話:這5999不虧。
掃地機器人本體和配件和往常一樣封裝在一起,出廠配件包括邊刷、可水洗拖布、拖布支架。
科沃斯地寶X1 OMNI改用了全新的外觀ID,由丹麥設計公司Jacob Jensen Design負責,帶有極為鮮明的北歐極簡主義風格,專業點叫「雅各布延森」,是北歐B&O同款設計,可以和高端家居裝修完美搭配。
新設計讓科沃斯地寶X1 OMNI成為市面上外觀最高端的掃地機器人。而它的面蓋,竟然是磁吸的,第一次看到真是驚到了,不知道後期會不會有其他顏色和形狀,甚至是聯名款的面蓋?
科沃斯地寶X1 OMNI底面邊緣有6個下視感測器,萬向輪左邊是有專門的地毯感測器。整個底面最明顯的變化,是後側的兩個拖布支架開孔,邊緣的弧是類似滑鼠墊腳的潤滑材料,中間幾個開孔是用於潤濕拖布的出水孔。
而科沃斯地寶X1 OMNI背面多了與基站連接用的自動集塵口和水箱注水口,因為底部空間要給拖地功能,充電介面設計在了背面上方。
科沃斯地寶X1 OMNI的輪胎也做了改進,緩沖距離更長,穿越小門檻時會更加從容,在不平整的地板上,姿態也會更平穩一些。
有一說一,丹麥Jacob Jensen Design的設計費沒白花。增加自動集塵、水箱注水口、拖布支架等若幹部件之後,科沃斯地寶X1 OMNI依然保持簡單優雅的外觀,像磁吸面蓋、磁吸拖布架、高位電極等設計都是很妙的點睛之筆。
科沃斯最近3代產品的吸力,從1500Pa漲到3000Pa,再漲到X1家族的5000Pa。這不能叫打通任督二脈,這屬於打穿任督二脈了。
5000Pa吸力,已經無視灰塵或土壤顆粒,甚至螺絲頭都能做到「路過不留痕」。科沃斯地寶X1 OMNI這5000Pa吸力,甚至可以用來吸附陽台戶外木地板縫隙,一直清理不到的垃圾和灰塵都能搞出來,爽!
全副武裝,完全狀態的科沃斯地寶X1 OMNI
地寶X1 OMNI這一代改為了雙旋轉拖布,造型會讓人聯想起洗車間的大型設備,其在原理和效率上就比傳統的單片式拖布要強很多。每分鍾180轉,配上掃地機器人的自動加壓,醬油、茶包、咖啡、可樂,各種老水跡都不在話下。
修改後的拖布支架的設計,是科沃斯地寶X1 OMNI身上最優雅的部分之一。魔術貼+磁吸,魔術貼固定拖布,磁吸連接掃地機器人並自動觸發科沃斯地寶X1 OMNI的掃拖一體模式,干凈方便,簡單舒適。
全自動多功能基站的開箱就是一個大受震撼的過程,基站三維430x448x578mm,類似微縮型的餐邊櫃大小,但裡面集成了自動回洗拖布、基站自清潔、機身補水、集塵、銀離子除菌功能,甚至還能熱風烘乾拖布。
基站頂上的操作面板,有「清潔槽加水/抽水,主機啟動/暫停、主機召回/退出」觸控按鈕,你甚至都不用彎腰就能操控科沃斯地寶X1 OMNI,舒服!
因為頂面完全做平,高度也合適,把基站放在沙發邊上當小茶幾正合適,平時手機放上面充電或者擱兩本書,毫無違和感。
清水箱和污水箱用顏色區分用途,且只有凈水箱有水龍頭膠塞。兩個水箱分別有用於提示換水的「水位過高和水位過低」的門閥結構。水槽之間,科沃斯還不忘做個清潔劑和伸縮清潔刷的收納盒。
水箱容積4L,實測能清洗拖布大概40到50次左右。測試戶型是60平左右,科沃斯地寶X1 OMNI大概3到4天會提示換水。系統提供了間隔10分鍾、15分鍾和25分鍾的三個拖布回洗的檔位。除非是經歷了多人聚會,否則日常使用選25分鍾足矣。
水箱之下,是按鍵彈出式的集塵倉。集塵袋容積2.5L,官標正常使用可以月拋,帶鎖塵滑塊。從使用到換塵袋,全程到不會碰到灰塵,awesome,這才是好文明。
基站的背面銘牌下方,是銀離子除菌模塊(模塊在官方實驗中有99.9%的除菌率),凈水箱的水,會先經過銀離子除菌模塊才加註到到地寶X1 OMNI,而且模塊還是可更換的,環保。
科沃斯地寶X1 OMNI技術含量最高的部分,依然前方的結構光和視覺識別模塊,以及頂上的TrueMapping激光掃描模塊。正面從左到右是攝像頭工作指示燈、TrueDetect 3D結構光感測器、AIVI視覺識別感測器。
除了全自動的多功能基站,拯救了萬千懶人用戶之外。科沃斯這一代做了類似無人駕駛 汽車 的視覺識別方案,讓地寶X1 OMNI變成了「視覺識別+激光」方案的掃地機器人。
科沃斯地寶X1 OMNI用的是無人駕駛 汽車 上同款的邊緣人工智慧計算平台,搭載的旭日3 AI晶元在2.5W功耗下,可以做到416FPS的AI性能,等效算力達到5TOPS。這是什麼概念?這恰巧是蘋果A12的AI算力水平,而當年集成寒武紀AI晶元的麒麟980也只有3.84TOPS。
科沃斯在掃地機器人上用了滿足車規級L2+輔助駕駛計算需求的計算平台,簡直就是降維打擊,讓科沃斯地寶X1 OMNI可以提供16倍於前代的算力,宣稱單幀准確度提升20%,速度提升20倍,可以識別15種物體類別。除了晶元,科沃斯還高了自研的RGB-D彩色-深度感測器(最出名的例子是微軟Kinect)。
科沃斯從技術和命名上,把自家的TrueDetect 3D的深度和AIVI視覺檢測,融合成了「AIVI 3D」。在前兩代的T8和T9系列上,科沃斯已經是掃地機器人避障最強的廠商,T9就已經能根據物體類型控制避障和圍繞的距離,科沃斯地寶X1 OMNI上的AIVI 3D頗有晉級去其他賽道玩的意味。
使用中,科沃斯地寶X1 OMNI的地圖構建方式已經和以前不同了。科沃斯地寶X1 OMNI現在只需要在目標區域中間走一段路,無需進行邊緣探路,就已經能完成快速建圖。在3米 x 6米的測試空間中,科沃斯地寶X1 OMNI幾十秒就完成建圖。這里限制建圖速度的,其實是科沃斯地寶X1 OMNI的運動速度,而不是感測器和AI晶元的性能了。
要不是親身用過,根本不知道AI晶元還能幫忙做這么多幕後工作,X1 OMNI已經很大程度上脫離了大眾對於掃地機器人的傳統認知了。
科沃斯地寶X1 OMNI的dToF激光雷達感測器上,集成了3個麥克風,通過「OK,YIKO」喚醒,實測「廣普」和「塑料英語」都能正常識別。
其實際語音體驗和常見智能音箱無異,5米外正常音量也能喚醒、支持打斷喚醒(其在回復時可以打斷對話),接入的是網路智能雲的庫,問天氣、地標規格、簡單的十萬個為什麼都OK。Surprise!掃地機器人里竟然會有個真正的語音助手。
YIKO語音助手更實際的用途,其實是用語音操作解放雙手和app。科沃斯地寶X1 OMNI能用語音助手查詢/修改清潔模式、吸力/水量檔位、區域控制等幾乎所有app上有的功能,而且能聽懂「快速建圖、去掃一下卧室」等自然語句,體驗提升立竿見影,比嘴炮都不利索的Siri要實用多了:
在語音操作時,才能體會到「餅型哈士奇」終於配得起「機器人」這三個字了。掃地機器人突然進化這么多,我都懷疑自己是不是穿越了?中間是不是錯過了幾款迭代產品?
在T8和T9打好建圖、避障、拖地的基礎之後,科沃斯把地寶X1 OMNI的目標提升到全自動化和智能化。
通過全自動多功能基站和新拖地系統的引入,科沃斯地寶X1 OMNI做到真正的掃拖一體之外,只需要每隔幾天換水、每個月換集塵袋,用戶無需彎腰去操作和維護掃地機器人的本體,已接近無接觸式的全自動化。
而智能化這邊,更是把拋離同行1.5條長安街。讓掃地機器人搭載L2+級的無人駕駛 汽車 晶元,更強的AIVI 3D,大幅提升建圖速度,讓科沃斯地寶X1 OMNI能自己分辨房間、傢具、地板和障礙物的類型,自動匹配不同的清潔方案,甚至還能自己找寵物……
同樣不可思議的是,科沃斯竟然給X1配上完整的智能音箱功能,而且結合語音語義分析、視覺識別、定位技術之後,能通過自然語句對掃地機器人進行精準操作,提供彷如《鋼鐵俠》賈維斯的人工智慧體驗。
從3000Pa躍升到5000Pa的科沃斯史上最強的吸力、更先進的雙旋轉拖布、自動拖布清洗和烘乾這些升級點,任意選一個放到其他廠商那邊,都會作為主要賣點力推的。但在科沃斯地寶X1 OMNI上,更強的掃、拖功能都只是服務於自動化和智能化的「配角」,不但沒顯得低調,甚至還有點凡爾賽。
科沃斯地寶X1 OMNI就像《三體》里,歌者文明扔出的二向箔。產品的升級態度已經有點像蘋果的A15:段位不同了,吊打你,和你沒關系。
『陸』 小米雷軍展示了全尺寸人形仿生機器人CyberOne,它能夠做什麼
小米雷軍展示了全尺寸人形仿生機器人CyberOne,它能夠做以下的事情。
所謂的拖動示教學習,就好比家長手把手地教你如何使用筷子。
這個動作在人類看來很容易,但在機械上卻是非常困難的。不但需要有“活體”的機器人可以自由活動,而反向驅動方式則需要更高的關鍵部件的電機性能,這也是小米團隊最初要求的關鍵指標。
另外,它還需要在感應器和軟體上記住所有的動作,然後反復地執行,這是工程師們想要的,讓他們可以模仿人類的學習。這種綜合解決問題的能力是機器人領域公認的終極方向,同時也是技術難度最大、而且需要投入最多的。
但小米的這次機器人發布會已經走在了中國眾多企業的前列。
『柒』 送餐機器人有攝像頭嗎
送餐機器人有攝像頭。
送餐機器人需要安裝攝像頭,因為送餐機器人需要具備的基本功能是可以按路線移動,到達指定目的地點,同時要承載一定重量。尤其在餐廳飯館這些人多密集,人員走動多,活動空間小的環境,對於機器人的避障功能和自主定位的精準度都會較高。
因此在送餐機器人硬體模塊中往往需要加入各種外部感測器以實現快速准確的位置感知和自動避障功能。而攝像頭即屬於感知外部環境的感測器,是機器人必備的。
延伸介紹
送餐機器人硬體模塊中加入的各種外部感測器,例如3D深度攝像頭,激光雷達,超聲波感測器都可支持避障功能。
送餐機器人的激光雷達因為具有良好的指向性和高度聚焦性,還能實現導航和定位功能,可以對周邊的物件進行定位,包括確定障礙物大小,障礙物和機器人的距離等,這些在送餐機器人和配送機器人中都是不可缺少的功能部件。
『捌』 3D感測器是干什麼用的
獲取三維影像的。
所謂3D感測器,實際上就是可以同時在兩個方向上同時測量的感測器。獲得的數據經計算機處理後可以轉為三維坐標。