本文針對智能制造領(lǐng)域機器人視覺感知中的三維視覺成像技術(shù)進行綜述,系統(tǒng)地總結(jié)了一些有代表性的機器人視覺成像方法的特點和實際應用中的局限性,內(nèi)容涉及飛行時間三維成像、點線掃描三維成像、色散共焦成像、結(jié)構(gòu)光投影三維成像、光學偏折成像、單目與多目立體視覺三維成像和光場成像等。繪制了各種視覺成像的圖譜,并探討了機器人手眼系統(tǒng)最佳三維成像方法。

在工業(yè)4.0時代，國家智能制造高速發(fā)展，傳統(tǒng)的編程來執(zhí)行某一動作的機器人已經(jīng)難以滿足現(xiàn)今的自動化需求。在很多應用場景下，需要為工業(yè)機器人安裝一雙眼睛，即機器人視覺成像感知系統(tǒng)，使機器人具備識別、分析、處理等更高級的功能，可以正確對目標場景的狀態(tài)進行判斷與分析，做到靈活地自行解決發(fā)生的問題。



一、機器視覺系統(tǒng)組成

典型的機器視覺系統(tǒng)可以分為：圖像采集部分、圖像處理部分和運動控制部分�；�于PC的視覺系統(tǒng)具體由如圖1所示的幾部分組成：

圖1 機器視覺系統(tǒng)組成

①工業(yè)相機與工業(yè)鏡頭——這部分屬于成像器件，通常的視覺系統(tǒng)都是由一套或者多套這樣的成像系統(tǒng)組成，如果有多路相機，可能由圖像卡切換來獲取圖像數(shù)據(jù)，也可能由同步控制同時獲取多相機通道的數(shù)據(jù)。根據(jù)應用的需要相機可能是輸出標準的單色視頻（RS-170/CCIR）、復合信號（Y/C）、RGB信號，也可能是非標準的逐行掃描信號、線掃描信號、高分辨率信號等。

②光源——作為輔助成像器件，對成像質(zhì)量的好壞往往能起到至關(guān)重要的作用，各種形狀的LED燈、高頻熒光燈、光纖鹵素燈等都容易得到。

③傳感器——通常以光纖開關(guān)、接近開關(guān)等的形式出現(xiàn)，用以判斷被測對象的位置和狀態(tài)，告知圖像傳感器進行正確的采集。

④圖像采集卡——通常以插入卡的形式安裝在PC中，圖像采集卡的主要工作是把相機輸出的圖像輸送給電腦主機。它將來自相機的模擬或數(shù)字信號轉(zhuǎn)換成一定格式的圖像數(shù)據(jù)流，同時它可以控制相機的一些參數(shù)，比如觸發(fā)信號，曝光/積分時間，快門速度等。圖像采集卡通常有不同的硬件結(jié)構(gòu)以針對不同類型的相機，同時也有不同的總線形式，比如PCI、PCI64、Compact PCI，PC104，ISA等。

⑤PC平臺——電腦是一個PC式視覺系統(tǒng)的核心，在這里完成圖像數(shù)據(jù)的處理和絕大部分的控制邏輯，對于檢測類型的應用，通常都需要較高頻率的CPU，這樣可以減少處理的時間。同時，為了減少工業(yè)現(xiàn)場電磁、振動、灰塵、溫度等的干擾，必須選擇工業(yè)級的電腦。

⑥視覺處理軟件——機器視覺軟件用來完成輸入的圖像數(shù)據(jù)的處理，然后通過一定的運算得出結(jié)果，這個輸出的結(jié)果可能是PASS/FAIL信號、坐標位置、字符串等。常見的機器視覺軟件以C/C++圖像庫，ActiveX控件，圖形式編程環(huán)境等形式出現(xiàn)，可以是專用功能的（比如僅僅用于LCD檢測，BGA檢測，模版對準等），也可以是通用目的的（包括定位、測量、條碼/字符識別、斑點檢測等）。

⑦控制單元（包含I/O、運動控制、電平轉(zhuǎn)化單元等）——一旦視覺軟件完成圖像分析（除非僅用于監(jiān)控），緊接著需要和外部單元進行通信以完成對生產(chǎn)過程的控制。簡單的控制可以直接利用部分圖像采集卡自帶的I/O，相對復雜的邏輯/運動控制則必須依靠附加可編程邏輯控制單元/運動控制卡來實現(xiàn)必要的動作。

二、機器人視覺成像的結(jié)構(gòu)形式


機器人視覺系統(tǒng)的主要功能是模擬人眼視覺成像與人腦智能判斷和決策功能，采用圖像傳感技術(shù)獲取目標對象的信息，通過對圖像信息提取、處理并理解，最終用于機器人系統(tǒng)對目標實施測量、檢測、識別與定位等任務，或用于機械人自身的伺服控制。

在工業(yè)應用領(lǐng)域，最具有代表性的機器人視覺系統(tǒng)就是機器人手眼系統(tǒng)。根據(jù)成像單元安裝方式不同，機器人手眼系統(tǒng)分為兩大類：固定成像眼看手系統(tǒng)（Eye-to-Hand）與隨動成像眼在手系統(tǒng)(Eye-in-Hand, or Hand-eye)，如下圖2所示。



圖2 兩種機器人手眼系統(tǒng)的結(jié)構(gòu)形式

a)眼在手機器人系統(tǒng)，（b）眼看手機器人系統(tǒng)

有些應用場合，為了更好地發(fā)揮機器人手眼系統(tǒng)的性能，充分利用固定成像眼看手系統(tǒng)全局視場和隨動成像眼在手系統(tǒng)局部視場高分辨率和高精度的性能，可采用兩者混合協(xié)同模式，如用固定成像眼看手系統(tǒng)負責機器人的定位，使用隨動成像眼在手系統(tǒng)負責機器人的定向；或者利用固定成像眼看手系統(tǒng)估計機器人相對目標的方位，利用隨動成像眼在手系統(tǒng)負責目標姿態(tài)的高精度估計等，如圖3所示。



圖 3 機器人協(xié)同視覺系統(tǒng)原理圖

三、機器人視覺三維成像方法

3D視覺成像可分為光學和非光學成像方法。目前應用最多的還是光學方法，其包括：飛行時間法、激光掃描法、激光投影成像、立體視覺成像等。


飛行時間3D成像

飛行時間（TOF）相機每個像素利用光飛行的時間差來獲取物體的深度。目前已經(jīng)有飛行時間面陣相機商業(yè)化產(chǎn)品，如Mesa Imaging AG SR-4000， PMD Technologies Cam Cube 3.0，微軟Kinect V2等。

TOF成像可用于大視野、遠距離、低精度、低成本的3D圖像采集，其特點是：檢測速度快、視野范圍較大、工作距離遠、價格便宜，但精度低，易受環(huán)境光的干擾。例如Camcueb3.0具有可靠的深度精度（<3mm @ 4m)，每個像素對應一個3D數(shù)據(jù)。


掃描3D成像

掃描3D成像方法可分為掃描測距、主動三角法、色散共焦法。掃描測距是利用一條準直光束通過1D測距掃描整個目標表面實現(xiàn)3D測量的。主動三角法是基于三角測量原理，利用準直光束、一條或多條平面光束掃描目標表面完成3D成像，如圖4所示。色散共焦通過分析反射光束的光譜，獲得對應光譜光的聚集位置， 如圖5所示。



圖 4 線結(jié)構(gòu)光掃描三維點云生成示意圖



圖 5 色散共焦掃描三維成像示意圖

掃描3D成像的最大優(yōu)點是測量精度高。其中色散共焦法還有其它方法難以比擬的優(yōu)點，如非常適合測量透明物體、高反與光滑表面的物體。但缺點是速度慢、效率低；用于機械手臂末端時，可實現(xiàn)高精度3D測量，但不適合機械手臂實時3D引導與定位，因此應用場合有限。另外主動三角掃描在測量復雜結(jié)構(gòu)面形時容易產(chǎn)生遮擋，需要通過合理規(guī)劃末端路徑與姿態(tài)來解決。


結(jié)構(gòu)光投影3D成像

結(jié)構(gòu)光投影三維成像目前是機器人3D視覺感知的主要方式。結(jié)構(gòu)光成像系統(tǒng)是由若干個投影儀和相機組成，常用的結(jié)構(gòu)形式有：單投影儀-單相機、單投影儀-雙相機、單投影儀-多相機、單相機-雙投影儀和單相機-多投影儀等。結(jié)構(gòu)光投影三維成像的基本工作原理是：投影儀向目標物體投射特定的結(jié)構(gòu)光照明圖案，由相機攝取被目標調(diào)制后的圖像，再通過圖像處理和視覺模型求出目標物體的三維信息。

根據(jù)結(jié)構(gòu)光投影次數(shù)劃分，結(jié)構(gòu)光投影三維成像可以分成單次投影3D和多次投影3D方法。單次投影3D主要采用空間復用編碼和頻率復用編碼形式實現(xiàn)。由于單次投影曝光和成像時間短，抗振動性能好，適合運動物體的3D成像，如機器人實時運動引導，手眼機器人對生產(chǎn)線上連續(xù)運動產(chǎn)品進行抓取等操作。但是深度垂直方向上的空間分辨率受到目標視場、鏡頭倍率和相機像素等因素的影響，大視場情況下不容易提升。

多次投影3D具有較高空間分辨率，能有效地解決表面斜率階躍變化和空洞等問題。不足之處在于：

1）對于連續(xù)相移投影方法，3D重構(gòu)的精度容易受到投影儀、相機的非線性和環(huán)境變化的影響；

2）抗振動性能差，不合適測量連續(xù)運動的物體；

3）在Eye-in-Hand視覺導引系統(tǒng)中，機械臂不易在連續(xù)運動時進行3D成像和引導；

4）實時性差，不過隨著投影儀投射頻率和CCD/CMOS圖像傳感器采集速度的提高，多次投影方法實時3D成像的性能也在逐步改進。

對于粗糙表面，結(jié)構(gòu)光可以直接投射到物體表面進行視覺成像；但對于大反射率光滑表面和鏡面物體3D成像，結(jié)構(gòu)光投影不能直接投射到被成像表面，需要借助鏡面偏折法。

偏折法對于復雜面型的測量，通常需要借助多次投影方法，因此具有多次投影方法相同的缺點。另外偏折法對曲率變化大的表面測量有一定的難度，因為條紋偏折后反射角的變化率是被測表面曲率變化率的2倍，因此對被測物體表面的曲率變化比較敏感，很容易產(chǎn)生遮擋難題。


立體視覺3D成像

立體視覺字面意思是用一只眼睛或兩只眼睛感知三維結(jié)構(gòu)，一般情況下是指從不同的視點獲取兩幅或多幅圖像重構(gòu)目標物體3D結(jié)構(gòu)或深度信息，如圖6所示。



圖6 立體視覺三維成像示意圖

立體視覺可分為被動和主動兩種形式。被動視覺成像只依賴相機接收到的由目標場景產(chǎn)生的光輻射信息，該輻射信息通過2D圖像像素灰度值進行度量。被動視覺常用于特定條件下的3D成像場合，如室內(nèi)、目標場景光輻射動態(tài)范圍不大和無遮擋；場景表面非光滑，且紋理清晰，容易通過立體匹配尋找匹配點；或者像大多數(shù)工業(yè)零部件，幾何規(guī)則明顯，控制點比較容易確定等。

主動立體視覺是利用光調(diào)制（如編碼結(jié)構(gòu)光、激光調(diào)制等）照射目標場景，對目標場景表面的點進行編碼標記，然后對獲取的場景圖像進行解碼，以便可靠地求得圖像之間的匹配點，再通過三角法求解場景的3D結(jié)構(gòu)。主動立體視覺的優(yōu)點是抗干擾性能強、對環(huán)境要求不高（如通過帶通濾波消除環(huán)境光干擾），3D測量精度、重復性和可靠性高；缺點是對于結(jié)構(gòu)復雜的場景容易產(chǎn)生遮擋問題。

基于結(jié)構(gòu)光測量技術(shù)和3D物體識別技術(shù)開發(fā)的機器人3D視覺引導系統(tǒng)，可對較大測量深度范圍內(nèi)散亂堆放的零件進行全自由的定位和拾取。相比傳統(tǒng)的2D視覺定位方式只能對固定深度零件進行識別且只能獲取零件的部分自由度的位置信息，具有更高的應用柔性和更大的檢測范圍�？蔀闄C床上下料、零件分揀、碼垛堆疊等工業(yè)問題提供有效的自動化解決方案。

機器視覺3D引導系統(tǒng)框架




3D重建和識別技術(shù)

通過自主開發(fā)的3D掃描儀可獲準確并且快速地獲取場景的點云圖像，通過3D識別算法，可實現(xiàn)在對點云圖中的多種目標物體進行識別和位姿估計。



3D重建和識別效率




多種材質(zhì)識別效果測試

得益于健壯的重建算法和識別算法，可對不同材質(zhì)的零件進行穩(wěn)定的重建和識別，即便是反光比較嚴重的鋁材料及黑色零件都能獲得較好的重建和識別效果，可適用于廣泛的工業(yè)場景。




機器人路徑規(guī)劃

并不是獲得零件的位姿信息后就能馬上進行零件的拾取，這僅僅只是第一步，要成功拾取零件還需要完成以下幾件事：



自主開發(fā)的機器人軌跡規(guī)劃算法，可輕松完成上述工作，保證機器人拾取零件過程穩(wěn)定可靠。


快速切換拾取對象

只需要四個簡單的操作即可實現(xiàn)拾取對象的快速切換，無需進行復雜的工裝、產(chǎn)線的調(diào)整。



四、性能比較

1、類似于飛行時間相機、光場相機這類的相機，可以歸類為單相機3D成像范圍，它們體積小，實時性好，適合隨動成像眼在手系統(tǒng)執(zhí)行3D測量、定位和實時引導。但是，飛行時間相機、光場相機短期內(nèi)還難以用來構(gòu)建普通的隨動成像眼在手系統(tǒng)，主要原因如下：

1）飛行時間相機空間分辨率和3D精度低，不適合高精度測量、定位與引導。

2）對于光場相機，目前商業(yè)化的工業(yè)級產(chǎn)品只有為數(shù)不多的幾家，如德國Raytrix，雖然性能較好，空間分率和精度適中，但價格貴，使用成本太高。



圖 7 隨動成像眼在手系統(tǒng)機器人3D視覺成像優(yōu)選方案

2、結(jié)構(gòu)光投影3D系統(tǒng)，精度和成本適中，有相當好的應用市場前景。它由若干個相機-投影儀組成的，如果把投影儀當作一個逆向的相機，可以認為該系統(tǒng)是一個雙目或多目3D三角測量系統(tǒng)。

3、被動立體視覺3D成像，目前在工業(yè)領(lǐng)域也得到較好應用，但應用場合有限。因為單目立體視覺實現(xiàn)有難度，雙目和多目立體視覺要求目標物體紋理或幾何特征清晰。

4、結(jié)構(gòu)光投影3D、雙目立體視覺3D都存在下列缺點：體積較大，容易產(chǎn)生遮擋。針對這個問題雖然可以增加投影儀或相機覆蓋被遮擋的區(qū)域，但會增加成像系統(tǒng)的體積，減少在Eye-in-Hand系統(tǒng)中應用的靈活性。

五、總結(jié)

雖然光學3D視覺成像測量方法種類繁多，但能夠安裝在工業(yè)機器人上，組成一種合適的隨動成像眼在手系統(tǒng)，對位置變動的目標執(zhí)行3D成像測量、引導機器人手臂準確定位和實施精準操作的方法有限。因為從工業(yè)應用的角度來說，我們更關(guān)心的是3D視覺傳感器的精度、速度、體積與重量。

鑒于機器人末端能夠承受的端載荷有限，允許傳感器占用的空間有限，傳感器在滿足成像精度的條件下，重量越輕體積越小也就越實用。所以，對于隨動成像眼在手系統(tǒng)，最佳3D成像方法是采用被動單目（單相機）3D成像方法，這樣不僅體積小、重量輕，也解決了雙目和多目多視圖遮擋難題。