"我們采用USB攝像頭、PXI硬件、LabVIEW和NI視覺(jué)助手開(kāi)發(fā)了一個(gè)手勢(shì)識(shí)別系統(tǒng)。"
- Yang Hao, Tsinghua University
The Challenge:
開(kāi)發(fā)一個(gè)互動(dòng)360度立體三維影像系統(tǒng)，可呈現(xiàn)視覺(jué)模型與真實(shí)物體，觀看者無(wú)需使用眼鏡，價(jià)格也十分合理。
The Solution:
開(kāi)發(fā)擁有如下3個(gè)組成部分的三維顯示系統(tǒng)： 收集、處理以及三維顯示。
Figure 1. 三維顯示系統(tǒng)
3D電影增強(qiáng)了深度知覺(jué)的光學(xué)幻象，但必須使用眼鏡才能觀看，而且電影院內(nèi)的觀看角度有限。 立體顯示系統(tǒng)或3D電視機(jī)大多價(jià)格昂貴，沒(méi)有交互功能。 這也意味著，創(chuàng)造一個(gè)無(wú)需使用眼鏡、價(jià)格適中且能呈現(xiàn)視覺(jué)模型與真實(shí)物體三維圖像的互動(dòng)360度立體顯示系統(tǒng)，是一項(xiàng)巨大的挑戰(zhàn)。
我們的系統(tǒng)包括三種類(lèi)型的采集功能，包括建立視覺(jué)模型、NI 1764智能相機(jī)和轉(zhuǎn)臺(tái)非實(shí)時(shí)采集真實(shí)物體、以及4個(gè)USB攝像頭捕捉真實(shí)物體的實(shí)時(shí)圖像。
虛擬模型
為了獲取虛擬模型，我們采用了NI LabVIEW軟件來(lái)讀取虛擬三維模型文件并設(shè)定參數(shù)值 ，如圖2.2所示，我們將不同的方向采集到的4張模型圖組合在一起，形成一張圖片。 又如圖2.1和圖2.3所示，新創(chuàng)建的圖像被投射到一個(gè)倒置的金字塔光學(xué)結(jié)構(gòu)上。
Figure 2. 成像原理
Figure 3. 虛擬模型顯示
Figure 4. 虛擬模型三維顯示項(xiàng)目
手勢(shì)識(shí)別
我們采用USB攝像頭、PXI硬件、LabVIEW和NI視覺(jué)助手開(kāi)發(fā)了一個(gè)手勢(shì)識(shí)別系統(tǒng)。 系統(tǒng)捕捉一只手的圖像序列，以此判斷它的移動(dòng)，我們可以采用此信息來(lái)控制三維顯示。 舉例來(lái)說(shuō)，如圖6所示，單手滑動(dòng)可以控制圖標(biāo)的旋轉(zhuǎn)，兩只手則可以控制圖標(biāo)的縮放。
Figure 5. 手勢(shì)識(shí)別
Figure 6. 采用視覺(jué)助手查找圖片中的對(duì)象
Figure 7. 手勢(shì)識(shí)別項(xiàng)目
非實(shí)時(shí)采集
非實(shí)時(shí)采集系統(tǒng)依靠于一個(gè)NI 1764智能相機(jī)和一個(gè)PXI控制的轉(zhuǎn)臺(tái)。 將物體放在轉(zhuǎn)臺(tái)上，并在其旋轉(zhuǎn)時(shí)拍攝圖像，我們可以獲取各個(gè)方向的物體信息，然后選出我們想要用來(lái)顯示三維圖像的四張圖片。
Figure 8. 非實(shí)時(shí)采集系統(tǒng)的硬件
Figure 9. 圖像采集
Figure 10. 真實(shí)物體三維顯示
Figure 11. 非實(shí)時(shí)采集系統(tǒng)項(xiàng)目
實(shí)時(shí)采集
我們?cè)谖矬w周?chē)胖弥?個(gè)USB攝像頭，使用PXI和NI圖像采集軟件采集四個(gè)不同方向的實(shí)時(shí)圖像。 然后我們就對(duì)這些圖像進(jìn)行處理，以光學(xué)結(jié)構(gòu)顯示三維圖像。
Figure 12. 實(shí)時(shí)采集系統(tǒng)界面
Figure 13. 實(shí)時(shí)采集系統(tǒng)硬件
Figure 14. 實(shí)時(shí)采集系統(tǒng)硬件
|
