香港科技大學(xué)的研究員Shaojie Shen和Li Chuhao 公布了一項(xiàng)新穎而有趣的創(chuàng)新技術(shù)，該技術(shù)使用全息增強(qiáng)現(xiàn)實(shí)硬件生成實(shí)時(shí)3D地形圖 ，并使無人機(jī)飛行員可以簡(jiǎn)單地指出已在任何平面上方可視化的目標(biāo)，virtualrealitytimes.com報(bào)道。
全息界面使用多種技術(shù)來進(jìn)行渲染。為了顯示，Microsoft HoloLens耳機(jī)以彩色體素貼圖的形式生成AR內(nèi)容，可以從任何角度查看。它通過自主無人機(jī)的深度攝像頭以及實(shí)時(shí)位置數(shù)據(jù)的射線廣播來進(jìn)行中繼。該系統(tǒng)為操作員提供了實(shí)時(shí)，高度空間感的環(huán)境海拔高度和深度，并且使無人機(jī)可以很容易地從第三人稱視角看到并重新定位。
HoloLens頭戴式耳機(jī)將命令反饋給無人機(jī)，并通過將佩戴者的手勢(shì)和注視變?yōu)轭愃泣c(diǎn)擊的控件來確定其在全息圖內(nèi)的下一個(gè)目標(biāo)。隨后，自主無人機(jī)可以在移動(dòng)3D地圖的同時(shí)更新到新位置。
研究人員發(fā)布了一個(gè)演示視頻，看起來更像是科幻電影中的東西，尤其是全息方面。但是，由于帶寬限制，無人機(jī)只能向增強(qiáng)現(xiàn)實(shí)界面提供3D地圖數(shù)據(jù)，而不能中繼隨附的第一手視頻。
在部署全息無人機(jī)控制系統(tǒng)之前，研究團(tuán)隊(duì)還有一段路要走。無人機(jī)的數(shù)據(jù)最初是在室內(nèi)測(cè)試空間中使用Wi-Fi共享的，但對(duì)于室外應(yīng)用，一旦5G網(wǎng)絡(luò)超出了其當(dāng)前的無人機(jī)限制階段，就有可能使用低延遲的5G蜂窩連接。
研究人員指出，第一批測(cè)試人員經(jīng)常抱怨“（AR）視野非常有限”。即將推出的HoloLens 2 AR耳機(jī)將解決此問題。盡管先前對(duì)增強(qiáng)現(xiàn)實(shí)硬件不熟悉，但第一組也需要練習(xí)以更加精通3D定位，這種情況可能會(huì)蔓延到不完善的3D UI或手勢(shì)識(shí)別中。
但是，3D地圖數(shù)據(jù)將比真人視頻具有更高的帶寬效率。每秒更新10次時(shí)，它可能僅需要272MB數(shù)據(jù)。實(shí)時(shí)視頻需要1.39GB的數(shù)據(jù)才能以每秒30幀的速度傳輸?shù)谝蝗朔Q視頻圖像。將來，該團(tuán)隊(duì)還旨在為最終用戶的利益合并兩種流類型，以幫助優(yōu)化數(shù)據(jù)以滿足網(wǎng)絡(luò)的最小帶寬水平。
盡管存在這些初期問題，但全息增強(qiáng)現(xiàn)實(shí)系統(tǒng)仍顯示出很大的潛力。除了其新穎的視覺界面外，它還使您只需使用簡(jiǎn)單的便攜式獨(dú)立增強(qiáng)現(xiàn)實(shí)耳機(jī)即可方便地控制遠(yuǎn)程無人機(jī)，而不必依賴于常規(guī)且功能齊全的計(jì)算機(jī)，顯示器和操縱桿。
研究人員計(jì)劃在 定于2020年10月25 日至 29日舉行的國(guó)際智能機(jī)器人和系統(tǒng)會(huì)議上展示將AR與自動(dòng)無人機(jī)合并的“第一步” 。
?