軟件可以在虛擬現(xiàn)實(shí)中控制機(jī)器人

即使自主機(jī)器人在自己做事方面做得更好，仍然會(huì)有很多情況下人類可能需要介入并控制。由布朗大學(xué)計(jì)算機(jī)科學(xué)家開(kāi)發(fā)的新軟件使用戶能夠使用虛擬現(xiàn)實(shí)遠(yuǎn)程控制機(jī)器人，這可以幫助用戶沉浸在機(jī)器人周圍的環(huán)境中，盡管身體距離很遠(yuǎn)。

該軟件通過(guò)互聯(lián)網(wǎng)將機(jī)器人的手臂和夾具以及車載攝像頭和傳感器連接到現(xiàn)成的虛擬現(xiàn)實(shí)硬件。使用手持式控制器，用戶可以通過(guò)移動(dòng)自己的手臂來(lái)控制機(jī)器人手臂的位置，以執(zhí)行復(fù)雜的操作任務(wù)。用戶可以進(jìn)入機(jī)器人的金屬皮膚并獲得第一人稱環(huán)境視圖，或者可以在機(jī)器人周圍走動(dòng)以第三人稱測(cè)量場(chǎng)景 - 無(wú)論哪個(gè)更容易完成手頭的任務(wù)。在機(jī)器人和虛擬現(xiàn)實(shí)單元之間傳輸?shù)臄?shù)據(jù)足夠緊湊，可以通過(guò)互聯(lián)網(wǎng)以最小的延遲發(fā)送，使用戶可以遠(yuǎn)距離引導(dǎo)機(jī)器人。

“我們認(rèn)為這可能對(duì)我們需要做一些靈巧操作的任何情況都有用，但人們不應(yīng)該這樣做，”布朗的研究生大衛(wèi)惠特尼說(shuō)，他是該系統(tǒng)開(kāi)發(fā)的共同領(lǐng)導(dǎo)者。“我們特別想到的三個(gè)例子是拆除炸彈，在受損的核設(shè)施內(nèi)工作或在國(guó)際空間站上操作機(jī)器人手臂。”

惠特尼與布朗的本科學(xué)生埃里克羅森共同領(lǐng)導(dǎo)了這項(xiàng)工作。兩人都在Brown的人類到機(jī)器人實(shí)驗(yàn)室工作，該實(shí)驗(yàn)室由計(jì)算機(jī)科學(xué)助理教授Stefanie Tellex領(lǐng)導(dǎo)。本周在智利機(jī)器人研究國(guó)際研討會(huì)上發(fā)表了一篇描述該系統(tǒng)并評(píng)估其可用性的論文。

觀看使用中的系統(tǒng)視頻：https：//www.youtube.com/watch?v = e3jUbQKciC4

即使是高度復(fù)雜的機(jī)器人也經(jīng)常使用一些相當(dāng)簡(jiǎn)單的手段進(jìn)行遠(yuǎn)程控制 - 通常是鍵盤(pán)或類似視頻游戲控制器和二維顯示器。惠特尼和羅森說(shuō)，這對(duì)于駕駛輪式機(jī)器人或駕駛無(wú)人機(jī)等任務(wù)很有效，但對(duì)于更復(fù)雜的任務(wù)可能會(huì)有問(wèn)題。

“對(duì)于像操作具有很多自由度的機(jī)器人手臂這樣的東西，鍵盤(pán)和游戲控制器并不是非常直觀，”惠特尼說(shuō)。將三維環(huán)境映射到二維屏幕上可能會(huì)限制人們對(duì)機(jī)器人居住空間的感知。

Whitney和Rosen認(rèn)為虛擬現(xiàn)實(shí)可能提供更直觀和沉浸式的選擇。他們的軟件將Baxter研究機(jī)器人與HTC Vive連接在一起，HTC Vive是一個(gè)帶有手動(dòng)控制器的虛擬現(xiàn)實(shí)系統(tǒng)。該軟件使用機(jī)器人的傳感器創(chuàng)建機(jī)器人本身及其周圍環(huán)境的點(diǎn)云模型，并將其傳輸?shù)竭B接到Vive的遠(yuǎn)程計(jì)算機(jī)。用戶可以看到耳機(jī)中的空間，并在其內(nèi)部虛擬走動(dòng)。同時(shí)，用戶可以從機(jī)器人的手腕攝像頭看到實(shí)時(shí)高清視頻，以獲取要執(zhí)行的操作任務(wù)的詳細(xì)視圖。

對(duì)于他們的研究，研究人員表明，他們可以為用戶創(chuàng)造身臨其境的體驗(yàn)，同時(shí)保持?jǐn)?shù)據(jù)負(fù)載足夠小，以便可以通過(guò)互聯(lián)網(wǎng)傳輸，而不會(huì)產(chǎn)生分散注意力的延遲。例如，位于羅得島州普羅維登斯的用戶能夠使用位于馬薩諸塞州劍橋市41英里外的機(jī)器人執(zhí)行操作任務(wù) - 將塑料杯堆疊在另一個(gè)內(nèi)部。

在其他研究中，與傳統(tǒng)的鍵盤(pán)和顯示器界面相比，18位新手用戶能夠在虛擬現(xiàn)實(shí)中完成杯子堆疊任務(wù)66%的速度。用戶還報(bào)告說(shuō)更多地享受虛擬界面，他們發(fā)現(xiàn)與鍵盤(pán)和顯示器相比，操作任務(wù)要求更低。

羅森認(rèn)為，執(zhí)行任務(wù)的速度提高是由于虛擬現(xiàn)實(shí)界面的直觀性。

“在虛擬現(xiàn)實(shí)中，人們可以像移動(dòng)他們的身體一樣移動(dòng)機(jī)器人，因此他們可以在不考慮它的情況下完成它，”羅森說(shuō)。“這讓人們可以專注于手頭的問(wèn)題或任務(wù)，而不會(huì)增加認(rèn)知負(fù)荷，試圖找出如何移動(dòng)機(jī)器人。”

研究人員計(jì)劃繼續(xù)開(kāi)發(fā)該系統(tǒng)。第一次迭代主要關(guān)注一個(gè)相當(dāng)簡(jiǎn)單的操作任務(wù)，其中機(jī)器人在環(huán)境中是靜止的。他們想嘗試更復(fù)雜的任務(wù)，然后將操作與導(dǎo)航結(jié)合起來(lái)。他們還想嘗試混合自治，其中機(jī)器人自己完成一些任務(wù)，用戶接管其他任務(wù)。

研究人員已經(jīng)在網(wǎng)上免費(fèi)提供該系統(tǒng)(github.com/h2r/ros_reality)。他們希望其他機(jī)器人研究人員可以試一試并將其帶入自己的新方向。