本文基于諾亦騰聯(lián)合創(chuàng)始人、CTO戴若犁博士于2024年10月開源創(chuàng)新大會的主題演講修改而成，亦為2024年8月世界機(jī)器人大會期間發(fā)表的《用動作捕捉技術(shù)構(gòu)建具身智能數(shù)據(jù)工廠》一文的續(xù)篇。

數(shù)據(jù)是橫亙在具身智能規(guī)模化落地面前的一座大山。在過去的兩年里，諾亦騰深入機(jī)器人行業(yè)，在商業(yè)一線感知水溫，在與合作伙伴攜手前行的過程中發(fā)現(xiàn)了具身智能行業(yè)缺數(shù)據(jù)，缺高質(zhì)量數(shù)據(jù)的現(xiàn)狀。

以可控的成本建設(shè)高質(zhì)量、大規(guī)模數(shù)據(jù)集并以此樹立技術(shù)門檻，已逐漸成為整個行業(yè)的戰(zhàn)略共識。然而，其中真正的挑戰(zhàn)，仍未被業(yè)界充分認(rèn)識。

戴博士基于服務(wù)具身智能行業(yè)客戶的一線落地經(jīng)驗，針對具身智能數(shù)據(jù)工廠建設(shè)中有關(guān)數(shù)據(jù)采集、設(shè)備選擇、管理優(yōu)化、數(shù)據(jù)上規(guī)模等實(shí)際的難點(diǎn)與挑戰(zhàn)，分享了他的經(jīng)驗與洞察。歡迎轉(zhuǎn)載分享。

---

感謝各位。

在咱們這個領(lǐng)域，快速、高效積累大規(guī)模高質(zhì)量數(shù)據(jù)集的重要性已經(jīng)被認(rèn)可。我此前曾經(jīng)圍繞「利用動作捕捉技術(shù)建設(shè)具身智能數(shù)據(jù)工廠」這個話題分享過一些經(jīng)驗，關(guān)于動作捕捉、高精度追蹤技術(shù)在具身智能領(lǐng)域中怎么用，典型的遙操作數(shù)據(jù)采集工作流是什么樣子的，四種數(shù)據(jù)生產(chǎn)方式的特點(diǎn)和長短板都在哪里等。在那之后，諾亦騰與一些有遠(yuǎn)見有實(shí)力的機(jī)構(gòu)、公司積極展開合作，獲得了許多第一手的珍貴實(shí)踐經(jīng)驗。感謝他們的信任，也感謝他們允許我把部分「最佳實(shí)踐」信息面向行業(yè)做有限度的披露與分享。

2024年開源創(chuàng)新大會戴若犁博士演講

在這個過程中我們發(fā)現(xiàn)，有一些問題仍然是行業(yè)中的 Open Questions：數(shù)據(jù)采集的最佳實(shí)踐流程（production pipeline）應(yīng)該是什么樣子的？會遇到哪些困難？多大的數(shù)據(jù)量才足夠閉環(huán)一個相對泛化的任務(wù)？合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的比例應(yīng)該是多少？Cross-embodiment gap （跨本體的數(shù)據(jù)通用性）能不能解決？Sim2Real gap（仿真數(shù)據(jù)可用性）能不能解決？行業(yè)中的各位都在怎么干？

所以我今天的分享，主要圍繞數(shù)據(jù)采集這件事情展開，聊一聊數(shù)據(jù)采集這件事情的難度究竟在哪里。主要講三個「難點(diǎn)」：

① 數(shù)據(jù)精度與連續(xù)性、魯棒性的平衡以及解法；

②「Demo」與「量產(chǎn)」的區(qū)別，多席位采集中的各種挑戰(zhàn)；

③「1000萬條數(shù)據(jù)」的生產(chǎn)意味著什么。

我會快速地鋪展開全貌，希望能夠為大家?guī)硪恍﹩l(fā)。

講正題之前，我首先要向在座的一位嘉賓致敬，他就是 OpenCV 的創(chuàng)始人 Dr. Gary Bradski。不夸張地說，我們這個基于計算機(jī)視覺的動作捕捉與追蹤的行業(yè)的飯碗是他給的。感謝他今天專門來聽我這個 Talk。

數(shù)據(jù)精度與連續(xù)性、魯棒性
的平衡以及解法

「既要，又要，還要」

第一個難點(diǎn)在于如何滿足「既要又要還要」：既要保證一定的精度需求，又要最大程度保證數(shù)據(jù)的連續(xù)性與魯棒性，且做到多快好省。

諾亦騰動作捕捉應(yīng)用于各類機(jī)器人遙操作

諾亦騰動作捕捉應(yīng)用于各類機(jī)器人虛擬遙操作

另一方面，一個具身智能數(shù)據(jù)工廠要確保單日單席產(chǎn)出100條有效數(shù)據(jù)的要求（后面會介紹為何單日單席產(chǎn)出100條有效數(shù)據(jù)是合理目標(biāo)），數(shù)據(jù)篩選與標(biāo)注的流程應(yīng)當(dāng)在數(shù)據(jù)產(chǎn)出后馬上進(jìn)行。如果數(shù)據(jù)質(zhì)量差、連續(xù)性差，就必須刪除數(shù)據(jù)重新采集。數(shù)據(jù)連續(xù)性未達(dá)到標(biāo)準(zhǔn)，會進(jìn)而影響整個數(shù)據(jù)采集流程的效率與穩(wěn)定程度。

「慣性」還是「光學(xué)」？

技術(shù)路徑的區(qū)別決定了慣性動作捕捉只有姿態(tài)精度，沒有位置精度可言。它的算法基于前向動力學(xué)（FK），逆向動力學(xué)（IK），生物力學(xué)（Bio-Mechanics）與物理引擎（Physical Engine），我本人和諾亦騰的研發(fā)團(tuán)隊在這套算法身上花了十余年的時間。慣性動作捕捉可以滿足視覺合理性、動作一致性、物理可解釋性，但是無法滿足末端絕對精度。如果有人問起「慣性動捕的指尖精度是厘米級別還是毫米級別」，這個問題是不存在答案的。

典型的慣性動作捕捉過程 powered by PN Studio

那么，是不是說光學(xué)動捕就是優(yōu)先選擇的對象呢？事實(shí)上并不是這樣的。

在實(shí)踐中，包括特斯拉、智元機(jī)器人、小鵬鵬行等許多具身智能機(jī)器人領(lǐng)域的頭部企業(yè)，都把慣性動作捕捉作為了他們的第一選擇。慣性動作捕捉設(shè)備相對便宜，單角色可穿戴動捕設(shè)備的市場標(biāo)價（list price）一般在幾萬元人民幣到幾十萬元人民幣不等，但在遙操作數(shù)據(jù)采集流程中，價格低并不是慣性動捕的最大優(yōu)點(diǎn)。

慣性動作捕捉技術(shù)最大的優(yōu)勢在于它的數(shù)據(jù)永不中斷，環(huán)境適應(yīng)性極強(qiáng)，完全不會受到遮擋影響。如果解決好了地磁干擾問題和射頻干擾問題（后文會專門提及這兩個問題如何解決）則幾乎不用考慮在哪里能用、怎么才能用的問題，也無需顧及遙操作時完成何種任務(wù)，無需擔(dān)心數(shù)據(jù)的魯棒性受到影響。

如前面提到的，慣性動作捕捉?jīng)]有末端絕對位置精度可言，那為何這些頭部企業(yè)（以及諾亦騰絕大部分的遙操作需求用戶）還是會選擇它呢？其關(guān)鍵在于「人在流程中」。

從人體180個自由度的構(gòu)型向機(jī)器人URDF構(gòu)型的映射

光學(xué)動作捕捉的兩個「圣杯」

光學(xué)動作捕捉世界一直存在著兩個「圣杯」問題——誰解決了這兩個問題，誰就摘下了這個領(lǐng)域皇冠上的明珠。第一個問題是抗遮擋（anti-occulusion）：光學(xué)動捕系統(tǒng)通過對每個相機(jī)視距范圍、視野范圍內(nèi)的馬克點(diǎn)的圓度、尺寸、圓心位置進(jìn)行識別與追蹤估算，作為其動作捕捉的基礎(chǔ)數(shù)據(jù)來源（raw data）。一旦馬克點(diǎn)被環(huán)境、道具或者人自身遮擋，那么之后所有的追蹤或動捕都會受到影響。

由于馬克點(diǎn)被遮擋，圖中動作捕捉數(shù)據(jù)受到嚴(yán)重影響

我們想象一個場景：一個產(chǎn)業(yè)工人打開料倉，伸手進(jìn)去取貨，再將貨物搬運(yùn)出來進(jìn)行碼垛。在這個過程中，他的關(guān)鍵肢體有多少次會被環(huán)境，被貨物，被自己的身體遮擋？再想象一個場景：一個競速魔方運(yùn)動員，他在把玩魔方的過程中，他的手指會有多少次被遮擋？

在傳統(tǒng)光學(xué)動作捕捉流程，特別是服務(wù)那些影視特效、動畫制作的應(yīng)用中，這些遮擋可能并不是問題。即便整個項目所需要清理的數(shù)據(jù)高達(dá)1000條，其后期數(shù)據(jù)清理（data clean-up）單價或許會超過 20元/s 粗修，200元/s 精修的行業(yè)標(biāo)準(zhǔn)，但這些成本仍然是在可控范圍內(nèi)的。

2022年2月 某互聯(lián)網(wǎng)大廠高精度動作捕捉數(shù)據(jù)修復(fù)需求報價單

光學(xué)動作捕捉的第二個圣杯問題是「同型剛體」（identical rigid-body）: 光學(xué)動捕技術(shù)要獲取一個空間物體，或者人的肢體的六自由度位姿信息，需要用不少于三個馬克點(diǎn)構(gòu)建成一個固定形態(tài)，我們稱之為剛體（rigid-body）。為了追蹤多個目標(biāo)物，每個剛體需要是不同形態(tài)的「異型剛體」（heterogeneous rigid-body），否則光學(xué)動捕系統(tǒng)就區(qū)分不出來哪個剛體代表左手，哪個剛體代表右手。換言之，傳統(tǒng)光學(xué)捕捉系統(tǒng)，用異構(gòu)的方式給每個剛體帶來了獨(dú)立「ID」。

同型剛體（左）與8種不同構(gòu)型的異型剛體（右）

考慮到可佩戴在身體上的剛體的尺寸是有約束條件的（鑒于佩戴舒適度與安全考量，身體佩戴的剛體追蹤物通常不能超過50mm*80mm，而佩戴在手指上的同場尺寸不能超過10mm*20mm）。在這樣的條件下，將3-4個馬克點(diǎn)在規(guī)定尺寸面內(nèi)貼出幾十上百種不同的構(gòu)型，是數(shù)學(xué)上無解的任務(wù)——剛體中每個三角形的每條邊的差異度，需要大于半個馬克球的直徑。換而言之，尺寸約束、不同構(gòu)型、數(shù)量極多——這三個條件構(gòu)成了事實(shí)上的「不可能三角形」。

關(guān)于光學(xué)剛體的「不可能三角形」悖論（Trilemma），三者不能同時成立

諾亦騰基于同型剛體的光慣混合手指動捕

完美的一攬子解決方案

2018年 諾亦騰同型剛體研發(fā)項目

諾亦騰多人全場互動仿真實(shí)訓(xùn)項目

從「Demo」到「量產(chǎn)」
多席位采集中的各種挑戰(zhàn)

至此，我們講清楚了如何在合理預(yù)算下，從技術(shù)的角度大力出奇跡，來平衡數(shù)據(jù)精度與數(shù)據(jù)魯棒性和連續(xù)性的問題。這是幾乎最重要，也是最難的一個挑戰(zhàn)。但它不是唯一的挑戰(zhàn)。

正如前面所提到的，在機(jī)器人遙操作數(shù)據(jù)采集的流程中，為了應(yīng)對萬級的數(shù)據(jù)采集量，常常需要數(shù)十甚至上百個席位，同時進(jìn)行遙操作數(shù)據(jù)生產(chǎn)。當(dāng)?shù)搅诉@樣的「量產(chǎn)級別」規(guī)模時，許多此前在Demo階段預(yù)料不到的問題就會出現(xiàn)。比如說網(wǎng)絡(luò)復(fù)雜度的問題、射頻干擾的問題、長時間供電的問題以及多源信息同步的問題等等。這些問題是必須要通過工程手段逐一解決的，不解決就上不了規(guī)模，或者上了規(guī)模仍然無法高效生產(chǎn)。

為了應(yīng)對各種挑戰(zhàn)，諾亦騰進(jìn)行了針對性地研發(fā)工作，重構(gòu)出專為具身智能數(shù)據(jù)采集場景優(yōu)化的全身有線動作捕捉設(shè)備，開發(fā)出了更好的抗磁算法，用在線動態(tài)誤差估計修正了傳感器時漂、溫漂等一系列問題，還通過全系統(tǒng)能耗優(yōu)化提升了設(shè)備的續(xù)航時間——針對性地解決了各種問題。

「1000萬條數(shù)據(jù)」的生產(chǎn)
意味著什么？

那么多大的數(shù)據(jù)規(guī)模才能夠滿足具身智能模型訓(xùn)練的需求呢？通過和行業(yè)中從事端到端訓(xùn)練的專家交流，我們得到了一個大致的量級：基本上百萬條有效數(shù)據(jù)這樣的規(guī)模才是足夠閉環(huán)一個場景中的泛化任務(wù)執(zhí)行能力的訓(xùn)練。對于具身智能機(jī)器人領(lǐng)域來說，我們把bar再提高一點(diǎn)，可以得出結(jié)論：1000萬條高水平、高質(zhì)量的數(shù)據(jù)是一個門檻，只有邁過去這個，才能真幫人類干點(diǎn)活，我們才不用那么卷。

從0到1實(shí)現(xiàn)數(shù)據(jù)采集的 Demonstration，其實(shí)是非?？斓?。但要從這一步走到100-200個數(shù)采席位，三班倒去采集數(shù)據(jù)的具身智能數(shù)據(jù)工廠，其實(shí)仍有90%的路還未走完。其間會面臨許多需要切實(shí)解決的問題——甚至可以說，當(dāng)面臨1000萬條數(shù)據(jù)的生產(chǎn)的時候，這個項目的管理復(fù)雜度跟實(shí)際運(yùn)營一個工廠其實(shí)并無區(qū)別。目前許多研究者、業(yè)界從業(yè)者暫時還未發(fā)現(xiàn)這是個重大挑戰(zhàn)，或者沒做好如何去做的準(zhǔn)備。諾亦騰在大規(guī)模的設(shè)備管理、復(fù)雜環(huán)境的應(yīng)對等方面，通過此前大量的項目經(jīng)驗，積累了豐富的經(jīng)驗。

下面這個視頻是諾亦騰此前曾經(jīng)的一個項目，上百位觀眾身著設(shè)備同時進(jìn)行虛擬現(xiàn)實(shí)體驗，體驗奔馳發(fā)布的全新一代A-Class轎車，這個項目的靈感來源是當(dāng)年很火的電影《頭號玩家》。在這樣的一個場地中，有上百人的規(guī)模，同時運(yùn)行各類動作捕捉、Tracking、VR設(shè)備，在三天的時間中接待了上千人——這不僅僅是一個技術(shù)難題，更是一個管理難題，是一件非常有挑戰(zhàn)性的事情。

總結(jié)

想要做好這件很難的事情，需要擁有很強(qiáng)的能力，也需要攜手各方展開合作：本體廠商、模型廠商，像諾亦騰這樣做設(shè)備的廠商，以及全球的開源社區(qū)、學(xué)界一起努力。對于諾亦騰而言，我們的目標(biāo)是和合作伙伴們一起努力去積累這樣一些能力，一起做好這件非常有價值、有意思的事情。

2024年開源創(chuàng)新大會戴若犁博士演講

謝謝大家。