麻省理工學院的研究人員已經匯編了一個數據集，該數據集捕獲了物理上推動數百個不同對象的機器人系統的詳細行為。研究人員可以使用數據集（同類中規模最大，種類最多的）訓練機器人，以“學習”推動動力學，這對于許多復雜的對象操縱任務都是至關重要的，包括重新定向和檢查對象以及整潔的場景。

　　為了捕獲數據，研究人員設計了一個自動化系統，該系統包括具有精確控制的工業機械手，3D運動跟蹤系統，深度和傳統相機以及將所有東西縫合在一起的軟件。手臂推著模塊化的物體，可以調整它們的重量，形狀和質量分布。對于每次推動，系統都會捕獲這些特征如何影響機器人的推動。
 

　　名為“ Omnipush”的數據集包含250個對象的250個不同的推送，總計大約62,500次唯一推送。例如，研究人員已經在使用它來構建模型，以幫助機器人預測物體在被推動時會降落在何處。

　　這一篇描述Omnipush的論文的作者，機械工程系（MechE）的研究生Maria Bauza說：“我們需要大量豐富的數據來確保我們的機器人能夠學習。” 智能機器人和系統。“在這里，我們正在從真實的機器人系統中收集數據，并且對象足夠多以捕獲豐富的推動現象。這對于幫助機器人理解推動的工作原理并將該信息轉換為其他類似現實世界中物體的信息非常重要。”

　　加入Bauza的論文包括：計算機科學與人工智能實驗室和電氣工程與計算機科學系（EECS）的研究生Ferran Alet和Lin Yen-Chen Lin；工程學院卓越教學教授Tomas Lozano-Perez；Leslie P. Kaelbling，松下計算機科學與工程系教授；EECS助理教授Phillip Isola；以及MechE副教授Alberto Rodriguez。

　　多樣化的數據

　　為什么要專注于推動行為？Rodriguez解釋說，建模涉及物體和表面之間摩擦的推動動力學，對于更高級別的機器人任務至關重要。考慮一下可以玩Jenga的視覺和技術上令人印象深刻的機器人，這是Rodriguez最近合作設計的。羅德里格斯說：“機器人正在執行一項復雜的任務，但驅動該任務機制的核心仍然是推動受例如塊之間的摩擦影響的物體。”

　　Omnipush建立在Rodriguez，Bauza和其他研究人員在操縱與機制實驗室（MCube）中建立的類似數據集的基礎上，該數據集僅捕獲了10個對象上的推入數據。在2016年將數據集公開后，他們收集了研究人員的反饋。其中一個抱怨是認為缺乏對象多樣性：在數據集上受過訓練的機器人努力地將信息推廣到新的對象上，而且也沒有視頻記錄，圖像對于計算機視覺，視頻預測和其他任務很重要。

　　因此如今，對于他們的新數據集，研究人員利用工業機器人手臂精確控制推進器（基本上是垂直鋼棒）的速度和位置。當手臂推動物體時，他們用已在電影，虛擬現實以及研究中使用的“ Vicon”運動跟蹤系統跟隨物體，還有一個RGB-D攝像機，可將深度信息添加到捕獲的視頻中。

　　研究的關鍵是構建模塊化對象。由鋁制成的均勻的中央部件看起來像四角星，重約100克，每個中心部分的中心和點都包含標記，因此Vicon系統可以在1毫米內檢測到其姿勢。

　　四個形狀（凹形，三角形，矩形和圓形）的較小塊可以磁連接到中心塊的任何一側。每塊重量在31到94克之間，但是額外的重量（從60到150克不等）可以掉入這些塊的小孔中。所有類似拼圖的物體在水平和垂直方向都對齊，這有助于模擬形狀和質量分布相同的單個物體的摩擦。不同側面，重量和質量分布的所有組合增加了250個唯一對象。

　　每次推動時，手臂會自動移動到距對象幾厘米的隨機位置。然后，它選擇一個隨機方向并將對象推一秒鐘。從停止的地方開始，然后選擇另一個隨機方向，并重復該過程250次。每次推送都會記錄對象和RGB-D視頻的姿勢，這些姿勢可用于各種視頻預測目的。每天花費12個小時來收集數據，耗時兩個星期，總計超過150個小時。僅在手動重新配置對象時才需要人工干預。

　　這些對象并沒有專門模仿任何現實生活中的物品。取而代之的是，它們旨在捕獲現實世界對象的“運動學”和“質量非對稱性”的多樣性，從而對現實世界對象的運動進行建模。然后，機器人可以將質量分布不均勻的Omnipush對象的物理模型外推到重量分布不均相似的任何現實世界對象。