北大攜智元機器?團隊提出OmniManip架構(gòu)
近日，北京大學與智元機器人的聯(lián)合實驗室有了重大成果，北?攜?智元機器?團隊提出 OmniManip 架構(gòu)。
在具身智能領(lǐng)域，將視覺語言基礎(chǔ)模型（VLMs）應用于機器人實現(xiàn)通用操作一直是核心問題。目前存在兩大挑戰(zhàn)，一是VLMs缺乏精確3D理解能力，二是難以將高層次推理轉(zhuǎn)化為機器人低層次動作。
為解決這些難題，OmniManip架構(gòu)應運而生。它基于以對象為中心的3D交互基元，把VLM的高層次推理能力轉(zhuǎn)化為機器人的低層次高精度動作。針對大模型幻覺和真實環(huán)境操作的不確定性，OmniManip引入了VLM規(guī)劃和機器人執(zhí)行的雙閉環(huán)系統(tǒng)設(shè)計。
OmniManip的關(guān)鍵設(shè)計亮點頗多，包括基于VLM的任務解析，可將復雜任務分解為多個明確主動物體、被動物體和動作類型的結(jié)構(gòu)化階段。還有閉環(huán)機器人執(zhí)行，通過物體6D姿態(tài)跟蹤器實時更新物體位姿，轉(zhuǎn)換為機械臂操作軌跡。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
機器人
+關(guān)注
關(guān)注
211文章
28632瀏覽量
208281 -
語言模型
+關(guān)注
關(guān)注
0文章
538瀏覽量
10339
發(fā)布評論請先 登錄
相關(guān)推薦
機器視覺廠商博視像元完成近億元A+輪融資
近日，機器視覺廠商北京博視像元科技有限公司（以下簡稱“博視像元”）宣布完成近億元A+輪融資，本輪融資由國投創(chuàng)業(yè)、北京創(chuàng)投等投資。
智元與匯川加碼，機器人如何利好電機市場？
智元官宣量產(chǎn)近千臺機器人、工控巨頭匯川科技入局，近期的機器人行業(yè)釋放了怎樣的信號?電機行業(yè)是否又能乘借東風，迎來發(fā)展新的發(fā)展機遇? 機器人行業(yè)正迎來發(fā)展高峰。 近日，智
《具身智能機器人系統(tǒng)》第7-9章閱讀心得之具身智能機器人與大模型
研讀《具身智能機器人系統(tǒng)》第7-9章，我被書中對大模型與機器人技術(shù)融合的深入分析所吸引。第7章詳細闡述了ChatGPT for Robotics的核心技術(shù)創(chuàng)新：它摒棄了傳統(tǒng)的分層控制架構(gòu)，創(chuàng)造性地
發(fā)表于 12-24 15:03
走進北大 | 算能RISC-V通用處理器設(shè)計成功開課
近日，北京大學集成電路學院賈天宇老師開設(shè)的《現(xiàn)代SoC處理器架構(gòu)設(shè)計》如期進行，算能首席科學家楊柳西博士、處理器架構(gòu)師張明俊受邀，為北大博士講授了RXU高性能通用處理器設(shè)計的課程?！冬F(xiàn)代系統(tǒng)SoC
“0元購”智元靈犀X1機器人，軟硬件全套圖紙和代碼全公開！資料免費下載！
出定制化的運動控制策略。尤其是專業(yè)人士或初創(chuàng)團隊，基于智元提供的核心組件，可以輕松打造出個性化的人形機器人產(chǎn)品，并借助開源代碼快速完成整機工程，極大地降低了研發(fā)成本和門檻。
智元靈犀X
發(fā)表于 10-25 15:20
飛利浦家電全球首席執(zhí)行官攜全球高層團隊來華 持續(xù)看好中國市場
下，展開了為期4天的交流。 這也是自Véronique今年3月上任以來，攜高層團隊首次來華訪問。此行不僅極大地促進了總部與中國團隊之間的緊密聯(lián)系與高效協(xié)作，也彰顯了在中國市場強大的"磁吸力"下，飛利浦家電對于中國市場的高度重視及
【「大模型時代的基礎(chǔ)架構(gòu)」閱讀體驗】+ 第一、二章學習感受
常用的機器學習算法，重點剖析了一元線性回歸算法，由此引出機器學習算法的運算特征，此后分別描述了使用CPU、GPU、TPU和NPU運行機器學習算法的特點，比如CPU的SIMD指令可以對向
發(fā)表于 10-10 10:36
【「大模型時代的基礎(chǔ)架構(gòu)」閱讀體驗】+ 未知領(lǐng)域的感受
”，好奇于這種大模型算力中心到底是如何建設(shè)的，用什么設(shè)備、什么架構(gòu)建設(shè)的？對這些問題真是一無所知，甚至都沒有想過，帶著這份好奇開始閱讀。
先瀏覽目錄，共分十三章，目錄中出現(xiàn)最多的就是GPU，比如機器學習
發(fā)表于 10-08 10:40
AMD贊助多支FIRST機器人競賽團隊
AMD 在 2024 賽季贊助了多支 FIRST 機器人競賽團隊。FIRST 機器人競賽旨在教導高中生如何構(gòu)建能夠執(zhí)行特定任務的機器人，同時也讓他們有機會學習重要的商業(yè)和時間管理技能、
軟通動力與智元機器人攜手亮相世界機器人大會
應用解決方案服務商與制造商，軟通動力攜人形機器人關(guān)鍵能力，與戰(zhàn)略合作伙伴智元機器人以聯(lián)展的形式亮相本屆大會。 大會現(xiàn)場，軟通動力展示了自身在人形機器
戴爾重組銷售架構(gòu)，成立AI新團隊
戴爾公司近期宣布了一項重大戰(zhàn)略調(diào)整，旨在通過銷售團隊重組及新團隊的成立，加速其向人工智能（AI）領(lǐng)域的轉(zhuǎn)型步伐。此次重組中，戴爾不僅裁減了部分銷售人員以優(yōu)化成本結(jié)構(gòu)，更關(guān)鍵的是，公司正式成立了專注于AI產(chǎn)品和服務的新團隊，標志著
日本團隊發(fā)布在富岳超算上訓練的Fugaku-LLM大模型
自2023年5月起，F(xiàn)ugaku-LLM模型的開發(fā)工作開始展開，最初參與團隊包括富士通、東京工業(yè)大學、日本東北大學以及日本理化學研究所（簡稱理研）。
谷歌解散整個Python團隊
近日，谷歌Python工程師Thomas Wouters在社交媒體上透露，谷歌對其Python團隊進行了架構(gòu)調(diào)整，整個團隊被解散。這一變動可能源于公司的成本優(yōu)化策略，涉及團隊重組和裁員
寧德時代創(chuàng)新中心團隊來我司交流
3月11日下午2點，寧德時代（CATL）創(chuàng)新中心團隊到訪深圳市泰科智能機器人有限公司，雙方就協(xié)作機器人在新能源領(lǐng)域的廣泛應用進行了深入的交流和探討。
在訪問期間，寧德時代創(chuàng)新中心團隊參
深維科技-北京大學合作團隊在FPGA'24布線加速競賽中奪得佳績！
美國西部時間2024年3月4日，我司與北大合作團隊在FPGA'24布線加速競賽中獲得優(yōu)異的成績。
工商網(wǎng)監(jiān)
評論