8月11日消息，在世界機(jī)器人大會上，阿里達(dá)摩院宣布開源自研的 VLA 模型RynnVLA-001-7B、世界理解模型RynnEC、以及機(jī)器人上下文協(xié)議RynnRCP，推動數(shù)據(jù)、模型和機(jī)器人的兼容適配，打通具身智能開發(fā)全流程。
具身智能領(lǐng)域飛速發(fā)展，但仍面臨開發(fā)流程碎片化，數(shù)據(jù)、模型與機(jī)器人本體適配難等重大挑戰(zhàn)。達(dá)摩院將MCP（Model Context Protocol）理念引入具身智能，首次提出并開源了RCP（Robotics Context Protocol）協(xié)議以推動不同的數(shù)據(jù)、模型與本體之間的對接適配。達(dá)摩院打造了名為RynnRCP的一套完整的機(jī)器人服務(wù)協(xié)議和框架，能夠打通從傳感器數(shù)據(jù)采集、模型推理到機(jī)器人動作執(zhí)行的完整工作流，幫助用戶根據(jù)自身場景輕松適配。RynnRCP現(xiàn)已經(jīng)支持Pi0、GR00T N1.5等多款熱門模型以及SO-100、SO-101等多種機(jī)械臂，正持續(xù)拓展。
具體而言，RynnRCP包括RCP框架和RobotMotion兩個主要模塊。RCP框架旨在建立機(jī)器人本體與傳感器的連接，提供標(biāo)準(zhǔn)化能力接口，并實(shí)現(xiàn)不同的傳輸層和模型服務(wù)之間的兼容。RobotMotion則是具身大模型與機(jī)器人本體控制之間的橋梁，能將離散的低頻推理命令實(shí)時轉(zhuǎn)換為高頻的連續(xù)控制信號，實(shí)現(xiàn)平滑、符合物理約束的機(jī)器人運(yùn)動。同時，RobotMotion還提供了一體化仿真-真機(jī)控制工具，幫助開發(fā)者快速上手，支持任務(wù)規(guī)控、仿真同步、數(shù)據(jù)采集與回放、軌跡可視化等功能，降低策略遷移難度。
大會上，達(dá)摩院還宣布開源兩款具身智能大模型。RynnVLA-001是達(dá)摩院自主研發(fā)的基于視頻生成和人體軌跡預(yù)訓(xùn)練的視覺-語言-動作模型，其特點(diǎn)是能夠從第一人稱視角的視頻中學(xué)習(xí)人類的操作技能，隱式遷移到機(jī)器人手臂的操控上，從而讓機(jī)械臂操控更加連貫、平滑，更接近于人類動作。
世界理解模型RynnEC將多模態(tài)大語言模型引入具身世界，賦予了大模型理解物理世界的能力。該模型能夠從位置、功能、數(shù)量等11個維度全面解析場景中的物體，并在復(fù)雜的室內(nèi)環(huán)境中精準(zhǔn)定位和分割目標(biāo)物體。無需3D模型，該模型僅靠視頻序列就能建立連續(xù)的空間感知，還支持靈活交互。
此外，達(dá)摩院還在上月開源了WorldVLA模型,首次將世界模型與動作模型融合，提升了圖像與動作的理解與生成能力。相比傳統(tǒng)模型，該模型抓取成功率提高4%，視頻生成質(zhì)量顯著改善，展現(xiàn)了較好的協(xié)同性和準(zhǔn)確性。
開源鏈接：
·機(jī)器人上下文協(xié)議RynnRCP
https://github.com/alibaba-damo-academy/RynnRCP
·視覺-語言-動作模型 RynnVLA-001
https://github.com/alibaba-damo-academy/RynnVLA-001
·世界理解模型 RynnEC
https://github.com/alibaba-damo-academy/RynnEC
·WorldVLA模型
