澎湃(pai)资讯记者(zhe) 李晶昀(yun) AI 创(chuang)意
“杭州六小龙”企业之一群核(he)科技3月19日宣布，公(gong)司自主研发(fa)的空间理解(jie)模型SpatialLM正式开源。该模型能够基于从视频中提取的点云数据，准确认知和理解(jie)其中的结构化场景信息，并(bing)将(jiang)它以脚本语言的形(xing)式呈现出来。
“就像大家环顾四周(zhou)环境便可以理解(jie)背后的空间结构一样。”群核(he)科技如此比(bi)喻。具体运(yun)行中，可以简单理解(jie)，给(gei)SpatialLM“刷(shua)”一段视频，它便能生成物理正确的3D场景布局。
据先容，该模型特(te)点之一是(shi)更通用的数据输入模式。SpatialLM无须借助智能穿戴设(she)备作为传感器输入数据，手机、相(xiang)机所拍摄的视频均可以成为数据来源，大大降(jiang)低了开发(fa)者(zhe)的数据采集门槛。
其次(ci)是(shi)物理正确的场景创(chuang)建能力。空间场景是(shi)否符合物理正确原则(ze)，是(shi)影响(xiang)机器人空间理解(jie)效果的关键。
SpatialLM 基于视频重建的3D结构化场景
群核(he)科技称，这(zhe)得益于公(gong)司在过去(qu)十余年中积累了海量的3D数据和空间认知数据。该公(gong)司由黄晓(xiao)煌、陈航、朱皓于2011年联合创(chuang)办，主要以空间设(she)计App市场为目标。旗下产品包(bao)含空间设(she)计App酷家乐、海外版产品Coohom，以及为AIGC、具身人工智能、AR/VR、机器人等提供虚拟(ni)环境训练的群核(he)空间智能平台SpatialVerse。
根据弗若斯特(te)沙利文的资料，按(an)2023年的平均月活(huo)跃用户（MAU）数目计量，群核(he)科技是(shi)全(quan)球最大的空间设(she)计平台；按(an)2023年的收入计量，公(gong)司亦是(shi)中国最大的空间设(she)计App提供商，约占22.2%的市场份(fen)额。2024年，群核(he)科技的平均月活(huo)跃访客数为8630万名。
群核(he)科技方面表示(shi)，SpatialLM突破(po)了大语言模型对物理世界几何与空间关系的理解(jie)局限，让机器具备空间认知与推理能力，为具身智能等相(xiang)关领域提供空间理解(jie)基础训练框架(jia)。
值(zhi)得一提的是(shi)，群核(he)科技去(qu)年已发(fa)布群核(he)空间智能解(jie)决方案（下称“SpatialVerse”），SpatialVerse主要通过合成数据方案为机器人搭建起接近物理真实的“数字道场”，帮(bang)助它们在仿真环境下完成例如叠被子、递送水杯、开关冰箱门等行动的交互训练。
群核(he)科技称，有了SpatialLM模型和SpatialVerse，机器人将(jiang)获得从认知理解(jie)到(dao)行动交互的完整闭(bi)环训练，也就是(shi)既(ji)能“看懂(dong)”世界，又能学会行动决策，进而(er)在真实世界里(li)顺利“上岗”。
实际上，去(qu)年12月，群核(he)科技联合创(chuang)始人兼董事(shi)长(chang)黄晓(xiao)煌在一次(ci)公(gong)开演讲中即提到(dao)，当大家谈到(dao)具身智能或者(zhe)机器人的时候，“叠被子困境”是(shi)一个非常典型的场景。
“目前(qian)的 ChatGPT 大语言模型，可以很容易地让机器人理解(jie)人类的指令，‘给(gei)我叠一个被子’，它也可以通过视觉(jue)判断哪床被子是(shi)叠好的、哪床被子没叠好，但它很难实行。或者(zhe)当它学会叠一床被子后，换个形(xing)状可能就又不会了。”黄晓(xiao)煌指出，“机器人的大脑在数字世界里(li)，但身体却在物理世界中。”
而(er)如何让机器人正确理解(jie)物理世界，黄晓(xiao)煌认为关键是(shi)要有海量可交互的三(san)维数据。
群核(he)科技最新也提及，开源仅仅是(shi)一个起点。“具身智能正处在爆发(fa)式发(fa)展的新阶段，大家希翼(wang)以空间模型和数据开源为契机，让更多具身智能从业者(zhe)有机会参与二(er)次(ci)创(chuang)新，共(gong)同推动产业技术底座持续进化。”
此外值(zhi)得关注的是(shi)，今年的2月14日，群核(he)科技已正式向港交所递交上市申请，也是(shi)“杭州六小龙”中首家启动IPO进程的公(gong)司。
成立至今，该公(gong)司已获得包(bao)括IDG资本、纪源资本、顺为资本、云启资本、经纬创(chuang)投、线性资本、Hearst、Pavillion、高瓴创(chuang)投、Coatue等多家机构投资。IPO前(qian)，IDG资本、纪源资本、高瓴创(chuang)投均持有群核(he)科技超(chao)10%的股份(fen)。