第一视角（Ego）视频让数据采集从专业场地走进真实生活和工作，成为具身智能预训练的重要数据来源。但拍下操作散户配资官网下载，并不意味着就能获得具身模型预训练所需的4D数据。
10月12日，觅蜂科技宣布，联合西北工业大学、西安交通大学发表论文，提出第一视角运动重建框架“MEgoVista”，用以将Ego视频更精准地转化为4D数据。论文实验结果显示，MEgoVista在Ego视频上具备较高的重建精度，可将无需预先布置场景的第一视角录制数据，有效转化为具有真实尺度的双手动作和头部运动轨迹。
MEgoVista设计了一套离线重建流程：先识别佩戴者的双手，再利用多摄像头测量距离，最后对整段动作进行优化。
首先，识别并持续跟踪佩戴者的双手。MEgoVista在检测手部位置、区分左右手的同时，还会辨别哪些手属于佩戴者，避免在多人互动时跟错对象。以美甲为例，当美甲师和顾客的手靠近或接触时，MEgoVista可以分清双方身份，避免将顾客的手误认成佩戴者的手。
其次，通过多摄像头测量手部距离。MEgoView头戴设备配备三个鱼眼摄像头，系统根据同一只手在不同视角下的位置差异，结合事先标定的相机间距和相对位置，估计手与摄像头之间的实际距离。针对鱼眼镜头畸变和相机安装角度带来的影响，系统先对画面进行校正，再使用Foundation Stereo估计深度，最后综合两组结果，并优先采纳可信度较高的信息，提高距离估计的可靠性。
最后，优化整段动作，减少抖动和姿态异常。逐帧还原的手部姿势，单独看可能没有问题，连起来却可能出现位置突变、手指过度弯折等现象。为此，MEgoVista先筛选可靠的观测结果，再结合前后帧的信息调整整段动作，使运动更连贯、手指姿态更符合人体结构。
除了还原双手动作，MEgoVista还可以减少佩戴者“转头”带来的影响。MEgoVista利用多摄像头画面还原头部运动轨迹，在重建初期确定真实尺度，并结合惯性信息判断上下方向，从而区分手部运动与镜头运动。最终，双手动作和头部轨迹被纳入同一个具有真实尺度的坐标系，呈现它们在空间中的位置和移动距离。
今年9月，觅蜂科技正式推出全球首个全品类高质量物理AI数据众包服务平台“觅蜂派”，并宣布启动亿元补贴计划，覆盖采集任务、设备政策。觅蜂科技正持续推进MEgo系列设备量产，以及数据采集、治理和评测能力建设。
南方+记者 郜小平散户配资官网下载
忠琦配资提示：文章来自网络，不代表本站观点。
相关文章
热点资讯
