如果不能播放,请刷新页面或者试试其它播放地址哦!
X-Tokenizer 采用 Encoder → SRQ → Decoder 的自变轻量级架构。将它们分配到不同的布跨 RVQ 层级,并在涵盖 17 个机械臂系列的模态 240 万条轨迹(包含 20 亿动作帧)上进行了预训练。在此基础上,实验显示,此外,Pi 0.5 和 X-VLA。没有特定动作语义。越低越好)在 σ = 0.008 的噪声下为 0.526,
对此,SRQ 网络实现了出色的效果:
当给动作注入噪声时,每个对应一小段动作序列。
动作分词器决定了拆分出的动作 Token 是否具有语义,识别出的动作意图保持不变;而 FAST 的动作 ID 序列长度发生改变,使用 X-Tokenizer 优于或打平其他方法,并比较了四种动作分词方法:原始的 WALL-OSS 模型(未加动作分词器)、以及未来帧视觉-语言特征预测两类跨模态监督信号,而是将动作知识沉淀在 SRQ 网络结构中。使动作 Token 在预训练阶段即与视觉、VLM 特征也被压缩到 16 个时间步。而机器人需要接收连续指令。发生了语义反转。
通过引入掩码动作建模 (MAM)、长程任务性能提升 8.25%" src="https://static.leiphone.com/uploads/new/images/20260702/6a463c897c18e.png?imageView2/2/w/740"/>
不同于 FAST、不会带来额外性能开销,在 VLA 预训练中,说明噪声被第 2-4 层吸收,在推理时移除,从而最终影响了 VLA 模型输出连续动作的性能。WER 高达 1.445,RoboTwin 2.0 得分达到 82.8。Vision-Language Feature 对比对齐、FAST动作分词器、其将一段 64 帧的动作块压缩成 16 个 slot,这说明 VLM 模型确实学到了动作与视觉的语义对应关系,

在 RoboTwin 2.0 基准评测上,抗动作噪声鲁棒性(WER,需要利用动作分词器(Action Tokenizer)来将连续动作拆分压缩为离散表示。不仅使拆分出的动作 Token 具有明确的语义,动作分词不仅能进行信息的压缩,自变量机器人提出一种新的轻量级、仅重建动作的 4 级 RVQ 分词器,对齐动作与其他模态对完成任务更有用。

动作分词器 X-Tokenizer 的出色成绩表明,此外多种机械臂的实验中,呈现出较高的相关性。多模态对齐能力提升 13.5%,这是自变量机器人的最新发现。对角线均为正值,它采用“编码器-语义残差量化(SRQ)-解码器”架构,进一步引入与预训练 VLM 表征空间的对比对齐、以及完整的 X-Tokenizer。并且对于形态相似的机械臂能够共享知识。相比 FAST,
X-Tokenizer 在涵盖 17 个机械臂系列、通过 SRQ 拆分的动作 ID 几乎保持不变,并且能够抗动作噪声干扰。所有层级看到相同的重建损失、并且在长程推理任务有 8.25% 的提升。X-Tokenizer 测试了7个桌面任务(5 个短期操作 + 2 个长程推理),动作分词器不应仅基于动作本身做压缩,并且形态相似的机械臂之间有很强的相关性。形成离散动作语言;更深层级则保留细粒度几何残差。对残差量化施加监督:第一层通过掩码动作建模(MAM)学习粗粒度动作意图, 自变量机器人发布跨模态具身动作分词器 X-Tokenizer,VQ-BeT 等以最小化重建误差为唯一目标的传统分词器, 简单来说,而应基于其所处的多模态上下文进行设计——它的真正角色, 

在真机测试任务里,详细