Scale2Act / DATA PIPELINE探索输出 ↗
HUMAN DEMONSTRATIONS. ROBOT ACTIONS.

从真实交互,
到可学习的行动。

连接人类第一视角与机器人演示。通过质量检查、多样性筛选与事件级标注,
让原始数据成为语义清晰、时间对齐、可追溯的训练样本。

EgoVerse 第一视角操作原始样本帧
EGOCENTRIC DEMONSTRATION
EGO从人的视角,理解交互SOURCE 01
2MODALITIESONE PIPELINE
机器人双臂操作头部相机原始样本帧
EMBODIED DEMONSTRATION
ROBOT让演示成为行动的依据SOURCE 02
真实源数据帧 · 用于展示输入模态QUALITY → DIVERSITY → SEGMENTATION → LABELING
THE BIG PICTURE

两条起点,一条数据链路。

保留各模态的质量标准,
在统一流程中构建高价值训练样本。

01 / QUALITY CONTROL

可靠的数据,从分别质检开始。

相同的质量目标,不同的感知与动作结构。
逐 episode 保留通过状态、指标与拒绝原因。

Ego 样本帧
✓
仅通过的 episode 进入后续处理质量结果与源数据保持关联,可回溯、可复核。
02 / DIVERSITY SELECTION

有限的预算,更广的覆盖。

同时考虑视觉场景与动作分布,
以完整 episode 为单位,保留更有代表性的演示。

每秒新增覆盖

Δ ( Cvision × Caction )episode duration

01

任务内:按覆盖增益排序

首帧视觉特征与原始动作分布联合建模;新增覆盖除以实际时长,生成固定候选顺序。

02

任务间:按已选时长均衡

启动各任务后,优先选择累计时长最短的任务,在数据集预算内继续选取完整演示。

动作覆盖权重
50%20%20%10%
位置平移速度朝向旋转速度
COVERAGE EXPLORER

看见选择,而非仅看数量。

交互示意
候选 episode已选代表
15 s90 s

合成候选与固定排序用于演示预算选择;散点位置仅示意特征空间,不代表真实数据投影或生产统计。

生产配置示例配置预算,非已完成数据量
300 h EgoEgoDex 90 · EgoVerseSlices 99 · EgoStandard 111
+
300 h RobotAgiBot 105 · AgileX 120 · TienKung 75
03 + 04 / SEGMENT & REFINE

找到事件边界,讲清每一步。

先回答“何时发生”,再回答“做了什么”。
借助相邻片段理解当前子任务,细化标签时保持边界不变。

EPISODE → SUBTASKS

一次操作,多个完成事件。

12 秒合成示例 · 非模型实测
00:0000:0400:0800:12
↑ 点击片段,查看标签如何细化接近、调整、撤回并入最近的完成事件
TEMPORAL CONTEXT
SUBTASK REFINEMENT▣ 边界固定
初始标签

细化标签 ↗

◎

以状态变化确定边界

抓取、放置、开合、工具操作等完成事件形成片段,覆盖完整 episode。

▤

多视角时间戳证据

各相机独立生成 contact sheets;生产配置每 0.5 秒采样,长视频分块处理。

↔

上下文辅助,边界不变

previous / current / next 共同消歧,只细化当前片段的动作、物体与目标描述。

05 / READY FOR LEARNING

从片段语义,到训练样本。

保留原始数据引用与全部原始时间步,
将子任务边界映射到可直接读取的训练索引。

01

原始数据,按引用组织

Adapter 生成索引,不复制、转码或下采样源视频与动作文件。

02

视频与动作,各自精确对齐

Ego 按原始视频 FPS 换算帧边界;Robot 按动作时间步切分,再以视频 PTS 对齐画面。

03

片段内采样,边界外不借帧

训练窗口在子任务末尾截断,填充由 mask 表示;Robot normalization stats 与索引共同发布。

训练索引 · 概念示例
[start_frame, end_frame) · 保留源 episode 定位
实现说明与代码依据 +

此页面是流程展示站,不提交任务或读取实时作业状态。生产运行器执行 Stage 2–4;Stage 1 由独立质检仓库完成,Stage 5 使用独立 Adapter。当前 Pipeline/1_QC 为空,不是已集成的质检入口。

运行中使用的分割输出为 segments[{start_sec, end_sec, subtask}];Stage 4 保持起止时间不变。双臂同时操作可存在重叠区间。质量标记用于复核,不等同于自动剔除。

代码阅读范围、素材出处及维护方法见 README.md 和 SOURCE_MAP.md。