跳转至

T3：把"杂牌触觉传感器"统一成一种可迁移表征

📌 一句话省流：相机式触觉传感器五花八门(形状/相机/打光/marker 都不同)，没法直接共用一个编码器。T3 用共享主干 + 每传感器专属编码器 + 每任务专属解码器，从不对齐的异构触觉数据里学出可跨传感器/任务迁移的表征；并放出迄今最大触觉数据集 FoTa(300万张/13传感器/11任务)。 🎬 演示/资源：项目页 t3.alanz.info · 代码 github.com/alanzjl/t3

🧰 对我们（可用性速判）

  • 对我们的用处：最直接可用的地基——拿它当跨传感器触觉编码器，省去我们从零训触觉表征；是"双隐空间"idea 触觉那条腿的现成模块。
  • 真实性(前期)：高。CoLR 2024 发表 + 代码/数据/权重全开 + 长程真机插拔验证 → 证据 A。
  • 训练/微调资源：可不训(直接用开源权重)。要微调到自家传感器：约 2000 条该传感器数据即可显著提升(论文示例)；模型 tiny12M~large308M，单卡可微调。
  • 能借多少(开源)：✅ 代码 + ✅ FoTa 数据(300万张) + ✅ 预训练权重(4 档大小)。几乎全部可借。
  • 可用性结论：直接可用 / 轻微调。这批里上手成本最低。
  • 📖 详读（按需）：详读-T3

亮点到底在哪（读全文后定位）

  • 亮点=架构洞见 + 数据集：难点是不同传感器的触觉图无法对齐，所以 CLIP 式对比对齐用不了。T3 绕开——共享 trunk 学共性 + sensor-specific 编码器吸收差异 + MAE 自监督(不需对齐)。这是处理"异构不对齐触觉"的关键设计。[1]
  • MIT Adelson 组(GelSight 鼻祖团队)，含 Kaiming He 致谢。完全开源(代码/数据/权重)。[1]
  • 消融/scaling 充分：预训练比从头训中位 +24%；large 比 tiny +19%(medium≈large)；MAE 掩码率 80% 最佳(89%)；少数据微调时预训练优势更大。[1]

关键数字（全文核实）

  • FoTa：3,083,452 张，13 传感器，11 任务。模型 tiny12M / small45M / medium174M / large308M。[1]
  • 零样本迁移到新传感器：分类提升有限、位姿估计显著；微调 2000 点后分类 +17%、DenseTact2.0 位姿 RMSE −5.5mm。[1]
  • 长程亚毫米插拔(3/12/17-pin, 0.4mm 间隙, 2×GelSight Wedge on Franka)：用 T3 编码器比从头训触觉编码器 +25%、比无触觉 +53%；纯视觉在两个难件全失败。[1]

🔎 证据与可信度

  • 论文：arXiv 2406.13640（MIT CSAIL，CoRL 2024）✅ 全文已读。
  • 代码/数据/权重：t3.alanz.info ✅全开源（这批最完整）。
  • 证据等级：A（论文+开源代码+开源数据+开源权重+顶会发表+消融充分）→ 权重：高。这是目前 KB 里第一张 A 级卡。

🧪 复现/采用成本（这是"拿来用"，不是复现）

  • 直接用：下载开源权重当触觉编码器即可，无需自采数据、无需特殊硬件做表征本身。
  • 下游用：接到自己的策略上需对应传感器(若是 13 个已覆盖之一更省)+ 机械臂。
  • 侧证判价值：① 全开源(最高) ② 顶会+大组 ③ 消融/scaling 清楚 ④ 长程真机插拔验证 ⑤ 数据集业界复用率高。

🧱 局限（正文 §6）

  • FoTa 不平衡：2 个最流行传感器占 >50%，模型可能偏向它们。
  • 仅 per-image 编码、依赖显式标签(pre-train II)；触觉图序列/稀疏标签是未来方向。
  • 仅限相机式触觉，不含 taxel/电子皮肤(如 TacVLA 用的阵列)。

💡 我的批注 / 判断

  • 这是"双隐空间"idea 的现成地基之一：要把触觉喂进通用 VLA，先要一个跨传感器的统一触觉编码器——T3 就是候选，且权重开源可直接试。
  • 与 卡片-AnyTouch 互补：T3 处理不对齐异构数据(shared trunk)，AnyTouch 用对齐多传感器数据 + 静/动 + 文本对齐。选型看你有没有对齐数据。
  • 与 卡片-Tactile-VLA 呼应：Tactile-VLA 说"VLM 已有常识缺 grounding"，T3 提供的正是可迁移的触觉 grounding 表征。

来源编号