NeFut Logo NeFut
EN 管理员登录

[AI学术] PT³:原型引导的自监督预训练用于通用毫米波人体点云表示

发布于:2026-10-31 22:00 最后更新:2026-11-02 00:48
#algorithm #AI #Machine Learning

多源毫米波(mmWave)观测能够提供跨感知任务可复用的人体表示,但稀疏检测和多路径效应导致观测不稳定,现有点云预训练方法难以直接适用。\

我们提出 PT³,一种原型引导的自监督预训练框架。框架将空间区域内的局部状态表示为共享原型的稀疏组合,并通过自回归预测学习其随时间的演化。为进一步抑制雷达噪声,加入观测一致性约束,使得在不同视角或噪声扰动下的表示保持一致。\

在多个来源的未标注序列上进行预训练后,冻结的编码器即可直接迁移到下游任务,包括动作分类、稠密点云生成、关节姿态估计以及未来运动预测,且这些任务的数据集均未参与预训练。实验表明,PT³ 在所有任务上均优于现有预训练基线,并在多数情况下达到或超过专用任务模型的水平。\

点评:PT³ 通过原型稀疏化和时间自回归,有效提升了毫米波点云的表征稳健性,为跨任务迁移提供了强大且通用的特征编码。

原文链接: https://arxiv.org/abs/2610.38551

[h] 返回首页