摘要
I-JEPA 和 V-JEPA 通过将潜在预测与目标编码器输出匹配，而非重建原始输入，取得了良好的效果，尤其是在图像和视频处理上。我们探讨了这一目标是否适用于紧凑型网络指纹的学习。
我们构建了 JA4-JEPA，这是一个基于 Transformer 的模型，训练数据来自 JA4、JA4H、JA4S 和 JA4X 这四个子领域，数据集来源于 JA4DB 和 CIC-IDS-2017。训练数据结合了来自这两个来源的大约 397K 样本，虽然没有单个样本包含所有四个视图家族。
我们使用冻结的 kNN 探针对在 TLS、DNS 和 SSH 上的协议家族分类评估所学习的表示。在 39,416 个保留样本上，模型达到了 0.9899 的余弦相似度和 0.9220 的 kNN 准确率。这些结果表明，JEPA 风格的预测学习能够从 JA4 派生的指纹中生成有用的嵌入，即使在不同来源之间的视图重叠不完全的情况下。
博主点评： 该研究展示了 JEPA 模型在网络指纹领域的潜力，尤其是在数据样本不完整的条件下，其高效的学习能力为网络安全和流量分析提供了新的思路。这种方法的成功应用可能会引领更多自监督学习技术在网络安全领域的创新。