摘要
错误相关电位（ErrPs）是与人机交互中错误处理相关的神经标志，广泛受到研究。在现实环境中，错误感知常在异质的多感官反馈下发生，感官模态和反馈一致性引入的变异性对可靠的ErrP解码构成挑战。特别是，不一致的反馈会导致解码难度增加和分类性能下降。
为了解决这一挑战，我们研究了在控制感官一致性的多模态视觉、听觉和触觉反馈下，稳健的ErrP解码学习策略。我们采用了基于多分支EEGNet架构的辅助监督方法，以提高在异质条件下的稳健性，而不依赖于明确的模态特定假设。
实验中，我们使用了一个迷宫观察任务，配置了单模态、双模态和三模态的反馈。结果显示，所提出的方法在异质感官条件下实现了一致的分类性能，并且与基线EEGNet模型相比，在多模态反馈下的准确性显著提高。这些结果表明，适当的架构设计和训练策略可以改善在异质多感官条件下ErrP解码的稳定性。
博主点评： 本研究通过采用创新的EEGNet架构，显著提升了在多感官反馈下的ErrP解码能力，展示了多模态学习在神经科学领域的潜力，为未来的人机交互系统提供了新的思路与方向。