可靠的不确定性量化（UQ）是将神经网络用于科学和高风险场景的前提，但对全部网络参数进行贝叶斯推断在计算上不可行。本文提出一种基于少量数据驱动曲率方向的低秩广义拉普拉斯近似。首先从通过经验损失定义的广义贝叶斯后验出发，在预训练权重附近构建局部高斯，限制在主动曲率子空间。保留子空间的后验方差可闭式求得，先验方差通过经验贝叶斯校准。广义贝叶斯框架允许比较两种后验尺度：标准尺度对应负对数似然之和，均值损失尺度则将经验损失除以样本数。核心发现是标准尺度导致后验方差随数据量 $n$ 收缩，在主导方向上表现尤为明显。对回归任务而言，这会迫使低秩模型额外保留弱曲率方向，以满足标定数据的覆盖率要求，但这些方向在非线性网络传播时会削弱预测区间的一致性，并使后验预测均值偏离预训练模型。相反，均值损失尺度得到更稳定、维度更低的主动子空间，能够生成校准且一致的置信区间。实验表明，广义拉普拉斯主动子空间是实现神经网络可扩展且可靠的 UQ 的实用路径。
点评