摘要
微调大规模语言模型（LLMs）的高成本构成了重要的经济障碍，而预先性能预测则为降低这一费用提供了关键解决方案。然而，预先性能预测的理论极限尚未被探索。我们将其形式化为一个在信息约束下的随机估计问题，将预测风险分解为两个组成部分：内在限制（静态数据-模型兼容性）和可减少的优化方差。
我们证明了优化方差存在必要的衰减率下界，这意味着无论使用何种预测器，不确定性消散的速度都有基本约束。基于这些动态，我们推导出预算最优的探测原则，并引入可预测性相图，将任务组织为三个不同的区域：静态-充分区、动态-临界区和噪声-主导区。
在合成和真实世界基准上的大量实验验证了这些理论区域，并展示了我们的探测策略的有效性。
博主点评： 该研究为微调过程中的风险管理提供了新的视角，尤其是在经济性和效率之间的平衡。通过理论与实验的结合，提出的相图为理解任务的复杂性提供了有力工具，期待未来在实际应用中的广泛推广。