用户越来越多地使用大语言模型（LLM）对独立输入集合（如商品评论或社交媒体帖子）进行分析，并返回单一的聚合答案。这需要模型在一次预测中结合多个实例的信息，称为多实例处理（MIP）。
本文考察一种任务：模型需要为每个实例推断二元标签，并找出整个实例集合中出现频率最高的标签。正确答案应与实例顺序无关。
我们在五个数据集上选取十五种 LLM，设计七种实例顺序模式，并在每种模式下保持实例集合不变进行评估。实验发现模型对顺序高度敏感，最佳与最差顺序模式之间的准确率差距可达约 90 个百分点。多数模型在多数标签实例位于开头时表现更好，而在中间或结尾出现时准确率下降。
对部分模型的推理过程和基于梯度的归因分析显示，模型对不同位置的关注不均衡。推理轨迹倾向于频繁提及早期实例，归因分数在序列开头和结尾往往高于中部。
这些结果表明，实例顺序会系统性地偏置聚合预测，提示在评估 MIP 能力时必须考虑多种输入排列方式。
点评：顺序效应揭示了当前 LLM 在信息整合上的局限，未来研究应探索顺序不变的架构或对抗性训练以提升鲁棒性。