摘要
大型语言模型（LLMs）在明确的推理任务中表现出色，能够给出可行的答案。然而，在开放世界中遇到的问题可能由于不一致的条件、相互冲突的陈述或互不兼容的要求而变得不适定，导致没有有效的响应。
我们认为，处理这些涉及冲突的不适定问题需要LLM具备新的能力，以明确隐藏的冲突，通过多个推理分支保持竞争假设，并在一次推理中生成替代响应，这些都是由于LLM的下一个标记预测机制的局限性而变得具有挑战性。
为此，我们提出了FlowEdit，一个新颖的框架，利用信息论原理来量化和调节LLM的内部推理流，以生成一整套在有效假设下的替代响应。FlowEdit可以被视为通过对模型内部推理表示施加两个对偶的信息论目标来强制实施分支感知的推理过程：最大化从每个选定假设到分支结果的信息流，同时最小化兄弟分支之间的重叠和条件依赖，以提供一组多样且信息丰富的响应，覆盖面广。
我们展示了这一点可以通过边界嵌入下的可处理变分界限来实现，优化LLM推理过程中的条件互信息。大量实验表明，FlowEdit超越了领先的专有模型，准确集匹配率提高了68%，同时整体响应的信息性提升了24%。我们进一步表明，流的调节在标记流中表现为下一个标记熵的重新分配，集中在每个分支内部，在流边界放大，并随着问题所需流的数量而扩展。
博主点评： FlowEdit框架通过信息论的方式有效地处理了LLM在复杂场景中的推理挑战，展示了在面对不适定问题时提升模型性能的潜力。其创新的多分支推理方法为未来的LLM研究提供了新的思路，值得关注。