[AI学术] PlanE：大规模语言模型的高效规划与优化框架

摘要

增强大规模语言模型（LLMs）在特定任务上的能力通常需要大量的指令调优数据集。然而，这种数据的庞大体量带来了可观的标注成本，同时缺乏针对特定任务的优化方法。

为了解决这些问题，我们提出了一种名为 PlanE 的规划框架，专门用于构建基于提取的 LLM。该框架包括数据分解、指令调优和提示推理。

此外，我们引入了一种数据-调优-推理（DTI）规划器，旨在为特定数据集选择最佳的基础 LLM 及其 DTI 组合，以提高构建效率。实验结果从两个方面验证了 PlanE 的有效性：

1. 在不同数据集上使用相同的基础 LLM；
2. 在相同数据集上使用不同基础 LLM。

此外，我们还验证了所提出的 DTI 规划器在不同优化目标下的泛化能力。相关代码已公开，链接为 GitHub。

博主点评： PlanE 提供了一种系统化的方法来优化 LLM 的任务适应性，特别是在数据标注成本高昂的背景下，其 DTI 规划器的引入显得尤为重要。该框架的灵活性和高效性为未来的 LLM 研究提供了新的方向。