在大型语言模型（LLM）中，为了可靠地回答用户查询，用户必须清晰地指定要求、上下文和约束条件。然而，实际中用户查询往往表现出不足的具体性，迫使模型推断未说明的假设，这可能与实际用户意图不符。
现有的提示工程指南旨在缓解此问题，但通常是通用的且与任务无关，限制了其实际效用。此外，现有指南通常是手动且非系统化地形成的。
为此，我们研究了提示指南优化：自动生成任务特定指南以帮助撰写更具体的提示。我们的关键观察是，现有的（已完成的）任务示例（即参考答案）通常隐含地编码了完成不足具体查询所需的缺失信息，包括行为约束、上下文假设和评估标准。
因此，我们提出了 AGOPS，一种通过优化方案自动演化任务特定指南的方法，该方案涉及提示 LLM 编写者、求解 LLM 和提示演化，旨在最大化一组示例（用户查询与参考答案）的下游效果。在推理时，我们的指南帮助用户撰写良好指定的提示，提升 LLM 的效能。
我们展示了在数学推理、医学问答和编码任务中，提示不足具体性导致下游任务性能下降（最高达 95.3%），而且更重要的是，这一下降几乎无法通过现有的提示优化技术恢复。遵循 AGOPS 指南的用户可以持续地恢复这一损失（平均提升 15.5% 到 81.7% 的性能），在所有基准测试中均表现出色。
博主点评： AGOPS 方法通过自动化生成任务特定提示指南，显著提升了 LLM 的应用效果，展示了在提示工程领域的创新思路。该研究不仅解决了提示不足的问题，也为未来的 LLM 应用提供了更为系统化的指导，具有重要的实用价值。