Prompt Engineering中的“生成知识法”是什么？

「生成知识法」（Generated Knowledge Approach）是一种新颖的策略，用以增强大型语言模型（LLM）解答问题的能力。这种方法特别关注在给出最终答案之前，首先生成与问题紧密相关且可能有助于解答的信息。这一过程分为两个核心步骤：知识的生成和知识的整合。

知识生成

在这一阶段，模型被引导生成一系列与提出的问题相关的事实。通过设定少量样本提示（few-shot prompting），LLM 被激励产生多个（记作 M 个）不同的事实集，每一集都旨在提供问题解答的潜在信息基础。

这个阶段的目标是拓宽模型探索问题的视角，生成多元化的知识点，为解答问题打下坚实的基础。

知识整合

接着，在知识整合阶段，前一步骤生成的事实将被用来构建“知识增强问题”。这意味着，原本的问题会与生成的每一个事实相结合，形成新的、更为丰富的问题提示。

以“大多数袋鼠有 肢体”为例，如果知识生成阶段产出了两条相关事实：

1. “袋鼠是生活在澳大利亚的有袋动物。”
2. “袋鼠有 5 条肢体。”

这些事实会与原问题相结合，形成增强后的问题提示：

1. “大多数袋鼠有 肢体。袋鼠是生活在澳大利亚的有袋动物。”
2. “大多数袋鼠有 肢体。袋鼠有 5 条肢体。”

通过这种方式，每一个增强后的问题都会被用来独立地提示LLM，以产生一个答案提案，最终通过比较这些提案的概率，选择最有可能的答案。

结论

通过实践证明，「生成知识法」在提升对常识性问题数据集的回答准确性方面显示出显著效果。

阅读全文