Prompt ，现在绝对是炙手可热的名词，无论是 ChatGPT，还是 Midjourney，现在都绕不开这个词，就连吴恩达，之前也推出了 Prompt 相关的科普课程。

然而，prompt 作为 提供给模型输入文本，指导模型生成合适的回答 的关键词，找到合适 prompt 的过程却如同炼丹一般，需要做非常多尝试，才能找到一个合适的 prompt。

gpt-prompt-engineer 提供了一个新的思路，只需要输入任务的描述，再提供一些简单的示例，系统就会自动生成大量的 prompt，同时测试这些 prompt，并进行排序，可以帮助我们快速找到最合适的 prompt。

根据提供的用例和测试用例, gpt-prompt-engineer 使用 GPT-4 和 GPT-3.5-Turbo生成各种可能的提示。

系统针对所有测试用例测试每个提示，比较它们的性能并使用 ELO 评级系统对它们进行排名。

每个提示都以 ELO 评级 1200 开头。当它们在生成对测试用例的响应时相互竞争时，它们的 ELO 评级会根据它们的性能而变化。这样，我们可以轻松查看哪些提示最有效。

description = "Given a prompt, generate a landing page headline." # this style of description tends to work well
test_cases = [    {        'prompt': 'Promoting an innovative new fitness app, Smartly',    },    {        'prompt': 'Why a vegan diet is beneficial for your health',    }]

‍

prompt 的数量越多，消耗的 tokens 也就越多，花的钱也就越多，所以 10 个是一个不错的选择。

执行脚本，将前设置的参数传给脚本，然后就能生成一系列的 promopt,并测试这些 prompt 和 按照表现对他们进行排序。

generate_optimal_prompt(description, test_cases, number_of_prompts)

最终得到的 prompt，会按照 ELO 评级打印在表格中，按降序排序。评级越高，提示越好。