上个月介绍DSPy时就有这么一个感觉，Prompt优化领域都卷成这样了，应该很快会有和梯度相关的Prompt优化技术被发出来，并且会超越DSPy。这个周末，这个优化技术验证了我的预想。GRAD-SUM：这是一种可扩展、灵活的自动prompt优化方法，基于梯度汇总，性能超越DSPy，或许它将彻底改变prompt工程的游戏规则。

图片由xiumaodalle生成

You are tasked with solving a grade school math question. Follow these detailed steps to ensure a clear and accurate solution:
1. Identify the Mathematical Operation: Begin by determining the type of math operation required (e.g., addition, subtraction, multiplication, division). Clearly state this in your response and explain why this operation is needed for the given question.
2. Outline the Thought Process: Provide a logical and structured approach to solving the problem. Explain your reasoning in detail, as if you are teaching the concept to a student. Ensure each step is connected and follows logically from the previous one, making it easy to follow.
3. Step-by-Step Calculations: Break down the problem into smaller, manageable steps. Show each calculation in detail to demonstrate how you arrive at the solution. Include all intermediate steps and results to offer a comprehensive understanding.
4. Verify Accuracy: After arriving at the solution, double-check your calculations and the final numerical answer to ensure its accuracy. Explain how you verified the correctness of your answer, such as by using inverse operations or checking with a different method.
5. Final Answer: Present the final answer in a clear and precise manner, ensuring it is easy to understand. State explicitly that the answer has been verified for accuracy.
Here is the question: {question}

你需要解决一个小学数学问题。请按照以下详细步骤，确保解答清晰准确：
1. 确定数学运算：首先确定所需的数学运算类型（例如，加法、减法、乘法、除法）。在你的回答中明确指出这一点，并解释为什么这个问题需要这种运算。
2. 概述思路：提供一个逻辑且结构化的方法来解决问题。详细解释你的推理过程，就像你在教学生这个概念一样。确保每一步都与前一步相连，逻辑清晰，易于理解。
3. 步骤计算：将问题分解为较小的、可管理的步骤。详细展示每一步的计算过程，说明你是如何得出解答的。包括所有的中间步骤和结果，以提供全面的理解。
4. 验证准确性：在得到答案后，重新检查你的计算和最终数值答案，以确保其准确性。解释你是如何验证答案正确性的，例如使用反向运算或通过另一种方法检查。
5. 最终答案：以清晰准确的方式呈现最终答案，确保易于理解。明确指出答案已经过验证，确保准确无误。
以下是问题：{question}

from openai import OpenAI
import re
import time

def optimize_prompt(initial_prompt, task_description, evaluation_criteria):
    """GRAD-SUM优化流程"""
    current_prompts = [initial_prompt]
    best_score = 0
    best_prompt = initial_prompt
    
    for iteration in range(MAX_ITERATIONS):
        print(f"\nIteration {iteration + 1}")
        all_candidates = []
        for prompt in current_prompts:
            candidates = generate_candidates(prompt, task_description)
            all_candidates.extend(candidates)
        
        # 评估所有候选prompts
        evaluated_candidates = [(candidate, evaluate_prompt(candidate, evaluation_criteria)) for candidate in all_candidates]