微信扫码
与创始人交个朋友
我要投稿
DSPy(声明式自改进语言程序),面向大模型编程的新方法,克服当前LLM应用开发的诸多缺点
今天,介绍一款当前这一领域最强工具——Ape,它是由YC资助的创业公司Weavel开发的一款prompt优化工具,它在GSM 8 K基准测试中得分高达93%,超过BaseLLM的70%及DSPy的86%。
同时,它也可以自动生成评估代码,并使用LLM作为判断,或者自己设置评估指标。
Ape的核心理念非常简单:
好的输入 + 正确的引导 = 更好的提示。
APE的设计实现受到DSPy的影响,采用数据+迭代的方式进行prompt自我优化,得益于平台产品化的设计,整体使用门槛大大降低,易于上手。
它具备以下能力:
通过分析prompt和数据集生成评估代码
运行批量测试来评估prompt
从之前的测试中提取反馈和洞察
通过使用贝叶斯优化等统计方法找到最佳prompt
在改进prompt时考虑Human-in-loop的反馈
它的工作原理如下:
记录输入输出:仅需一行代码,即可开始记录LLM的调用。
数据集过滤:Ape将日志过滤成数据集。
生成评估代码:Ape使用LLM作为复杂任务的评估者。
持续优化:随着更多生产数据的加入,Ape会持续优化提升prompt性能。
虽然,APE内核已经被开源到github(https://github.com/weavel-ai/Ape),但目前缺乏使用帮助,集成使用可能还需要再等一段时间。当前可以在Weavel产品上体验APE,过程比较简单:
通过创建prompt,添加数据,开启优化三步就能完成prompt优化,训练数据除了上传外,也可以通过接口采集,同时APE提供了prompt版本化以及评估的功能,包含大量的评估方法,如下图。
APE相较于其他工具在能力层面已达到prompt工具的高级水平(prompt的工具分级金字塔详见:一文探秘LLM应用开发(23)-Prompt(相关工具)),这样很容易形成这样的迭代机制,进而保证prompt一直能够不劣化,这和小模型每日更新避免模型性能衰退逻辑十分相似。
数据+迭代的模式已经被验证是行之有效的prompt优化方法,以此思路启发,进一步构建一个“数据+迭代”的自学习LLM应用将是一个新的热点命题。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-21
致继刚,感谢你继承乔哈里视窗和提示词心法
2024-11-20
郭美青 | 从Demo到商用—构建企业级提示词工程,加速AI应用商用落地
2024-11-20
云中江树 | 重塑自然语言编程,Agent 训练的核心探索
2024-11-20
一个让AI智商暴涨300%的Prompt Engineer 万能方法论
2024-11-19
从乡下放牛娃到大厂AI顾问:我用本硕七年,重写自己的人生
2024-11-18
智能对决:提示词攻防中的AI安全博弈
2024-11-15
AI对话的日常思考:当我们在讨论提示词时,到底在纠结什么?
2024-11-14
你不需要招一个天才Prompt少年,也不需要玄幻的prompt来做开发
2024-06-29
2023-06-08
2024-08-20
2024-06-27
2024-06-14
2024-07-09
2024-07-12
2024-09-17
2024-06-26
2024-06-29