微信扫码
与创始人交个朋友
我要投稿
ell
颠覆了这一观念,将提示视为程序。通过这种方式,我们可以将提示封装成独立的子程序,称为语言模型程序(Language Model Program, LMP)。这些 LMP 是完全封装的函数,可以生成字符串提示或消息列表,发送到各种多模态语言模型。ell
实现相同的功能。以下是使用 OpenAI Chat Completion API 的简单示例:import openai
openai.api_key = "your-api-key-here"
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Say hello to Sam Altman!"}
]
response = openai.ChatCompletion.create(
model="gpt-4o",
messages=messages
)
print(response['choices'][0]['message']['content'])
ell
实现相同的结果:import ell
@ell.simple(model="gpt-4o")
def hello(name: str):
"""You are a helpful assistant.""" # 系统提示
return f"Say hello to {name}!" # 用户提示
greeting = hello("Sam Altman")
print(greeting)
ell
通过鼓励你将提示定义为功能单元来简化提示。在这个示例中,hello
函数通过文档字符串定义系统提示,通过返回字符串定义用户提示。提示的用户只需调用定义的函数,而不需要手动构建消息。在此基础上,我们可以进一步地改进提示。import ell
import random
def get_random_adjective():
adjectives = ["enthusiastic", "cheerful", "warm", "friendly"]
return random.choice(adjectives)
@ell.simple(model="gpt-4o")
def hello(name: str):
"""You are a helpful assistant."""
adjective = get_random_adjective()
return f"Say a {adjective} hello to {name}!"
greeting = hello("Sam Altman")
print(greeting)
hello
LMP 依赖于 get_random_adjective
函数。每次调用 hello
时,它都会生成一个不同的形容词,创建动态、多样的提示。显然,ell
可使提示更具可读性、可维护性和可重用性。ell
提供了丰富的工具来支持这一过程。ell
通过静态和动态分析,提供了提示的自动版本控制和序列化,并生成自动提交消息到本地存储。这一过程类似于机器学习训练中的检查点,但不需要特殊的 IDE 或编辑器——只需使用常规的 Python 代码即可。import ell
ell.init(store='./logdir') # 版本控制你的 LMP 和它们的调用
# 定义你的 LMP
hello("strawberry") # LMP 的源代码和调用被保存到存储中
ell
提供了一个名为 Ell Studio 的本地开源工具,可用于提示版本控制、监控和可视化。通过 Ell Studio,你可以将提示优化过程科学化,并在问题出现之前捕捉到回归。ell
使得在可读和模块化的方式中实现测试时计算变得容易。import ell
@ell.simple(model="gpt-4o-mini", temperature=1.0, n=10)
def write_ten_drafts(idea: str):
"""You are an adept story writer. The story should only be 3 paragraphs"""
return f"Write a story about {idea}."
@ell.simple(model="gpt-4o", temperature=0.1)
def choose_the_best_draft(drafts: List[str]):
"""You are an expert fiction editor."""
return f"Choose the best draft from the following list: {'\\n'.join(drafts)}."
drafts = write_ten_drafts(idea)
best_draft = choose_the_best_draft(drafts) # 从10个草稿中选择最佳草稿
测试时计算(Test-Time Computation)是机器学习和深度学习中的一个概念,指的是在模型推理阶段(也就是测试时)进行额外的计算或处理,以提高模型的性能或适应性。这种方法通常用于解决训练数据和测试数据之间存在差异的问题,或者在不重新训练模型的情况下提高模型的泛化能力。其核心思路是不重新训练模型,而是在模型实际使用时进行额外的处理,以提高模型的表现。类似于人类在应用所学知识时会根据具体情况做出适当灵活变通处理,而不是僵化执行。
每次调用语言模型都很重要
ell
还可以选择性地本地保存每次调用语言模型的记录。这使你能够生成调用数据集,比较不同版本的 LMP 输出,并充分利用提示工程的所有工件。ell
提供了 @ell.simple
和 @ell.complex
装饰器,分别用于生成简单字符串输出和复杂的消息对象响应。import ell
@ell.tool()
def scrape_website(url: str):
return requests.get(url).text
@ell.complex(model="gpt-5-omni", tools=[scrape_website])
def get_news_story(topic: str):
return [
ell.system("""Use the web to find a news story about the topic"""),
ell.user(f"Find a news story about {topic}.")
]
message_response = get_news_story("stock market")
if message_response.tool_calls:
for tool_call in message_response.tool_calls:
# 处理工具调用
pass
if message_response.text:
print(message_response.text)
if message_response.audio:
# message_response.play_audio() 支持多模态输出
pass
from PIL import Image
import ell
@ell.simple(model="gpt-4o", temperature=0.1)
def describe_activity(image: Image.Image):
return [
ell.system("You are VisionGPT. Answer <5 words all lower case."),
ell.user(["Describe what the person in the image is doing:", image])
]
# 从摄像头捕捉图像
describe_activity(capture_webcam_image()) # 输出: "they are holding a book"
ell
支持多模态输入和输出的丰富类型转换。你可以在 LMP 返回的 Message
对象中内联使用 PIL 图像、音频和其他多模态输入。ell
设计为一个轻量级且不干扰的库。它不要求你改变编码风格或使用特殊的编辑器。ell
的功能来可视化和分析你的提示。你可以逐步从 langchain 迁移到 ell
,一次一个函数。ell
通过将提示视为函数,并提供一系列强大的工具,重新定义了提示工程。它不仅简化了提示的创建和管理过程,还使得提示优化变得科学化和系统化。无论你是提示工程的新手还是经验丰富的专家,ell
都能为你提供有价值的支持。53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-01-07
不会写提示词就是不会用AI,掌握CHAT模型就掌握了提示词秘诀
2025-01-06
2025 提示工程进阶:谷歌9小时课程精华总结,你必须知道的Prompt设计秘密
2025-01-06
Prompt Engineering提示词工程
2025-01-06
Prompt 提示工程深度研究
2025-01-05
李继刚:AI都这么智能了,为什么还要研究写「提示词」?
2025-01-04
Claude 团队内部分享!什么时候该用Workflow和Agent,如何用简单模式构建有效的 LLM Agent ?
2025-01-03
优秀Prompt库大盘点:让你的Prompt更专业
2025-01-02
Prompt格式到底有多重要?它竟然这样影响LLM函数调用能力(附提示词模版)
2024-06-29
2024-08-20
2023-06-08
2024-06-27
2024-09-17
2024-07-09
2024-06-14
2024-07-12
2024-06-26
2024-09-16
2025-01-05
2025-01-04
2024-12-15
2024-11-15
2024-11-01
2024-10-29
2024-09-11
2024-09-06