微信扫码
与创始人交个朋友
我要投稿
在这篇文章中,我构建了Aura的基础,这是一个个人AI助手,旨在使用AutoGen管理电子邮件和日历。以下是我所涵盖内容的快速概述:
整个源代码可在我的GitHub仓库[1]中找到。欢迎您分叉、建议新功能、贡献或甚至构建自己的Aura版本。
话不多说,让我们开始吧……
想象一下,有一个能够理解你工作习惯的 AI,它帮助你进行研究,审阅你的文章,清理你的收件箱,安排会议,甚至退订那些恼人的新闻通讯——所有这些都在你喝咖啡的时候进行。这就是我正在构建的 Aura。
为什么?因为我的日常工作流程有时会感觉像一团糟。以下是我希望 Aura 为我解决的几个问题:
为了实现Aura,我正在使用新的AutoGen v0.4框架。它已经从头重建[2],其灵活性使其非常适合我的用例。尽管v0.4仍处于预览阶段,但我相信新的架构概念为简单和复杂任务提供了坚实的基础。
在我看来,AutoGen的一个突出特点是其双层架构:
这种方法完美契合我的目标。我可以利用AgentChat的抽象快速启动开发,但如果我需要更专业的东西,我可以退回到核心层并实现我的解决方案。这是两全其美——快速启动和未来的灵活性。
工具是 AI 代理功能的基石。它们架起了语言模型与外部世界之间的桥梁,使得获取数据或发送命令等操作成为可能。
这里有一个例子:
如果你问 Aura,“我明天有什么会议?”,系统在高层次上执行以下操作:
get_current_time
fetch_calendar_events
工具)并定义其调用参数。Aura的帮助程度取决于它可以使用的工具。为了让它像专业人士一样处理我的电子邮件和日历,我需要将其与合适的资源集成。在一些挖掘之后,我找到了两个主要的起点:Gmail工具包和自定义Google日历集成。
Gmail Toolkit[3](来自LangChain社区)提供了五个基本工具,以支持Aura的电子邮件管理功能:
这些工具为Aura提供了草拟、发送和组织电子邮件所需的一切。为了集成它们,我使用了以下函数:
def get_gmail_tools(scopes: list[str]):
gmailToolkit = GmailToolkit(
api_resource=build_gmail_resource_service(scopes=scopes)
)
tools = gmailToolkit.get_tools()
# Map all tools to AutoGen consumable tool
autogen_tools = [LangChainToolAdapter(tool) for tool in tools]
return autogen_tools
它的工作原理是:GmailToolkit
提供必要的工具,而我使用LangChainToolAdapter
来包装这些工具,以便它们可以直接在AutoGen中使用。这个适配器本质上充当桥梁,使LangChain工具与AutoGen的框架兼容。
现在,这个需要更多的努力。在撰写时,LangChain上没有现成的Google Calendar Toolkit。经过一些研究,我找到了一个原型实现,并为Aura进行了定制。
使用自定义的Google Calendar Toolkit,Aura可以:
集成代码与Gmail的非常相似:
def get_google_calendar_tools(scopes: list[str]):
google_calendar_toolkit = GoogleCalendarToolkit(
api_resource=build_google_calendar_resource_service(scopes=scopes)
)
tools = google_calendar_toolkit.get_tools()
# Map all tools to AutoGen consumable tool
autogen_tools = [LangChainToolAdapter(tool) for tool in tools]
return autogen_tools
两个工具包都需要凭证以便对Google API进行身份验证,以代表您执行操作。有关更多信息,请阅读工具包的官方 docs[4]。
现在我已经准备好了工具,是时候通过创建助手代理来让 Aura 赋能。使用 AutoGen,我可以定义 Aura 及其所有工具,指定其行为,并设置其无缝处理任务。
以下是 Aura 的设置:
def aura() -> AssistantAgent:
# 第一步:收集 Aura 将使用的所有工具
tools = (
get_gmail_tools(SCOPES) # 用于邮件管理的 Gmail 工具
+ get_google_calendar_tools(SCOPES) # 用于日程安排的 Google 日历工具
+ get_utility_tools() # 额外的工具,如 get_current_time
)
# 第二步:使用 AutoGen 的 AssistantAgent 类创建助手代理
assistant = AssistantAgent(
name="aura", # 给助手命名
# 定义 LLM 客户端及其参数
model_client=OpenAIChatCompletionClient(
model="gpt-4o-mini", # 一种轻量级、高效的 GPT 模型
temperature=0.01, # 低温度以获得精确、确定性的输出
),
# 提供 Aura 将用于执行任务的工具
tools=tools,
# 设置系统提示以定义 Aura 的角色和行为
system_message=SYSTEM_PROMPT_TEMPLATE.format(timezone=str(_get_timezone())),
)
return assistant
代码中的内容如下:
AssistantAgent
类使用其名称、工具和行为初始化 Aura。OpenAIChatCompletionClient
指定了语言模型及其配置。SYSTEM_PROMPT_TEMPLATE
定义了 Aura 的个性、职责和指导方针。例如:SYSTEM_PROMPT_TEMPLATE = """
Your name is Aura. You are a versatile and efficient AI assistant specialized in managing the user's email and calendar.
Your primary responsibilities include:
- **Email Management**: Retrieve, organize, and manage email messages. Always include a unique identifier for each message to ensure easy reference.
- **Calendar Management**: Schedule, update, and retrieve calendar events while resolving conflicts or overlaps.
Guidelines:
- Adhere to the specified timezone for all date and time-related tasks: {timezone}.
- Provide clear, concise, and user-friendly responses, prioritizing accuracy and convenience.
- Proactively notify the user of important updates, conflicts, or pending actions in their email or calendar.
"""
工具、轻量级 GPT 模型和量身定制的系统提示的结合确保了 Aura 准备好高效处理任务。
现在 Aura 已经设置完成,下一步就是与之互动。为了实现这一点,我需要一个循环,让 Aura 能够实时响应用户输入。这使我们能够测试它的能力并观察其实际表现。
以下是我实现简单多轮对话循环的方法:
async defmain():
# Instantiate Aura
agent = aura()
whileTrue:
try:
# Take user input from the terminal
user_input = input("> ")
# Exit gracefully if the user types 'exit'
if user_input.lower() == "exit":
break
# Send the input to Aura and display its response as messages become available
await RichConsole(
stream=agent.on_messages_stream(
[TextMessage(content=user_input, source="user")],
cancellation_token=CancellationToken(),
),
show_intermediate=True,
)
except KeyboardInterrupt:
# Handle Ctrl+C gracefully
print("\nGoodbye! ?")
break
aura()
函数来实例化助手及其所有工具和配置。RichConsole
实时显示 Aura 的响应。这包括中间消息,便于跟踪 Aura 如何处理任务。我使用 rich
python 库来渲染可用的消息。Ctrl+C
,循环结束。这个简单的设置允许您与 Aura 进行对话式的多轮对话。例如:
这里展示了 Aura 在处理简单现实任务时的表现。让我们通过一些例子来看看它是如何完成工作的。
请求 Aura:
在我的任务日历中为明天的下午 5 点创建一个购物条目。
为了解决这个问题,Aura 首先需要确定“明天”的确切日期。在下面的视频中,您将看到 Aura 如何使用工具通过工具调用来获取当前的日期和时间作为子步骤。一旦知道当前日期,它就会计算事件的正确时间,并使用其日历工具来创建条目。
This showcases how Aura breaks down a seemingly simple prompt into logical steps, ensuring accurate results even with relative dates.
在这个例子中,Aura 展示了其扫描电子邮件并识别时事通讯的能力。通过一个查询,它快速总结了我的收件箱,并标记出被认为是时事通讯的电子邮件。
以表格格式总结今天的邮件。我想查看发件人、主题,以及邮件是否为时事通讯。确保隐藏姓名和个人身份信息。
随着基础设置的完成,Aura现在已经可以正常运行,并能够使用其工具处理简单任务。它可以管理您的日历、整理您的电子邮件,甚至总结您的收件箱——但这仅仅是个开始。
现在我已经建立了一个坚实的基础,真正的旅程才刚刚开始。Aura的可能性是巨大的,还有很多改进和新功能的空间。以下是未来的展望:
这个基础使我们能够实验并将Aura发展成一个强大的个性化AI助手。
请关注即将发布的帖子,我将讨论一些这些增强功能,并将Aura提升到一个新的水平。与此同时,如果您有想法或希望Aura处理的功能,请访问GitHub Discussions[5]页面——我很想听听您的想法!
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-07-07
2024-04-02
2024-06-24
2024-04-27
2024-06-06
2025-01-03
2024-04-02
2024-05-08
2024-05-04
2024-05-15