AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


使用 Groq 和 Llama3 快速构建 AI 代理
发布日期:2024-05-02 18:28:53 浏览次数: 2234


前言

在这篇文章里,我要向你展示如何将Groq这家超快速的大语言模型(LLM)硬件制造商与目前市场上可能表现最佳的LLM,Llama3,结合起来完成一些实际有用的任务。

我们打算开发做一个基于 llama3 的代理原型,代理一位专业的经济学家,并输出为 Markdown 格式。它将充分展示Groq的处理速度和Llama 3在中文理解方面的能力。


关于Groq

如果你以前没有听说过Groq,可以官方文档详细了解。简单来说,他们是一家专注于AI和LLM解决方案的公司。他们最出名的是他们的快速处理单元(Groq把它们称为LPUs),这些单元能够加快LLM处理数据的速度。


关于Llama 3

Llama 3是Meta推出的最新开源大语言模型,被认为可能是目前市面上最优秀的LLM,无论是开源还是非开源。我在一篇文章中测试了这个模型在逻辑、推理和数学能力方面的表现,它的性能给我留下了深刻的印象。

设置新的Python开发环境

我的 Python 代码将在 Jupyter Notebook 中运行。

conda create -n gradio_llama3 python=3.11 -yconda activate gradio_llama3conda install jupyter -y
安装 Python 库
! pip install groq Markdown

获取 Groq API 密钥

您还需要一个 Groq API 密钥,您可以通过访问找到该密钥

登录(或创建帐户),创建一个新密钥并记下它,因为下一次打开将以加密的方式显示。

Groq API 密钥:https://console.groq.com/keys


Python 代码

要点

  • 以 API 的方式接入 LlaMa-3-70b-Instruct

  • Groq 加成,闪电生成

  • Syetem Prompt,提升中文回复的稳定性 & 其他增益

  • 实现一个基于字符的简单计速——time 模块

  • 在Notebook IDE 中直接渲染 Markdown——display(Markdown())

import osfrom groq import Groqfrom IPython.display import display, Markdownimport time
groq_api_key = os.environ["GROQ_API_KEY"]
client = Groq(api_key=groq_api_key)start_time = time. time() # 开始计时chat_completion = client.chat.completions.create( messages=[ { "role": "system", "content":""" - Think step by step. - Be precise, no preamble, get to the point. - Always response in Simplified Chinese, unless user is in Eng Lish. """ },{ "role": "user", "content":"你是一位专业的经济学家,请用小白能理解的表达来详细解析沉没成本,输出为 Markdown 格式,大标题前方请附上 1 个合适的 Emoji", } ], model="llama3-70b-8192", temperature=0.8, max_tokens=4096,top_p=0.9,)
end_time = time.time() # 结束计时elapsed_time = end_time - start_time # 计算生成时间generated_chars = len(chat_completion.choices[0].message.content) # 获取生成的字符数speed = generated_chars / elapsed_time # 计算生成速度
display(Markdown(f"生成速度:{speed:.0f}字符/秒"))display(Markdown(chat_completion.choices[0].message.content))

输出结果如下

?沉没成本(Sunk Cost)解析什么是沉没成本?沉没成本(Sunk Cost)是指已经发生的、不可回收的支出或投资。这些成本已经发生,不管未来如何决定,都不能改变或撤销。
为什么沉没成本重要?沉没成本很重要,因为它们可能会影响我们的决策。我们常常会因为已经投入的成本而继续投资或维持某个项目,即使这个项目不再有价值。这是因为我们不想“浪费”已经投入的成本。
例子你买了一张电影票,但是在电影开始前你不想去了。你仍然可以选择不去看电影,但你已经花了钱,这笔钱不能退款。你投资了一家公司,但这家公司现在正在亏损。你可以选择继续投资或撤销投资,但你已经投入的钱不能回收。沉没成本的陷阱沉没成本可能会导致以下几个问题:
继续投资不良项目:因为已经投入的成本,我们可能会继续投资一个不良项目,希望能够收回成本。错失其他机会:因为沉没成本,我们可能会错失其他更好的投资机会。情感决策:沉没成本可能会使我们基于情感做出决策,而不是基于理智。如何避免沉没成本的陷阱?理智决策:在决策时,忽略已经投入的成本,基于当前的情况和未来的预期做出决策。重新评估:重新评估当前的投资或项目,看看它们是否仍然有价值。割舍亏损:如果一个项目不再有价值,及时割舍亏损,不要继续投入。


总结

我们向您展示了如何快速创建概念验证。利用 Llama3、Groq 和 Python 等大语言模型及平台的潜力,如何轻松地利用这些尖端工具来开发实用程序。这些程序可以(以较小的方式)模拟流行的服务,例如专业领域的专家,全球数百万人使用的 Google 翻译。


资源:

  • Github :https://github.com/mcks2000/llm_notebooks/blob/main/notebooks/agent/grop_llama3_agent.ipynb

  • Docs - Groq:https://wow.groq.com/docs/

  • Groq API 密钥:https://console.groq.com/keys



你可以关注我以获取更多故事,并在 公众号 上阅读我的短篇技术文章。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询