微信扫码
添加专属顾问
我要投稿
在这篇文章里,我要向你展示如何将Groq这家超快速的大语言模型(LLM)硬件制造商与目前市场上可能表现最佳的LLM,Llama3,结合起来完成一些实际有用的任务。
我们打算开发做一个基于 llama3 的代理原型,代理一位专业的经济学家,并输出为 Markdown 格式。它将充分展示Groq的处理速度和Llama 3在中文理解方面的能力。
如果你以前没有听说过Groq,可以官方文档详细了解。简单来说,他们是一家专注于AI和LLM解决方案的公司。他们最出名的是他们的快速处理单元(Groq把它们称为LPUs),这些单元能够加快LLM处理数据的速度。
Llama 3是Meta推出的最新开源大语言模型,被认为可能是目前市面上最优秀的LLM,无论是开源还是非开源。我在一篇文章中测试了这个模型在逻辑、推理和数学能力方面的表现,它的性能给我留下了深刻的印象。
我的 Python 代码将在 Jupyter Notebook 中运行。
conda create -n gradio_llama3 python=3.11 -y
conda activate gradio_llama3
conda install jupyter -y
安装 Python 库
! pip install groq Markdown
获取 Groq API 密钥
您还需要一个 Groq API 密钥,您可以通过访问找到该密钥
登录(或创建帐户),创建一个新密钥并记下它,因为下一次打开将以加密的方式显示。
Groq API 密钥:https://console.groq.com/keys
以 API 的方式接入 LlaMa-3-70b-Instruct
Groq 加成,闪电生成
Syetem Prompt,提升中文回复的稳定性 & 其他增益
实现一个基于字符的简单计速——time 模块
在Notebook IDE 中直接渲染 Markdown——display(Markdown())
import os
from groq import Groq
from IPython.display import display, Markdown
import time
groq_api_key = os.environ["GROQ_API_KEY"]
client = Groq(api_key=groq_api_key)
start_time = time. time() # 开始计时
chat_completion = client.chat.completions.create(
messages=[
{
"role": "system",
"content":"""
- Think step by step.
- Be precise, no preamble, get to the point.
- Always response in Simplified Chinese, unless user is in Eng Lish.
"""
},{
"role": "user",
"content":"你是一位专业的经济学家,请用小白能理解的表达来详细解析沉没成本,输出为 Markdown 格式,大标题前方请附上 1 个合适的 Emoji",
}
],
model="llama3-70b-8192",
temperature=0.8, max_tokens=4096,top_p=0.9,
)
end_time = time.time() # 结束计时
elapsed_time = end_time - start_time # 计算生成时间
generated_chars = len(chat_completion.choices[0].message.content) # 获取生成的字符数
speed = generated_chars / elapsed_time # 计算生成速度
display(Markdown(f"生成速度:{speed:.0f}字符/秒"))
display(Markdown(chat_completion.choices[0].message.content))
输出结果如下
?沉没成本(Sunk Cost)解析
什么是沉没成本?
沉没成本(Sunk Cost)是指已经发生的、不可回收的支出或投资。这些成本已经发生,不管未来如何决定,都不能改变或撤销。
为什么沉没成本重要?
沉没成本很重要,因为它们可能会影响我们的决策。我们常常会因为已经投入的成本而继续投资或维持某个项目,即使这个项目不再有价值。这是因为我们不想“浪费”已经投入的成本。
例子
你买了一张电影票,但是在电影开始前你不想去了。你仍然可以选择不去看电影,但你已经花了钱,这笔钱不能退款。
你投资了一家公司,但这家公司现在正在亏损。你可以选择继续投资或撤销投资,但你已经投入的钱不能回收。
沉没成本的陷阱
沉没成本可能会导致以下几个问题:
继续投资不良项目:因为已经投入的成本,我们可能会继续投资一个不良项目,希望能够收回成本。
错失其他机会:因为沉没成本,我们可能会错失其他更好的投资机会。
情感决策:沉没成本可能会使我们基于情感做出决策,而不是基于理智。
如何避免沉没成本的陷阱?
理智决策:在决策时,忽略已经投入的成本,基于当前的情况和未来的预期做出决策。
重新评估:重新评估当前的投资或项目,看看它们是否仍然有价值。
割舍亏损:如果一个项目不再有价值,及时割舍亏损,不要继续投入。
我们向您展示了如何快速创建概念验证。利用 Llama3、Groq 和 Python 等大语言模型及平台的潜力,如何轻松地利用这些尖端工具来开发实用程序。这些程序可以(以较小的方式)模拟流行的服务,例如专业领域的专家,全球数百万人使用的 Google 翻译。
Github :https://github.com/mcks2000/llm_notebooks/blob/main/notebooks/agent/grop_llama3_agent.ipynb
Docs - Groq:https://wow.groq.com/docs/
Groq API 密钥:https://console.groq.com/keys
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-02-01
2025-01-01
2024-08-13
2025-02-04
2024-07-25
2024-04-25
2024-06-13
2024-09-23
2024-04-26
2024-08-21
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-16
2025-03-16
2025-03-16
2025-03-15