粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
Prompt Caching 工作原理
初始请求：将大型上下文（例如，一本书的内容）发送给 Claude 并缓存它。
后续请求：在后续的对话中可以引用此缓存内容而无需再次发送，从而减少数据传输和处理时间。
如何使用 Prompt Caching API？
pip install anthropic
from anthropic import Anthropicclient = Anthropic(api_key="your-api-key")
response = client.messages.create(model="claude-3-sonnet-20240229",max_tokens=1000,temperature=0,cache_key="my_cached_prompt",messages=[{"role": "user","content": "Here's a large context that I want to cache: [Your large context here]"}])response = client.messages.create(model="claude-3-sonnet-20240229",max_tokens=1000,temperature=0,cache_key="my_cached_prompt",messages=[{"role": "user","content": "Refer to the cached context and answer this question: [Your question here]"}])response = client.messages.create(model="claude-3-sonnet-20240229",max_tokens=1000,temperature=0,cache_key="my_cached_prompt",messages=[{"role": "user","content": "Here's an updated context to cache: [Your updated context here]"}])优化 Claude Prompt 的使用效果
Claude Prompt Caching VS RAG
简单：不需要复杂的矢量数据库或检索机制
一致性：缓存信息始终可用，确保统一响应
速度：响应时间更快，因为所有信息均可轻松访问
探索更多 AI 工具
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-07-18
2024-06-29
2023-06-08
2024-07-10
2024-07-02
2024-07-26
2024-06-27
2024-07-14
2024-07-15
2024-07-09
回到顶部