粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
我们需要通过阿里云百炼平台获取大模型API，因为我要构建一个文档对话应用，所以这里我选用的是Qwen-Long这个大模型，Qwen-Long是在通义千问针对超长上下文处理场景的大语言模型，支持最长1000万tokens(约1500万字或1.5万页文档)的超长上下文对话。配合同步上线的文档服务，可支持word、pdf、markdown、epub、mobi等多种文档格式的解析和对话。
正好阿里云也在搞618活动，现在扫码注册还可以领取400万tokens的免费额度和云服务器优惠券，正好用来低成本开发部署一个AI应用，错过再等一年！
openai、streamlit和 tiktoken。其中，tiktoken 是用来处理 token 编码的，这样可以帮我们计算对话的费用。dotenv 模块，我们可以从 .env 文件中加载配置。只要把 .env 文件放在项目的根目录中就可以了。tiktoken 的编码器，这个小工具可以帮我们计算消息的 token 数量。init_page 函数设置页面和侧边栏的标题，而 init_messages 函数用来初始化对话消息。upload_pdf。这个函数会把文件上传到 OpenAI 的文件服务，并返回文件的 ID。select_llm，从 Streamlit 的侧边栏读取用户选择的模型名称。get_answer。这个函数接受模型名称、消息列表和文件 ID 作为参数。首先添加包含文件 ID 的系统消息，然后获取用户的实际问题，调用 OpenAI 的聊天完成接口获取回答，并返回回答内容。calculate_cost。这个函数会计算消息列表中所有消息的 token 数量，然后根据每千个 token 的价格计算总费用。这样你就能知道自己花了多少钱。main。这个函数会初始化页面和对话消息，处理文件上传，获取用户输入，并显示对话历史和费用。具体流程是先初始化页面，然后选择模型，上传文件，初始化对话消息，获取用户输入，调用 AI 获取回答，计算费用，并显示在页面上。53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-08-13
2024-03-30
2024-05-28
2024-05-10
2024-04-26
2024-04-12
2024-04-25
2024-07-25
2024-05-06
2024-05-14
回到顶部