微信扫码
与创始人交个朋友
我要投稿
上图为整体的交互模式,Torchchat的核心是一个REST API,可以通过命令行界面 (CLI) 或浏览器访问。这使得可以轻松集成到现有的Python工作流程和快速原型设计中。
git clone https://github.com/pytorch/torchchat.git
cd torchchat
python3 -m venv .venv
source .venv/activate
./install_requirements.sh
python3 torchchat.py chat llama3.1
可视化web模式将启动一个基于Web的UI,用于与Llama 3.1模型进行交互,提供更直观和用户友好的体验。
streamlit run torchchat.py -- browser llama3.1
下表展示了Llama 3 8B Instruct在M1 Max和64GB RAM的Apple MacBook Pro上的性能,MPS显示出明显的加速。
MPS (Metal Performance Shaders) 是Apple提供的一个图形和计算框架,用于利用GPU进行高效的计算确保最佳性能。
Torchchat在移动设备上的表现同样令人印象深刻。在三星Galaxy S23和 iPhone上通过ExecuTorch使用4 位GPTQ量化实现每秒超过8个令牌。这种性能水平可在现代智能手机上实现响应迅速的设备端 AI 体验。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-19
o1发布后,信息量最大的圆桌对话:杨植麟、姜大昕、朱军探讨大模型技术路径
2024-09-19
杨植麟、姜大昕、朱军云栖激辩:我们对大模型发展的预测,都过于保守了
2024-09-19
大模型Agent:人工智能新前沿的深度解读
2024-09-19
LlamaIndex报告:未来Agentic App,不仅是RAG
2024-09-19
从案例分析到客户沟通:AI提示词如何优化律师工作流程?
2024-09-19
o1 能带我们走进 AGI 吗?
2024-09-19
端到端的 NL2SQL 引擎: Super-Analysis 震撼来袭,一个不同于市面已有产品的存在
2024-09-19
解锁医疗新未来:Sunsimiao-7B 中文医疗大模型震撼登场
2024-07-18
2024-03-30
2024-04-26
2024-04-11
2024-05-06
2024-06-12
2024-07-09
2024-05-09
2023-07-01
2024-07-25
2024-09-19
2024-09-19
2024-09-19
2024-09-19
2024-09-18
2024-09-18
2024-09-18
2024-09-18