微信扫码
与创始人交个朋友
我要投稿
WebLLM 是一款高性能的浏览器内 LLM 推理引擎,它通过硬件加速将语言模型推理直接引入 Web 浏览器。一切都在浏览器内部运行,无需服务器支持,并通过 WebGPU 加速。
WebLLM与OpenAI API完全兼容。 也就是说,您可以在本地对任何开源模型使用相同的 OpenAI API ,其功能包括 json-mode、函数调用、流式传输等。
我们可以带来很多有趣的机会,为每个人构建 AI 助手,并在享受 GPU 加速的同时保护隐私。
您可以使用 WebLLM 作为基础npm 包,并按照文档和查看入门指南在其上构建自己的 Web 应用程序。该项目是MLC LLM的配套项目,可实现 LLM 在硬件环境中的通用部署。
github:https://github.com/mlc-ai/web-llm
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候,他们在说什么?
2024-08-15
对话AI教育从业者们:AI如何解决因材施教的难题?
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及:NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26