粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
02 部署框架对比
| 模型部署框架 | Xinference | LocalAI | Ollama | FastChat |
| OpenAI API 接口对齐 | 支持 | 支持 | 支持 | 支持 |
| 加速推理引擎 | GPTQ, GGML, vLLM, TensorRT, mlx | GPTQ, GGML, vLLM, TensorRT | GGUF, GGML | vLLM |
| 接入模型类型 | LLM, Embedding, Rerank, Text-to-Image, Vision, Audio | LLM, Embedding, Rerank, Text-to-Image, Vision, Audio | LLM, Text-to-Image, Vision | LLM, Vision |
| Function Call | 支持 | 支持 | 支持 | / |
| 更多平台支持(CPU, Metal) | 支持 | 支持 | 支持 | 支持 |
| 异构 | 支持 | 支持 | / | / |
| 集群 | 支持 | 支持 | / | / |
| 操作文档链接 | https://inference.readthedocs.io/zh-cn/latest/models/builtin/index.html | https://localai.io/model-compatibility/ | https://github.com/ollama/ollama?tab=readme-ov-file#model-library | https://github.com/lm-sys/FastChat#install |
| 可用模型 | 支持上百种大模型，https://inference.readthedocs.io/zh-cn/latest/models/builtin/index.html | https://localai.io/model-compatibility/#/ | https://ollama.com/library#/ | https://github.com/lm-sys/FastChat/blob/main/docs/model_support.md |
03 总结
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-27
一文了解Text Embedding模型：从text2vec、openai-text embedding到m3e、bge（上）
2025-04-27
RollingAI创始人刘开出席2025年中国绿公司年会，解读AI商业化落地新思维
2025-04-27
一文讲透 MCP 与 Function calling，你想看的都在这里
2025-04-27
混合专家 (MoE) 架构：现代大模型的“秘密武器”
2025-04-27
一文了解：大模型 Agent 开发框架有哪些？它们的区别是什么？
2025-04-27
大模型应用系列：两万字解读MCP
2025-04-27
一篇文章说清楚什么是生成式AI、决策式AI、判别式AI
2025-04-27
字节Trae 大更新，5分钟看懂AI生成的“神秘代码块”
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
回到顶部