粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
这是关于 LLM 工程实战最全面的指南，没有之一。 核心内容： 1. LLM 课程的背景与主要部分 2. 现代 LLM 应用的整体架构设计 3. LLM 工程在生产环境中的挑战
大语言模型（LLM）正在重塑软件开发的范式。随着 ChatGPT、Claude 等产品的广泛应用，如何将 LLM 有效地集成到生产系统中已成为工程师们面临的重要挑战。今天咱们基于 Maxime Labonne(Liquid AI 训练后优化负责人)开发的顶尖 LLM 工程课程，系统性地介绍从模型运行到生产部署的完整技术栈，让想了解并从事 LLM 工程的朋友们可以快速入门。
这门广受欢迎的 LLM 课程由 Maxime Labonne 开发，课程完整地分为三个主要部分：
本文主要基于第三部分 The LLM Engineer 的核心内容，这也是最贴近生产实践的部分。值得一提的是，课程作者还与 Paul Iuzstin 合著了《LLM Engineer's Handbook》，为实践者提供了更深入的指导。同时，课程也提供了基于 HuggingChat 和 ChatGPT 的交互式学习助手，帮助学习者更好地掌握相关知识。
? 参考官方资源链接、课程链接和 LLM Engineer 全景图在末尾 ?
现代LLM应用采用分层架构设计，这种设计思路源于对系统复杂性的合理分解。在最底层，我们需要解决模型的运行和存储问题；中间层负责实现核心的业务功能；顶层则确保系统的性能和安全性。这种分层不仅使得系统各个组件的职责清晰，更为不同规模的应用提供了灵活的实现路径。
在生产环境中部署LLM应用面临着独特的挑战。首要问题是模型部署的资源消耗，大型语言模型往往需要大量的计算资源和内存。其次是推理性能的优化需求，系统需要在有限的资源下提供快速响应。检索效果的准确性、系统响应的实时性，以及安全性与隐私保护，都需要在工程实践中认真考虑和解决。
在LLM部署方案的选择上，我们需要权衡多个因素。主流的API服务（如OpenAI和Anthropic）提供了便捷的使用方式。OpenAI的GPT-4模型支持128K tokens的上下文窗口，适合需要强大语言理解能力的应用场景。而Claude 2.1则提供了更大的上下文窗口（200K tokens），特别适合长文档处理和代码分析任务。
对于本地部署需求，llama.cpp提供了高效的解决方案。以下是一个优化配置示例：
struct llama_context_params params = { .n_ctx = 2048, // 上下文长度 .n_batch = 512, // 批处理大小 .n_threads = 4, // CPU线程数 .n_gpu_layers = -1 // GPU加载层数};提示工程是LLM应用开发的核心技能。零样本提示（Zero-shot Prompting）适用于模型本身具备任务解决能力的场景。通过精心设计的提示模板，我们可以引导模型生成所需的输出。例如，情感分析任务可以这样设计：
prompt = """任务：对给定文本进行情感分析规则：分析文本的情感倾向，给出分析依据，返回1-5分的评分文本：{input_text}"""当任务较为复杂时，思维链（Chain-of-Thought）提示方法能够显著提升模型的推理能力。通过引导模型进行步骤化思考，我们可以得到更可靠的输出结果。
在实际应用中，控制模型输出的格式至关重要。LMQL框架提供了优雅的解决方案，允许我们用声明式的方式指定输出结构：
from lmql import query@querydef extract_info(text):'''template = "从文本中提取关键信息：{text}"name = ANSWER("提取人名", type=str)age = ANSWER("提取年龄", type=int)return {"name": name, "age": age}'''
文档处理是构建高质量检索系统的基础。递归文本分割器能够智能地处理文档结构，在保持语义完整性的同时实现合理的分块。关键在于合理设置分割参数并保留文档的结构信息：
from langchain.text_splitter import RecursiveCharacterTextSplittersplitter = RecursiveCharacterTextSplitter(chunk_size=1000,chunk_overlap=200,length_function=len,separators=["\n\n", "\n", "。", "！", "？"])
此外，为文档块增加丰富的元数据信息可以显著提升检索效果。这包括文档来源、创建时间、页码、章节等结构化信息。
嵌入模型的选择需要在性能和效率之间取得平衡。OpenAI的text-embedding-ada-002模型提供了最好的效果，但成本较高。对于大多数应用场景，all-MiniLM-L6-v2模型可以提供很好的性能和效率平衡。
在实际应用中，批量处理和向量标准化是两个重要的优化方向：
def generate_embeddings(texts, batch_size=32): model = SentenceTransformer("all-MiniLM-L6-v2") return model.encode( texts, batch_size=batch_size, normalize_embeddings=True )向量数据库的选择和优化直接影响检索系统的性能。以Milvus为例，其配置需要根据具体场景carefully调整。在生产环境中，索引类型的选择尤为重要。IVF_FLAT索引提供了查询速度和召回率的良好平衡：
from pymilvus import Collection, DataTypecollection_params = {"name": "document_store","schema": [{"name": "id", "dtype": DataType.INT64, "is_primary": True},{"name": "embedding", "dtype": DataType.FLOAT_VECTOR, "dim": 384}],"index_params": {"index_type": "IVF_FLAT","metric_type": "IP","params": {"nlist": 1024}}}
在实际应用中，混合检索策略往往能够提供更好的效果。通过组合关键词搜索和向量检索，我们可以同时利用两种方式的优势。关键是要根据应用场景调整两种方式的权重，实现最佳的检索效果。
检索增强生成（RAG）系统是现代LLM应用的核心架构。一个完善的RAG系统需要精心设计检索策略、上下文管理和响应生成三个关键环节。
传统的单查询检索往往难以获得理想的召回效果。多查询检索器（Multi-Query Retriever）通过重写原始查询来提升召回率。其核心思想是利用LLM生成多个语义相关但表达不同的查询变体：
class MultiQueryRetriever:def __init__(self, base_llm, base_retriever):self.llm = base_llmself.retriever = base_retrieverdef generate_queries(self, question):prompt = f"""基于原始问题生成三个不同的查询变体：原始问题：{question}生成查询时考虑同义词、相关概念和不同表达方式。"""response = self.llm.generate(prompt)return self._parse_queries(response)
HyDE（Hypothetical Document Embeddings）技术则提供了另一种创新的检索方式。它首先使用LLM生成假设性的理想文档，然后用这个文档的嵌入来检索真实文档，这种方法在特定场景下能显著提升检索质量。
上下文窗口的有效管理是RAG系统性能的关键。动态上下文裁剪技术可以根据查询的具体情况调整注入的文档数量和长度：
def optimize_context(retrieved_docs, query, max_tokens=3000):# 计算相关度得分relevance_scores = compute_relevance(query, retrieved_docs)# 动态选择文档selected_docs = []current_tokens = 0for doc, score in sorted(zip(retrieved_docs, relevance_scores),key=lambda x: x[1], reverse=True):doc_tokens = count_tokens(doc)if current_tokens + doc_tokens > max_tokens:breakselected_docs.append(doc)current_tokens += doc_tokensreturn selected_docs
生成高质量的响应需要合理构造系统提示。一个有效的策略是使用多阶段提示链，先进行信息提取和组织，再生成最终响应：
def generate_response(query, context):# 第一阶段：信息提取extraction_prompt = f"""从上下文中提取与问题相关的关键信息：问题：{query}上下文：{context}"""key_info = llm.generate(extraction_prompt)# 第二阶段：响应生成response_prompt = f"""基于提取的信息生成完整响应：问题：{query}关键信息：{key_info}要求：1. 回答要准确且有依据2. 语言要流畅自然3. 适当补充相关信息"""return llm.generate(response_prompt)
随着应用场景的复杂化，简单的RAG架构可能无法满足需求。这时我们需要引入更高级的技术来增强系统能力。
在处理结构化数据时，Text-to-SQL是一个强大的工具。通过精心设计的提示模板，我们可以让LLM生成准确的SQL查询：
def generate_sql(question, schema):prompt = f"""基于以下数据库模式生成SQL查询：数据库模式：{schema}用户问题：{question}请生成一个安全、高效的SQL查询，注意：1. 使用参数化查询防止注入2. 添加适当的索引条件3. 处理可能的NULL值"""return llm.generate(prompt)
Agent系统将LLM的能力与外部工具结合，实现更复杂的任务处理。关键是设计好任务分解和工具选择的逻辑：
class TaskAgent:def __init__(self, llm, tools):self.llm = llmself.tools = toolsdef solve_task(self, task):# 任务分解subtasks = self.decompose_task(task)results = []for subtask in subtasks:# 工具选择tool = self.select_tool(subtask)# 执行子任务result = tool.execute(subtask)results.append(result)# 结果合成return self.synthesize_results(results)
在生产环境中，性能优化是永恒的主题。通过多项技术的组合，我们可以显著提升系统的响应速度和资源利用率。
Flash Attention通过优化内存访问模式，将注意力计算的复杂度从二次降低到线性。其核心思想是将注意力计算分块进行，减少内存访问：
def flash_attention(q, k, v, mask=None):# 分块计算注意力block_size = 1024seqlen = q.shape[1]output = torch.zeros_like(q)for i in range(0, seqlen, block_size):block_q = q[:, i:i+block_size]for j in range(0, seqlen, block_size):block_k = k[:, j:j+block_size]block_v = v[:, j:j+block_size]block_output = compute_block_attention(block_q, block_k, block_v, mask)output[:, i:i+block_size] += block_outputreturn output
KV Cache是提升生成速度的关键技术。通过缓存已生成token的key和value，我们可以避免重复计算：
class KVCache:def __init__(self, max_length):self.max_length = max_lengthself.cache = {}def update(self, layer_id, key, value):if layer_id not in self.cache:self.cache[layer_id] = {'key': [],'value': []}self.cache[layer_id]['key'].append(key)self.cache[layer_id]['value'].append(value)# 维护缓存大小if len(self.cache[layer_id]['key']) > self.max_length:self.cache[layer_id]['key'].pop(0)self.cache[layer_id]['value'].pop(0)
推测性解码则通过小模型预测来加速生成过程。其效果取决于小模型预测的准确率和验证的开销：
def speculative_decoding(draft_model, target_model, prompt):# 使用小模型生成草稿draft = draft_model.generate(prompt, num_tokens=8)# 大模型验证和修正verified = []for token in draft:prob = target_model.verify_token(token)if prob > 0.9: # 置信度阈值verified.append(token)else:break# 继续生成return target_model.continue_generation(verified)
将LLM系统部署到生产环境需要考虑诸多工程化问题。从服务架构到监控告警，每个环节都需要仔细规划。
vLLM提供了高效的推理服务框架。通过PagedAttention技术，它可以显著提升GPU内存利用率：
from vllm import LLM, SamplingParamsclass InferenceService:def __init__(self, model_name, num_gpus):self.llm = LLM(model=model_name,tensor_parallel_size=num_gpus,gpu_memory_utilization=0.9)def generate(self, prompts, max_tokens=128):params = SamplingParams(temperature=0.7,top_p=0.95,max_tokens=max_tokens)return self.llm.generate(prompts, params)
完善的监控系统是保障服务质量的关键。需要从多个维度收集和分析指标：
class LLMMonitor:def __init__(self):self.metrics = {'latency': [],'throughput': [],'error_rate': [],'gpu_utilization': [],'memory_usage': []}def record_request(self, start_time, end_time, success):latency = end_time - start_timeself.metrics['latency'].append(latency)if not success:self.metrics['error_rate'][-1] += 1def analyze_performance(self, window_size=3600):# 计算关键指标recent_latency = np.mean(self.metrics['latency'][-window_size:])error_rate = sum(self.metrics['error_rate'][-window_size:])return {'avg_latency': recent_latency,'error_rate': error_rate,'throughput': len(self.metrics['latency'][-window_size:])}
LLM系统的安全性需要从多个层面进行防护。从输入验证到输出过滤，从访问控制到审计日志，构建完整的安全防护体系。
防范提示注入是首要任务。通过模板限制和输入净化，我们可以降低被攻击的风险：
class PromptSecurity:def __init__(self):self.forbidden_patterns = [r"system:",r"assistant:",r"human:",r"</\w+>" # 防止XML注入]def sanitize_input(self, user_input):# 清理危险模式clean_input = user_inputfor pattern in self.forbidden_patterns:clean_input = re.sub(pattern, '', clean_input)# 长度限制if len(clean_input) > 1000:clean_input = clean_input[:1000]return clean_input
输出内容同样需要严格控制。通过敏感信息检测和内容审核，确保系统输出的安全性：
class OutputFilter:def __init__(self, sensitive_patterns):self.patterns = sensitive_patternsdef filter_response(self, response):# 检测敏感信息for pattern in self.patterns:if re.search(pattern, response):return self.redact_sensitive_info(response, pattern)return response
在实际项目中，还需要注意以下几个关键点：
架构设计应该保持足够的灵活性，便于未来的扩展和调整。采用模块化设计，将核心功能封装为独立的服务，这样可以根据需求灵活扩展系统能力。
性能优化要从整体着眼。单一优化技术的效果可能有限，但多种技术的组合使用往往能带来显著的性能提升。要根据实际场景选择合适的优化策略组合。
安全性需要贯穿整个系统。从开发初期就要考虑安全问题，将安全机制设计到系统的各个环节中，而不是作为事后的补丁。
LLM应用的工程化实践是一个快速发展的领域。本文介绍的技术和方法代表了当前的最佳实践，但技术栈仍在不断演进。工程师们需要持续关注几个重要的发展方向。
首先是模型优化技术的进步。新的注意力机制设计、更高效的缓存策略、更智能的批处理方法等都在不断涌现。这些技术将进一步提升LLM应用的性能表现。
其次是架构模式的演进。混合式部署将变得更加普遍，结合云端和边缘计算的优势，在保证性能的同时优化成本。此外，联邦学习的应用将为数据隐私保护提供新的解决方案。
RAG技术也在向更复杂的方向发展。多源检索、跨模态检索、递归检索等新技术不断出现，使得LLM能够处理更复杂的信息需求。这些进展将极大扩展LLM的应用场景。
在工具链方面，更多自动化和集成化的解决方案将出现。从开发环境到部署平台，从性能优化到安全防护，完整的工具生态将大大提升开发效率。
DSPy等新型框架的出现，展示了LLM应用开发的新范式。这种声明式的开发方式，将使得构建复杂的LLM应用变得更加简单和可维护。通过程序化的方式优化提示和权重，我们能够更好地控制模型的行为。
事实上，撰写这篇文章的过程也是一次学习和思考的旅程。在整理和分析这些技术内容时，我深深体会到 LLM 工程领域的魅力 —— 它是一个充满创新的领域，每天都有新的突破和发现。正如 Maxime Labonne 在课程中反复强调的，持续学习和实践的能力，或许是工程师在这个领域最重要的素质。
展望未来，LLM 技术必将走向更广阔的应用空间。我们已经看到它在企业服务、内容创作、智能助手等领域的成功应用，而这仅仅是开始。对工程师而言，这是一个充满机遇的时代 —— 通过将 LLM 技术与实际业务需求相结合，我们能够创造出真正改变用户体验和业务效率的应用。
希望这篇文章能为您在 LLM 工程实践的道路上提供一些启发和帮助。技术在进步，工具在更新，但工程思维和解决问题的方法永远是最宝贵的财富。让我们在这个激动人心的领域中，继续探索、实践，并创造价值。
正如原课程作者在《LLM Engineer's Handbook》中所说："LLM 工程不仅是一项技术，更是一种将创新想法转化为现实解决方案的艺术。" 愿我们在这条路上，既能保持技术的严谨，也能享受创新的乐趣。
- [Run an LLM locally with LM Studio](https://nisha-arya.medium.com/run-an-llm-locally-with-lm-studio-7e5ad6aa2c03) - LM Studio本地部署实践指南- [Prompt engineering guide by DAIR.AI](https://www.promptingguide.ai/) - 业内最全面的提示工程指南- [LMQL - Overview](https://lmql.ai/docs/language.html) - LMQL语言官方文档
- [LangChain - Text splitters](https://python.langchain.com/docs/modules/data_connection/document_transformers/) - 文本分割器详解- [MTEB Leaderboard](https://huggingface.co/spaces/mteb/leaderboard) - 嵌入模型性能榜单- [The Top 5 Vector Databases in 2024](https://towardsdatascience.com/the-top-5-vector-databases-in-2024-b5ccea7b7f13) - 向量数据库对比
- [LlamaIndex - High-level concepts](https://docs.llamaindex.ai/en/latest/getting_started/concepts.html) - RAG系统核心概念- [LangChain - Q&A with RAG](https://python.langchain.com/docs/use_cases/question_answering/) - RAG实践教程- [RAG pipeline - Metrics](https://docs.ragas.io/en/latest/concepts/metrics/index.html) - RAG评估指标
- [DSPy in 8 Steps](https://github.com/stanfordnlp/dspy/blob/main/docs/01-quickstart.md) - DSPy快速入门指南- [LangChain - SQL](https://python.langchain.com/docs/use_cases/sql/) - LLM与SQL集成教程- [LLM Powered Autonomous Agents](https://lilianweng.github.io/posts/2023-06-23-agent/) - LLM智能代理深度解析
- [GPU Inference by Hugging Face](https://huggingface.co/docs/transformers/main/perf_infer_gpu) - GPU推理优化指南- [Optimizing LLMs for Speed and Memory](https://huggingface.co/blog/optimize-llm) - LLM性能优化实践- [Assisted Generation by Hugging Face](https://huggingface.co/blog/assisted-generation) - 推测性解码技术解析
- [vLLM Documentation](https://docs.vllm.ai/en/latest/) - vLLM官方文档- [Optimizing latency](https://hamel.dev/blog/posts/inference/) - 推理引擎性能对比- [HF LLM Inference Container](https://huggingface.co/blog/inference-containers) - 容器化部署指南
- [OWASP LLM Top 10](https://llmtop10.com/) - LLM应用安全风险清单- [Prompt Injection Primer](https://github.com/jthack/PIPE) - 提示注入防护指南- [LLM Security](https://llmsecurity.net/) - LLM安全资源汇总
LLM Engineerig 全景图 ?
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-01-22
怎么学习设计和训练一个大模型——也就是神经网络？
2025-01-22
CrewAI 命令行创建新和调试项目指南
2025-01-22
使用 PydanticAI 框架快速构建 Multi-Agent 系统 - AI Agent 协作触手可及
2025-01-22
别再跟模型对话了，我找到了OpenAI o1的正确打开方式
2025-01-21
Windsurf：在工程能力上进一步进化的Cursor
2025-01-21
Dify工作流自测: 上传文档一键生成双人对话播客
2025-01-20
对o1 pro思考过程的技术分析（2）
2025-01-20
对o1 pro思考过程的技术分析（1）
2024-09-18
2024-07-11
2024-07-11
2024-07-26
2024-07-09
2024-06-11
2024-10-20
2024-07-20
2024-07-12
2024-09-02
回到顶部