从Naive RAG到Agentic RAG：基于Milvus构建Agentic RAG

01.

• “特斯拉的主要风险因素是什么？”（基于特斯拉2021年10K报告）
• “Milvus 2.4有哪些功能？”（基于Milvus 2.4 release note）

• 总结性问题：例如，“给我一个公司10K年度报告的总结”，Naive RAG难以在不丢失重要信息的情况下生成全面的总结。
• 比较性问题：例如，“Milvus 2.4 与Milvus 2.3 区别有哪些”，Naive RAG难以有效地进行多文档比较。
• 结构化分析和语义搜索：例如，“告诉我美国表现最好的网约车公司的风险因素”，Naive RAG难以在复杂的语义搜索和结构化分析中表现出色。
• 一般性多部分问题：例如，“告诉我文章A中的支持X的论点，再告诉我文章B中支持Y的论点，按照我们的内部风格指南制作一个表格，然后基于这些事实生成你自己的结论”，Naive RAG难以处理多步骤、多部分的复杂任务。

02.

• 单次处理：Naive RAG通常是一次性处理查询，缺乏多步骤的推理能力。
• 缺乏查询理解和规划：Naive RAG无法深入理解查询的复杂性，也无法进行任务规划。
• 缺乏工具使用能力：Naive RAG无法调用外部工具或API来辅助完成任务。
• 缺乏反思和错误纠正：Naive RAG无法根据反馈进行自我改进。
• 无记忆（无状态）：Naive RAG无法记住对话历史，无法在多轮对话中保持上下文一致性。

03.

• 路由
• 路由是最简单的代理推理形式。给定用户查询和一组选择，系统可以输出一个子集，将查询路由到合适的处理模块。
• 工具
• 调用外部工具或API来辅助完成任务。比如，使用查询天气接口来获取最新的天气信息。
• 查询/任务规划
• 将查询分解为可并行处理的子查询。每个子查询可以针对任何一组RAG管道执行，从而提高处理效率和准确性。
• 反思
• 使用反馈来改进代理的执行并减少错误，反馈可以来自LLM自身。
• 记忆
• 除了当前查询外，还可以将对话历史作为输入，纳入RAG管道中，从而在多轮对话中保持上下文一致性。

04.

node_parser = SentenceWindowNodeParser.from_defaults(
    window_size=3,
    window_metadata_key="window",
    original_text_metadata_key="original_text",
)

# Extract nodes from documents
nodes = node_parser.get_nodes_from_documents(documents)

vector_store = MilvusVectorStore(dim=1536, 
                                 uri="http://localhost:19530",
                                 collection_name='agentic_rag',
                                 overwrite=True,
                                 enable_sparse=False,
                                 hybrid_ranker="RRFRanker",
                                 hybrid_ranker_params={"k": 60})

storage_context = StorageContext.from_defaults(vector_store=vector_store)

index = VectorStoreIndex(
    nodes, 
    storage_context=storage_context
)

def vector_query(
    query: str,
    page_numbers: Optional[List[int]] = None
) -> str:
    # The target key defaults to `window` to match the node_parser's default
    postproc = MetadataReplacementPostProcessor(
                target_metadata_key="window"
            )
    # BAAI/bge-reranker-base is a cross-encoder model
    # link: https://huggingface.co/BAAI/bge-reranker-base
    rerank = BGERerankFunction(
                top_n = 3, 
                model_name = "BAAI/bge-reranker-base",
                device="cpu"
                )

    # The QueryEngine class is equipped with the generator and facilitates the retrieval and generation steps
    query_engine = vector_index.as_query_engine(
                        similarity_top_k = 3, 
                        vector_store_query_mode="hybrid",  # Milvus starts supporting from version 2.4, use 'Default' for versions before 2.4
                        node_postprocessors = [postproc, rerank],
                    )

    response = query_engine.query(query)
    return response


vector_query_tool = FunctionTool.from_defaults(
    name=f"vector_tool_{name}",
    fn=vector_query
)

summary_index = SummaryIndex(nodes)
summary_query_engine = summary_index.as_query_engine(
    response_mode="tree_summarize",
    use_async=True,
)
summary_tool = QueryEngineTool.from_defaults(
    name=f"summary_tool_{name}",
    query_engine=summary_query_engine,
    description=(
        f"Useful for summarization questions related to {name}"
    ),
)

response = agent.query(
    "Tell me about the difference between milvus 2.3 and milvus 2.4?"
)

Thought: The user is asking about the differences between Milvus 2.3 and Milvus 2.4. I need to gather information about both versions to provide a comprehensive comparison.
Action: vector_tool_milvus_2_3
Action Input: {'query': "What's new in Milvus 2.3?"}
Thought: It appears there is a persistent issue with the tool input. I will try using a different tool to gather the necessary information.
Action: summary_tool_milvus_2_3
Action Input: {'input': "What's new in Milvus 2.3?"}
Observation: Milvus 2.3 introduces several new features and enhancements, including GPU support, Arm64 support, a refactored QueryNode, and a merged IndexCoord and DataCoord for simplified deployment. It also includes a new NATS-based message queue, upsert API, range search, count statement, cosine metrics, raw vectors in search returns, ScaNN index support, iterator functionality, JSON_CONTAINS expressions, and CDC support. Additionally, there are performance improvements such as MMap for capacity increase, optimized data filtering, growing index, and increased resource usage in multi-core environments. The release also features a new load balancer, dynamic configuration support, tracing support, reorganized error codes, and upgraded tools like Birdwatcher and Attu.
Thought: I have gathered information about the new features and enhancements in Milvus 2.3. Now, I need to gather similar information for Milvus 2.4 to compare the two versions.
Action: summary_tool_milvus_2_4
Action Input: {'input': "What's new in Milvus 2.4?"}
Observation: Milvus 2.4 introduces several new features and improvements. Key highlights include:
...
These updates aim to enhance system performance, improve observability, and streamline the codebase for increased simplicity.
Thought: I now have detailed information about the new features and enhancements in both Milvus 2.3 and Milvus 2.4. I can compare the two versions based on these details.

Answer: Milvus 2.3 and Milvus 2.4 both introduce significant new features and improvements, but they focus on different aspects of the system. Here are the key differences:

### Milvus 2.3:
1. **GPU and Arm64 Support**: Introduces GPU support and Arm64 support.
2. **Refactored QueryNode**: Simplifies deployment by merging IndexCoord and DataCoord.
3. **New Message Queue**: Implements a NATS-based message queue.
4. **New APIs and Features**: Includes upsert API, range search, count statement, cosine metrics, raw vectors in search returns, ScaNN index support, iterator functionality, JSON_CONTAINS expressions, and CDC support.
5. **Performance Improvements**: Features MMap for capacity increase, optimized data filtering, growing index, and increased resource usage in multi-core environments.
6. **Load Balancer and Dynamic Configuration**: Introduces a new load balancer and dynamic configuration support.
7. **Tool Upgrades**: Upgrades tools like Birdwatcher and Attu.

### Milvus 2.4:
1. **New GPU Index - CAGRA**: Introduces a state-of-the-art GPU-based graph index for significant performance boosts.
2. **Multi-vector and Hybrid Search**: Supports storing vector embeddings from multiple models and conducting hybrid searches.
3. **Sparse Vectors**: Supports efficient approximate semantic nearest neighbor search for keyword interpretation and analysis.
4. **Grouping Search**: Allows aggregation of search results by specific scalar fields.
5. **Inverted Index and Fuzzy Match**: Improves scalar query performance and supports fuzzy matches.
6. **New Data Types**: Supports Float16 and BFloat16 vector data types.
7. **L0 Segment**: Enhances performance of delete and upsert operations by recording deleted data.
8. **Refactored BulkInsert**: Improves logic for importing multiple files in a single request.
9. **Memory-mapped Storage**: Optimizes memory usage by mapping file content into memory.
10. **Milvus-CDC**: Improves stability for capturing and synchronizing incremental data.

### Summary:
- **Milvus 2.3** focuses on broadening hardware support, enhancing deployment simplicity, and introducing various new APIs and performance improvements.
- **Milvus 2.4** emphasizes advanced search capabilities, new data types, improved memory management, and further performance optimizations.

Both versions aim to enhance system performance and usability, but Milvus 2.4 introduces more advanced search features and optimizations compared to Milvus 2.3.

05.