微信扫码
与创始人交个朋友
我要投稿
LlamaIndex,将企业数据转化为生产级别的 LLM 应用。它具有以下主要特点:
数据集成:支持 160 多种数据源,包括非结构化、半结构化和结构化数据。可以无缝地将各种数据源集成到 LLM 应用中
索引:存储和索引数据,以满足不同的使用场景。LlamaIndex 可以与 40 多种向量存储、文档存储、图形存储和 SQL 数据库进行集成
查询:编排从prompt chain,RAG,agent的工作流
评估:提供全面的模块套件,用于评估 LLM 应用的性能
# 安装依赖
pip install llama_index pyvis
# 导入包
from llama_index import (
ObsidianReader, # 这个太赞了,可直接读obsidian文件
LLMPredictor,
ServiceContext,
KnowledgeGraphIndex,
)
from llama_index.graph_stores import SimpleGraphStore
from llama_index.storage.storage_context import StorageContext
from llama_index.llms import OpenAI
filepath = '/path/to/your/obsidian/vault'
# 初始化context
use_context = {
"temperature": 0,
"model": "选择一个model,huggingface上找一个就行",
"chunk_size": 512
}
documents = ObsidianReader(filepath).load_data()
llm = OpenAI(temperature=use_context['temperature'], model=use_context['model'])
service_context = ServiceContext.from_defaults(llm=llm,
chunk_size=use_context['chunk_size'])
graph_store = SimpleGraphStore()
storage_context = StorageContext.from_defaults(graph_store=graph_store)
# 构建知识图谱index
index = KnowledgeGraphIndex.from_documents(
documents=documents,
max_triplets_per_chunk=2,
storage_context=storage_context,
service_context=service_context,
include_embeddings=True,
)
# 搞定,你可以实验一下跑的结果
query = "写一段提示词,可以跟你本地的markdown文件内容相关的问题"
query_engine = index.as_query_engine(
include_text=True,
response_mode="tree_summarize",
embedding_mode="hybrid",
similarity_top_k=5,
)
response = query_engine.query(query)
以上是一个简单的实现示例,实际应用中,可能需要根据情况进行调整和优化。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-26
大模型语义分析之嵌入(Embedding)模型
2024-12-26
Anthropic:高效构建AI Agent的最佳实践范式
2024-12-26
微软CEO纳德拉给出AI时代的关键答案:先有组织进化,才有技术突破(附视频)
2024-12-26
10分钟了解大模型应用全貌 : 大模型应用架构(LLM application architecture)
2024-12-26
聊聊 Anthropic MCP (Model Context Protocol ) - 本地如何配置试用
2024-12-26
FlashAttention原理,终于看明白了!
2024-12-26
首次!大模型自动搜索人工生命,做出AI科学家的Sakana AI又放大招
2024-12-25
能源生产领域如何构建大模型应用新范式
2024-05-28
2024-08-13
2024-04-26
2024-08-21
2024-07-09
2024-06-13
2024-08-04
2024-04-11
2024-07-18
2024-07-01