# 导入依赖from llama_index.embeddings.dashscope import DashScopeEmbedding,DashScopeTextEmbeddingModelsfrom llama_index.core import SimpleDirectoryReader,VectorStoreIndex
print("正在解析文件...")# LlamaIndex提供了SimpleDirectoryReader方法，可以直接将指定文件夹中的文件加载为document对象，对应着解析过程documents = SimpleDirectoryReader('./docs').load_data()
print("正在创建索引...")# from_documents方法包含切片与建立索引步骤index = VectorStoreIndex.from_documents(documents,# 指定embedding 模型embed_model=DashScopeEmbedding(# 你也可以使用阿里云提供的其它embedding模型：https://help.aliyun.com/zh/model-studio/getting-started/models#3383780daf8hwmodel_name=DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V2))print("正在创建提问引擎...")query_engine = index.as_query_engine(# 设置为流式输出streaming=True,# 此处使用qwen-plus模型，你也可以使用阿里云提供的其它qwen的文本生成模型：https://help.aliyun.com/zh/model-studio/getting-started/models#9f8890ce29g5ullm=DashScope(model_name="qwen-plus"))print("正在生成回复...")streaming_response = query_engine.query('我们公司项目管理应该用什么工具')print("回答是：")streaming_response.print_response_stream()

正在解析文件...正在创建索引...正在创建提问引擎...正在生成回复...回答是：公司项目管理可以使用Jira或Trello这样的项目管理软件。这些工具能够帮助团队更好地规划和跟踪项目的进度，确保任务按时完成。同时，它们还支持任务分配、时间跟踪和团队协作等功能，有助于提高工作效率。

print("正在生成回复...")streaming_response = query_engine.query('我们公司项目管理应该用什么工具？如果是工具咨询类问题，请务必给出下载地址链接。')print("回答是：")streaming_response.print_response_stream()

对于项目管理，推荐使用Jira或Trello。这两个工具都能帮助团队有效地管理项目进度，确保任务按时完成。Jira更适合复杂项目管理和软件开发团队，而Trello则以其简洁直观的界面受到广泛欢迎，适合各种规模的项目。- Jira: 可以访问 [Atlassian官网](https://www.atlassian.com/software/jira) 下载。- Trello: 可以访问 [Trello官网](https://trello.com/) 下载。

from llama_index.core import PromptTemplate
prompt_template_string = (    "你是公司AI助理，你需要简明扼要的回答大家的问题""注意事项：\n""1. 根据上下文信息而非先验知识来回答问题。\n""2. 如果是工具咨询类问题，请务必给出下载地址链接。\n""以下是参考信息。""---------------------\n""{context_str}\n""---------------------\n""问题：{query_str}\n。""回答：")prompt_template = PromptTemplate(prompt_template_string)
query_engine = index.as_query_engine(streaming=True, llm=DashScope(model_name="qwen-plus"))query_engine.update_prompts({"response_synthesizer:text_qa_template": prompt_template})
def ask_v3(question, query_engine):streaming_response = query_engine.query(question + "如果是工具查询类问题，请务必给出下载地址链接。")streaming_response.print_response_stream()
ask_v3('我们公司项目管理应该用什么工具', query_engine=query_engine)

rag.ask('请帮我检查下这段文档：地球和月亮之间存在着玩有引力，所以月亮会绕着地球。', query_engine=query_engine)

这段文档中有一个小错误，正确的表述应该是：“地球和月亮之间存在着万有引力，所以月亮会绕着地球转。” 
修改建议：- 将“玩有引力”改为“万有引力”。- 将句尾的“。”改为“转。”以使句子更加通顺。

prompt = '''【角色背景】你是一个问题分类路由器，负责判断用户问题的类型，并将其归入下列三类之一：1. 公司内部文档查询2. 内容翻译3. 文档审查
【任务要求】你的任务是根据用户的输入内容，判断其意图并仅选择一个最贴切的分类。请仅输出分类名称，不需要多余的解释。判断依据如下：
- 如果问题涉及公司政策、流程、内部工具或职位描述与职责等内容，选择“公司内部文档查询”。- 如果问题涉及任意一门非中文的语言，且输入中没有任何出现任何外语或出现“翻译”等字眼，选择“内容翻译”。- 如果问题涉及检查或总结外部文档或链接内容，选择“文档审查”。- 用户的前后输入与问题分类并没有任何关系，请单独为每次对话考虑分类类别。
【Few-shot 示例】示例1：用户输入：“公司内部有哪些常用的项目管理工具？”分类：公司内部文档查询
示例2：用户输入：“How can we finish the assignment on time?”分类：内容翻译
示例3：用户输入：“https://help.aliyun.com/zh/model-studio/user-guide/long-context-qwen-long”分类：文档审查
示例4：用户输入：“技术内容工程师需要设计和开发⾼质量的教育教材和课程吗？”分类：文档审查
示例5：用户输入：“技术内容工程师核心职责是什么？”分类：公司内部文档查询
【用户输入】以下是用户的输入，请判断分类：
'''print(get_question_type('https://www.promptingguide.ai/zh/techniques/fewshot'))print('\n')print(get_question_type('That is a big one I dont know why'))print('\n')print(get_question_type('作为技术内容工程师有什么需要注意的吗？'))

文档审查

内容翻译

公司内部文档查询

def ask_v4(question):question_type = get_question_type(question)print(f'问题：{question}\n类型：{question_type}')if question_type == '文档审查':return llm.invoke('你是文档纠错专家，负责找出文档中或网页内容的明显错误，并且言简意赅的回复。如果没有明显问题，请直接回复没有问题\n' + question)elif question_type == '公司内部文档查询':return rag.ask(question, query_engine=query_engine)elif question_type == '内容翻译':return llm.invoke(f'你是一名翻译专家，你要识别不同语言的文本，并翻译为中文。\n{question}')else:return "未能识别问题类型，请重新输入。"
# 示例测试query_engine = rag.create_query_engine(index=rag.load_index())print(ask_v4('https://www.promptingguide.ai/zh/techniques/fewshot'))print('')print(ask_v4('请帮我检查下这段文档：技术内容工程师有需要进行内容优化与更新与跨部门合作吗？'))print('')print(ask_v4('技术内容工程师有需要进行内容优化与更新与跨部门合作吗？'))print('')print(ask_v4('A true master always carries the heart of a student.'))

问题：https://www.promptingguide.ai/zh/techniques/fewshot类型：文档审查没有问题。
问题：请帮我检查下这段文档：技术内容工程师有需要进行内容优化与更新与跨部门合作吗？类型：文档审查没有问题。
问题：技术内容工程师有需要进行内容优化与更新与跨部门合作吗？类型：公司内部文档查询技术内容工程师确实需要进行内容优化与更新，这包括根据学习者的反馈和评价来识别并调整内容中的潜在问题，以及定期更新材料以反映新的研究成果、技术进步和市场变化。此外，他们也需要与教学设计师、教育心理学家、技术团队及市场营销人员等多个部门紧密合作，确保内容的技术实施过程顺利进行，并有效传达给目标受众。这种跨部门的合作有助于共同创造出既具教育价值又具市场竞争力的产品。None
问题：A true master always carries the heart of a student.类型：内容翻译这是一句英文，翻译成中文是：“真正的高手总是怀有一颗学生的心。”

query_engine = rag.create_query_engine(rag.load_index())
def ask(question, query_engine):rag.update_prompt_template(query_engine=query_engine)
print('提问：' + question)response = query_engine.query(question)
print('回答：', end='')response.print_response_stream()
print('\n\n检索召回的文档切片如下：')for source_node in response.source_nodes:print(source_node)
return response
response = ask('张伟是哪个部门的', query_engine)

提问：张伟是哪个部门的回答：根据提供的参考信息，没有找到名为张伟的员工信息。如果您能提供更多详细信息，例如部门或其他联系方式，我可以帮助您进一步查找。
检索召回的参考信息如下：Node ID: c98bf1c0-c88d-43ee-b3ef-56079b335404Text: 核，提供⾏政管理与协调⽀持，优化⾏政⼯作流程。⾏政部 秦⻜ 蔡静 G705 034 ⾏政 ⾏政专员 13800000034qinf@educompany.com 维护公司档案与信息系统，负责公司通知及公告的发布，Score:0.171
Node ID: daa30e2b-cbb1-4a5a-b2ae-e7f5cae4e3b9Text: ⽀持。绩效管理部 韩杉 李⻜ I902 041 ⼈⼒资源 绩效专员 13800000041hanshan@educompany.com 建⽴并维护员⼯绩效档案，定期组织绩效评价会议，协调各部⻔反馈，制定考核流程与标准，确保绩效Score:0.169

from llama_index.llms.dashscope import DashScope
index = rag.load_index()query_engine = index.as_query_engine(streaming=True,llm=DashScope(model_name="qwen-plus"),# 一次检索出 5 个文档切片，默认为 2similarity_top_k=5)
response = ask('张伟是哪个部门的', query_engine)

提问：张伟是哪个部门的回答：张伟是IT部的IT专员。
检索召回的文档切片如下：Node ID: c98bf1c0-c88d-43ee-b3ef-56079b335404Text: 核，提供⾏政管理与协调⽀持，优化⾏政⼯作流程。⾏政部 秦⻜ 蔡静 G705 034 ⾏政 ⾏政专员 13800000034qinf@educompany.com 维护公司档案与信息系统，负责公司通知及公告的发布，Score:0.171
Node ID: daa30e2b-cbb1-4a5a-b2ae-e7f5cae4e3b9Text: ⽀持。绩效管理部 韩杉 李⻜ I902 041 ⼈⼒资源 绩效专员 13800000041hanshan@educompany.com 建⽴并维护员⼯绩效档案，定期组织绩效评价会议，协调各部⻔反馈，制定考核流程与标准，确保绩效Score:0.169
Node ID: 445d424e-d896-4bde-b4de-85f7a4e78ee4Text: 效管理部 南 ⻜ 0 ⼒资源 效专员 0责制定绩效考核体系，组织绩效评估的实施与反馈，撰写评估报告，分析绩效数据以提出优化建议，提供决策Score:0.154
Node ID: 5d98660f-2745-400a-bf45-eca616189317Text: 组织公司活动的前期准备与后期评估，确保公司各项⼯作的顺利进⾏。IT部 张伟 ⻢云 H802 036 IT⽀撑 IT专员13800000036 zhangwei036@educompany.com 进⾏公司⽹络及硬件设备的配置Score:0.140
Node ID: 74f4a375-a55c-4971-97ab-d6045c6b241eText: ⽀持，确保⼈⼒资源部⻔顺畅运作。⾏政部 黎晗 蔡静 G704 033 ⾏政 ⾏政专员 13800000033lih@educompany.com 负责采购办公设备与耗材，登记与管理公司固定资产，协助实施绩效考Score:0.131

from llama_index.readers.dashscope.utils import ResultTypefrom llama_index.readers.dashscope.base import DashScopeParse
import osimport reimport jsonimport nest_asyncio
nest_asyncio.apply()# 使用环境变量os.environ['DASHSCOPE_API_KEY'] = os.getenv('DASHSCOPE_API_KEY')
# 文件通过DashScopeParse接口解析为程序与大模型易于处理的markdown文本def file_to_md(file, category_id):parse = DashScopeParse(result_type=ResultType.DASHSCOPE_DOCMIND,category_id=category_id)documents = parse.load_data(file_path=file)# 初始化一个空字符串来存储Markdown内容markdown_content = ""for doc in documents:doc_json = json.loads(json.loads(doc.text))for item in doc_json["layouts"]:if item["text"] in item["markdownContent"]:markdown_content += item["markdownContent"]else:# DashScopeParse处理时，会将文档图片内的文本信息也解析到初始markdown文本中（类似OCR），这对于本文示例文件中的命令行截图、文本截图是足够的，示例无需深层次解析图片。# 实际场景中的知识库文档，如果涉及不规则、复杂信息的图片并且需要深层次理解图片内容，您可以调用视觉模型进一步理解图片含义。# （DashScopeParse返回的数据结构中，针对图片数据，markdownContent字段是图片url，text字段是解析出的文本）# if ".jpg" in item["markdownContent"] or ".jpeg" in item["markdownContent"] or ".png" in item["markdownContent"]:# image_url = re.findall(r'\!\[.*?\]\((https?://.*?)\)', item["markdownContent"])[0]# print(image_url)# markdown_content = markdown_content + parse_image_to_text(image_url)+"\n"# else:# markdown_content = markdown_content + item["text"]+"\n"markdown_content = markdown_content + item["text"]+"\n"return markdown_content
### 调用示例
# 1、可选配置。# 百炼平台上，可以对不同项目配置不同的业务空间，默认情况下是使用默认业务空间。# 如果需要使用非默认空间，可以前往[百炼控制台-业务空间管理](https://bailian.console.aliyun.com/?admin=1#/efm/business_management)，配置业务空间并获取Workspace ID。# 完成后，取消注释并修改这段代码为实际值：# os.environ['DASHSCOPE_WORKSPACE_ID'] = "<Your Workspace id, Default workspace is empty.>"
# 2、可选配置。# 文件通过DashScopeParse进行解析时，需要配置上传的数据目录id。可以前往[百炼控制台-数据管理](https://bailian.console.aliyun.com/#/data-center)，配置类目并获取IDcategory_id="default" # 建议修改为自定义的类目ID，以便分类管理文件
md_content = file_to_md(['./docs/内容公司各部门职责与关键角色联系信息汇总.pdf'], category_id)print(md_content)

from dashscope import Generation
def md_polisher(data):messages = [{'role': 'user', 'content': '下面这段文本是由pdf转为markdown的，格式和内容可能存在一些问题，需要你帮我优化下：\n1、目录层级，如果目录层级顺序不对请以markdown形式补全或修改；\n2、内容错误，如果存在上下文不一致的情况，请你修改下；\n3、如果有表格，注意上下行不一致的情况；\n4、输出文本整体应该与输入没有较大差异，不要自己制造内容，我是需要对原文进行润色；\n4、输出格式要求：markdown文本，你的所有回答都应该放在一个markdown文件里面。\n特别注意：只输出转换后的 markdown 内容本身，不输出任何其他信息。\n需要处理的内容是：' + data}]response = Generation.call(model="qwen-plus",messages=messages,result_format='message',stream=True,incremental_output=True)result = ""for chunk in response:print(chunk.output.choices[0].message.content, end='')result += chunk.output.choices[0].message.content
return(result)
md_polisher(md_content)

# 内容公司各部门职责与关键角色联系方式
## 公司定位
我们的公司致力于推动教育的数字化转型，专注于开发富有创意和互动性的在线学习平台与工具。我们结合最新的教育理论与技术创新，旨在提升学习者的参与度和学习效果。通过提供个性化学习体验，我们希望满足不同年龄段和背景的学习需求，助力教育公平和终身学习。我们的使命是使知识获取更加便捷、高效，让每个人都能充分发挥潜力。
## 各部门介绍
- **教研部**: 教育课程研究设计- **课程开发部**: 技术内容需求开发- **教材编写部**: 教材、练习题等内容汇编与修订- **评估部**: 内容质量质检- **市场部**: 市场活动营销- **人力资源部**: 人力资源管理- **IT部**: IT技术支撑- **绩效管理部**: 人员绩效考核设计
## 各部门关键角色联系人
| 部门 | 员工姓名 | 员工主管 | 工位| 工号 | 岗位 | 职位 | 电话| 邮箱| 工作职责 ||------------|----------|----------|-------|------|------------|----------------|---------------|-----------------------------|--------------------------------------------------------------------------------------------|| 教研部 | 张伟 | 李琳 | A101| 001| 内容设计 | 教研专员 | 13800000001| zhangwei@educompany.com | 负责教育课程的研究与开发，分析教学效果，整理教案，协助课程优化，以及参与教育项目的评估和反馈。|| 教研部 | 王芳 | 李琳 | A102| 002| 内容设计 | 教研专员 | 13800000002| wangfang@educompany.com | 负责制定学科教学方案，策划教学活动，编写教案，收集学生反馈，参与课程改进会议，提供专业意见。|| 教研部 | 刘杰 | 李琳 | A103| 003| 内容设计 | 教研专员 | 13800000003| liujie@educompany.com | 组织教研活动，分析教学成果，开展学术研究，协助撰写与研究报告，输出有效教学策略，提升课程品质。|| 课程开发部 | 李丽 | 王强 | B201| 007| 内容开发 | 课程开发专员 | 13800000007| lili@educompany.com | 设计并开发教育课程，撰写课程大纲，组织课程试点，分析市场需求，调整课程内容，以适应学习者的需求和反馈。|...| 行政部 | 秦飞 | 蔡静 | G705| 034| 行政 | 行政专员 | 13800000034| qinf@educompany.com | 维护公司档案与信息系统，负责公司通知及公告的发布，组织公司活动的前期准备与后期评估，确保公司各项工作的顺利进行。|| IT部 | 张伟 | 马云 | H802| 036| IT支撑 | IT专员 | 13800000036| zhangwei036@educompany.com| 进行公司网络及硬件设备的配置与维护，监控系统运行状态，及时处理技术问题与故障，提供技术支持及工具使用培训。|| IT部 | 谢宇 | 马云 | H803| 037| IT支撑 | IT专员 | 13800000037| xieyu@educompany.com| 支持公司软件系统的开发与更新，参与IT项目的计划与实施，撰写技术文档与使用说明，确保信息技术的安全性与有效性。|| 绩效管理部 | 朱南 | 李飞 | I901| 040| 人力资源 | 绩效专员 | 13800000040| zun@educompany.com| 负责制定绩效考核体系，组织绩效评估的实施与反馈，撰写评估报告，分析绩效数据以提出优化建议，提供决策支持。|| 绩效管理部 | 韩杉 | 李飞 | I902| 041| 人力资源 | 绩效专员 | 13800000041| hanshan@educompany.com| 建立并维护员工绩效档案，定期组织绩效评价会议，协调各部门反馈，制定考核流程与标准，确保绩效考核的有效执行与公正性。|

from llama_index.postprocessor.dashscope_rerank import DashScopeRerankfrom llama_index.core.postprocessor import SimilarityPostprocessor
query_engine = index.as_query_engine(llm=DashScope(model_name="qwen-plus"),# 先设置一个较大的召回切片数量similarity_top_k=20,streaming=True,node_postprocessors=[# 在rerank 模型中选择你最终想召回的切片个数，重排模型选择通义实验室的gte-rerank模型DashScopeRerank(top_n=3, model="gte-rerank"),# 设置一个相似度阈值，低于该阈值的切片会被过滤掉SimilarityPostprocessor(similarity_cutoff=0.2)])
response = ask("张伟是哪个部门的", query_engine=query_engine)

提问：张伟是哪个部门的回答：公司中有三位名叫张伟的员工，分别隶属于不同的部门：
1. 教研部的张伟，岗位为内容设计教研专员。2. 课程开发部的张伟，岗位为内容开发课程开发专员。3. IT部的张伟，岗位为IT支撑IT专员。
请问您需要了解哪一位张伟的信息？
检索召回的参考信息如下：Node ID: 9ebe53cb-6dc2-4384-8ef1-b95d2fba0d91Text: 组织公司活动的前期准备与后期评估，确保公司各项⼯作的顺利进⾏。IT部 张伟 ⻢云 H802 036 IT⽀撑 IT专员13800000036 zhangwei036@educompany.com 进⾏公司⽹络及硬件设备的配置Score:0.638
Node ID: 487d986f-d9bd-46d6-b231-4c61a41a56d0Text: 内容公司各部⻔职责与关键⻆⾊联系⽅式 公司定位我们的公司致⼒于推动教育的数字化转型，专注于开发富有创意和互动性的在线学习平台与⼯具。 我们结合最新的教育理论与技术创新，旨在提升学习者的参与度和学习效果。 通过提供个性化学习体验， 我们希望满⾜不同年龄段和背景的学习需求，助⼒教育公平和终⾝学习。我们的使命是使知识获取更加便捷、⾼效，让每个⼈都能充分发挥潜⼒。 各部⻔介绍 教研部：教育课程研究设计课程开发部：技术内容需求开发 教材编写部：教材、练习题等内容汇编与修订 评估部：内容质量质检 市场部：市场活动营销 ⼈⼒资源部：⼈⼒资源管理IT部：IT技术⽀撑 绩效管理部：⼈员绩效考核设计 各部⻔关键⻆⾊联系⼈ 部⻔ 员⼯姓名 员⼯主管 ⼯位 ⼯号 岗位 职位 电话 邮箱⼯作职责 教...Score:0.574...Text: 点，分析市场需求，调整课程内容，以适应学习者的需求和反馈。课程开发部 张伟 王强 B202 008 内容开发 课程开发专员13800000008 zhangwei01@educompany.com 精细化课程设计，确保课程符合国家教育标Score:0.551