我要投稿

知识库优化之路（二）：喂给AI最喜欢的数据格式JSON

发布日期：2025-03-20 04:52:11 浏览次数： 1523 来源：AI的回响

【原创版权，获取转载授权请加V：flatverse】

字数 2934，阅读大约需 15 分钟

知识库优化之路（二）

终于来了，大家久等了，我们继续聊知识库。

这是《知识库优化之路》系列的第二篇。

这个系列主要是面向普通小白用户，在资源条件、技术条件有限的情况下，如何仅仅从用户侧，做一些基本的知识库优化工作，希望能给大家带来一些帮助。

上一篇，我们已经介绍过，在使用CherryStudio知识库的过程中，为了让AI更好地理解知识库中的资料，可以使用工具把PDF文件转换为Markdown格式。

知识库优化之路（一）：把PDF文件转成Markdown格式

但是，并不是所有的资料都适合转成Markdown。有一些类型的资料，如果转换成JSON格式，效果会更好。

什么是JSON？

你可能没听说过它，但你的生活绝对离不开它。

JSON是一种轻量级的数据交换格式，它的应用非常广泛，在当今互联网或者其他涉及数据传输的地方，都必然会用到它。

当你通过网络查资料、看视频、购物、转账、聊天、看直播、发弹幕时，都有无数的信息以JSON的格式在网络上飞速传输。

不夸张地说，JSON是构成当代互联网的基石之一。

它到底是什么样子？我来举个例子说明一下。

假如你要记录一个人的信息，最简单的方式应该是这样的：

张三，男，汉族，32岁，70公斤，175厘米。

如果你想让这个信息更加的清晰易懂，你应该会这样写：

姓名：张三
性别：男
民族：汉族
年龄：32
体重：70公斤
身高：175厘米

恭喜你，你发明了JSON格式！

如果用JSON格式，上面的信息是这个样子的：

{
    "姓名"："张三",
    "性别"："男"
    "民族"："汉族"
    "年龄"：32,
    "体重"：70,
    "身高"：175
}

这和你写的是不是基本一样？

为什么AI更喜欢JSON？

JSON的核心，就是上面例子中的一一对应的“键值对”（前面是“键”，后边是“值”）：“姓名”对应“张三”，“性别”对应“男”，“民族”对应“汉族”……

它就是通过这样简单的结构化表述，在记录信息的同时，也附带了信息的属性，让接收信息的人和机器都更容易理解。

因为它是一种独立于编程语言的数据格式，几乎所有编程语言都支持 JSON 的解析和生成。相比 XML 等其他数据格式，JSON 的语法更简洁，文件体积更小，传输效率更高。

对于AI和大模型来说，JSON也是它们的最爱，因为大模型擅长处理结构化数据。在大模型的训练过程中，有很多的资料，都是JSON的格式。

JSON格式能够清晰地表达数据之间的关系，方便大模型理解和利用，让它更好地学习和预测。JSON 格式的简洁性和广泛的语言支持，使得解析和生成 JSON 数据变得非常高效，降低了大模型的计算负担。

因此，在与大模型交互时，JSON 格式被广泛应用于数据交换、Prompt 工程和结果输出等方面。

哪些资料适合转成JSON？

通过上面的解读，你应该有个大概的判断，哪些资料更适合转成JSON格式。

譬如上一期提到的长文本的资料，就没有必要转。可能有些人已经发现，上次介绍的转Markdown工具MinerU，就可以直接把pdf转换成JSON格式。但是我仔细看过之后，发现效果并不好，所以并没有多提。

适合转换成JSON格式的资料大多具有明确固定的组成结构，大概包括但不限于以下这些：

1. 试卷题目：这是很多人都有的需求。可以把题目首先拆分出来，然后每一道题转换为一个JSON对象，把问题、答案、题目类型、相关知识点、解题思路等都保存在一起。
2. 客服问答：这一世很经典的一类使用场景，整体结构和上面的其实有点像，可以直接参考。
3. 产品目录：电商网站或者企业的产品目录通常包含各种结构化的信息，例如产品名称、描述、价格、规格等。可以将这些信息转换为 JSON 格式，以便嵌入模型能够理解产品的特征和属性。
4. 法律文档：某些法律文档，比如合同、条款，如果其关键信息能够被结构化提取（例如当事人、标的、生效日期等），则可以转换为JSON。
5. 电子病历：病人的电子病历通常包含各种结构化的信息，例如诊断、处方、检查结果等。可以将这些信息转换为 JSON 格式，以便嵌入模型能够理解病人的病史和病情。
6. 数据库导出数据：从关系型数据库导出的数据，通常具有清晰的表结构和字段定义。可以将每一行数据转换为一个 JSON 对象，每个字段对应一个键值对。
7. API 返回的数据：大部分 API 都以 JSON 格式返回数据。这些数据通常已经具有良好的结构化，可以直接作为嵌入模型的输入。
8. 可以举一反三，与上面列举的这些类型相似的资料，都可以转换成JSON格式。

如何转换成JSON格式？

这个问题有点复杂但也不难解决。

说它复杂，是因为上面提到了很多种的资料类型，再加上很多种的文件格式，考虑不同的使用场景，如果想找一个万能的工具，用户只需要把资料添加进去，它就能转换成完全符合要求的JSON文件，几乎不太可能。

说它不难解决，是因为我们有最强大的工具——AI。

既然没有通用的万能工具，那就可以让AI根据我们的需求，打造很多个专用的工具。

方法有两种：用AI生成一个网页版工具，或者生成Python代码来处理。

1 让AI生成网页版转JSON工具

如何用AI生成网页版工具，我之前之前专门写过一篇教程：

教程：一个命令让DeepSeek变成超级神器，职场办公必备技能！

至于现在的问题，如何让AI结合自己的需求，生成一个网页版的工具，可以参考下面的提示词（以cvs文件为例）：

根据用户创建本地知识库的需求，你需要帮用户生成一个网页版的工具，可以批量将用户提供的资料转成JSON格式，确保更适合嵌入模型的解析和理解。

具体功能要求：
1.  上传功能： 提供文件上传功能界面，支持批量上传文件。
2.  格式识别： 自动识别文件的格式，例如[cvs文件，以逗号分隔，第一行为标题行]。
3.  数据提取：  从文件中提取数据，并根据以下规则转换为 JSON 格式：
       - 将每一行数据转换为一个 JSON 对象，使用标题行作为 JSON 对象的键。
       - 数据清洗和转换规则，例如：将年龄转换为整数类型。
       - 如果某个字段为空，则在 JSON 中设置为 null。
4.  JSON 输出：  每个输入文件转换成一个JSON文件；显示生成后的文件别表；提供下载 JSON 文件的功能；支持单个下载和打包下载。
5.  用户界面：
       简洁直观的用户界面。
       提供上传进度显示。
       提供错误提示信息。
       允许用户预览转换后的 JSON 数据。
6.  技术要求：
       生成单网页工具，可以使用 HTML, CSS, JavaScript，但只有一个文件html文件。
       可以使用现成的库来处理文件解析和 JSON 转换 (例如 csv-parser, pdfminer, docx2txt)。

其他要求：
   考虑处理大文件的性能优化。
   请提供完整的 代码。