在这个信息充斥的时代，我们被各种格式的文档包围，包括图片、PDF、Word 文档和网页。提取这些文档中的关键信息不仅耗时，而且复杂。

PDF 文档因其便携和格式稳定性，成为分享知识的首选格式。但它们内容的复杂性和多样性，使得简单的复制粘贴无法满足我们对信息提取的需求。无论是排版复杂的学术论文还是包含表格和图表的报告，高质量的 PDF 内容解析都需要更精细和智能的工具。

之前 Kakuqo 也介绍了多款开源的文档解析工具，但上手成本相对比较高，也有粉丝反馈说本地部署的时候报错。

为了让大家能够更方便地使用 AI 智能文档解析服务，接下来 Kakuqo 将给大家介绍由合合信息开发的 TextIn 智能文档处理平台中的通用文档解析服务。该服务支持将多种格式的文件（图片、PDF 等）解析为 Markdown 或 JSON 格式的文档，以一种对大型语言模型（LLM）友好的方式呈现。

此外，该服务还支持 PC 端直接使用，新用户自动赠送 1000 页的免费额度，轻松覆盖日常需求！

产品优势

相比其他的文档解析服务，TextIn 通用文档解析服务拥有以下特点：

• 文件更大：单个文档最大支持达 500 MB。
• 页数更多：单次转换页数最多可达 1000 页。
• 速度更快：最快 1.5s 完成 100 页 PDF 文档解析。

产品特点

• 支持多种扫描内容：能良好处理图片、扫描内容、手机照片、截屏等内容。
• 支持多种语言：支持简体中文/繁体中文/英文/数字/西欧主流语言/东欧主流语言等共 50+ 种语言。
• 表格识别效果好：能准确识别各种格式的表格，包括有线表、无线表、密集表，并支持各种类型的合并单元格识别与还原。
• 阅读顺序还原准：能理解和还原文档的结构和元素排列，确保阅读顺序的准确性，支持多栏布局的论文、年报、业务报告等内容。

功能演示

表格识别

1. 竖向表格识别

1. 复杂表格识别

阅读顺序还原

公式识别

古代状元殿试试卷识别

2024 高考数学试卷识别

应用场景

在 AI 领域，通用文档解析服务的应用场景非常广泛，它们通常与其他 AI 技术相结合，以实现更高级的自动化和智能化。以下是通用文档解析服务集成到不同工作流中的常见应用场景：

1. 自然语言处理（NLP）：通用文档解析服务可以作为 NLP 任务的前置步骤，提取文本数据供进一步的语义分析、情感分析或机器翻译使用。
2. 大模型训练语料处理：在训练大模型之前，通用文档解析服务，可以识别并还原各类文档中的内容，并输出 JSON 或 Markdown 等对大模型友好的数据格式。高质量的文档解析结果，也能减少人工纠错数据的时间，从而加快模型训练的整体节奏。
3. 智能问答系统：在构建基于大模型的智能问答系统时，通用文档解析服务支持解析不同类型的知识库内容，包括企业内部的文档库和公开的文章报告。通过将解析内容提供给问答系统，让大模型在生成答案时言之有物，从而减少幻觉的产生，提升问答质量。
4. 智能摘要：通用文档解析器可以从不同文档中提取完整信息，结合 NLP 技术生成摘要，节省阅读时间。

通用文档解析器在 AI 领域的应用不断扩展，随着技术的进步，它们在提高数据处理能力、促进知识发现和支持决策制定方面的作用将越来越重要。

快速接入

除了可以在 TextIn 平台上，使用通用文档解析服务之外，你还可以通过 API 的方式集成该服务。TextIn 平台非常贴心，为开发者提供了多种语言及开箱即用的使用示例。

有了上述的示例作为参考，Kakuqo 带大家一起来快速开发一个本地可用的 AI 通用文档解析 CLI 工具。

前置条件

请确保本机已安装 Node.js 且版本大于 v18.0.0，成功安装 Node.js 后，可以通过以下命令查看版本：

node -v

开发步骤

1. 新建 TextIn 项目
2. 安装项目所需依赖

npm install commander dotenv -S
# or
pnpm install commander dotenv -S

• dotenv：用于读取本地的 .env 文件的模块；
• commander：用于开发 Node.js CLI 的模块。

1. 打开 TextIn 项目，并在根目录下新增 textin.js 文件

#!/usr/bin/env node

const fs = require("fs").promises;
const path = require("path");
const dotenv = require("dotenv");
const { program } = require("commander");

dotenv.config();

// Config subcommand
program
  .command("config")
  .description("Set appId and secretCode")
  .option("-a, --appId <appId>", "Set the appId")
  .option("-s, --secretCode <secretCode>", "Set the secretCode")
  .action(async (options) => {
    try {
      await updateEnvFile(options.appId, options.secretCode);
    } catch (error) {
      console.error("Error updating configuration:", error.message);
      process.exit(1);
    }
  });

// Main command
program
  .version("1.0.0")
  .option("-i, --inputfile <inputfile>", "Input file path")
  .option("-o, --outfile <outfile>", "Output file path")
  .action(async (options) => {
    const appId = process.env.APP_ID;
    const secretCode = process.env.SECRET_CODE;
    const inputFile = options.inputfile;
    const outputFile = options.outfile;

    if (!appId || !secretCode || !inputFile) {
      console.error("Error: appId, secretCode, and inputfile are required.");
      console.error(
        'Use the "config" command to set appId and secretCode, or set them in a .env file.'
      );
      process.exit(1);
    }

    const url = "https://api.textin.com/ai/service/v1/pdf_to_markdown";

    try {
      const file = await fs.readFile(inputFile);

      const response = await fetch(url, {
        method: "POST",
        headers: {
          "x-ti-app-id": appId,
          "x-ti-secret-code": secretCode,
        },
        body: file,
      });

      if (!response.ok) {
        throw new Error(`HTTP error! status: ${response.status}`);
      }

      const data = await response.json();
      const result = data.result || {};
      const jsonData = result.detail;

      if (outputFile) {
        await ensureOutputDirectoryExists(outputFile);
        await fs.writeFile(outputFile, JSON.stringify(jsonData, null, 2));
        console.log(`Results written to ${outputFile}`);
      } else {
        console.log(JSON.stringify(jsonData, null, 2));
      }
    } catch (error) {
      console.error("Error:", error.message);
      process.exit(1);
    }
  });

program.parse(process.argv);

async function updateEnvFile(appId, secretCode) {
  const envPath = path.join(process.cwd(), ".env");
  let envContent = "";

  try {
    envContent = await fs.readFile(envPath, "utf8");
  } catch (error) {
    if (error.code !== "ENOENT") {
      throw error;
    }
  }

  const envLines = envContent.split("\n");
  const updateLine = (key, value) => {
    const index = envLines.findIndex((line) => line.startsWith(`${key}=`));
    if (index !== -1) {
      envLines[index] = `${key}=${value}`;
    } else {
      envLines.push(`${key}=${value}`);
    }
  };

  if (appId) updateLine("APP_ID", appId);
  if (secretCode) updateLine("SECRET_CODE", secretCode);

  await fs.writeFile(envPath, envLines.join("\n"));
  console.log("Configuration updated successfully.");
}

async function ensureOutputDirectoryExists(filePath) {
  const dir = path.dirname(filePath);
  try {
    await fs.access(dir);
  } catch (error) {
    if (error.code === "ENOENT") {
      await fs.mkdir(dir, { recursive: true });
      console.log(`Created directory: ${dir}`);
    } else {
      throw error;
    }
  }
}

1. 添加可执行权限

chmod +x textin.js

1. 登录 TextIn 工作台并打开 https://www.textin.com/console/dashboard/setting 地址，然后获取 x-ti-app-id和 x-ti-secret-code 信息

1. 配置 x-ti-app-id 和 x-ti-secret-code 信息，-a 参数对应 x-ti-app-id，-s 参数对应 x-ti-secret-code

./textin.js config -a XXXXXX -s YYYYYY

1. 运行 textin.js 应用，-i 参数对应输入本地文档的路径，-o 参数对应输出 json 文件的路径

./textin.js -i ./MI-GAN.pdf -o ./MI-GAN.json

当成功运行 textin.js 应用之后，就会把转换的结果保存到指定路径中。如果你需要保存解析后的 Markdown 文档，可以修改 textin.js 的相关代码。