YC 孵化的 Text-to-SQL 未来之星：Defog 开源 SQLCoder 模型，打造企业级数据分析利器

数据分析是@企业决策的核心，而 SQL 作为数据查询的利器，一直是数据分析师的必备技能。然而，对于许多非技术人员来说，学习和使用 SQL 语言仍然存在着一定的门槛。近年来，随着人工智能技术的飞速发展，Text-to-SQL 应运而生，它使得人们可以用自然语言与数据库进行交互，从而降低了数据分析的门槛，为企业数据分析带来了新的可能性。

在 Text-to-SQL 领域，YC 孵化的 Defog 公司犹如一匹黑马，凭借其开源的 SQLCoder 模型家族和完善的生态系统，迅速崛起并赢得了广泛关注。Defog 公司总部位于美国旧金山，致力于开发自然语言数据查询平台，其愿景是让每个人都能轻松访问和分析数据。

YC 光环加持：Defog 团队与开源愿景

Defog 创始团队成员均来自加州大学伯克利分校，拥有丰富的创业和技术经验。公司成立初期便获得了 YC 孵化器的青睐，并于 2023 年完成了 220 万美元的种子轮融资，这无疑是对 Defog 技术实力和发展潜力的巨大肯定。

Defog 坚信开源是推动技术进步和行业发展的最佳途径。通过开源 SQLCoder 模型家族以及相关工具和数据集，Defog 希望能为 Text-to-SQL 领域的发展做出贡献，并与社区共同构建更加强大、易用、普惠的 Text-to-SQL 解决方案。

Defog SQLCoder ：开源 Text-to-SQL 模型家族

Defog SQLCoder 是 Defog 公司开发的一系列最先进的开源模型，用于将自然语言问题转换为 SQL 查询。SQLCoder 家族不断发展壮大，从最初的 8B 参数模型，到如今的 70B 参数模型，性能不断提升，稳居 Text-to-SQL 领域的领先地位。

深入剖析 SQLCoder：从 7B 到 70B 的开源模型演进

SQLCoder 家族的每个成员都经历了精心的设计和训练，旨在解决 Text-to-SQL 领域的不同挑战，并为用户提供最佳的体验。让我们逐一深入了解这些模型的特点、性能以及它们背后的技术亮点。

• • SQLCoder-7B: 作为 Defog 开源的第一个 SQLCoder 模型，SQLCoder-7B 拥有 70 亿参数，它基于 Meta 开源的 LLaMA 模型架构进行训练，并在 Defog 构建的大规模 text-to-SQL 数据集上进行了微调。尽管模型规模相对较小，但 SQLCoder-7B 在 Defog 的 SQL-Eval 评估框架上，相较于其他开源模型取得了显著的性能提升，并且在某些任务上甚至可以与 GPT-3.5 相媲美。这款轻量级模型为资源有限的开发者和企业提供了一个低成本、易部署的 Text-to-SQL 解决方案。

  

• • SQLCoder-15B: 为了进一步提升模型的理解能力和生成效率，Defog 推出了拥有 150 亿参数的 SQLCoder-15B 模型。该模型在 SQLCoder-7B 的基础上进行了多项优化和改进，包括：SQLCoder-15B 在处理复杂查询和多表连接方面表现更加出色，能够更准确地理解用户的意图，并生成更符合语法和语义规则的 SQL 查询语句。

• • 更大的模型规模: 参数量的增加显著提升了模型的表达能力和对复杂语义的理解能力。

• • 改进的训练数据: Defog 扩充了训练数据集，并着重提高了数据质量，涵盖更多样化的 SQL 语句和数据库模式。

• • 优化的训练方法: Defog 采用了更先进的训练方法，例如 curriculum learning 和 reinforcement learning，以提升模型的泛化能力和鲁棒性。

• • SQLCoder-34B: 随着模型规模的不断扩大，SQLCoder-34B 应运而生。该模型的参数量提升至 340 亿，在处理复杂 SQL 生成任务时展现出更强大的能力。SQLCoder-34B 的优势主要体现在以下几个方面：

• • 强大的上下文理解能力: 更大的模型规模赋予了 SQLCoder-34B 更强的上下文理解能力，使其能够处理更长的用户指令和更复杂的数据库模式。

• • 更高的生成质量: SQLCoder-34B 生成的 SQL 查询语句更加准确、简洁、易于理解，有效减少了人工修改和调试的成本。

• • 更广泛的适用范围: SQLCoder-34B 能够应用于更广泛的场景，包括但不限于数据分析、报表生成、数据可视化等。

• • SQLCoder-70B: 作为 Defog 目前开源的最强模型，SQLCoder-70B 拥有 700 亿参数，在多项 Text-to-SQL 基准测试中都取得了领先的成绩。SQLCoder-70B 是 Defog 在 Text-to-SQL 领域的巅峰之作，代表了开源 Text-to-SQL 模型的最高水平。该模型的亮点包括:

  
  

• 先进的模型架构: SQLCoder-70B 基于 Google 最新推出的 CodeLlama-70B 模型进行微调，该模型在代码生成和理解方面展现出强大的能力，为 SQLCoder-70B 奠定了坚实的技术基础。

• • 海量高质量训练数据: SQLCoder-70B 在包含数十亿行代码和 SQL 语句的大规模数据集上进行了训练，使其具备了强大的代码生成和语义理解能力。

• • 优异的性能表现: 在未见过的数据库模式上，SQLCoder-70B 能够实现 93% 的 text-to-SQL 任务准确率，明显优于 GPT-4、Claude 和 CodeLlama-70B 等模型。

  

Defog 开源生态：

除了模型权重，Defog 还开源了以下资源，以帮助开发者和企业更好地理解、评估和应用 SQLCoder 模型：

• • 评估数据集: Defog 创建了一个包含 175 个问题的评估数据集 SQL-Eval, 这些问题来自其训练数据中 10 个模式之外的 7 个新模式，用于评估模型在未见模式上的泛化能力。

• • 评估框架: Defog 开源了其用于评估 SQL 查询正确性的自定义框架 SQL-Eval, 帮助开发者更好地评估和改进模型。

• • 交互式演示: Defog 在其官网上提供了 SQLCoder 的交互式演示，用户可以直观地体验模型的强大功能。

• 
  

企业级应用实践

Defog 深知，仅仅拥有强大的模型并不足以满足企业级应用的需求，还需要关注模型在实际应用中的落地效果。为此，Defog 强调高质量元数据和黄金查询在模型训练中的关键作用，并提出迭代训练和反馈机制，以帮助企业构建高精度、可信赖的 Text-to-SQL 系统。

• • 元数据和黄金查询: 元数据描述了数据库中表的结构和关系，而黄金查询则是针对特定业务问题人工编写的 SQL 查询。Defog 认为，高质量的元数据和黄金查询是模型训练的关键要素，可以帮助模型更好地理解数据库结构和业务逻辑。

• • 迭代训练和反馈: Defog 建议采用迭代的方式对模型进行训练和优化。首先，使用高质量的元数据和黄金查询对模型进行初始训练；然后，收集用户反馈，识别模型的错误和不足；最后，根据用户反馈更新训练数据，对模型进行微调。通过不断的迭代训练和反馈，可以逐步提高模型的准确率和可靠性。

• • 小规模试点项目: 对于想要尝试 Text-to-SQL 技术的企业，Defog 建议从小规模试点项目开始。选择一个定义明确但具有一定挑战性的数据集，并使用 Defog SQLCoder 构建一个简单的 Text-to-SQL 系统。通过试点项目，企业可以评估 Text-to-SQL 技术的价值，并为后续大规模应用积累经验。

总结与展望

在 YC 的助力下，Defog 正朝着构建企业级数据分析平台的目标稳步前进。其开源的 SQLCoder 模型家族为 Text-to-SQL 领域注入了新的活力，降低了技术门槛，使得更多开发者和企业能够参与进来，共同推动该领域的进步。相信随着 Defog 的不断发展，Text-to-SQL 技术将会在企业数据分析中发挥越来越重要的作用，帮助企业解锁数据的价值，驱动业务增长。

参考链接:

• • Defog 官网: https://www.defog.ai/

• • SQLCoder Hugging Face 页面: https://huggingface.co/defog/llama-3-sqlcoder-8b

• • SQLCoder GitHub 页面: https://github.com/defog-ai/sqlcoder

• • SQL-Eval 框架介绍: https://defog.ai/blog/open-sourcing-sqleval/