ChatGPT两周年历程回顾及大模型Text2SQL方案索引

今天是2024年12月04日，星期三，北京，天气晴。

今天，我们来回顾ChatGPT两周年历程，并于基于大模型来完成Text2SQL的方案索引。

供各位参考，多思考，多总结，多实践；

一、ChatGPT两周年历程回顾

Chatgpt两周年历程回顾。我们回顾下这段历史，可参考https://baike.baidu.com/item/ChatGPT/62446358：

2018年，OpenAI发布了最早的一代大型模型GPT-1；

2019年，GPT-2发布，模型参数量提高到15亿个；

2020年，GPT-3诞生，参数量达到了1750亿个，其训练参数是GPT-2的10倍以上；

2022年1月，OpenAI对GPT-3用监督式训练进行了微调，并且进行迭代，最终发布了InstructGPT；

2022年11月30日，OpenAI正式发布了ChatGPT，与InstructGPT是姐妹模型，能够对话的GPT版本，是在GPT-3基础上的3.5版本，所以，大家开始用ChatGPT进行对话、写代码等等。

2023年，3月15日，OpenAI正式推出GPT-4，支持多模态；

2024年5月14日，OpenAI推出新旗舰模型GPT-4o；

2024年9月13日，OpenAI发布o1模型，并在ChatGPT和API接口渠道上推出该系列的预览版本OpenAI o1-preview，OpenAI o1包括三个型号，除o1-preview之外还将有o1和o1-mini。

两年后的今天，我们已经已经不习惯没有AI，以AIGC驱动的各种工具越来越多。

二、大模型Text2SQL方案索引

作为第二个问题，我们来看看一个基于大模型方案，一般的流程如下图所示：

从Spider中选取的一个基于大型语言模型（LLM）的文本到SQL的示例。用户提出了一个问题：“哪些卡通片是Joseph Kuhr编写的？”LLM将这个问题及其对应数据库的schema作为输入，然后生成一个SQL查询作为输出。这个SQL查询可以在数据库中执行，并检索到内容“蝙蝠侠系列”，以回答用户的问题。

最近的工作 《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》(https://arxiv.org/pdf/2406.08426) 介绍了文本到SQL任务的背景和挑战，然后概述了从传统方法到深度学习方法再到预训练语言模型（PLM）和大型语言模型（LLM）的演进过程。接着，文章详细地介绍了用于评估文本到SQL系统的数据集和指标，并对近期LLM在文本到SQL领域的进展进行了系统性分析。

看几个图：

一个是Text2SQL的整体技术演变进展：

一个是LLM-based text-to-SQL的技术方案层级分类树：

一个是text-to-SQL的流行数据集：

一个是基于ICL示例学习的text-to-SQL方案代表工作

一个是基于SFT微调的text-to-SQL方案代表工作

关于技术路线的选择，都可以基于这些来作为索引查找