报告题目：Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation
论文出处： VLDB（2024）
作者： Dawei Gao∗, Haibin Wang∗, Yaliang Li, Xiuyu Sun，Yichen Qian, Bolin Ding, Jingren Zhou
单位：Alibaba Group
报告人：肖楠鑫
报告时间：2024年4月22日
报告地点：博学楼621教室
报告内容摘要：
大型语言模型( Large Language Models，LLMs )已经成为Text2SQL任务的新范式。然而，缺乏一个系统的基准测试程序，阻碍了设计有效、高效、经济的基于LLM的Text - to - SQL解决方案的发展。为了应对这一挑战，本文首先对现有的快速工程方法进行了系统而广泛的比较，包括问句表示、样例选择和样例组织，并利用这些实验结果阐述了它们的优缺点。基于这些发现，我们提出了一个新的集成解决方案，命名为DAIL - SQL，它以86.6 %的执行精度刷新了Spider排行榜。
为了探索开源LLM的潜力，我们在各种场景下对它们进行了研究，并通过有监督的微调进一步提升了它们的性能。我们的探索突出了开源LLMs在Text2SQL方面的潜力，以及有监督微调的优势和不足。此外，为了获得高效、经济的基于LLM的Text2SQL解决方案，我们强调了提示工程中的token效率，并比较了该指标下的先前研究。我们希望我们的工作能够对基于LLMs的Text2 SQL提供更深入的理解，并启发进一步的研究和更广泛的应用。
