AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


一个基于大模型与RAG技术的金融分析框架Stock-Chain+评测基准AlphaFin
发布日期:2024-04-11 22:50:31 浏览次数: 2248 来源:PaperAgent


金融分析任务主要涵盖两个关键领域:股票趋势预测和相应的金融问题回答。目前,机器学习和深度学习算法(ML&DL)已广泛应用于股票趋势预测,取得了显著进展。然而,这些方法未能提供预测的理由,缺乏可解释性和推理过程。同时,它们也无法整合文本信息,如金融新闻或报告。与此同时,大型语言模型(LLMs)具有卓越的文本理解和生成能力。但由于金融训练数据集的稀缺和与实时知识的有限整合,LLMs仍然存在幻觉问题,无法跟上最新信息。
金融分析任务的一个例子,包括股票趋势预测和金融问答。传统的机器学习与深度学习方法仅提供不确定的预测(上涨/下跌),没有任何理由说明,而原始的大型语言模型虽然能够提供预测分析,但却没有实际帮助。

为了应对上述挑战:
  • 发布了AlphaFin数据集,结合了传统研究数据集、实时金融数据和手工编写的思维链(CoT)数据。这对训练LLMs完成金融分析产生了积极影响。
    提出的AlphaFin数据集的来源和预处理

  • 使用AlphaFin数据集来基准测试一种金融分析框架Stock-Chain,它有效处理金融分析任务,并整合了检索增强生成(RAG)技术。

Stock-Chain结合了大型语言模型(LLMs)和检索增强生成(RAG)技术,以提高股票趋势预测和金融问题回答的准确性和可解释性:

  1. 问题定义:Stock-Chain将金融分析任务分为两个阶段:股票趋势预测和金融问答。在股票趋势预测阶段,目标是预测给定公司股票的涨跌趋势;在金融问答阶段,目标是基于用户查询、对话历史和相关文档提供回答。

  2. 数据集:Stock-Chain使用AlphaFin数据集进行训练和测试,该数据集包括传统研究数据集、实时金融数据、金融新闻和手工编写的思维链(CoT)数据。

  3. StockGPT微调:通过两步微调过程,Stock-Chain训练了一个名为StockGPT的LLM,第一步使用AlphaFin的财务报告数据集进行训练,第二步使用手工创建的CoT数据集引导模型进行逐步思考。

  4. 预测和后处理:StockGPT用于预测股票的涨跌,并提供详细的分析和解释。预测结果经过后处理,选择所有预测为“上涨”的股票作为投资组合。

  5. 金融问答:Stock-Chain还具备金融问答能力,通过RAG技术增强LLMs的问答性能。这包括构建向量数据库、知识检索和响应生成。

金融分析中Stock-Chain框架两个阶段的示意图

实验结果表明,Stock-Chain在股票趋势预测任务上实现了最先进的准确性,并且年度回报率(ARR)超过30%。此外,Stock-Chain在金融问答中也能提供全面的分析,增强了投资者的决策信心,并为他们的投资选择提供了坚实的基础。

2020年1月至2023年7月期间,金融报告数据集测试集中每个基线的累积回报率(AR)。该图表显示了一些基线的曲线。

AlphaFin-Test上的主要实验结果。年化回报率(ARR)和准确率(ACC)是核心指标,而中间指标(如AERR、ANVOL等)可以帮助投资者评估模型的有效性。由于回报率通常波动很大,为了确保性能的稳定性,对每个模型运行了10次,并获得了平均结果。

AlphaFin: Benchmarking Financial Analysis with RetrievalAugmented Stock-Chain Frameworkhttps://arxiv.org/pdf/2403.12582.pdfhttps://github.com/AlphaFin-proj/AlphaFin


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询