我要投稿

使用大模型进行自动量化交易，从专家决策中学习经验，累计收益47.98%

发布日期：2025-02-26 17:48:41 浏览次数： 1922 来源：灵度智能

“Pretrained LLM Adapted with LoRA as a Decision Transformer for Offline RL in Quantitative Trading”

量化交易策略的有效性对金融机构至关重要，传统方法受限于手工特征和规则系统，难以适应市场动态。本文DT-LoRA-GPT2，结合预训练的GPT-2权重和低秩适应（LoRA）对Decision Transformer（DT）进行微调，增强模型的泛化能力。结果显示，累计收益DT-LoRA-GPT2的收益为47.98%，夏普比率为2.14，最大回撤-8.42%。

论文地址：https://arxiv.org/pdf/2411.17900

Github地址：https://github.com/syyunn/finrl-dt

【扫描文末二维码加入星球获取论文、源码】

摘要

利用强化学习（RL）开发有效的量化交易策略是一项具有挑战性的任务，因为与实时金融市场的在线互动存在高风险。因此，利用历史市场数据而无需额外探索的离线强化学习变得至关重要。然而，现有的离线RL方法常常难以捕获复杂的时间依赖项。金融时间序列固有的风险，可能与历史模式过拟合。

为了解决这些挑战，我们引入了一个用预训练的GPT-2权重初始化并使用LoRA进行优化的DecisionTransformer （DT）。利用了预训练语言模型的泛化能力和LoRA的效率来学习有效的交易策略。仅从历史数据中获得专家轨迹。

实证表明，我们的方法有效地从专家轨迹中学习，并在某些交易场景中获得更好的回报，突出了在线下定量交易中集成预训练语言模型和参数高效微调的有效性。

简介

量化交易策略的有效性对金融机构至关重要，传统方法受限于手工特征和规则系统，难以适应市场动态。强化学习（RL）通过与市场环境的互动，自动优化交易策略，但在线RL在实际交易中面临高成本和风险。离线RL利用历史数据训练代理，避免与环境的直接互动，但存在过拟合和捕捉复杂时间依赖性的问题。Decision Transformer（DT）通过自注意力机制解决了部分挑战，但对数据需求高，离线RL中的数据多样性有限。

本文提出一种框架，结合预训练的GPT-2权重和低秩适应（LoRA）对DT进行微调，增强模型的泛化能力。实验中，使用专家RL代理的轨迹在离线RL环境中训练模型，评估其在金融指标上的表现。实验结果表明，GPT-2初始化的DT与LoRA在某些交易场景中表现优越，成功应对稀疏和延迟奖励的挑战。

预备知识

离线强化学习

离线强化学习（RL）是从固定数据集中学习最优策略的框架，无需额外探索。环境建模为马尔可夫决策过程（MDP），包含状态集S、动作集A、转移概率P、奖励函数R和折扣因子γ。代理在每个时间步观察状态、选择动作、获得奖励并转移到下一个状态，目标是最大化期望累积折扣奖励。

在离线RL中，代理使用由行为策略生成的固定数据集D进行学习，数据集包含状态、动作、奖励和下一个状态的序列。

在量化交易中，环境代表金融市场，代理的动作对应于交易决策，需从历史数据中学习有效的交易策略。

Decision Transformer（DT）

Decision Transformer（DT）将强化学习视为序列建模问题，使用Transformer架构。DT通过将轨迹表示为包含未来回报、状态和动作的序列来建模轨迹分布。每个时间步的窗口包含最近K个时间步的回报、状态和动作。模型通过最小化预测动作与真实动作之间的均方误差（MSE）来训练。DT利用自注意力机制捕捉复杂的时间模式，实现信用分配，而无需显式的时间差学习。

Low-Rank Adaptation（LoRA）

LoRA是一种参数高效的微调技术，通过在Transformer架构中注入可训练的低秩分解矩阵，实现对大规模预训练模型的适应。更新权重矩阵的方式为：

其中 = BA，B和A为低秩矩阵。微调时仅更新A和B，保持W0不变，从而显著减少可训练参数和计算需求。本研究将LoRA应用于初始化为预训练GPT-2权重的Decision Transformer，以便在有限数据下高效适应量化交易领域，减轻过拟合并利用预训练模型的丰富表示。

方法

本文采用LaMo的方法，将预训练语言模型应用于离线强化学习，适用于金融领域的量化交易。使用预训练的GPT-2权重初始化Decision Transformer，并调整输入格式以处理金融数据。将金融数据输入与GPT-2格式对齐，使用残差块结构的多层感知机替代线性嵌入层，以增强复杂金融数据的表示学习。冻结预训练的Transformer权重，应用低秩适应（LoRA）进行参数高效微调。

语言建模和我们的方法之间的相似之处

本方法通过将输入序列结构化为与GPT-2相似的形式，并对齐嵌入，我们有效利用了预训练模型的架构和学习到的表示。

模型架构

定义了时间步?的几个元素：返回值?ˆ?、状态? ?、动作? ?和时间步索引?。

使用残差多层感知机（MLP）进行嵌入，以捕捉复杂模式，嵌入函数包括市场观察、交易动作和时间步的嵌入。

嵌入函数采用残差块结构，保持原始输入信息并捕捉非线性关系。

使用可学习的位置嵌入编码时间信息，并将嵌入交错形成与GPT-2兼容的输入序列。

输入序列通过Transformer模型处理，输出表示用于预测时间?的动作。动作预测通过将Transformer输出映射到动作维度的MLP实现。

使用LoRA训练

使用低秩适应（LoRA）对预训练的GPT-2模型进行高效适应，引入可训练的低秩矩阵，保持原始权重不变，显著减少可训练参数，Decision Transformer模型约有90万个可训练参数，占GPT-2小模型总参数的0.726%。为公平比较基线方法（行为克隆BC、隐式Q学习IQL、保守Q学习CQL），调整基线模型架构，使其也有约90万个可训练参数，以评估方法的有效性。模型训练目标是最小化预测动作与真实动作之间的均方误差（MSE），损失函数为