介绍一个基于强化学习的组合优化器--AlphaPortfolio，感觉不错

这一次的文章不是在Medium上看到的，而是参加ASSA 2021的时候发现的，所以比较偏学术，但我觉得内容很好，所以跟大家分享下。
首先，文章的标题是AlphaPortfolio: Direct Construction through Reinforcement Learning and Interpretable AI，文章内容概括的说就是一个基于强化学习的组合优化器，主要特点是所谓的Single Forward Pass，大概意思就是所谓的一次出结果吧。
首先，以大家最关心的回测业绩开始：
数据集以在美国三大主要交易所上市的股票为主，训练时间为1965年到1989年底，测试集时间为1990年到2016年，频率为月度数据。模型在测试集中每年更新一次，组合每个月再平衡一次。回测中考虑了成本，策略为Long-Short。



从图中看到，策略表现不错，Sharpe在2以上。一般Sharpe1以上的策略就算很不错了，记忆中标普长期平均年回报在10%到15%的区间。

纯多策略的表现也不错，Sharpe在1以上。



最近看到几个RL架构的组合优化器都是采用了这种所谓的Single Forward Pass结构。传统的Markorwitz组合优化都是“先估计，再优化“。通过估计得到模型参数，再根据一定条件把估计得到的参数输入优化器，输出组合权重。但RL结构的组合优化器可以直接设定你的目标，例如最大化Sharpe等，输入数据后直接输出组合权重，这是相对传统方法的创新。

推荐这篇文章主要的原因有几个：
1. 模型的结构灵活。
这个模型有三层，一个SREＭ层提取序列特征，一个CAAN层提取关联，最后一层输出权重。因为CAAN层算是一个创新，文章中特意比较了有无CAAN层的表现。SREM可以采用LSTM或者Transformer-Encoder，RL结构的话也可以根据自己的需求灵活定义目标。
2. 交易策略有可行性，并且表现不错。
转手率不高，纯多策略表现也不错。我没有看到具体训练时间的描述，但如果是月度级再平衡的话，训练时间方面的问题应该不大。
3. 文章很扎实。
除了我简略提到的这些内容，还对比了其它研究在相同区间的表现，做了因子模型的Alpha回归，和传统Markorwitz优化方式的对比，模型解释等，非常翔实。

不足的地方我觉得一个是没有公开Code，另一个是由于数据频率和市场的原因，不知道在中国市场结果会怎么样。类似的有一个叫DeepDow，有代码但没有Paper。

基于我自己做的一些项目来看，LSTM这类在时间序列上的强大无可质疑。以后应该就是这些结构组合、平衡的时代了。