本文通讯作者为北京大学计算机学院常务副教授杨桐和香港理工大学助理教授王书军。第一作者为香港理工大学24班博士生余国琪，共同作者为北京大学21班博士生、密印智能创始人郭晓宇。该研究工作由北京大学计算机学院数据结构实验室和美印智能发起的研究项目完成。
时间序列数据作为连续时间点的数据集合，广泛存在于医疗、金融、气象、交通、能源（电力、光伏等）等众多领域。有效的时间序列预测模型可以帮助我们了解数据的动态变化，预测未来趋势，做出更准确的决策。然而，时间序列数据通常包含复杂的线性和非线性模式，这些模式常常相互交织（见下图1），这给预测模型的设计和优化带来了巨大的挑战。
图1 现实世界的时间序列通常是多个线性和非线性时间序列的重叠。上图中的红色序列可以表征为它下面的两个线性模式和两个非线性模式的总和。
现有模型依赖于中提出的基于残差的Trend（线性）和（非线性）分解——首先使用移动平均核（Auto/，）或可学习卷积（）来获得Trend项，然后使用Trend从Trend项中减去获得该术语的原始序列。然而，这只能得到简单的线性模型，而得到的非线性模型或项实际上是由提取不充分的线性模型、待提取的非线性模型以及序列中的噪声组成的，应该称为（残差） 。
图2 LiNo对功率数据集中最后一个变量的预测可视化，LP指线性预测，NP指非线性预测。左边（预测值）分为线性和非线性预测，中间和右边，线性和非线性预测进一步分为更详细的多个模型。
图 3 用于预测图 2 中各个线性和非线性分量的抽象权重的可视化。可以看出，每种模式的预测权重是不同的。
同时观察图2和图3可以看出，线性模式更关注序列的长期形态，而线性模式更关注短期波动。此外，用于预测线性和非线性的权重以及用于预测不同线性或不同非线性的权重之间也存在差异。因此，有效分离这些线性和非线性模式不仅可以帮助理解时间序列的内部特征并获得更可解释的预测结果，而且可以帮助我们设计更高效和鲁棒的预测算法。
正是在这样的背景下，北京大学、香港理工大学和密印智能研究团队提出了LiNo框架。该框架通过递归残差分解（RRD）技术实现了线性和非线性模式的显式提取。
图4 LiNo框架图
LiNo框架的算法核心在于其递归残差分解（RRD）策略，该策略受到经验模态分解（Mode，EMD）的启发。 LiNo使用两个主要模块：Li block和No block，分别负责线性和非线性模式的提取。
该方法不仅提高了模型捕捉周期性特征的能力，还增强了非周期性特征的建模能力。
下面是算法的详细过程：
1.李块（Li Block）
Li 块旨在提取时间序列中的线性模式。它是通过可学习的自回归模型（AR）实现的，该模型具有完整的感受野，可以替代传统的移动平均（MOV）、可学习的一维卷积核（LD）和指数平滑函数（ESF）。 ）。
这种方法不仅提高了模型捕获周期性特征的能力，还增强了其对非周期性特征建模的能力，在多个真实数据集上实现了优于现有最先进方法的性能。
在涵盖电力、金融、交通等13个广泛使用的现实世界数据集上，无论是单位时间序列预测还是多元时间序列预测，LiNo都取得了比现有最先进方法更好的性能，并且表现出了出色的鲁棒性。
LiNO框架在多变量时间序列预测方面表现良好（如表1所示），特别是在10个基准数据集上的9个上实现了最低的MSE，在8个上实现了最低的MAE，显着超越了之前包含的模型。在高维复杂的非线性 PEMS 和 ECL 数据集上，LiNO 通过精细的非线性模式提取，平均 MSE 分别降低了 11.89% 和 7.87%。这些结果凸显了 LiNO 处理复杂时间序列数据的高效能力，无论是在电力、交通还是金融领域，证明了其在捕捉线性和非线性模式平衡方面的重要性。
表1 多元时间序列预测
LiNO 框架在单变量时间序列预测任务中表现出最佳性能。根据表2的分析，它在所有六个数据集上都取得了最好的预测结果。与之前最先进的方法 MICN 相比，LiNO 在 6 个数据集上将均方误差 (MSE) 降低了 19.37%，平均绝对误差 (MAE) 降低了 10.28%。特别是在ETTh2和数据集上，LiNO的MSE分别降低了47.11%、28.64%和12.97%，这标志着预测精度的显着提高。 LiNO 在单变量和多变量时间序列预测方面始终如一的优异性能，证明了其在不同场景中的广泛适用性。
表2 单变量时间序列预测
LiNO框架在单变量时间序列预测方面表现出色，是基于这种业界领先的转换器模型作为底层架构而设计的。如表 3 所示，通过与“Raw”（传统设计）和“Mu”（N-BEATS 中使用的递归表示分割预测设计）进行比较，LiNO 在 ETTm2、ECL 和 % 上实现了 2.96%、6.34，并降低了 MSE 6.72%，这一成绩凸显了其在有效分离和处理线性和非线性模式方面的高效率。此外，LiNO在面对不同噪声水平的挑战时仍然表现出优异的鲁棒性和可靠性，如图5所示。这不仅验证了其设计的鲁棒性，也进一步证实了时间序列预测模型的有效性。区分线性和非线性模式对于提高预测的鲁棒性非常重要。
表3 LiNo框架对的预测精度提升
图5 LiNo框架对的鲁棒性改进
LiNo框架的提出不仅促进了时间序列预测技术的发展，而且为设计更有效、鲁棒、可解释的预测模型提供了新的思路和工具。
