TimesFM 2.0 – 谷歌研究团队开源的时间序列预测模型-爱论文

TimesFM 2.0是什么

TimesFM 2.0是谷歌研究团队推出的开源时间序列预测模型。具备强大的预测能力，可处理长达2048个时间点的单变量时间序列，支持任意预测时间跨度。模型采用仅解码器架构，结合输入修补和修补掩码技术，实现高效训练与推理，支持零样本预测。预训练数据集丰富，涵盖多个领域，使模型具有良好的泛化能力。TimesFM 2.0可用于零售销量预测、金融市场走势分析等常见场景，能在网站流量预测、环境监测、智能交通等众多领域发挥重要作用，为各行业提供有力的决策支持。

TimesFM 2.0的主要功能

强大的预测能力：能处理高达2048个时间点的单变量时间序列预测，支持任意预测时间跨度。灵活的预测频率选择：用户可以根据不同的时间序列特征，自由选择预测频率，增强了预测的灵活性。实验性分位头预测：模型主要进行点预测，同时实验性地提供了10个分位头，用于生成预测的不确定性估计，但这些在预训练后尚未经过校准。丰富的数据预训练：整合了多个数据集，包括TimesFM 1.0的预训练集和来自LOTSA的附加数据集，涵盖了住宅用电负荷、太阳能发电、交通流量等多个领域，为模型训练提供了广泛的基础。零样本学习能力：尽管模型的最大训练上下文长度为2048，但在实际应用中可以处理更长的上下文，展现出优秀的零样本学习能力。

TimesFM 2.0的技术原理

纯解码器架构：TimesFM 2.0 采用纯解码器架构，在处理时间序列数据时具有更高的计算效率，能更有效地捕捉长距离的时间依赖关系，更自然地进行单向预测。时间序列分块和位置编码：模型对时间序列进行分块处理，注入位置编码，通过堆叠的Transformer层提炼出数据中的时间顺序信息和不同时间点的关系。输入修补和修补掩码：通过输入修补和修补掩码技术，模型实现了高效训练和推理过程，还支持零样本预测，提升了模型的训练效率和泛化能力。预训练过程：TimesFM 2.0 在包含1000亿个真实世界时间点的大规模时间序列语料库上进行预训练，涵盖了多个领域和不同时间粒度的数据。预训练过程采用自监督学习方法，预测序列中的下一个时间点。灵活的输入处理：支持处理不同长度和频率的时间序列输入，适应各种实际应用场景。尽管预训练时最大上下文长度为2048，但在实际应用中，模型可以扩展处理更长的时间序列。分位点预测的实验性支持：模型引入了10个分位头，支持用户在单点预测的基础上获取不同分位数的预测值，为不确定性分析提供了新的可能性。

TimesFM 2.0的项目地址

项目官网：https://research.google/blog/a-decoder-only-foundation-model-for-time-series-forecasting/Github仓库：https://github.com/google-research/timesfmHuggingFace模型库：https://huggingface.co/google/timesfm-2.0arXiv技术论文：https://arxiv.org/pdf/2310.10688

TimesFM 2.0的应用场景

零售业：可用于预测销量，帮助商家更好地进行库存管理和销售策略制定。金融市场：能预测股票走势等，为投资者提供决策参考。网站运营：可预测网站流量，助力网站优化和资源分配。环境监测：基于历史数据预测环境变化趋势，如空气质量、气候变化等，为环境保护和应对措施提供依据。智能交通：基于交通流量历史数据预测未来的路况，为城市规划和交通信号优化提供参考，有助于高峰时段管理和减少交通拥堵。