Salesforce AI Moirai 2.0:时序模型新标杆,性能与效率双突破

Marktechpost

Salesforce AI 研究团队隆重推出了 Moirai 2.0,标志着时序基础模型领域的一次重大飞跃。这款新模型基于创新的仅解码器 Transformer 架构构建,已迅速在 GIFT-Eval 基准测试中占据榜首,该基准被广泛认为是评估时序预测模型的黄金标准。Moirai 2.0 不仅实现了卓越的性能,而且效率惊人:与前代产品相比,其推理速度提高了 44%,模型尺寸缩小了 96%,同时丝毫不影响准确性。速度、紧凑性和精度三者的结合,使其有望成为学术研究和实际企业应用的颠覆性力量。

Moirai 2.0 强大能力的核心创新在于其架构的转变。与可能依赖掩码编码器的先前模型不同,Moirai 2.0 采用了仅解码器 Transformer。这种设计选择显著增强了其对自回归预测生成建模的能力,这是一个根据过去观测值顺序预测未来值的过程。这种架构改进还提高了可扩展性,使模型能够在更大、更复杂的数据集上有效运行。通过同时预测多个数据点(或“token”)而非仅仅一个,进一步提高了效率,这有助于在预测过程中实现更高的稳定性。该模型还在训练期间整合了先进的数据过滤机制,自动排除低质量或无法预测的时序数据,以增强其鲁棒性。此外,还集成了诸如补丁 token 嵌入和随机掩码等新技术,以提高模型编码缺失值信息的能力,并在预测阶段处理不完整数据时保持鲁棒性。

Moirai 2.0 令人印象深刻的泛化能力源于其扩展和多样化的预训练数据集。该基础数据包括 GIFT-Eval Pretrain 和 Train 等真实世界数据集,通过 Chronos 研究的 Chronos mixup 和 KernelSynth 程序生成的合成时序数据,以及直接来自 Salesforce IT 系统的宝贵内部运营数据。这种广泛而多样的数据混合确保了 Moirai 2.0 能够熟练地泛化到各种预测任务和领域,使其高度适应不同的业务需求。

Moirai 2.0 的性能指标凸显了其突破性地位。在非数据泄露模型中,它在 GIFT-Eval 上取得了最佳的 MASE(平均绝对标度误差)分数,这是行业公认的预测准确性指标。此外,其 CRPS(连续排序概率分数)性能与之前的最先进模型持平。与前代 Moirai_large 直接比较,Moirai 2.0 的 MASE 提高了 16%,CRPS 提高了 13%。这些准确性提升,再加上推理时间的大幅缩短(快 44%)和参数尺寸的显著减小(小 96%),意味着高性能、可扩展的预测现在比以往任何时候都更容易实现。

对于从业者而言,Moirai 2.0 的进步转化为关键企业领域中的实际效益。其能力远远超出了学术基准,在 IT 运营的容量主动扩展和异常检测、销售预测的准确收入预测、需求预测的库存优化以及供应链规划的调度改进和浪费减少等领域找到了实际应用。模型尺寸的显著减小和速度的提升意味着高质量的预测现在可以以前所未有的规模应用,无论数据基础设施的复杂性如何,都能赋能企业做出更智能、更快速的决策。

Salesforce 已将 Moirai 2.0 提供给开发人员和数据科学家,以便无缝集成到现有工作流中。该模型及相关的开源模块可在 Hugging Face 上获取,实现直接的实施。开发人员可以使用标准 Python 库和简化的工作流加载 Moirai 2.0,准备数据集,生成预测并可视化结果,Salesforce 提供了完整的示例和笔记本以进行更深入的实验。

通过普及尖端、通用预测技术的访问,Moirai 2.0 有望重塑时序建模的格局。其在各个领域的灵活性、增强的鲁棒性、更快的推理速度和更低的计算需求,为全球企业和研究人员利用预测的力量进行变革性决策铺平了道路。