饮食常识Manual

星空体育官网超越Transformer全盘跳级MIT等华人团队发表通用时序TimeMixer++架构8项职业全盘当先

2024-10-29 19:12:42
浏览次数:
返回列表

  星空体育官方TimeMixer++是一个更始的时分序列说明模子,通过多标准和多诀别率的手段正在多个做事上超越了现有模子,展现了时分序列说明的新视角,正在预测和分类等做事带来了更高的正确性和圆活性。

  正在数据驱动的时期,时分序列说明成为了很多范畴中不行或缺的一局限,比方景色预测、医学症状分类、航天器的相当检测超越、以及传感器数据中缺失数据的填充等等,这些应工整体涉及到时分序列预测、分类、相当检测、缺失值填充等做事。

  近些年来超越,搜罗Transformer架构正在内的一系列任务,固然正在细分做事上暴展现色的本能,但因为缺乏圆活和通用的时序特质的提取才力,无法成为通用的模子架构。

  为相识决这些题目,来自MIT、港科大、浙大以合格里菲斯大学的华人团队笼络推出了一种全新的深度模子架构TimeMixer++,正在长程时序预测、短程时序预测、时序分类、相当检测等8项时序做事上的效用完全超越了Transformer等模子,告竣了通用的时分序列筑模和操纵。

  TimeMixer++的通用才力得益于其也许提取通用的时序特质,针对差异做事,模子自符合地进修了差异的隐空间表征,暴展现强健的圆活度和有用性。

  论文提出了「时序特质机械」(Time Series Pattern Machine, TSPM)的观念,举动一个能正在广大时序做事中显露大凡的模子,必需能提取种种各样的时序特质,以符合做事的恳求。

  时分序列是从相接的实际宇宙中以差异标准实行采样获得的(如秒、分钟、幼时),而差异标准下暴露的周期性是差异的。该多标准、多周期性的性情,指示了模子架构的安排。

  TimeMixer++基于时域(多标准)和频域(多频率/周期)的音信,将每一条时分序列转化为多诀别率时序图(Multi-Resolution Time Images),并对每一个时序图正在深度空间中实行解耦和混杂,最终提取多标准、多周期的特质。

  2. Time Image Decomposition (TID):TID通过横轴和纵轴两个轴向的留神力机造,从每一个时序图中解耦季候-趋向,获得季候图和趋向图。

  3. Multi-Scale Mixing (MCM):MCM肩负将差异标准上的季候图和趋向图分袂实行混杂,鉴于图的体例,论文采用了卷积和反卷积的操作。

  MCM以季候和趋向混杂为动力,将季候图由细粒度到粗粒度渐渐集中,并欺骗较粗标准的先验学问深远发掘宏观趋向音信,最终告竣过去音信提取中的多标准混杂。对趋向图,则采用由粗粒度到细粒度的渐渐集中。

  为了验证TimeMixer++的本能,作家正在包括长程预测,短程预测,时序分类,相当检测,填充,少样本/零样本预测等8个时序主流做事进取行测试。实行结果说明,TimeMixer++正在多个目标上完全超越了方今最先辈的Transformer模子,整体显露如下:

  正在长程时序预测中,TimeMixer++正在9/12的目标上超越了近几年的预测模子超越。

  正在单变量和多变量的短程预测做事中,TimeMixer++全方位超越了近几年的其他模子。

  正在缺失值填充做事中,TimeMixer++同样连结了当先上风,正在简直全面容标和数据上超越了其他模子。

  正在麻烦的分类做事和相当检测做事中,TimeMixer++仍旧正在全面模子中赢得了最好的成绩,击败了诸多专为该做事安排的时序模子。

  正在零样本预测的筑立下,TimeMixer++显露赢得了第一,解释提取到通用的时序特质,而并非得益于过拟合。

  通过可视化说明,说明TimeMixer++将时分序列理解为多组季候图和趋向图,能够从时域和频域两个角度,全方位提取时序的特质。差异标准和频率要求下,季候性和趋向性有明显区别。

  TimeMixer++正在内存占用和磨练时分上显露出高效性,同时连结了有逐鹿力的MSE分数。正在气候数据加添和ETTm1历久预测做事中,相较于其他模子,具备更低的内存占用和较疾的磨练时分,且能有用缉捕长程依赖相合。

  作家实行了融化实行验证TimeMixer++架构的合理性。结果说明已有的多组模块安排正在绝大局限数据集上都赢得了最优成绩。

  本文先容了一种全新的深度模子架构TimeMixer++,正在8个时分序列说明做事中完全超越了Transformer等模子,告成告竣了通用的时分序列筑模与操纵。TimeMixer++的更始之处正在于将时分序列转化为图像,并正在时域与频域、多标准星空体育官网、多诀别率下实行特质提取,从而擢升了模子的显露。

  TimeMixer++的告成不只为时序说明范畴带来了新的思绪,也展现了一种全新的时序阐明视角星空体育官网。另日,跟着更多优化技能和操纵场景的引入,自负TimeMixer++将进一步胀吹时序预测技能的发达,为各行业带来更大的价钱。星空体育官网超越Transformer全盘跳级MIT等华人团队发表通用时序TimeMixer++架构8项职业全盘当先

搜索