海因斯DK
LV.3
这个用户很懒,还没有个人简介
声望 254
关注 0
粉丝 0
私信
主帖 25
回帖
Transformer在时间序列中已经应用比较广泛。但是最近一些针对Transformer的研究工作指出,Transformer的selfattention机制在建模序列数据时,比较倾向于学习低频的信息,而忽略了高频信息,造成频率偏差问题,影响了预测效果。在时间序列预测中,这个问题也存在,为了解决这个问题,在KDD2024上,大阪大学发表了一篇相关工作Fredformer,对Transfomrer在时间序列预测中的这种问题进行了解决。论文标题:Fredformer:FrequencyDeb...
14h前 36浏览 0点赞 0回复 0收藏
NextItemPrediction任务是序列推荐系统中的一个基础任务,根据用户的历史浏览行为item序列,预测用户下一个感兴趣的item。今天这篇文章,给大家梳理一下近几年来,NextItemPrediction任务的代表性工作。1.基于BERT的序列建模论文标题:BERT4Rec:SequentialRecommendationwithBidirectionalEncoderRepresentationsfromTransformerBERT4Rec是阿里在2019年提出的一种基于BERT的NIP建模方法。在之前的工作中,大多基于RNN的单向模型...
3天前 96浏览 0点赞 0回复 0收藏
今天跟大家聊聊一个近期相对冷门的研究点:Decoder中的预测时间步依赖问题。目前主流的时间序列预测模型,Decoder一般采用一个简单的MLP网络,输入Encoder的表征,映射到预测结果。但是,这种建模方法并没有考虑到各个预测时间步之间的关系,可能导致在预测阶段不满足时间序列的平滑性。在更早的深度学习时间序列预测工作中,一般会将上一个时刻的预测结果或者真实结作为下一个时刻的输入,自回归的逐步进行预测。这种建模方法...
7天前 226浏览 0点赞 0回复 0收藏
今天给大家介绍一篇关于大模型在时间序列应用探讨的工作。这篇文章质疑大语言模型在时间序列预测中是否有效,并对目前最先进的3个基于大语言模型的时间序列预测模型进行实验,发现去掉大语言模型部分,改成一个attention网络,也能取得相同甚至更优的效果。论文标题:AreLanguageModelsActuallyUsefulforTimeSeriesForecasting下载地址:​​https:arxiv.orgpdf2406.16964v1​​1、背景随着大语言模型的兴起,一些工作也将其应...
9天前 264浏览 0点赞 0回复 0收藏
在最近的时间序列预测研究工作中,有一类工作将图学习和时间序列结合了起来,从图学习的视角理解时间序列预测。这类工作中,一种是用图学习建模多变量间的关系,解决多元时序预测问题;另一种是直接把时间序列中的各个时间步看成图中的一个节点,用图学习建模时间步之间的依赖关系。这篇文章汇总了近期4篇图学习视角解决时间序列预测问题的工作。1.ForecastGrapher论文标题:ForecastGrapher:RedefiningMultivariateTimeSeriesF...
2024-06-25 12:15:21 355浏览 0点赞 0回复 0收藏
最近,Meta发表了两篇和推荐系统相关的大模型工作,这类工作不是讲NLP等领域的大模型应用到推荐系统,而是直接使用推荐系统的数据训练大模型。一直以来,阻碍CTR预估等模型朝大模型发展的一个阻碍是,这类模型并不存在像NLP、CV领域模型中的scalinglaw,即模型的效果随着模型尺寸增大、训练数据增加而效果提升,单纯增加模型尺寸看起来并不能提升效果。今天就跟大家讨论2篇近期Meta发表的大模型推荐系统工作,这两篇工作设计了...
2024-06-20 09:53:41 675浏览 0点赞 0回复 0收藏
今天给大家介绍最近的一篇探索如何在更好地建模通道(channel)之间的相关性的多元时间序列文章。文章旨在解决通道独立(channelindependent)方法缺乏对通道之间相关性的利用,以及通道依赖(channeldependent)方法不够鲁棒的问题。这篇文章,提出了一种新颖的中心化结构传递不同通道的信息,相比于分布式结构如Attention,Mixer等,这种中心化的结构既降低了计算开销,而且提高了对于异常通道的鲁棒性,以更低的复杂度获得更好的性...
2024-06-18 09:45:05 333浏览 0点赞 0回复 0收藏
在多元时间序列预测中,如何建模多变量之间的关系一直是研究热点。过去一年最火的研究方向之一就是多元时间序列应该采用channeldependent(多变量联合建模)还是channelindependent(多变量独立建模),以及channeldependent的各种改进方法。近期,一种新的探索多变量建模的方法正在兴起。这类方法不再执着于用复杂的网络建模变量间关系,而是更直接一些,在预测每个变量的时间序列时,将其他所有变量都当成外部特征或者辅助序...
2024-06-14 11:36:22 435浏览 0点赞 0回复 0收藏
今天给大家介绍最近的一篇探索selfattention在时间序列预测有效性的文章。本文承接AreTransformersEffectiveforTimeSeriesForecasting这篇工作,进一步指出导致Transformer在时间序列问题上效果不好的核心模块是selfattention。并提出了一种新的线性模型+crossattention结构解决,提升了长周期时序预测效果。论文标题:AreSelfAttentionsEffectiveforTimeSeriesForecasting下载地址:​​https:arxiv.orgpdf2405.16877v1​​1....
2024-06-12 10:27:43 374浏览 0点赞 0回复 0收藏
一、结论写在前面这篇论文来自:中国科学技术大学、香港中文大学、北京大学、上海AILab。论文推出了ShareGPT4Video系列,旨在通过密集且精确的标注促进大型视频语言模型(LVLMs)的视频理解和文本到视频模型(T2VMs)的视频生成。该系列包括:1)ShareGPT4Video,包含4万个GPT4V标注的密集视频标注,这些视频具有不同长度和来源,通过精心设计的数据过滤和标注策略开发。2)ShareCaptionerVideo,一个高效且能力强大的任意视频...
2024-06-11 08:48:22 431浏览 0点赞 0回复 0收藏
今天给大家介绍一篇浙大、中南、南洋理工、上交、北大等多所高校联合提出的一种时间序列预测建模方法,针对目前时序预测直接预测方法没有考虑到预测各个时间步关系的问题,提出了在频域中进行预测的方法,可适配到各类时序SOTA模型中,取得了长短周期时序预测的效果提升。论文标题:FREDF:LEARNINGTOFORECASTINFREQUENCYDOMAIN下载地址:​​https:arxiv.orgpdf2402.02399​​开源代码:​​https:github.comMasterPLCFreDF​​...
2024-06-07 11:53:03 602浏览 0点赞 0回复 0收藏
时间序列领域最近几年的变化非常大,在2018年左右,RNN这类模型才刚在时间序列上应用,而目前已经基本和NLP、CV等领域对齐了。随着深度学习在时间序列预测领域研究的深入,最近一年也出现了很多新的时间序列预测研究方向。这篇文章就给大家汇总一下最近比较热门的时间序列研究点。很多同学都感觉现在各种公众号上时间序列的知识太杂太散,很难串联成一个整体,系统性的学习。圆圆在知识星球中开设了系统性学习时间序列预测的专...
2024-06-07 11:50:20 539浏览 0点赞 0回复 0收藏
今天给大家介绍一篇MIT上周发表的文章,使用GPT3.5turbo解决时间序列异常检测问题,初步验证了LLM在时间序列异常检测中的有效性。整个过程没有进行finetune,直接使用GPT3.5turbo进行异常检测,文中的核心是如何将时间序列转换成GPT3.5turbo可识别的输入,以及如何设计prompt或者pipeline让LLM解决异常检测任务。下面给大家详细介绍一下这篇工作。论文标题:Largelanguagemodelscanbezeroshotanomalydetectorsfortimeseries下载...
2024-05-31 16:32:56 318浏览 0点赞 0回复 0收藏
今天给大家介绍一篇最近被KDD录用的时空预测建模工作。这篇文章重点解决在时空预测建模中,如何解决不同样本在时间和空间维度上的异质性,提出了一种基于时空表征的个性化参数建模方法。1、背景时空建模是一个常见问题,例如在交通预测中,预测每个位置每个时间步的流量等任务,需要同时考虑一个位置内时间维度的依赖关系,以及同一段时间不同位置建的空间依赖关系。关于时空建模,在【圆圆的算法笔记】知识星球中也详细整理了...
2024-05-27 11:30:58 1202浏览 0点赞 0回复 0收藏
今天给大家介绍一篇WWW2024中,由于新嘉博国立大学和香港科技大学联合发表的多模态时间序列预测模型UniTime,通过文本信息实现统一跨域时间序列预测。论文标题:UniTime:ALanguageEmpoweredUnifiedModelforCrossDomainTimeSeriesForecasting下载地址:​​https:arxiv.orgpdf2310.09751v1.pdf​​1、背景在很多时间序列预测场景中,会涉及到跨域学习,即有多个领域的时间序列数据,不同领域的数据分布、特征都可能不同,需要对...
2024-05-24 15:44:28 526浏览 0点赞 0回复 0收藏
今天给大家介绍两篇经典的工作,这两篇工作都是针对推荐系统中排序模型的优化,方法有一些相似之处,都是利用门控网络对底层特征进行交叉。最关键的在于,这类方法已经在很多真实业务场景中被验证效果显著,非常值得还没有应用这类方法的同学进行尝试。1.MaskNet论文标题:MaskNet:IntroducingFeatureWiseMultiplicationtoCTRRankingModelsbyInstanceGuidedMask下载地址:​​https:arxiv.orgabs2102.07619​​MaskNet是2021年...
2024-05-22 11:37:21 515浏览 0点赞 0回复 0收藏
亚马逊发布了新版的时间序列大模型Chronos,用来进行时间序列概率预测的统一框架。这个模型的核心点是通过细致的数据处理,完全将时间序列数据转换成token,再结合NLP中的T5等模型结构,以交叉熵为目标,训练时间序列模型,在多个数据集上取得了SOTA效果。下面给大家详细介绍Chronos的实现原理。论文标题:Chronos:LearningtheLanguageofTimeSeries下载地址:​​https:arxiv.orgpdf2403.07815v1.pdf​​1.时间序列Tokenize这一...
2024-05-20 14:48:31 1023浏览 0点赞 0回复 0收藏
LLM是目前学术界研究的热点,同时工业界也在快速探索LLM在业务中的落地。本篇文章给大家介绍来自WWW24的一篇文章,介绍了淘宝电商将LLM用在了搜索场景中的query改写上,精心构建的领域特定数据集对LLM进行finetue,定义三种不同的优化目标并使用PreferenceRankOptimization损失学习候选之间的偏序关系,极大的解决了长尾query中的“fewrecall”问题。论文标题:LargeLanguageModelbasedLongtailQueryRewritinginTaobaoSearch下...
2024-05-15 14:49:21 1144浏览 0点赞 0回复 1收藏
今天给大家介绍一篇ICLR2024的杰出论文,这篇文章深入探讨了自监督预训练对于使用Transformer进行长序列建模的重要性。论文标题:NeverTrainfromScratch:FAIRCOMPARISONOFLONGSEQUENCEMODELSREQUIRESDATADRIVENPRIORS下载地址:​​https:arxiv.orgpdf2310.02980​​1、背景介绍在一些长序列建模数据集benchmark中,例如LongRangeArena,使用RNN或者SSM这种基础的序列模型效果要显著优于Transformer模型。然而,文中提出这种评...
2024-05-11 10:40:03 909浏览 0点赞 0回复 0收藏
今天给大家介绍一篇VLDB2024中时间序列预测Benchmark的工作,文章由华东师范大学,华为云,奥尔堡大学联合发布。该论文提出了TFB(时间序列预测基准测试),这是一个新颖的自动化基准测试框架,旨在通过包含来自十个不同领域的数据集,并提供一个灵活、可扩展且一致的评估流程,对包括统计学习、机器学习和深度学习在内的多种时间序列预测方法进行全面且无偏见的评估。该论文呼吁testing不使用droplast操作,这一影响多个时序Ba...
2024-05-09 10:10:47 1053浏览 0点赞 0回复 0收藏
获得成就
已积累 3824 人气
获得 0 个点赞
获得 1 次收藏