AI.x社区

今天给大家介绍一篇ICML2025的时间序列预测工作，提出了一个轻量级、兼容不同类型数据的周期性差异的时间序列基础模型，在Zeroshotlearning、Fullshotlearning等场景中都取得了显著效果提升。论文标题：LightGTS:ALightweightGeneralTimeSeriesForecastingModel下载地址：​​https:arxiv.orgpdf2506.06005​​1.研究背景时间序列基础模型希望构建类似LLM的时序领域通用模型，在大量多样性的数据集上预训练，训练好的模型在下游...

今天给大家介绍一篇中科大、腾讯联合发表的CTR预估模型优化工作，探索了多专家网络多样性对于模型效果的影响。论文标题：EnhancingCTRPredictionwithDecorrelatedExpertNetworks下载地址：​​https:arxiv.orgpdf2505.17925​​1.研究背景最近两年，随着ScalingLaw在各个领域的研究，推荐系统领域也开始逐渐引入这种思想进一步提升模型能力。其中，一种常见的思路是利用MoE扩大参数空间，并结合多种类型的网络结构构建预估模型...

今天给大家介绍的这篇文章来自KDD2025，提出了一种适用于时间序列的数据增强方法，核心思路是在频域进行重要成分的保留和非重要成分的变换，使得增强后的数据既能保证和原始数据语义相同，又能提升数据的多样性。论文标题：FreRA:AFrequencyRefinedAugmentationforContrastiveLearningonTimeSeriesClassification下载地址：​​https:arxiv.orgpdf2505.23181v1​​1.研究背景数据增强是深度学习中常用的一种方法，特别是在对比...

今天给大家介绍一篇针对多变量预测单变量场景的时间序列预测优化工作。本文的核心是构建了一种基于卷积的轻量级变量间关系学习模块，提升变量间关系学习效率和缓解过拟合问题，提升多变量预测单变量的效果。论文标题：CrossLinear:PlugandPlayCrossCorrelationEmbeddingforTimeSeriesForecastingwithExogenousVariables下载地址：​​https:arxiv.orgpdf2505.23116v1​​1.研究背景时间序列预测有多种问题类型。单变量时间序列...

今天给大家介绍一篇最近东南大学发表的长周期时间序列预测工作。这篇文章的侧重点也是多尺度建模，但和以往工作侧重对输入进行多尺度处理不同，本文的核心是引入多尺度的预测，并对不同尺度预测结果进行变量粒度个性化的加权融合。论文标题：AMultiscaleRepresentationLearningFrameworkforLongTermTimeSeriesForecasting下载地址：​​https:arxiv.orgpdf2505.08199​​1、研究背景多元长周期时序预测是时间序列预测中比较有挑...

今天给大家介绍一篇使用大语言模型结合知识蒸馏方法，构建高效轻量级时间序列预测模型的方法。文中基于大语言模型通过多模态建模优化适配到时间序列数据，并进一步通过优势知识蒸馏将大模型信息蒸馏到小模型中，实现模型尺寸不变而具备大模型知识的目的，提升时序预测效果。论文标题：EfficientMultivariateTimeSeriesForecastingviaCalibratedLanguageModelswithPrivilegedKnowledgeDistillation下载地址：​​https:arxiv.org...

今天给大家介绍一篇ICLR2025中关于时间序列异常检测的工作。这篇文章采用基于MemoryBank和Prototype的异常检测方法，提出在此基础上引入多尺度patch和多周期性的建模方法，进一步提升时间序列异常检测效果。论文标题：LEARNHYBRIDPROTOTYPESFORMULTIVARIATETIMESERIESANOMALYDETECTION下载地址：​​https:openreview.netpdfid8TBGdH3t6a​​1.研究背景时间序列异常检测的主流方法，是使用正常的时间序列训练一个自编码器，序列...

在这一节，重点展开为大家梳理在大模型之前的GPT、BERT等深度语言模型的发展过程。在大模型之前，预训练语言模型是NLP中的核心，在pretrainfinetune这一阶段的NLP发展中发挥着举足轻重的作用。预训练语言模型的无监督训练属性，使其非常容易获取海量训练样本，并且训练好的语言模型包含很多语义语法知识，对于下游任务的效果会有非常明显的提升。本文首先介绍预训练语言模型的里程碑方法，然后进一步介绍针对预训练语言模型中的...

今天给大家介绍一篇时间序列大模型研究工作。这项工作基于预训练的语言模型，增强时间序列预测效果，文中提出了多层次、多频率表征抽取和语义对齐模块，实现LLM在时间序列数据形式上更好的应用。论文标题：LLMPS:EmpoweringLargeLanguageModelsforTimeSeriesForecastingwithTemporalPatternsandSemantics下载地址：​​https:arxiv.orgpdf2503.09656​​1.研究背景使用大模型进行时间序列预测已经成为一个目前的热点研究方向。...

在这个系列文章中，我会用通俗的语言，为大家介绍学习大模型的核心知识点。读完这个系列的文章，你会深入理解语言大模型、多模态大模型的核心技术点，包括模型结构、训练方式、数据处理、多模态融合等。大模型的前身是语言模型，圆圆是很早就开始在工业界研究和应用语言模型的一批人，因此对整个深度学习时代语言模型的发展历程都有见证。当时还没有Transformer、BERT，只有LSTM、Attention这种结构。工业界效果最好、应用最稳...

今天给大家介绍一篇华为最近发表的时间序列分类大模型工作，填补了专门用于时间序列分类的大模型工作空白，借鉴了VisionTransformer的训练方式和模型结构，迁移到时间序列分类任务中，在多种类型的数据集上取得了不错的效果。推荐阅读：​​​2024时序预测都有哪些经典工作——汇总篇​​，2024时间序列预测相关最新SOTA工作汇总，涉及模型结构、表示学习、频域信息、扩散模型10余个专题。论文标题：Mantis:LightweightCalibrat...

今天给大家介绍一片最新的多模态时间序列预测工作。这篇文章采用了时间序列、图像、文本三种模态的数据形式，进行时间序列预测，增强底层信息的输入，提升时序预测效果。论文标题：TimeVLM:ExploringMultimodalVisionLanguageModelsforAugmentedTimeSeriesForecasting下载地址：​​https:arxiv.orgpdf2502.04395​​1.研究背景传统的时间序列预测方法，都是最基础的时间序列形式数据进行建模的。然而，最近一些工作将文本信息...

今天给大家介绍一篇视频多模态大模型工作，这篇文章的核心是探索了在现有的SOTA视频多模态大模型中，引入显示的视频时序建模提升模型的视频理解能力。论文标题：ExploringtheRoleofExplicitTemporalModelinginMultimodalLargeLanguageModelsforVideoUnderstanding下载地址：​​https:arxiv.orgpdf2501.16786​​1.研究背景传统的时间序列预测方法，都是最基础的时间序列形式数据进行建模的。然而，最近一些工作将文本信息、图...

LLaMA是目前很多SOTA开源大模型的基础，包括DeepSeek、千问等在内的很多大模型的模型机构大体上都沿用了LLaMA。因此，LLaMA在模型结构的设计上可以说是目前大模型的一种最佳实践。这篇文章就给大家汇总一下LLaMA的核心模型结构。LLaMA的主体结构仍然基于Transformer，本文主要介绍LLaMA各个版本相比于Transformer的改进部分，包括PreNormalization、RMSNorm、SwiGLU激活函数、RotrayEmbedding等部分。1.PreNormalization基础的T...

最近，DeepSeek在国际上很火，一方面其效果比肩非开源模型ChatGPT，另一方面其运行成本很低。可以说，DeepSeek是目前为止最先进的大模型之一。今天这篇文章，就带大家梳理一下从2024年至今DeepSeek发布的V1版本到V3版本的核心技术点，看看DeepSeek采用了哪些技术构建了最先进的大模型，每一次的升级基本都伴随着训练数据的优化、模型结构的升级、优化方式的更新。为了方便大家阅读，本文会用比较简洁的语言进行主要技术的介绍，...

今天这篇文章给大家汇总市面上的各类LargeLanguageModel，从模型角结构的角度、模型类型的角度进行划分，涵盖了目前市面上主流的LLM，一文了解各个LLM的基本实现方法和关系。从基础模型结构的角度，预训练语言模型可以分为Encoderonly、Decoderonly、EncoderDecoder三种类型。从市面上的LLM类型来看，可以分为GPT、LLaMA、PaLM等3个最主要的类型。下面，将这6个类别的模型，以及其中各个模型之间的关系给大家详细介绍一下。1.模...

今天给大家介绍一篇时间序列表示学习的文章，这篇文章提出了一种和对比学习不同的表示学习方法，无需显示构造负样本，避免了伪负样本影响对比学习效果的问题。论文标题：FrequencyMaskedEmbeddingInference:ANonContrastiveApproachforTimeSeriesRepresentationLearning下载地址：​​https:arxiv.orgpdf2412.20790v1​​1.研究背景​表示学习可用来将原始数据转换成向量，用于后续的深度学习任务。现有的表示学习基本都采用对...

今天给大家介绍一篇不规则时间序列建模的工作。本文的核心是研究不规则时序预测中的变量间关系建模问题，研究焦点是如何在保持计算效率的同时，有效地捕捉长期依赖性和复杂变量间关系。研究者们提出了一个新颖的框架，通过结合局部的通道依赖（CD）策略和全局的通道独立（CI）策略，显著提升了模型在多个真实世界数据集上的性能。论文标题：TimeCHEAT:AChannelHarmonyStrategyforIrregularlySampledMultivariateTimeSeriesAnaly...

直接基于预训练的大语言模型（LLM）解决时间序列问题，是一个最近的重要研究点。之前的研究中，主要尝试用LLM进行zeroshotlearning，或者基于LLM的参数进行finetune。随着研究的深入，研究者发现，单独的一个LLM模型，或者单独的用LLM在时序数据上finetune，并不能取得最优的效果。因此除了上述优化之外，另一些工作尝试同时引入LLM构建文本模型和时序模型，并对两种模态的信息进行对齐，提升时序预测效果。今天就给大家总结几...

基于LargeLanguageModel做推荐系统可以说是最近2年推荐系统领域最火的研究点。一方面，LLM的理解能力、在各个领域的广发应用，使其自然而然衍生了和推荐系统结合的研究方向；另一方面，传统的推荐模型优化已逐渐进入瓶颈，依然基于原有的建模思路进一步优化很难带来显著收益。因此无论是工业界还是学术界，都在LLM+推荐系统这个方向投入了很多的人力和资源。在2024年的推荐系统顶会工作中，大厂、学校合作的论文70%都是和大模型...