一、概述title:UNIPELT:AUnifiedFrameworkforParameterEfficientLanguageModelTuning论文地址:https:arxiv.orgabs2110.07577代码:https:github.commorningmoniUniPELT1.1Motivation大模型不同的微调方法(PELT)例如LoRA,prefixtuning,Adapter方法效果不同,在不同的任务上效果也有差异,到底选哪个方法好呢?parameterefficientlanguagemodeltuning(PELT)方法能在参数量比finetuning小很多的情况下,perform追上finetunin...
2024-09-26 15:25:57 351浏览 0点赞 0回复 0收藏
今天分享一篇普林斯顿大学的一篇文章,TreeofThoughts:DeliberateProblemSolvingwithLargeLanguageModels[1]:思维之树:用大型语言模型解决复杂问题。这篇工作还是非常有借鉴意义的,OpenAI的AndrejKarpathy(前TeslaAI高级总监、自动驾驶Autopilot负责人)在stateofgpt[2]中也分享了这篇文章,其可以通过搜索多条解决路径,利用dfs以及bfs等算法,像人类一样利用回溯、剪枝等策略来思考和解决问题,可以让GPT4解决一些更复杂的...
2024-09-11 12:21:05 315浏览 0点赞 0回复 0收藏
一、概述Title:InstructUIE:MultitaskInstructionTuningforUnifiedInformationExtractionPaper:https:arxiv.orgabs2304.080851Motivation大语言模型解锁了非常强的多任务能力,但是大模型在信息抽取任务上表现比较差,例如gpt3.5turbo在Ontonotes数据集上的f1只有18.22。2Methods2.1整体结构说明:1)基于Instructiontuning技术,实现了一个信息抽取的统一框架,可以实现各式各样的信息抽取任务,并且能挖掘内部任务之间的依赖...
2024-09-04 13:40:55 662浏览 0点赞 0回复 0收藏
今天分享一篇最近比较热门的日本创业公司SakanaAI的一篇文章,标题为《TheAIScientist:TowardsFullyAutomatedOpenEndedScientificDiscovery》。文章提出了一种名为“AIScientist”的框架,旨在实现端到端完全自动化的科学发现,完成从Idea构建,实验跑取,文章撰写的完全自动化。验证了AI自动化探索新问题,解决新问题,甚至撰写Paper的可行性。同时还提出了一个能与人类评委水准接近的ReviewAgent,能够给出高水准的评审意见。...
2024-08-26 01:41:17 483浏览 0点赞 0回复 0收藏
大家好,我是HxShine今天分享一篇GoogleDeepMind公司的一篇文章,Title:FromRAGtoRICHES:RetrievalInterlacedwithSequenceGeneration:从RAG到RICHES:在生成过程中完成检索。这篇文章提出了一种新的方法RICHES,它将检索RAG与生成完全结合在一块。RICHES消除了对单独构建RAG系统再结合LLM进行生成的模式,为传统的RAG系统提供了一种替代方案。它通过直接解码其内容来检索文档,并受到语料库的约束。RICHES允许我们仅通过提示即...
2024-07-29 00:29:19 1099浏览 0点赞 0回复 0收藏
一、概述Title:Llama2:OpenFoundationandFineTunedChatModels论文地址:Llama2:OpenFoundationandFineTunedChatModels代码:https:github.comfacebookresearchllama官网:https:ai.meta.comllama1Motivation开源的LLMchat模型效果还不太好,还没一个开源大模型能和闭源模型(例如chatgpt)能比的。ChatGPT是闭源的,LLM的有用性和安全性如何改进这一类论文还不是特别多。2Methods2.1整体架构总结1:参考Instruct...
2024-07-18 10:27:54 961浏览 0点赞 0回复 0收藏
一、概述title:Let’sVerifyStepbyStep论文地址:https:arxiv.orgabs2305.20050代码:https:github.comopenaiprm800k1.1Motivation近期大模型的出现极大的提升了复杂问题的多步推理能力,例如可以通过逐步思考(CoT)改善推理任务,但是即使最先进的模型也会产生逻辑错误。如何训练一个更好的rewardmodel,来做大模型的alignment对齐研究也是一个具有挑战的问题。结果监督(只提供最终的结果作为监督信号)和过程监督(提供每...
2024-07-12 11:00:56 901浏览 0点赞 0回复 0收藏
一、概述Title:PromptMix:AClassBoundaryAugmentationMethodforLargeLanguageModelDistillationURL:https:arxiv.orgabs2310.14192代码:https:github.comservicenowpromptmixemnlp2023Authors:GauravSahu,OlgaVechtomova,DzmitryBahdanau,IssamH.Laradji1Motivation•利用大型语言模型如GPT3生成新示例以解决文本分类训练数据不足的问题。•LLM推理成本比较高、DistiBERTbase和BERTbase等模型受限于训练数据不...
2024-06-18 12:26:32 752浏览 0点赞 0回复 0收藏
大家好,我是HxShine今天分享一篇Microsoft公司的一篇文章,Title:ImprovingTextEmbeddingswithLargeLanguageModels:使用大型语言模型改善文本嵌入。这篇文章探索了直接利用LLM来做embedding模型,其只需要利用合成数据和少于1000次的训练步骤就能获得高质量文本表征。该方法分为两步:1)利用LLM生成文本embedding任务合成数据集:利用专有的大型语言模型(LLM)生成近100种语言的数十万个文本嵌入任务的多样化合成数据。2)...
2024-05-29 12:25:27 1181浏览 0点赞 0回复 0收藏
今天分享清华大学的一篇文章:NetMamba:EfficientNetworkTrafficClassificationviaPretrainingUnidirectionalMamba。网络流量分类是一个重要的研究领域,旨在提高服务质量、简化网络管理并保护网络安全。现有流量分类模型面临两方面挑战:(1)模型效率不佳:广泛使用的Transformer架构具有平方复杂度,在高速流量识别场景不可用;(2)流量表征不可靠:现有表征方案往往忽略重要字节信息或保留不必要的偏置。为了解决上述问题...
2024-05-28 11:53:29 2621浏览 0点赞 0回复 1收藏
大家好,我是HxShine今天分享微软的一篇文章:ResearchAgent:IterativeResearchIdeaGenerationoverScientificLiteraturewithLargeLanguageModels。传统的科学研究过程包括新研究想法的提出和通过精心设计的实验来验证这些想法,这一过程缓慢且依赖专业专家,这限制了科研的生产力。这篇论文试图利用agent思想来自动生成新的论文idea,解决科学研究生产力低下的问题,论文提出了一个名为ResearchAgent的工具,这是一个由大型语言...
2024-05-15 12:06:46 1818浏览 0点赞 0回复 0收藏
大家好,我是HxShine今天分享一篇人大的文章,大型语言模型知道您的会话上下文搜索意图(LargeLanguageModelsKnowYourContextualSearchIntent:APromptingFrameworkforConversationalSearch)。在会话型搜索中,由于会话型搜索场景的多样性和长尾特性,精准地理解用户的上下文搜索意图一直是一个重要挑战。现有的基于有限数据训练的方法在处理真实会话型搜索场景时,仍然表现出不足的有效性和鲁棒性。本文提出了一个简单却高效的...
2024-05-08 10:10:13 3974浏览 0点赞 0回复 0收藏
大家好,我是HxShine,今天推荐一篇UCBerkeley的一篇RAG效果优化的文章~大模型引入新的知识一般有两个途径,一种是RAG检索增强,一种是SFT,哪种方式效果比较好呢?或者说有没有一些其他的更为有效的方式呢?这篇论文介绍了一种新的训练方法——检索增强型微调(RAFT:RetrievalAugmentedFineTuning),旨在改善领域特定的RAG(RetrievalAugmentedGeneration)条件下,大型语言模型(LLMs)对问题的回答能力。简单来说,RAFT将...
2024-04-23 09:38:17 1766浏览 0点赞 0回复 0收藏
大家好,我是HxShine今天我们将介绍EMNLP2023的一篇大模型(LLMs)生成文本分类任务合成数据的文章,标题是《SyntheticDataGenerationwithLargeLanguageModelsforTextClassification:PotentialandLimitations》。实际落地中,高质量训练数据的收集和筛选既耗费时间又成本昂贵,研究人员探索使用LLMs生成合成数据作为替代方法。然而,LLMs生成的合成数据在支持不同文本分类任务的模型训练上效果有好有差。本文试图分析不同因素如...
2024-04-17 11:06:48 1055浏览 0点赞 0回复 0收藏