大语言模型论文跟踪
LV.2
跟大家一起读大语言模型论文,欢迎大家推荐论文
声望 165
关注 0
粉丝 0
私信
主帖 12
回帖
缘起非结构化文本中蕴藏了海量的数据和知识,但是想要解读这些知识却并非易事。前大语言模型时代,LDA、BertTopic等算法,是非结构化文本挖掘的利器。但是这些模型生成的主题都是基于关键词等基础文本信号的,产生的关键词、话题往往比较初级和宽泛,比如:早餐、打鼾等。这些低层次的文本分析,往往无法准确反映真实人类关心的话题。为了解决传统分析方法的局限性,提出了一种基于大语言模型的新方法LLooM,来从非结构化文本中...
2天前 104浏览 0点赞 0回复 0收藏
最近微软终于开源了他的GraphRAG,短短7天就集齐了6.7KStar。那GraphRAG到底是个啥???图片GraphRAG的论文实际上要比代码开源早很多,论文应是今年4月份在Arxiv上发表的,但是代码是这个月1号才正式上传开源。图片项目开源地址:https:github.commicrosoftgraphrag项目帮助文档:https:microsoft.github.iographragpostsgetstarted1.为什么要提出GraphRAG?RAG,又称检索增强生成(RetrievalAugumentedGeneration)。RAG目前...
4天前 286浏览 0点赞 0回复 0收藏
1.思考的快与慢图片诺贝尔经济学奖得主卡尼曼在《Thinking,FastandSlow》这本书中根据前人多种双过程理论(DualProcessTheory)进行了总结和进一步解释:将人类的思考过程分为“直觉”和“推理”,这两个过程分别被称为“系统1(System1)”和“系统2(System2)”。系统一的特点是快速,不加思考、不做计算、仅凭直觉就做出判断。比如,当我们回答1+1这个问题的时候,我们的大脑可以不加思考的回答出等于2。所以系统一的特点是...
2024-07-01 11:34:18 197浏览 0点赞 0回复 0收藏
1.CodeRAGBench是什么?图片CodeRAGBench是本文作者为检索增强代码生成(RetrievalAugmentCodeGeneration,RACG)任务设计的一个测试评估基准。构建理念来自三个核心要素:•任务多样性:代码生成任务覆盖了从代码行到函数再到整个代码库的不同层面,以及封闭与开放的不同领域。•严谨且可复现的评估机制:提供了精确的文档标注,以支持检索评估。•统一的接口设计:尽管现有数据集采用了多样化的处理流程,代码库提供了一个统...
2024-06-27 15:23:49 264浏览 0点赞 0回复 0收藏
1.为什么要提出RePrompt?大语言模型问世后,在多项任务上取得成功,并且通过LLM智能体的研发,拓展了大语言模型在自动驾驶、机器人控制等更广泛领域的应用。但是这些应用的成功,都得益于提示工程的作用。不同的提示词可以显著影响任务的成功率,所以有人提出了APE(自动提示工程),可以使得大语言模型自动撰写提示词,相比简单提示词,找到更快找到更好的提示词。但是APE在收敛到高质量提示词需要时间和计算资源,且当前应用...
2024-06-21 15:50:08 459浏览 0点赞 0回复 0收藏
1.最强开源模型要易主了?图片2天前,英伟达发布了其最强大语言模型Nemotron4340B模型家族,包括Nemotron4340BBase、Nemotron4340BInstruct和Nemotron4340BReward。所有的模型都是基于NVIDIA的开源模型许可协议,允许用户自由分发、修改和使用模型及其输出。并且可以在8块H100的单机上以FP8精度运行。1.1自动化测评在Nemotron4340BInstruct的自动基准测试评估中,分别与开源(如MetaAI的Llama370BInstruct、MistralAITeam的Mixt...
2024-06-19 10:57:15 635浏览 0点赞 0回复 0收藏
1.DRRAG有多厉害?图片图片上面两个表分别展示了DRRAG与其他几个当前流行的RAG框架对比的效果,特别是AdaptiveRAG。可以看到,在多个测试数据集上,DRRAG要比其他框架(比如:AdaptiveRAG和SelfRAG)准确率都要更高。而且在相同TopK参数的前提下,DRRAG的召回率更高,从而回答正确的比例也越高。图片上面这个图展示了DRRAG与AdaptiveRAG对比的一些例子,从例子里可以看出,DRRAG在一些问题上,比AdaptiveRAG回答的更准确。图片...
2024-06-17 09:34:30 453浏览 0点赞 0回复 0收藏
1.背景信息抽取(InformationExtraction,IE)一般包括命名实体识别(NamedEntityRecognition,NER)、关系抽取(RelationExtraction,RE)和事件抽取(EventExtraction,EE)。NER作为基础任务,专注于识别并分类文本中的命名实体,如人物、组织、地点和日期。RE则致力于发现实体间的语义联系,比如某人在某地工作或两人之间的婚姻关系。EE则关注于识别文本中的特定事件及其相关要素,这些事件是特定时间、地点下发生的,涉及...
2024-06-13 12:29:03 615浏览 0点赞 0回复 0收藏
1.MobileAgentV2是什么?MobileAgentv2是一款通过多Agent合作实现有效导航的移动设备操作助手。它包含三个专业角色:规划Agent、决策Agent和反思Agent。•规划Agent负责根据历史操作生成任务进度,并通过设计的记忆单元保存历史屏幕中的焦点内容。•决策Agent在生成操作时会参考记忆单元,并检查屏幕上的焦点内容,同时更新记忆。•反思Agent则观察决策代理操作前后屏幕的变化,评估操作是否达到预期,并在必要时采取措施重新执...
2024-06-07 12:17:07 663浏览 0点赞 0回复 0收藏
背景根据Crossref的数据,目前学术界已经积累了1.4篇文献,每年还以几百万的速度增加。这种惊人的增长速度,让研究人员跟踪业内动态变得越来越困难。因此,大家对高效的语义检索系统需求越来越强烈。这类系统的开发面临非常多的困难:•首先,学术论文使用高度专业化的语言,需要深刻理解上下文才能提取关键信息。•其次,理解一篇论文不仅要阅读其内容,还要理解引用及其相互关系,这要求系统能够把握论文内引用间的联系。•最...
2024-06-04 08:58:13 536浏览 0点赞 0回复 0收藏
比GPT4还要厉害的开源模型图片今天这篇论文介绍了一个最新的大语言模型AutoCoder,一个只有33B的大语言模型。AutoCoder33B在HumanEval基准测试中Pass1的达到90.9%,领先于当前所有顶级的代码生成大型语言模型。在HumanEval+上,它的Pass1为78%,仅次于GPT4Turbo和CodeQwen1.5Chat。模型下载地址:https:huggingface.coBin12345AutoCoder图片其中,尽管AutoCoderS只有6.7B参数,它在HumanEval和HumanEval+上的Pass1比率依然达到...
2024-05-28 10:36:09 1140浏览 0点赞 0回复 0收藏
什么是智能体AgentAutonomousagents又被称为智能体Agent。能够通过感知周围环境、进行规划以及执行动作来完成既定任务。在这些能力中,规划尤为重要,它涉及到复杂的理解、推理和决策制定。大语言模型出现以前,我们一般通过规则的方法,或者强化学习的方法来实现。但是这两种方法各有弊端:规则的方法是指把复杂的自然语言问题转化为规则符号,往往需要行业专家的介入,缺乏容错能力,小错误可能导致整个系统的失败。而强化学...
2024-05-23 14:40:06 1228浏览 0点赞 0回复 0收藏
获得成就
已积累 1525 人气
获得 0 个点赞
获得 0 次收藏