PaperAgent
LV.3
日更,解读AI前沿技术热点Paper
声望 264
关注 0
粉丝 0
私信
主帖 22
回帖
大型语言模型(LLMs)时代协作策略是一个新兴研究领域,协作策略可以分为三种主要方法:合并(Merging)、集成(Ensemble)和合作(Cooperation)。每个模型都有其独特的优势,这种多样性促进了这些模型之间的合作研究尽管LLMs通过ICL和指令跟随在各种任务上表现出强大的多样性,但不同的LLMs在训练语料库和模型架构上的差异导致它们在不同任务上有不同的优势和劣势,有效的协作可以发挥它们的综合潜力。对大型语言模型(LLM)...
14h前 43浏览 0点赞 0回复 0收藏
继JinaRerankerv2之后,JinaAI又开源了PERank,一种新的基于LLM的重新排序器,用于高效的列表式段落重新排序。不是将原始文本输入到LLM的上下文窗口,而是使用嵌入模型将每个段落表示为一个特殊标记,然后将[指令]+[查询]+[特殊标记]输入到LLM中。在推理时,PERank将输出空间限制在这些特殊标记上,从而实现更高效的解码。PERank将重新排序100个文档的延迟从21秒大幅减少到3秒。RankGPT(上)与PERank(下)的比较。RankGPT将整...
3天前 134浏览 0点赞 0回复 0收藏
LazyLLM是一款低代码构建多Agent大模型应用的开发工具,协助开发者用极低的成本构建复杂的AI应用,可以持续的迭代优化效果。提供了便捷的搭建应用的workflow,为应用开发过程中的各个环节提供了大量的标准流程和工具。基于LazyLLM的AI应用构建流程:原型搭建>数据回流>迭代优化,可以先基于LazyLLM快速跑通应用的原型,再结合场景任务数据进行badcase分析,然后对应用中的关键环节进行算法迭代和模型微调,进而逐步提升整个应用...
9天前 217浏览 0点赞 0回复 0收藏
检索增强生成(RAG)系统通过将模型生成与上下文相关文档相结合来提高信息的准确性,文本内容如何分割成“块(chunk)”对检索质量有显著影响。用于问答实验的RAGPipeline,一些tricks,混合检索:BM25Top3、密集检索Top15,BM25的Top1排在前面,Top23排在最后;大模型重排序:如果上下文包含六个或更多块,从中间点开始反转块的顺序。LumberChunker方法利用LLM动态地将文档分割成语义独立的块。这种方法基于一个前提:当内容块...
2024-06-28 14:09:24 257浏览 0点赞 0回复 0收藏
检索增强生成(RAG)将检索阶段与生成阶段结合起来,后者通常由大型语言模型(LLMs)驱动,RAG中的当前常见实践是使用“指导”的LLMs,这真的是最优选择吗?对RAG系统中的“instruct”模型及其模板与基础版本(base)进行了原则性评估。这些“instruct”模型通常经过监督训练来提高遵循指令的能力,并使用最先进技术与人类偏好对齐。使用了两个任务指令来评估模型,任务指令I要求模型从未提供的文档中提取答案,任务指令II要求...
2024-06-26 15:30:36 318浏览 0点赞 0回复 0收藏
检索增强型生成(RAG)使LLMs能够利用检索到的可靠信息,从而返回更可靠的响应。现有研究主要关注需要简洁明确答案的特定问题,但用户意图通常是复杂和多方面的,需要丰富和全面的答案。一个多方面查询需要全面回答的情境示例为了解决这一重要但未被充分探索的问题,提出了一种名为RichRAG的新型RAG框架:子方面探索器:识别输入问题潜在的子方面。多方面检索器:构建与这些子方面相关的多样化外部文档候选池。生成式列表智能排...
2024-06-21 17:26:15 298浏览 0点赞 0回复 0收藏
微软亚洲研究院、清华大学、北京大学、利物浦大学联合推出功能强大的定制多语言文本编码器GlyphByT5v2和功能强大的美观图形生成模型GlyphSDXLv2,它们可以支持10种不同语言的准确拼写。考虑到最新的DALLE3和Ideogram仍然难以完成多语言视觉文本渲染任务,该工作是一项重大进步。GlyphByT5v2+GlyphSDXLv2效果展示GlyphByT5v2+GlyphSDXLv2方法进行多语言视觉文本渲染的结果。分别在第1行、第2行、第3行、第4行和第5行展示了法语、...
2024-06-20 10:56:07 599浏览 0点赞 0回复 0收藏
一月份,OpenAI发布了两种新的嵌入模型:textembedding3small和textembedding3large。这些模型采用套娃表示学习技术(MRL:MatryoshkaRepresentationLearning)进行训练,这使得开发者可以在嵌入中权衡性能和成本。什么是套娃表示学习?套娃表示学习是一种用于训练嵌入模型的技术。它允许在牺牲少量准确性的情况下换取更小的嵌入尺寸。因此,可以以更低的成本存储更多的信息,并更快地搜索它。嵌入通过从序列末尾移除维度,并且...
2024-06-20 10:47:55 282浏览 0点赞 0回复 0收藏
大型语言模型(LLMs)在自然语言理解和生成方面表现出色,但面对现实世界问题的多样性和复杂性,单一静态方法的推理能力有限。现有的推理技术,如思维链(ChainofThoughts)、思维树(TreeofThoughts)等,虽然在特定任务上有所提升,但未能在不同任务中持续实现最佳性能。人类在认知过程中通过元推理(metareasoning)动态调整策略,以高效分配认知资源。受此启发,提出了元推理提示(MetaReasoningPrompting,MRP),以赋予LLM...
2024-06-19 13:03:53 449浏览 0点赞 0回复 0收藏
信息抽取中文开源大模型评测信息提取(IE)在自然语言处理(NLP)中扮演着至关重要的角色,它通过从非结构化文本中提取结构化信息,从而促进与依赖结构化数据的各种现实世界应用的无缝集成。深入探讨了主流中文开源LLMs在处理IE任务时的表现,特别是零样本条件下,即模型未针对特定任务进行微调。模型选择:共选择了5个大型语言模型(LLMs)进行实验:ChatGLM36B、Qwen7BChat和Qwen14BChat、Baichuan213BChat以及ChatGPT2。除了...
2024-06-18 10:21:31 394浏览 0点赞 0回复 0收藏
检索增强生成(RAG:RetrievalAugmentedGeneration)技术可追溯到2020年Facebook发表的一篇论文:“RetrievalAugmentedGenerationforKnowledgeIntensiveNLPTasks”。它结合了信息检索和生成模型技术,通过引入外部知识库信息,解决知识密集型NLP任务的效果:问答、文本摘要等。大模型RAG之启蒙大型语言模型(LLMs)虽然展现出了令人印象深刻的能力,但它们在处理特定领域或知识密集型任务时面临诸如产生幻觉(hallucination)、...
2024-06-14 15:01:24 705浏览 0点赞 0回复 0收藏
现有的RAG方案没有专注于需要检索多个具有显著不同内容的文档的查询,这类查询经常出现,但挑战在于这些文档的嵌入可能在嵌入空间中距离很远,难以全部检索。因此,提出一种多头检索增强生成方法(MRAG:MultiHeadRAG),它的关键思想是利用Transformer解码器的多头注意力层的激活,而不仅仅是前馈层,来生成嵌入。不同的注意力头可以捕获数据的不同方面,因此使用这些激活产生的嵌入能更好地表示文档和查询的各个方面。MRAG使...
2024-06-12 11:25:51 529浏览 0点赞 0回复 0收藏
大型语言模型(LLMs)在预训练后仍难以有效整合大量新经验,当前使用的检索增强生成(RAG)方法无法帮助LLMs跨段落整合新知识。人类大脑通过海马体的索引结构来实现关联记忆能力,这是当前RAG系统所缺乏的。知识整合与RAG。需要知识整合的任务对于当前的RAG系统来说特别具有挑战性。在上述例子中,从描述可能成千上万的斯坦福教授和阿尔茨海默症研究人员的段落中找到一位从事阿尔茨海默症研究的斯坦福教授。由于当前方法孤立地...
2024-05-30 13:53:00 2089浏览 0点赞 0回复 0收藏
重大新闻——Gemini1.5Flash、Pro和Advanced版本的结果出来了!🔥Gemini1.5ProAdvanced排名第二,正在逼近GPT4oGemini1.5Flash排名第九,性能超越了Llama370b,几乎达到了GPT40125Pro版本比4月份的版本有了显著的提升。Flash的成本、能力和无与伦比的上下文长度使其成为市场的变革者!​​​https:x.comlmsysorgstatus1795512202465845686​​更令人兴奋的是,在中文领域,Gemini1.5Pro和Advanced现在是世界上最好的排名第一的...
2024-05-29 12:01:14 455浏览 0点赞 0回复 0收藏
FlashRAG是一个用于复制和开发检索增强生成(RAG)研究的Python工具包。它包括32个预处理的基准RAG数据集、13种最先进的RAG算法,5大RAG组件,包括检索器、重排器、生成器、精炼器、评测器。借助FlashRAG和提供的资源,可以轻松地复制RAG领域的现有SOTA(最先进)工作,或者实现自定义的RAG流程和组件,比LangChain和LlamaIndex轻量且易操作。FlashRAG概览12种RAG技术在三个数据集上进行的性能评估。优化组件表示该方法主要优化...
2024-05-27 13:38:07 1964浏览 0点赞 0回复 1收藏
大型语言模型(LLMs)在多种任务中表现出色,但存在诸如幻觉(hallucinations)、时间错位(temporalmisalignments)、上下文处理问题和微调效率低下等挑战。为了解决这些问题,研究人员通过检索增强型生成(RAG)方法,将外部知识源与LLMs结合,显著提高了复杂问题的准确回答能力。传统的RAG架构包括检索模块和阅读模块,但存在检索质量低下和生成不可靠答案的问题。ERAGent(EnhancedRAGAgent)框架提出了几个关键改进:ERAGe...
2024-05-20 15:45:51 711浏览 0点赞 0回复 0收藏
大型语言模型(LLMs)在多种任务中展现了强大的能力,研究者尝试将其作为代理,通过使用外部工具或插件帮助用户完成任务。为了提高LLMs的工具理解和使用能力,需要准备高质量的工具学习数据集。现有的工具学习数据集存在一些限制:例如工具数量有限、评估方法不精确或成本高昂。提出了一种自指导(selfinstruct)方法,通过LLMs生成工具和实例。该方法首先生成不同领域的工具,然后生成调用这些工具的实例,包括单工具实例和多...
2024-05-17 14:12:52 650浏览 0点赞 0回复 0收藏
大型语言模型(LLMs)在生成文本时可能会产生错误信息,即“幻觉”问题。尽管检索增强的LLMs通过检索外部数据来减少这种幻觉,但现有的方法通常不考虑检索文档与LLMs之间的细粒度结构语义交互,这在处理长文档时尤其影响回答的准确性。不同的检索增强方法范式,包括传统的检索器响应器方法和增强检索器重排序响应器框架。强调了学习关键检索文档的排序结构的重要性,以帮助LLMs更好地处理与事实知识相关的用户查询。为了解决这...
2024-05-14 10:29:42 1463浏览 0点赞 0回复 0收藏
在AI规划领域,传统的规划器(如FastDownward)虽然功能强大,但它们需要将输入任务建模为PDDL(ProblemDomainDefinitionLanguage)格式,这是一个繁琐且容易出错的过程。相比之下,使用大型语言模型(LLMs)进行规划可以接受几乎任何文本输入,但不保证计划的质量和完整性。为了结合这两种方法的优点,一些研究工作开始利用LLMs自动化PDDL创建过程的部分内容。然而,这些方法仍然需要不同程度的专家输入。为此提出了NL2Plan,...
2024-05-09 10:43:35 723浏览 0点赞 0回复 0收藏
大语言模型在多种应用中展现出强大效力,但顶尖模型往往价格昂贵且能耗高,如GPT4、Anthropic。开源社区则以Llama3为例,提供了节能且成本效益高的替代方案,并且定制化小型语言模型在特定领域如法律、医疗或金融中,已超越了大型专有模型,显示出更高的效率和精准度。Octopusv4新型语言模型框架,通过构建一个包含不同垂直领域语言模型的图(graph)来使用各种开源语言模型。从使用万亿参数模型的单一模型推理,转变为由章鱼模...
2024-05-07 13:11:05 2037浏览 0点赞 0回复 0收藏
获得成就
已积累 3405 人气
获得 0 个点赞
获得 1 次收藏