Syrupup
LV.3
这个用户很懒,还没有个人简介
声望 202
关注 0
粉丝 1
私信
主帖 21
回帖
当下,以ChatGPT为代表的大模型AI应用都采用对话式的交互形态。各种各样的应用都被改造成自然对话的方式,LUI以及对话式的交互形态俨然已经成了是不是一个AI应用的标志。那么,LUI就一定是最佳的形态吗?不一定,不可否认聊天的方式与大模型交互非常的自然,门槛也足够低,这对于一些目标清晰,步骤简单的任务非常有效。但是,遇到了一些复杂的,难以通过简单语言表达的复杂任务就很困难,想象一下,通过对话,让大模型生成一个...
15h前 47浏览 0点赞 0回复 0收藏
ChatGPT为代表的LLM以其惊艳的自然语言理解能力得到大众认可之后,一大批基于自然语言的应用被纷纷提上日程,以对话的方式进行人机交互的模式再一次被业内所关注。大约五六年前,智能音箱因为其自然语言对话的交互形式,掀起了一场智能音箱热潮,各大公司对其产品给予了厚望,但由于技术不够成熟,理解和对话能力不够强,导致了智能音箱始终难以作为大众消费品获得成功,而当下基于大模型的语义理解和对话能力有了质的提高,大...
3天前 113浏览 0点赞 0回复 0收藏
在构建RAG应用时,一个核心的工作就是构建知识库,进而以便于在实际进行问答时能够更准确地检索到文档内有关于问题的相关上下文信息。而知识库文档的一大来源来自于pdf格式文件,这类文件通常是富文本的,包含图片,表格等,且无法直接解析,必须通过一些技术手段将其拆分识别形成可被后续处理的文本文件,如text或markdown。“Quilityin,QuilityOut”是构建高质量RAG的指导思想,因此,文档处理流程第一步——加载解析就变得...
7天前 257浏览 0点赞 0回复 0收藏
在构建大模型应用时,通常有两种方式来改进效果,一种是构建外部知识库,利用RAG来完成。但RAG并不是万能的,对于特定领域的LLM应用,以及无需示例,就能完成特定任务等场合就需要进行微调。然而,微调本身相较于RAG来讲,需要更多的算力资源和时间周期,但更大的瓶颈在于微调需要标记过的样本数据。这对于很多企业来讲,很难有这样高质量的数据积累,他们的数据通常是未经标记的,可能是一篇一篇的文章或者规章制度,并不是以...
2024-06-20 09:49:15 455浏览 0点赞 0回复 0收藏
过去一年,大模型应用以前所未有之势从出现到繁荣。LLM应用从原型展示向生产落地演进。近日,Oreilly刊发了由EugeneYan,BryanBischof等人撰写的大模型总结性文章《WhatWeLearnedfromaYearofBuildingwithLLMs?》,由于作者们背景各不相同,有独立咨询顾问(HamelHusain,JasonLiu),有研究人员(ShreyaShankar),还有科技公司AI团队领袖(EugeneYan,BryanBischof),以及AI领域布道师(CharlesFrye),这使得文章内容更为全...
2024-06-14 11:26:49 372浏览 0点赞 0回复 0收藏
过去一年,大模型应用以前所未有之势从出现到繁荣。LLM应用从原型展示向生产落地演进。近日,Oreilly刊发了由EugeneYan,BryanBischof等人撰写的大模型总结性文章《WhatWeLearnedfromaYearofBuildingwithLLMs?》,由于作者们背景各不相同,有独立咨询顾问(HamelHusain,JasonLiu),有研究人员(ShreyaShankar),还有科技公司AI团队领袖(EugeneYan,BryanBischof),以及AI领域布道师(CharlesFrye),这使得文章内容更为全...
2024-06-11 07:46:18 460浏览 0点赞 0回复 0收藏
进入大模型时代,微软在推动大模型应用落地动作频频,先后发布了SemanticKernel,PromptFlow,AutoGen等框架,最近又发布了一款Agent框架:TaskWeaver。它被作为一个代码优先框架,用于构建LLMAgent。它将用户需求转换为可执行代码,并将用户定义的插件视为可调用函数。TaskWeaver支持丰富的数据结构(支持本地Python数据结构,如DataFrames)、灵活的插件使用和动态插件选择,并利用LLM编码功能实现复杂逻辑。用户可提供示例,...
2024-06-07 11:26:31 471浏览 0点赞 0回复 0收藏
论文标题:EasyAnimate:AHighPerformanceLongVideoGenerationMethodbasedonTransformerArchitecture论文:​​https:arxiv.orgpdf2405.18991.pdf​​项目地址:​​https:github.comaigcappsEasyAnimate​​EasyAnimate框架介绍EasyAnimate是一个先进的视频生成方法,它利用Transformer架构的强大功能来实现高性能的输出。该框架扩展了最初为2D图像合成设计的DiT框架,以适应3D视频生成的复杂性,通过整合一个运动模块块来捕捉时间...
2024-06-05 11:57:31 554浏览 0点赞 0回复 0收藏
随着大模型技术的日渐成熟,应用已从原型演示向企业级落地过渡。之前,我们也多次介绍过有关诸如高级RAG等生产级技术,但缺少类似于MLOPS成熟度这样的评估体系,无法衡量一个应用在企业级层面达到了何种水平。今天,笔者介绍GoogleAIML和GenAI总监AliArsanjani提出的端到端生成式AI应用架构以及其成熟度的分级。如图可见,它将其分为UIUX(自然语言对话交互)、PromptEngineering(提示工程)、RAG、Serve(服务)、Adapt(适配...
2024-06-05 10:47:29 773浏览 0点赞 0回复 0收藏
李飞飞近日和Etchemendy(斯坦福哲学教授,曾任斯坦福大学教务长)在《时代(Time)》上刊载新文章《No,Today’sAIIsn’tSentient.Here’sHowWeKnow》,明确指出当前技术路线无法制造有感知能力的AI。该文章也得到了同一阵线LeCun的支持,并转发了该推文。下面是该文章全文:通用人工智能(AGI)指的是一种至少在人类展现智能的各个方面与人类一样聪明的智能体。它曾经是我们对人工智能的称呼,直到我们开始创造出在有限领域内...
2024-05-31 16:27:21 479浏览 0点赞 0回复 0收藏
近一年多,依赖大模型技术,让人们燃起来对AI的新憧憬。关于大模型是否有意识,依靠大模型是否能够构建“世界模型”,一直有很大的争论。从信仰上来看,分为两大阵营。一种是大模型的反对派,他们认为大模型是鹦鹉学舌,根本不懂的自己在说什么,也没有人那样的创造力,想通过大模型通向AGI是误入歧途。这个阵营代表为YannLeCun、李飞飞。虽然LeCun作为MetaAI首席科学家,Meta也发布了Llama系列大模型,但他却在不同场合表达了...
2024-05-29 11:29:35 475浏览 0点赞 0回复 0收藏
近日,网上流传一份ilya推荐给JohnCarmack的阅读清单,该清单包含了当今与AI相关27篇顶级文章,并称如果真的将它们读完,就能理解当下90%的AI技术。下面剩余的文章速览。12)DeepResidualLearningforImageRecognition(深度残差学习的图像识别)何凯明的大作,2016年CVPR最佳论文,深入浅出地描述了深度残差学习框架,大幅降低了训练更深层次神经网络的难度,也使准确率得到显著提升。训练更深层的神经网络通常会面临更多挑战。...
2024-05-28 12:29:53 1065浏览 0点赞 0回复 0收藏
近日,网上流传一份ilya推荐给JohnCarmack的阅读清单,该清单包含了当今与AI相关30篇顶级文章,并称如果真的将它们读完,就能理解当下90%的AI技术。下面笔者带大家速览这40篇文章内容概要。1)AttentionIsAllYouNeed不解释了,transformer开山论文,不得不看。地址:https:arxiv.orgpdf1706.037622)TheAnnotatedTransformer该文章是由康奈尔大学副教授AlexanderRush等研究者在2018年撰写的博客文章,该文章对transformer进行了...
2024-05-22 10:59:21 1567浏览 0点赞 0回复 0收藏
在传统搜索应用中,有一个核心的模块叫意图识别,即识别用户搜索请求时的意图,基于意图不同生成不同的Query或执行不同的逻辑。在RAG应用中,仍然存在着类似的路由模块完成请求分发。这样的路由分发需求无处不在,特别是在自然语言交互的应用中,并且会随着系统支持的场景和功能增多而变得越来越重要。所谓路由就是一个能够根据一段自然语言输入进行意图判断形成离散输出的模块。典型的场景比如智能客服中的指令任务分发,硬盘...
2024-05-20 14:40:01 705浏览 0点赞 0回复 0收藏
大语言模型的成功充分证明了Transformer架构的先进性,越来越多的人希望把它应用到其它领域,而非NLP领域本身,因而也催生了以一套Transformer架构统一各种模态的研究热点。而在工业界有一个非常常见的场景却鲜有涉及,那就是结构化数据的时序预测类场景,通常认为这种方式利用统计和经典回归类模型就已经足够了,并且确实在过去的研究来看,以Transformer为代表的,在NLP,CV等方面大杀四方的深度学习模型在这方面表现也并不够...
2024-05-06 10:19:08 506浏览 0点赞 0回复 0收藏
大语言模型的成功充分证明了Transformer架构的先进性,越来越多的人希望把它应用到其它领域,而非NLP领域本身,因而也催生了以一套Transformer架构统一各种模态的研究热点。而在工业界有一个非常常见的场景却鲜有涉及,那就是结构化数据的时序预测类场景,通常认为这种方式利用统计和经典回归类模型就已经足够了,并且确实在过去的研究来看,以Transformer为代表的,在NLP,CV等方面大杀四方的深度学习模型在这方面表现也并不够...
2024-04-26 13:06:29 596浏览 0点赞 0回复 0收藏
不知道大家有没有注意到现在大模型百花齐放,但是模型参数大小却非常一致,基本都是7B,13B,65B等。那么,为什么被设计成这么大呢?网络上有很多解释,笔者结合自己的理解,分享其中可能的原因。最直接的就是历史传承,因为最初OpenAI在gpt3就是这么干的,然后,Meta借鉴了OpenAI的做法,推出了llama的7B,13B,33B,65B四个尺寸。由于llama在开源领域的地位,其他模型厂商都基本遵守了这样的约定,形成了当下的局面。适配推理...
2024-04-18 12:57:51 2500浏览 0点赞 0回复 1收藏
一般来讲,让大模型应用到具体的行业领域,那就必须让大模型懂得行业里的知识。这种知识的导入一般有三种方法,一种是在预训练阶段喂给模型一些领域的文档和知识,扩充一些领域词表的方式解决。而更为常用的是另外两种做法,微调或者RAG,其中微调是以问答对的方式将领域知识训练到模型中,而RAG则是通过在Prompt中增加领域知识上下文的方式让大模型获得相关领域知识进而回答领域问题。有一个形象的比喻是,微调的方式相当于是...
2024-04-17 09:04:46 492浏览 0点赞 0回复 0收藏
很多AI领域大佬,如吴恩达,Karpathy都表示看好Agent,将其作为未来最有潜力的方向。笔者曾经在之前文章提到过“RAG的尽头是Agent,AI的尽头是替代人”。这里的核心推理逻辑是什么?我们首先以“用户去某地旅游”为需求来解释LLM、RAG、Agent三者的能力边界以及需求满足度。LLM:能够生成“无法考证可能正确”以及“不一定及时”的相关行程攻略,景点等信息。RAG:能够检索一些时效性高、内容可靠的信息源的内容,并生成相关的...
2024-04-12 14:31:00 632浏览 0点赞 0回复 0收藏
近日,国内的一款微调框架发布了自己的论文《LLAMAFACTORY:UnifiedEfficientFineTuningof100+LanguageModels》,对他们的框架做了系统性的总结。该框架自推出后迅速出圈,现已斩获15.6k的star,逐步成为当下微调的首选工具。​​https:arxiv.orgpdf2403.13372.pdf​​模型微调相较于上下文学习来讲,存在比较高的门槛,但又是模型专业化,领域化不可或缺的技术手段。而其复杂性突出表现在这些方面:1)理论基础,如果说基于大模...
2024-04-09 10:29:00 4616浏览 0点赞 0回复 0收藏
获得成就
已积累 4099 人气
获得 0 个点赞
获得 1 次收藏