玄姐聊AGI
LV.2
5年连续创业者,融资超亿元 | AI 大模型资深应用专家
声望 134
关注 0
粉丝 0
私信
主帖 12
回帖
微软重磅开源 GraphRAG:新一代 RAG 技术来了!
原创 精华
头条 社区头条
热门内容榜 • TOP1
1、为什么需要GraphRAG?7月3日,微软重磅开源了基于图的RAGGraphRAG。在GitHub上发布后,短短4天时间,该项目迅速获得了6000Stars!足见这个项目的热度!Github地址:https:github.commicrosoftgraphrag强化主流大模型,比如:GPT4o、Qwen2、文心一言、GLM4、Llama3的搜索、问答、摘要及推理等功能,RAG已成为这些国际国内知名AI大模型不可或缺的核心技术。过往的RAG实践多沿袭简约路线:文档简化为文本字符串,切割为零碎段落...
4天前 365浏览 0点赞 0回复 0收藏
1、什么是DSPy?DSPy(DeclarativeSelfimprovingLanguagePrograms(inPython))是斯坦福大学NLP研究人员开发的"基础模型编程"框架。它强调编程而非提示词,旨在简化复杂语言模型应用的构建过程。DSPy允许开发者专注于应用程序的高级逻辑,同时抽象掉许多低级细节。DSPy包含多种技术,可以提示词和微调语言模型,改进其推理和检索增强。使用DSPy构建基于语言模型的应用程序的工作流程如下所示:DSPy框架预示着构建检索增强生成(R...
7天前 334浏览 0点赞 0回复 0收藏
RAG检索增强生成由2部分构成:一是离线对异构的数据进行数据工程处理成知识,并存储在知识库中,二是基于用户的提问进行知识库的检索增强。如下图所示:其中最关键的一个环节是PDF格式的文件如何提取成知识,下面详细剖析。1、PDF文件中文本数据如何提取?能够处理文本提取的Python库有多个,其中较为知名的包括pdfminer.six、PyMuPDF、PyPDF2和pdfplumber。在这些库中,PyMuPDF因其出色的文本提取能力而备受推崇。特别是在处理...
2024-07-02 11:15:43 216浏览 0点赞 0回复 0收藏
0、背景落地在生成式人工智能(GenAI)领域,检索增强生成(RAG)作为一种策略脱颖而出,它通过集成外部数据来扩充像ChatGPT这样的大型语言模型(LLM)的现有知识库。RAG系统核心涉及三种关键的人工智能模型组件:嵌入(Embedding)模型负责将信息转化为数学向量,重排名(Reranker)模型则用于优化搜索结果,而强大的基础语言模型确保了丰富的语境理解和生成。本篇文章旨在指导您依据数据特性及目标领域,比如:金融专业,来挑选最合适的...
2024-06-28 10:28:45 309浏览 0点赞 0回复 0收藏
0、RAG简介RAG(RetrievalAugmentedGeneration)结合知识库检索与大模型回答,确保信息可靠且精准,同时节省了微调成本。RAG流程简要概括为3步,对应其名:1、检索:借助Embedding,将问题转化为向量,比对知识库,选取最相关的TopK知识。2、增强:结合检索出的上下文和问题,构造Prompt。3.生成:将Prompt输入大模型,产出答案。从工程视角划分,RAG实施分为两阶段:阶段一:离线数据预处理:涵盖知识文件导入、文本切分、向量...
2024-06-18 12:45:47 466浏览 0点赞 0回复 0收藏
一、背景我们要把AI大模型当做人的大脑,因此调用AI大模型,相当于调用一个人,把AI大模型当人看,TA懂人话、TA说人话、TA会直接给出结果,但结果不一定正确。因此在AI大模型的推理基础上,通过RAG、Agent、知识库、向量数据库、知识图谱等技术手段实现了真正的AGI(通用人工智能)。这些技术到底有哪些区别和联系,下图作了横向对比,接下来我们详细剖析下。二、大语言模型(LLM)大语言模型(LLM)是通过深度学习方法,利用庞...
2024-06-12 11:19:56 1503浏览 0点赞 0回复 0收藏
我们要把AI大模型当做人的大脑,因此调用AI大模型,相当于调用一个人,把AI大模型当人看,TA懂人话、TA说人话、TA会直接给出结果,但结果不一定正确。因此在AI大模型的推理基础上,通过RAG、Agent、知识库、向量数据库、知识图谱等技术手段实现了真正的AGI(通用人工智能)。这些技术到底有哪些区别和联系,下图作了横向对比,接下来我们详细剖析。1、大语言模型(LLM)大语言模型(LLM)是通过深度学习方法,利用庞大的文本数...
2024-05-22 10:36:46 737浏览 0点赞 0回复 0收藏
前天OpenAI发布了GPT4o王炸产品,震撼了很多人,再一次颠覆了世界,它在技术上主要实现了三大突破:①语音实现了真正的端到端的神经网络训练;②多模态的大一统的神经网络模型开始出现;③降本增效成了OpenAI的当务之急。今天我们聊些不一样的话题,GPT4o如何颠覆我们的生活?GPT4o在多模态方面强大的感知能力,特别是语音端到端响应速度的巨大提升,让新版ChatGPT在生活中有更加落地的使用场景。这里总结了5大日常生活场景,下...
2024-05-22 10:26:11 602浏览 0点赞 0回复 0收藏
一、第一重境界:当作能理解语义的API使用Agent智能体第一重境界,可以把大型语言模型看成一个特别的API,它能读懂人类语言。就像我们平时调用其他API那样,我们向智能体提问,它就能给出经过自己思考的答案。这个阶段的智能体,通常是把这种读心术般的语言理解力融入到标准的软件流程中,给软件添加智慧升级。它的作用主要围绕着理解并处理文字,比如:生成文本、做内容概括等,这些都离不开它强大的语言理解能力。工作起来,...
2024-05-22 10:20:47 574浏览 0点赞 0回复 0收藏
1、Llama3的RAG增强以下Github链接展示了从头开始使用LangGraph和Llama38B构建可靠的智能体。它将3种先进RAG技术(自适应RAG、纠正性RAG和自我RAG)的思想结合起来,形成LangGraph中的单一控制流程。https:github.comlangchainailanggraphblobmainexamplesraglanggraphragagentllama3local.ipynb方式一:自适应RAG路由,将问题路由到不同的检索方法。方式二:纠正性RAG后备方案,如果文档与查询不相关,则回退到网页搜索WebBrow...
2024-05-22 10:17:01 1402浏览 0点赞 0回复 0收藏
架构师的核心能力是面对不同的业务场景给出合适的架构设计方案,Balance平衡设计就是架构师最重要的能力,没有之一。在AI大模型时代,AI大模型正在重新定义软件的范式。在当前,世界正在重新定义软件的背景下,作为一名架构师应该如何应对?面临哪些机会和挑战?本文来做一些探讨。1、AI大模型是新质生产力对程序员来说,我们现在正经历着时代的大转折。就好比以前马车时代,马是最重要的动力来源;到了汽车时代,汽车就成了主...
2024-05-22 09:59:44 450浏览 0点赞 0回复 0收藏
架构设计模式已成为程序员的重要技能。然而,当我们转向大模型应用领域,情况可能会有所不同。面对新兴技术,比如:生成式AI,我们尚缺乏成熟的设计模式来支撑这些解决方案。根据多年的架构设计经验,我在这里整理总结了一些针对大模型应用的设计方法和架构模式,试图应对和解决大模型应用实现中的一些挑战,比如:成本问题、延迟问题以及生成的幻觉等问题。1、路由分发架构模式当用户输入一个Prompt查询时,该查询会被发送到路...
2024-05-22 09:55:51 754浏览 0点赞 0回复 0收藏
获得成就
已积累 1699 人气
获得 0 个点赞
获得 0 次收藏