AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
低资源场景下Text2SQL方法
原创SFT的text2sql方法SFT使模型能够遵循输入指令并根据预定义模板进行思考和响应。如上图，、和是用于通知模型在推理过程中响应角色的角色标签。后面的内容表示模型需要遵循的指令，而后面的内容传达了当前用户对模型的需求。后面的内容代表模型的预期输出，也可以定义为模型预测的标签。在监督微调期间，模型根据和中的内容预测后面的内容，然后将其与标签进行比较以计算损失函数。标记作为结束标记，以防止模型在后续推理阶段偏...Text2SQL本地部署Qwen2.5-Coder大模型，打造你的专属编程助手
原创学习本地部署Qwen2.5Coder，提升编程效率。Qwen2.5Coder的推出，标志着智能代码语言模型进入了新的时代。这款模型具有高效性能和实用价值，不仅能够深入理解复杂的代码结构，还能提供精确的代码补全和错误检测，极大提升开发效率。本文详细介绍如何在本地系统上部署Qwen2.5Coder，以及其与Ollama的集成方案，希望为开发者带来更流畅的开发体验。1、Qwen2.5Coder架构概览Qwen2.5Coder的架构是在前代模型的基础上发展而来，在提升...Qwen2.5-Coder大模型LangChain生态全解析， LangGraph、LangFlow、LangSmith
原创随着GPT3、GPT4等基于变换器模型的强大语言模型的流行，对于简化语言应用开发和管理的框架需求不断上升。这些框架能够简化串联提示、检索文档和监控模型表现等复杂操作。LangChain生态工具之间存在差异，有的提供可视化界面以管理工作流，有的则强调高级调试和可观测性。1、LangGraph：构建可视化工作流LangGraph是为视觉化构建语言模型流程设计的新型框架，适合喜欢图形界面管理复杂工作流的开发者。它通过图形化展示帮助理解...LangGraphLangChainLangFlow大模型利用Milvus向量数据库，带你实现GraphRAG
原创教你如何结合Milvus向量数据库实现GraphRAG技术。GraphRAG技术借助知识图谱，给RAG应用注入了新的动力，使其能够在海量数据中精确检索所需信息。本文将带你了解GraphRAG的实现方法，包括如何创建索引以及如何利用Milvus向量数据库进行查询，助你在信息检索的道路上事半功倍。1、先决条件在运行本文中的代码之前，请确保已安装以下依赖项：pipinstallupgradepymilvuspipinstallgit+https:github.comzc277584121graphrag.git注意...GraphRAG向量数据库Milvus我们能完全解决GAN中的模式崩溃问题吗？
原创模式崩溃会导致生成对抗网络（GAN）产生重复输出。尽管有一些解决方案，但并没有一种能够完全解决这个问题的方法。那么，研究人员将如何解决这个问题？事实上，生成式对抗网络（GAN）是人工智能领域中令人瞩目的应用之一。GAN风靡全球，凭借生成逼真的图像、深度伪造（Deepfake）视频、人工智能生成的艺术作品，甚至合成的生物数据，其能力让人们惊叹不已。但是GAN也有不为人知的秘密，这是工程师、人工智能爱好者和研究人员多...生成式对抗网络GAN人工智能预测未来模型能力！微调揭示LLM涌现能力的关键
原创预测未来模型能力！微调揭示LLM涌现能力的关键在加州大学伯克利分校的智慧殿堂中，一群天才研究者们正试图解开现代大型语言模型（LLM）扩展中的一个根本性难题：涌现能力的不可预测性。想象一下，你正在训练一个语言模型，它的预训练损失随着计算量的增加而可预测地下降，就像一个乖巧的学生按部就班地学习。但当涉及到下游任务时，情况就变得复杂了——有时模型会在某个看似随机的点上突然“开窍”，这种“涌现”现象让预测未...微调LLM高效抽取PDF文件打造RAG，从LlamaParse转向PymuPDF4llm
原创PymuPDF4llm：大型语言模型的高效PDF数据处理利器。PymuPDF4llm是专为大型语言模型设计的强大工具，能够将杂乱的PDF数据整理得井井有条，为你的AI项目提供有力支持。本文将带你深入了解PymuPDF4llm的功能和应用。1、从LamaParse到Pymupdf4llm过去，我们经常遇到PDF提取工具操作复杂、结果不准确的问题。LamaParse曾试图简化这一过程，但其免费资源消耗速度极快。现在，Pymupdf4llm作为一个开源工具，免费且专为大型语言模型定制...PymuPDF4llm大模型多模态RAG利器，带你跑通Qwen2-VL-7B-Instruct大模型
原创详解Qwen2VL7BInstruct模型，玩转多模态RAG。想要玩转人工智能，特别是多模态数据处理，Qwen2VL7BInstruct模型绝对是个得力助手。今天带你详细了解这个模型，并教你如何将其用在多模态RAG系统里，让信息检索和生成变得更加高效、准确。1、Qwen2VL7BInstruct：多模态AI的新高度Qwen2VL7BInstruct是一款先进的多模态AI模型，它在图像和视频的视觉理解与交互方面实现了重大突破。基于前代模型的优化，Qwen2VL7BInstruct增添了多项...RAG多模态RAG大模型使用Llama 3.2-Vision大模型，搭建本地Ollama OCR应用
原创用Python和Ollama的Llama3.2Vision模型搭建自己的OCR应用。光学字符识别技术，简称OCR，目前是数字化印刷文本和提取图像信息的核心手段，其重要性正日益凸显。如今，有了AI的加持，尤其是像Llama3.2Vision这样的模型，OCR变得更加强大。本文教会大家用Python和Ollama的Llama3.2Vision模型，一步步搭建起自己的OCR应用。先决条件在开始之前，先确保已准备好以下条件：一台安装了Windows、macOS或Linux的电脑。稳定的互联网连接...LlamaOllama OCR大模型阿里巴巴研究院推出 XiYan-SQL：用于Text-to-SQL的多生成器集成人工智能框架
原创01、概述随着人工智能技术的迅速发展，如何让普通用户轻松查询复杂数据库成为一个备受关注的课题。最近，阿里巴巴研究院推出了一项突破性技术——XiYanSQL，它为自然语言到SQL（NL2SQL）的任务提供了全新解决方案。这项技术不仅提升了查询的精确度，还实现了跨数据库的高适配性，为大数据时代的信息挖掘带来了新契机。02、什么是NL2SQL？NL2SQL是一种自然语言处理（NLP）技术，可以将人类的自然语言查询转化为结构化查询语言（S...XiYan-SQL人工智能框架颠覆性语音合成：Fish Agent v0.1 3B 引领多语言语音合成新高度
原创01、概述在当今的AI语音合成领域中，多语言处理、自然语音输出和实时响应一直是语音生成系统的痛点。尽管已有如VALLE和Fastspeech等语音合成系统的广泛应用，但这些传统的文本到语音（TTS）模型仍面临一些根本性挑战：包括语言之间复杂的多音词、多语言转换，以及语音自然度的不足。尤其是在面对需要多语言处理和自然声音克隆的应用场景时，传统的TTS模型难以满足用户的高要求。为了解决这些长期困扰语音合成系统的难题，FishAu...语音合成Fish AgentNLP范式总结 | 拥抱新范式
1.基于传统机器学习的范式（第一范式）在早期的自然语言处理（NLP）研究中，神经网络尚未被引入。在这个时期，NLP处理方法通常需要从自然语言语料库中提取各种特征，例如词性标注、命名实体识别和短语结构分析。然后，使用特定的规则或数学、统计学模型来对提取出的特征进行匹配和应用。例如，可以通过词性标注和短语结构分析提取文本中的关键信息，然后利用数学模型，如隐马尔可夫模型或贝叶斯网络，来执行序列分类和序列标注...NLP范式机器学习利用 Schemonic 优化数据库模式描述以降低大语言模型成本
1.研究背景1.1背景随着GPT4等大语言模型在数据管理领域的广泛应用，如文本到SQL的生成和信息提取任务，向模型准确描述关系数据库的schema成为解决问题的关键步骤。但由于LLM提供商通常按输入（和输出）文本的令牌数量收费，数据库schema描述的长度直接关系到成本。例如，在文本到SQL的生成场景中，较长的schema描述会增加输入令牌数量，进而提高每次转换的成本。常见的描述schema的方法如使用DDL命令，虽能准确表达模式，但往往...Schemonic语言模型数据库一个很强大的集成学习算法：XGBoost!
一、算法介绍XGBoost（eXtremeGradientBoosting）是一种高效的梯度提升框架，它实现了梯度提升决策树（GradientBoostingDecisionTrees,GBDT），并在此基础上进行了优化。XGBoost在许多机器学习竞赛中表现出色，因其高效性和强大的预测能力而受到广泛欢迎。XGBoost支持多种目标函数和评估指标，可以处理回归、分类以及排名等问题。二、算法原理三、案例分析3.1数据集介绍本次案例分析使用的数据集包含了一系列工业机器的运行状态...算法XGBoostROCLLM合集：谷歌推出逆向思维RevThink框架，大模型零样本性能提升13.53%
1.ReverseThinkingMakesLLMsStrongerReasoners逆向思维在人类推理中扮演着至关重要的角色。人们不仅可以从问题推导出解决方案，还可以反过来从解决方案推导出问题。这种双向思考方式往往能提高整体的推理性能，因为它允许前后思维之间的一致性检查。为了使大型语言模型（LLM）具备逆向思维能力，我们引入了逆向增强思维（RevThink）框架，该框架由数据增强和学习目标组成。在RevThink中，我们通过收集教师模型提供的结构化正向...LLM框架大模型什么是AI Agent，以及怎么实现AI Agent?
原创“AIAgent的核心是推理规划能力，其次才是函数调用和记忆能力；但三者又缺一不可。”最近发现有些人还不了解什么是AIAgent，或者是看了Agent的概念，但还是不知道什么是AIAgent，今天我们就来详细介绍一下什么是AIAgent。什么是AIAgent？这篇关于Agent的文章，即是对AIAgent的介绍，也是为了记录自己对AIAgent的理解。网上的介绍说，AIAgent中文翻译叫智能体，是一种能够感知环境，进行决策和执行动作的智能实体。看了以上的定...AI Agent4 个关键的 AI 趋势 | 吴恩达在 Snowflake Build 2024 上的演讲大纲
AI就像电力一样。”这是因为，作为一种通用技术（类似于电力），AI有着无数的应用场景。如果有人问你：“电力能用来做什么？”这个问题很难回答，因为电力几乎无处不在。同样，新兴的AI技术正在为我们创造一个庞大的机会空间，能够开发以前无法实现的应用。经常有人问我：“AI最大的机会在哪里？”我对AI技术栈的理解是这样的：在最底层，是半导体技术。在其上是云基础设施。当然，再往上是各种基础模型训练工具和模型本身。大...AI趋势智能体从“聪明工具”到“万能助手”：全景解读AI Agents生态版图
随着生成式AI技术的全面爆发，AIAgents正成为人工智能应用的新宠。这些“智能代理”不仅能完成特定任务，还能像一位贴心助手般跨场景协作。那么，这些AIAgents背后的技术堆栈是如何构建的？它们的生态系统又如何助力开发者和企业高效落地应用？今天我们通过一张最新发布的《AIAgentsStack》图解，带您快速掌握这个领域的核心脉络！1.垂直代理：专业AI助手，解决具体问题垂直代理是AI领域中最简单易懂的一类工具，它们就像是行业...万能助手AIAgents马斯克告OpenAI再加码：已请求禁令，阻止向营利公司转型！若成功，OpenAI融资66亿或变负债
原创编辑伊风马斯克对OpenAI又放大招了。OpenAI在做新一轮融资时，曾明确提出：投资者不得同时资助其竞争对手，包括xAI。律师写道：“马斯克确认，至少有一位参与OpenAI10月融资轮的主要投资者后来拒绝投资xAI。”断人财路怎么能忍，马斯克出手申请禁令，直接请求联邦法院阻止OpenAI转变为完全营利的商业实体！这步棋狠在哪里？要知道，OpenAI新募集到的66亿元融资，是有条件的：OpenAI许诺将在两年内重组为营利公司。否则，投资者...马斯克OpenAI转型线上RAG应用pdf文档频繁更新，老板下了死命令要节省预算，不能重复做embedding，我这么做.....
原创我们最近在一个项目中遇到了一个问题。项目的场景是这样的：用户将他们的PDF文档存储在磁盘的某个特定目录中，然后有一个定时任务来扫描此目录并从中的PDF文档构建知识库。一开始，我们采用"增量更新"策略。在扫描目录中的文档时，我们会对每个文档进行哈希运算以生成其指纹，并检查该指纹是否已存在于数据库中。如果指纹不存在，就表示这是一个新文件，我们会对新文件的document做embedding，然后将其加入到知识库中。然而，这...LangChainRAG大模型
