AI.x社区

国外一美女程序员，在Github上通过检索gpt,llm,和generativeai等关键字，从数十万检索结果中得到900个500+star大模型开源项目。她将统计结果放到了网站上，并定期更新star数等信息，同时提供了排序，分组，过滤等工具，我们也可以拿她的统计结果来进行分析。​​https:huyenchip.comllamapolice​​接下来让我们看看她通过分析这些开源项目学到了什么。新的AI堆栈基础设施包括训练大模型的硬件资源，训练大模型需要大量的显卡，...

多模态学习可以看作是深度学习的一个细分领域，利用不同类型的神经网络来处理不同模态（如图像、文本、音频等）的数据。多模态任务大体可以分为理解和生成两大类，生成任务又分为文生图和图生文。​CLIP是入门多模态的最佳选择，后续多模态模型基本上都延续了它的思想：分别用图像编码器和文本编码器将图像和文本编码到一个共享的特征空间中，然后通过多模态融合方法将配对的图像文本特征向量拉进。[CLIP]手书动画✍️[1]给定↳...

深度学习是机器学习的一个子领域，深度学习通过神经网络模拟人脑神经元的连接来进行复杂数据的学习与预测。其中，卷积神经网络（CNN）主要用于计算机视觉任务；循环神经网络（RNN）则适用于处理序列数据。今天介绍CV和NLP领域一些重要模型。​[RNN]手书动画✍️0.初始化输入序列X：[3,4,5,6]参数矩阵：参数矩阵是通过训练得到的，图中虽然列了4个节点，但其实是同一个节点按照时间步展开的，这也是RNN经常被误解的地方。RNN隐状...

[SVM]手书动画✍️除了SVM，传统机器学习中还有很多其它分类、回归和聚类算法，例如逻辑回归，决策树，随机森林等集成学习方法；这里统称为模型，这些模型基本上可以通过明确的数学公式定义输入数据与输出结果之间的关系。在深度学习兴起之前，支持向量机(SVM)在机器学习领域占据主导地位。这个动画比较了线性SVM和RBFSVM。[1]给定:xi:六个训练向量(蓝色行🟦)yi:标签使用xi和yi，我们学习得到ai和b(红色边框):ai:每个训练向量i...

现在市面上的大模型越来越多，选择多了也可能成为一种幸福的烦恼。如何选择一个好模型？在机器学习中，通常会使用一些评估指标来选择模型，例如，用精度、召回率、F1等指标来评估一个分类模型的性能；使用IOU，AUC等指标评估目标检测和分割模型的性能。同理，大模型也有评估指标。质量：大模型的指令跟随以及推理能力，例如，通用推理能力，或者具有某一方面的编码、数学推理能力。性能：大模型的反应速度和记忆能力，例如，每...

传统RAGLLM预训练和微调一般都是基于公开的互联网数据，不可能包含公司内部私有数据，如果你问有关某公司的运营情况，直接基于模型参数生成的回答可能和胡说八道没什么两样。RAG（RetrievalAugmentedGeneration）的思想就是将私有数据作为参考信息传递给LLM。这些私有数据除了作为一种补充信息，也可以作为一种限制，能避免LLM产生幻觉。参考信息一般以文本、图片等非结构化形式存在。RAG的流程是：1.首先要将文本划分成片段，...

​​从零实现大模型BERT预训练​​​​从零实现大模型BERT微调​​我们在BERT微调那篇文章中提到，许多NLP任务（如情感分析和问答）都依赖于上下文理解能力。而像BERT这种双向模型具有较强的上下文理解能力，因此非常适合用于任务微调，即针对某个具体任务进行微调。​​从零实现大模型GPT2预训练​​​​从零实现大模型GPT2指令微调​​​​从零实现大模型GPT2RLHF​​而像GPT这种自回归模型，在预训练完成后会进行一个指令微...

​​从零实现大模型多头注意力和Transformer​​​​从零实现大模型GPT2预训练​​​​从零实现大模型GPT2指令微调​​通过前面的预训练和指令微调，我们得到了既能续写文本，又能遵守指令的GPT2模型。但从GPT的演进路线来看，要达到ChatGPT的水平，除了增加模型参数、使用更多的数据预训练、更高质量的监督数据指令微调外，还需要一个重要的技术手段，那就是RLHF。(RLHF：ReinforcementLearningfromHumanFeedback)：即基于人类...

按照顺序，轮也该轮到BERT指令微调了吧！是微调，但不是指令微调！我们在之前的文章介绍过大模型的多种微调方法，指令微调只是其中一种，就像训犬一样，让它坐就坐，让它卧就卧，同理，你让LLM翻译，它不是去总结，你让它总结，它不是去情感分析。指令微调在像GPT这种自回归的模型中应用多一些。我们在前一篇文章中基于GPT2预训练模型进行了指令微调。除了指令微调，还有一种比较常用的是任务微调，预训练模型虽然具备一定的知...

“'角球迅速开出……奥里吉！'在2019年欧洲冠军联赛半决赛中，利物浦足球俱乐部完成了一次历史性的逆转。其中最具标志性的时刻之一是特伦特·亚历山大阿诺德的角球，这一角球让迪沃克·奥里吉打入了被认为是利物浦俱乐部历史上最伟大的进球。从直觉到AI驱动的洞察：体育科技的变革者足球，这项传统上依赖教练直觉和战术智慧的运动，随着人工智能（AI）的出现正在经历一场范式转变。谷歌DeepMind的研究人员开发了TacticAI，这是...

​​TheAnnotatedTransformer注释加量版​​​​TheAnnotatedGPT2注释加量版​​​​TheAnnotatedBERT注释加量版​​前面三篇文章实现了Transformer、BERT以及GPT2的预训练过程，也就是上图中的Stage1和Stage2，并通过打印数据信息可视化了预训练和推理过程。此时的GPT2虽然能预测下一个词，但并不能很好地跟随人类指令，如果想让它翻译就能翻译，想让它总结就能总结，接下来还要进行指令微调。本文我们基于此前的GPT2预训练模...

前面我们从0实现了Transformer和GPT2的预训练过程，并且通过代码注释和打印数据维度使这个过程更容易理解，今天我将用同样的方法继续学习Bert。原始Transformer是一个EncoderDecoder架构，GPT是一种Decoderonly模型，而Bert则是一种Encoderonly模型，所以我们主要关注Transformer的左侧部分。后台回复bert获取训练数据集、代码和论文下载链接阅读本文时请结合代码https:github.comAIDajiangtangannotatedtransformerblobmasterA...

TheAnnotatedTransformer这篇文章从零复现了2017年那篇Transformer论文，TheAnnotatedTransformer注释加量版在此基础上追加注释和输出数据维度信息进一步揭开Transformer的一些细节，原始Transformer是一个EncoderDecoder架构的模型，今天我将用同样的方法继续学习GPT系列模型中最简单的GPT2，GPT是Decoderonly架构模型，所以，我们只需要关注Transformer的右侧部分。由于代码过长，所以没有把全部代码拷贝过来，建议打开下面代...

本文是在TheAnnotatedTransformer这篇文章基础上的二次加工。1.给代码加了更详细的注释。2.输出详细日志跟踪数据。原文地址：https:nlp.seas.harvard.eduannotatedtransformer或者后台回复taf获取pdf下载链接。TheAndnotatedTransformerAttentionisAllYouNeedv2022:AustinHuang,SurajSubramanian,JonathanSum,KhalidAlmubarak,andStellaBiderman.Original:SashaRush阅读方法由于原文内容过长，我没有把原文拷贝过来，阅读本文时...

如果我不说明这是一段GPT4o调戏主持人的视频，你是否会认为电话另一端是真人在对话？GPT4o在与人类的对话过程中，不仅能理解人的情绪，还能像人一样说话。总结来说，GPT4o具有下列语音能力：具有丰富的语音风格：语速快一点、语调柔和一点、或者用说唱的风格；可以理解语音以外的信息：喘气声、叹气声；可以发出非语言声音：笑声；可以进行自然而即时的互动，不需要唤醒词。​其实，早在GPT4o以前，GPT3.5手机版就有语音功能，...

我在专栏[大语言模型的技术原理和应用]中介绍了大语言模型(LLM)原理和应用，LLM对语言建模，输入输出都是文本，属于单模态模型。LLM的出现让人们看到了AGI的希望，但要实现AGI，就要让机器像人类一样实现多种感官协作，所以多模态是AGI必经之路。从今天开始我们将进入多模态领域。openAI刚刚发布的GPT4o就是一种多模态大模型。一、初识多模态大模型1.1多模态大模型定义所谓“多模态”简单来讲就是模型能够处理多种数据模态，例...

诺贝尔奖主要颁给那些为人类做出巨大贡献的人，我国的屠呦呦就因发现青蒿素在2015年获得诺贝尔医学奖。Alphafold不是某个人类科学家，它是GoogleDeepMind开发的一个深度学习模型，它能够预测蛋白质结构。把诺奖颁给一个模型，你可能会觉得我危言耸听了，但如果你了解蛋白质结构的作用，你肯定会改变想法了。一、蛋白质合成过程在此之前还是先简单了解下蛋白质的合成过程。蛋白质是由氨基酸序列组成的，人体内有21种氨基酸种类，...

前面我们通过LLM+向量数据库搭建了RAG，然后又将LLM和外部组件协作构建了Agent。LLM作为AI的一个细分领域，LLM+也和AI+一样正在重塑各行业。今天，我们来看看LLM和传统机器学习能碰撞出什么火花。我们都知道，机器学习模型擅长从数据中发掘潜在模式，大语言模型擅长自然语言理解与生成。但传统机器学习算法依赖人的经验去做特征工程，模型选择，调参等。那能否借助LLM的理解和生成能力去弥补传统机器学习的不足呢？这种融合新范...

一、人机交互发展史先简单了解下人机交互的历史。打孔卡命令行（CLI）图形用户界面（GUI）ARVRMR语音助手像Siri，小爱同学等语音助手虽然也能通过自然语言交互，只能打开某个应用，或者搜索互联网，一般不能理解UI中的元素。二、ScreenAI：多模态大模型谷歌近期推出多模态大模型ScreenAI，带来人机界面交互新方式。ScreenAI不仅能够理解UI上的元素，还具有推理能力，并且能根据用户指令与UI进行交互。项目主页：https:research....

TransparencyTool是facebook开源的大语言模型可视分析工具，用于分析基于Transformer架构的语言模型。源码：https:github.comfacebookresearchllmtransparencytool技术报告：https:arxiv.orgpdf2404.07004.pdf一、浅谈原理Transformer是由多个注意力块堆叠而成，每个注意力块视为一层，每个层包含一个多头注意力层和一个前馈网络。token向量在注意力层中，向量之间能够相互交流，并根据彼此信息更新自身的值；在前馈网络中，向...