AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
【大模型】图解Transformers Encoder
原创前面图解了Transformer整体架构，今天图解编码器。先来个整体视角：再逐步分解开来：𝗪𝗛𝗔𝗧'𝗦𝗧𝗛𝗘𝗘𝗡𝗖𝗢𝗗𝗘𝗥编码器负责通过自注意力机制和前馈层处理输入的token，从而生成具有上下文感知的表示。👉它是NLP模型中理解序列的核心动力。𝗦𝗧𝗘𝗣1.1:𝗜𝗡𝗣𝗨𝗧𝗘𝗠𝗕𝗘𝗗𝗗𝗜𝗡𝗚🔎编码器的第一步是将每个输入的单词嵌入为一个大小为512的向量。⚠️这种嵌入过程只发生在最底层的编码器中。可以把它想象成把单词翻译成模...大模型【机器学习】图解多重线性回归
原创前面我们图解了简单线性回归，也就是只有一个自变量，今天我们来看看自变量有多个的情况，也就是多重线性回归。先来个整体视角：再逐步分解开来：𝗗𝗔𝗧𝗔𝗚𝗔𝗧𝗛𝗘𝗥𝗜𝗡𝗚𝗣𝗛𝗔𝗦𝗘我们用体重作为因变量，身高作为自变量，并假设它们之间有某种线性关系。𝗗𝗔𝗧𝗔𝗘𝗫𝗣𝗟𝗢𝗥𝗔𝗧𝗜𝗢𝗡𝗧𝗜𝗠𝗘!要想得到一个好模型就必须先充分了解数据。在正式训练模型之前，先来探索分析数据。看，Gender居然也是个重要因素。当我们将身...机器学习多重线性回归基于网格环境的模仿学习技术实战探索
原创本文将全面探讨在网格环境下，模仿学习中一些著名方法的测试运行与结果对比分析。简介强化学习（RL）是机器学习的一个分支，围绕通过标量信号（奖励）的指导进行学习；这与监督学习是不同的，监督学习需要目标变量的完整标签。我们可以通过一个直观的例子来解释强化学习。比如一所学校有两个班，连续重复两种类型的测试。第一个班完成了测试并获得了完整的正确答案（监督学习：SL）。第二个班也完成了测试，但是只得到每个问题...强化学习机器学习模仿学习技术【机器学习】图解线性回归
原创线性回归可谓是机器学习界的helloworld，在现实中也有广泛应用，今天我们以图表为主，用可视化方法重新审视下这个模型。先来个整体视角：再逐步分解开来：𝗦𝗜𝗠𝗣𝗟𝗘𝗟𝗜𝗡𝗘𝗔𝗥𝗥𝗘𝗚𝗥𝗘𝗦𝗦𝗜𝗢𝗡如果自变量只有一个，我们称为简单线性回归，虽然简单，但很强大，能用来发现数据中潜在的变化趋势。𝗛𝗢𝗪𝗗𝗢𝗘𝗦𝗜𝗧𝗪𝗢𝗥𝗞线性回归的目标是拟合一条直线，这条直线最能体现自变量和因变量之间的线性依赖关系。𝗛𝗢𝗪𝗗...机器学习线性回归史上首个AI+人类大合唱，ChatGPT语音模式玩出新高度！
精华OpenAI向所有ChatGPTplus和Team用户开放了高级语音模式，玩法是层出不穷其中很多是相当有创意。标普全球AI副总监AJSmith便展示了与ChatGPT一起合唱披头士的经典歌曲《EleanorRigby》。整个演唱过程相当丝滑，并且AI还会时不时的称赞他几句唱的很好。Smith表示，最初ChatGPT是知道《EleanorRigby》这首歌曲的，但是它不敢跟着唱。这是因为OpenAI怕侵犯音乐版权的问题，禁止AI进行类似的演唱。于是Smith更改了提示“我们可以玩个...AI语音Llama-4使用10万块GPU训练、更好开源，扎克伯格亲口确认！
精华全球最大社交平台Meta（Facebook、Instagram、WhatsApp等母公司）联合创始人兼CEO扎克伯格接受了，前Vox著名记者CleoAbram的专访。主要谈到了Meta最新发布的变革性产品全息AR眼镜，开源大模型、生成式AI的发展以及全球开发者非常关心的Llama4。扎克伯格亲口确认了Llama4使用了超过10万个GPU进行训练。目前Meta公开的算力是60万块GPU，也就是说Llama4已经成为Meta的主力拳头产品，使用更多的GPU训练有助于突破AI极限。下面的内容...AI训练开源记一次ComfyUI工作流bug查找过程
原创“经验主义不可犯，否则是需要付出代价的”在上一篇文章中说过最近在做ComfyUI工作流方面的业务，具体的可以看之前的文章——再谈大模型工作流技术之——ComfyUI框架。由于ComfyUI并不是一个组织或企业开发的，因此它目前的生态还不够完善，甚至没有一个完善的官方文档。特别是对程序员来说，想使用ComfyUI的接口要么自己去网上找一些别人使用接口的说明或者是去github上自己翻官方提供的一些简单案例。而这次问题就出...ComfyUI大模型从AIGC看大模型供应商
原创“产业链的发展，并不是独立的，而是上下游合作发展”在之前的文章中有说过，对大部分人和企业来说，使用第三方模型是最好的选择，一是因为技术难度低，二是因为资金成本低，同样也就意味着风险比较低。在前几天的文章中大模型与社会分工，产业链与模块化中说过，大模型技术是一个产业链，它并不是一个人或一个公司的事。中间涉及到多个环节，大模型供应商，上层应用开发商，算力供应商等等。而在我们不知不觉中，很多...AIGC大模型供应商#AIGC创新先锋者征文大赛#AI Agent要如何修炼，才能真正落地？
原创【本文正在参与AI.x社区AIGC创新先锋者征文大赛】(https:www.51cto.comaigc2223.html)在AI技术日新月异的当下，智能体（Agent）技术正迅速崛起，成为AI领域的一大热点。Agent技术在各行业应用场景中表现出巨大潜力，然而伴随着机遇的同时，Agent技术的发展以及应用落地也面临着诸多挑战。在近期落幕的WOT全球技术创新大会上，九章云极DataCanvas的资深算法工程师薛磊，聚焦于Agent的构建与落地，从理论框架到实践案例，分享了他...多模态大模型智能体AI Agent九章云极#AIGC创新先锋者征文大赛#加速AI应用落地，大模型与智能体何以成为“双骄”
原创【本文正在参与AI.x社区AIGC创新先锋者征文大赛】(https:www.51cto.comaigc2223.html)在这个信息爆炸的时代，人工智能正悄然融入生活。然而，将AI技术迅速、高效地转化为实用工具，始终是挑战。58同城的解决之道就是：通过使用大模型和AI智能体技术，突破传统AI应用开发的局限，加速其落地，使人工智能成为触手可及的智能伙伴。1.搭建AI平台，弥合算力到应用之间的巨大鸿沟从去年开始，58同城全面拥抱大模型，尤其是大语言模型...大模型AIGCAI Agent智能体58同城Llama 3.2 强势震撼登场：从 1B 纯文本跃至 90B 多模态，成就端侧 AI 巅峰杰作
原创在当今科技飞速发展的时代，人工智能技术正以惊人的速度不断演进，为我们的生活和工作带来了翻天覆地的变化。Meta公司作为科技领域的巨头之一，一直致力于推动人工智能的发展。2024年9月25日，Meta公司重磅推出了Llama3.2。引起了广泛关注，它究竟有哪些令人瞩目的特点和创新呢？让我们一同深入探索。一、Llama3.2简介Llama3.2是Meta公司开发的一款强大的人工智能模型。它在之前版本的基础上进行了优化和升级，拥有更加出色的性...Llama 3.2多模态AI微软新综述：大模型RAG系统的4层境界！
精华今天分享这篇很干的文章！通过对RAG系统的用户Query进行难度区分，进而可以将系统划分为4个等级。RetrievalAugmentedGeneration(RAG)andBeyond:AComprehensiveSurveyonHowtoMakeyourLLMsuseExternalDataMoreWisely使用外部数据增强的大型语言模型(LLMs)在完成现实世界任务方面表现出了卓越的能力。外部数据不仅增强了模型的特定领域专业知识和时间相关性，而且还减少了幻觉的发生率，从而增强了输出的可控性和可解释性。将外部...模型RAG系统Ollama，本地运行大模型最强工具，轻松上手
1OllamaOllama是一个开源平台，帮助开发者便捷地在本地计算机上设置和运行大型语言模型（LLM）。这个平台简化了下载、安装和使用LLM的流程。想要开始使用Ollama，首先需要下载它。你可以点击这里进行下载Ollama下载完成后，打开终端，输入以下命令来运行模型phi3：ollamarunphi3或者，这样，模型phi3的各个层就会被下载到你的电脑上。如果你想先下载模型再运行，可以使用：ollamapullphi3ollamarunphi3这样，模型phi3的各个层就...Ollama大模型工具被神化的o1模型，规划能力到底如何？
最近OpenAI推出了新的o1模型，与之前类似检索器的大语言模型（LLM）不同，o1被称为推理器模型。o1模型可能是类似于AlphaGo的强化学习训练系统，只不过所生成和评估的“动作”是思维链。依据OpenAI发布该模型的博客：o1模型与过去的大语言模型有所区别，是一个新系列的大型推理模型，代表了人工智能能力的新水平。所以，OpenAI将模型的计数器重置为1，命名为OpenAIo1模型。在o1preview和o1mini发布了一周后，作者在PlanBench测试...o1模型LRMs系统扎克伯格最新采访！AI和AR的融合，是否将取代手机？充满AI的APP会颠覆人类的社交方式吗？
原创出品51CTO技术栈（微信号：blog51cto）MetaConnect2024“Orion”真·AR眼镜猛吸了一波关注。在此之前，Meta的AR眼镜都尚未搭载显示功能。在大会之前，《TheVerge》副主编亚历克斯・希思对扎克伯格进行了采访。围绕Connect上繁多的看点进行了富有深度的讨论：注入了AI能力的AR眼镜是否会取代手机，成为用户的主要屏幕设备？坐拥Facebook、Instagram、WhatsApp等社交巨头的扎克伯格，又是如何看待未来充满AI的媒介的，我们的社交...扎克伯格AIARGPU和CPU如何混合训练？大模型训练的GPU联手CPU显存优化分析方法
精华随着深度学习模型复杂度和数据集规模的增大，计算效率成为了不可忽视的问题。GPU凭借强大的并行计算能力，成为深度学习加速的标配。然而，由于服务器的显存非常有限，随着训练样本越来越大，显存连一个样本都容不下的现象频频发生。除了升级硬件（烧钱）、使用分布式训练（费力），你知道还有哪些方法吗？即使显存充足，所有运算都在GPU上执行就是最高效吗？只要掌握以下小知识，模型训练的种种问题统统搞定，省时省力省钱，重...模型训练Sample Packing 综述：LLM 效果与效率的 Tradeoff
本文中我们通过几篇论文来具体介绍SamplePacking相关的方案和对应的各种问题，比如GraphCore的PackedBert、Meta的InContextPretraining、智谱AI的LongAlign、Amazon的FewerTruncations以及IBM的PackingwithFlashAttention。一、背景上一篇文章（SamplePacking：长序列LLM训练的Attention问题及优化）中我们简单介绍了SamplePacking相关的问题和部分简单实验。本文中我们通过几篇论文来具体介绍SamplePacking相关的方...LLMTradeoff效果Llama 3.2：AI视觉革新，手机也能跑大模型
Meta最新发布的Llama3.2不仅能"看"，还能在你的手机上运行。这次更新带来了多模态支持的LlamaVision和专为设备端优化的"tiny"模型，共推出10个新模型，规模从1B纯文本到90B多模态（文本+图像）不等。Llama3.2的核心亮点：1.Llama3.2Vision：推出11B和90B两种规模的多模态模型，支持文本+图像输入并生成文本输出。这些模型基于Llama3.1文本模型，通过6B图像文本对训练而成。2.Llama3.2Edge：专为高效本地部署设计的1B和3B多语言...Llama 3.2AI视觉手机阿里再卷AI大模型价格战，降价背后的商业化之路
近日，阿里云宣布其三款通义千问主力模型大幅降价，最高降幅达85%。这一举动并非孤例，实际上是AI大模型领域新一轮降价潮的缩影。从国内的BAT、科大讯飞、字节跳动，到国际上的Anthropic、Character.AI，甚至OpenAI，各大AI巨头纷纷加入这场价格战，意图通过降价来吸引更多用户，开启大模型的"厘时代"。这场看似激烈的价格战背后，其实暗藏玄机。得益于技术的不断突破和规模化应用，AI大模型的成本正在快速下降。启明创投的周志...阿里AI大模型3D语言模型的新突破：解锁虚拟现实中的'幻觉'问题
精华随着人工智能技术的飞速发展，3D语言模型（3DLLMs）已成为研究的热点，它们在理解和生成语言指令方面展现出了巨大的潜力。这些模型不仅能够处理文本信息，还能理解和操作三维空间中的物体，这对于发展能够与物理世界互动的智能系统至关重要。3D语言模型的核心在于其能够将语言与三维场景紧密结合。传统的大型语言模型（LLMs）如GPT和BERT等已经在文本处理方面取得了显著成就，但它们主要处理的是二维图像和文本数据。而3DLLMs则...3D语言模型
