AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
国产万卡系统究竟怎么样了？中国工程院院士郑纬民：国产万卡很重要，但也很难，异地卡联合训练不太可行
原创编辑言征出品51CTO技术栈（微信号：blog51cto）临近年底，业内曝出了不少大新闻，比如大模型撞墙、谷歌的Gemini2Flash和量子芯片Willow，再比如英伟达面临着中国反垄断调查的危机等，所有这些，让国产AI算力的话题再次成为圈内的热议点。那么，国产算力中心构建究竟什么情况？背后支撑大模型训练和推理的计算机系统现在都面临着怎样的难题？为什么包括ChatGPT在内的大模型时不时就会出现宕机的情况？“为什么异地卡联合训练很难...国产万卡系统芯片为什么某些 batch size 会突然导致性能下降？
原创编者按：你是否曾在优化深度学习模型时感到困惑，明明增加了batchsize，GPU利用率却没有如预期提升？在实际项目中，这个问题可能导致资源浪费、训练效率低下，甚至影响整个AI产品的交付周期。本文作者深入剖析了现代GPU批处理的工作原理，揭示了内存带宽与计算能力之间的微妙关系。通过建立理论模型并结合实际实验，作者不仅解释了为什么某些batchsize会突然导致性能下降，还提供了如何找到最佳batchsize的方法。作者FinbarrTim...LLMs批处理AIMeta AI 发布 Llama Guard 3-1B-INT4：用于人机对话的紧凑型高性能 AI 审核模型
原创 精华01、概述在生成式AI的浪潮中，我们见证了人与技术交互方式的颠覆性变革。然而，强大的自然语言处理能力与内容生成技术背后，也隐藏着不容忽视的安全隐患。如何确保生成内容符合伦理、避免不当信息传播，成为技术发展的关键挑战。而Meta推出的LlamaGuard31BINT4模型，正是在这一背景下应运而生。生成式AI的安全挑战生成式AI能够快速生成海量内容，但其输出可能包含不安全或违反政策的内容。为此，安全审查工具的研发显得尤为重要...Meta AI生成式AI首次实现8K图像生成！FreeScale让扩散模型解锁更高分辨率！
精华文章链接：https:arxiv.orgpdf2412.09626项目链接：http:haonanqiu.comprojectsFreeScale.html亮点直击提出了FreeScale，一种无需微调的推理范式，通过融合不同尺度的信息，使预训练的扩散模型能够生成生动的高分辨率结果。在文本生成图像模型和文本生成视频模型上对该方法进行了实证评估，证明了其有效性。首次实现了8K分辨率图像的生成。与其他最新的无需微调方法相比，FreeScale以更少的推理时间获得了更高质量的视觉效果。...模型AI实测来了！Kimi发布k1视觉思考模型，实力颠覆K12教育赛道，涌现能力强得可怕，免费可用！网友：国产之光！
原创编辑言征出品51CTO技术栈（微信号：blog51cto）Kimi最近太猛了！所有的教育产品感觉都要被颠覆了。今天，Kimi上线发布一款相当炸裂的AI功能——视觉思考模型k1。可以说颠覆了“K12赛道”的传统搜题解题的产品！小编惊呼：有了Kimi，学生们还需要手机里安装各种拍照搜题找答案的软件吗？可以预想到，从幼儿园到大学，整个教育赛道恐怕要掀起一股惊涛骇浪！Kimi，果真越来越“学霸”了！话不多说，直接上干货。光看这个名字“k1”...Kimi模型tokenHugging Face 发布 SmolVLM：用于设备端推理的 2B 参数视觉语言模型
原创01、概述在人工智能的浪潮中，我们越来越渴望拥有既能处理视觉和语言任务，又不依赖于庞大基础设施的机器学习模型。特别是对于笔记本电脑、消费级GPU或移动设备等设备，如何在性能和资源需求之间找到平衡点，成为了一个挑战。今天，我们要聊的就是这样一个“小而美”的解决方案——SmolVLM，一个由HuggingFace推出的2B参数视觉语言模型，专为设备端推理而设计。02、性能与资源的平衡艺术在视觉语言模型（VLMs）的世界里，许多模...大语言模型计算机视觉PydanticAI：一个基于 Python 的新代理框架，用于构建生产级 LLM 支持的应用程序
01、概述在AI技术飞速发展的今天，越来越多的应用程序开始依赖大语言模型（LLM）来提供智能化功能。然而，将LLM应用于实际生产环境并非易事。开发者往往会面临如下挑战：模型响应不一致，无法始终保证输出的准确性。缺乏稳健性，在高并发场景下难以保持系统稳定。类型安全性薄弱，导致数据结构不符合预期。在这种背景下，如何开发一款能够为用户提供可靠、精准且上下文适宜的输出的LLM应用，成为了开发者的首要任务。传统方法在...PydanticAIPythonLLM为什么分块在RAG技术中很重要？但又很没有存在感？
原创“RAG技术是一项系统化的工程，由多个重要环节组成，而不是单一的技术实体”RAG技术作为目前大模型应用比较火的一个领域，怎么做好一个RAG系统一直是很多人和企业都在思考的一个问题；但RAG并不是一个独立的技术，而是一个技术的集合体，涉及到多个不同的技术；比如说向量数据库，embedding，语义分析，搜索技术等等。而在RAG技术中有一个不被大家所重视的一点就是——分块(chunk)；什么是分块？举个例子，西游记作为我国的四大...RAG关于大模型的幻觉问题，大模型有可能做到百分之百的准确率吗？
原创“大模型的幻觉是一把双刃剑，并不是非黑即白”大模型技术经过这几年的发展，已经可以算是小有成就；虽然大模型已经开始融入到部分企业应用场景中，但不得不说在应用中大模型还存在很多问题；特别是在一些要求比较严格的应用场景中，甚至都不太敢使用大模型；比如说医疗，自动驾驶等领域。原因就在于大模型的不确定性，毕竟大模型的幻觉问题一直没有被解决；所以这就带来一个问题，大模型能彻底解决幻觉问题吗？也就是说大模...大模型幻觉RAGRAG检索增强生成和大模型微调的抉择
原创“RAG和微调即相似，又不完全相同，它们在能力上是互补的。”很多人会奇怪RAG和微调有什么关系，而对RAG和微调了解的人应该都明白为什么会把RAG和微调放在一块讨论。有些人说有了RAG就不需要微调，而另一些人说有了微调就不需要RAG，这到底是怎么回事？RAG和微调之间到底存在什么样的恩恩怨怨？RAG与微调作者在第一次看到RAG和微调的标题时，也是一脸懵逼；RAG和微调有什么关系，它们完全是两种不同的技术，为什么会被放在一...微调RAGDeepSeek-VL2开源，VLM迈入MoE时代！
DeepSeekVL2：一个先进的大型混合专家（MoE）视觉语言模型系列，它显著改进了其前身DeepSeekVL。DeepSeekVL2在多种任务上展现出卓越的能力，包括视觉问题回答、光学字符识别、文档表格图表理解以及视觉定位。图片包括三个变体：DeepSeekVL2Tiny、DeepSeekVL2Small和DeepSeekVL2，分别拥有10亿、28亿和45亿激活参数。与现有的开源密集型和基于MoE的模型相比，DeepSeekVL2在相似或更少的激活参数下实现了竞争性或最先进的性能。...DeepSeek-VL2开源VLM从数据集到模型：视频和音频情绪分析的综合研究
情绪分析作为自然语言处理和人工智能领域的重要研究方向，近年来受到了广泛关注。情绪分析技术能够自动识别和理解文本、音频、视频等多种数据中的情绪信息，在社交媒体监控、客户服务、心理健康评估等多个领域具有重要应用价值。例如，通过情绪分析，企业可以更好地了解客户反馈，改进产品和服务；心理健康专家可以通过分析患者的情绪变化，提供更精确的诊断和治疗建议。然而，单一模态的情绪分析（如纯文本或纯音频）存在一定...数据集模型音频改个名字，数倍提升Function Calling准确率！
你好啊，我是小智，今天我将详细解析Hammer模型如何通过函数名和参数名的修改，数倍提升模型在FunctionCalling任务中的准确性。改名提升模型性能，看似玄学也有依据简洁命名的模糊性在大多数编程语言中，函数名和参数名都是对功能的抽象表达。通常情况下，简洁的命名规则便于代码阅读与理解，但当这些简洁的命名被直接作为模型输入时，可能会导致一定程度的模糊性。例如，假设我们有一个名为getdata的函数，该函数可能用于从数...Hammer模型机器学习LLM推荐系统时代来了？2024大厂顶会工作总结
基于LargeLanguageModel做推荐系统可以说是最近2年推荐系统领域最火的研究点。一方面，LLM的理解能力、在各个领域的广发应用，使其自然而然衍生了和推荐系统结合的研究方向；另一方面，传统的推荐模型优化已逐渐进入瓶颈，依然基于原有的建模思路进一步优化很难带来显著收益。因此无论是工业界还是学术界，都在LLM+推荐系统这个方向投入了很多的人力和资源。在2024年的推荐系统顶会工作中，大厂、学校合作的论文70%都是和大模型...LLM推荐系统微软 Phi-4 震撼发布：14B 参数模型性能超越 一众大模型，数学推理性能提升显著
微软近期发布的Phi4大语言模型震撼AI社区，这款仅14B参数的轻量级模型以其卓越的性能，挑战了现有大型AI模型的性能极限。Phi4最引人注目的成就是在数学推理领域展现出令人惊叹的能力。在AMC1012数学竞赛问题上，模型达到了91.8%的惊人准确率，不仅超越了，甚至与GPT4omini和Llama3.370B的性能相当。这一成就背后，是微软工程师在数据生成和训练技术上的创新突破。模型性能的关键来自三个核心技术创新：高质量合成数据集：微软工...微软Phi-4参数王小川当场自曝：为什么百川不做Sora；生命科学是下一个互联网；大模型创业有两大误区；AGI5年后就会到来
原创编辑｜言征出品51CTO技术栈（微信号：blog51cto）王小川不止搞大模型，这次真的要在医疗行业搞出大动静来了！12月14日上午，百川智能王小川在与极客公园创始人张鹏进行了一场圆桌对话。对话中，王小川公开透露了进入下半年来，有些低调的百川究竟在做什么事情，更是抖出了很多有关百川智能成立前后的趣事，比如百川的“百”是怎么得来的，以及如何跑步入场赢得投资人信任、拿到融资的，并详细阐述了在中美博弈的环境下，自己在...王小川百川Sora苹果不关心AGI
原创编辑伊风出品51CTO技术栈（微信号：blog51cto）进入AI时代，苹果的光环似乎黯淡了。与大多数喜欢谈论AGI的科技巨头不同，苹果对AI的谨慎态度，似乎没有在发布「AppleIntelligence」之后就发生根本性的转变。“所有苹果高管，包括库克，都强调，尽管人工智能具有巨大的颠覆性潜力，苹果将以公司一贯的清晰和严谨来处理这一改变游戏规则的技术。”这是，外媒WIRED最近采访了几位苹果高管后写下的感受。图片不仅如此，领导苹果AI的...苹果AGIiPhone对齐马斯克，杨立昆称AGI十年内将实现！谈未来：AI不会让人失业，人类总有解决不完的问题
原创整理伊风出品51CTO技术栈（微信号：blog51cto）杨立昆做客《WTF人物》，与印度企业家NikhilKamath谈论有关人工智能的一切。在一个半小时的访谈中，杨立昆的博学和谦逊让人印象深刻。为了向提问者解释“神经网络语言模型”，他可以从香农的信息论讲起，把AI晦涩的知识讲得深入浅出。图片谈到AI教父，他直言不喜欢这个像黑手党一般的称呼，但他希望能成为学界的英雄。他更提到，因为他立场鲜明的公开言论，很多人认为他是白痴。这...杨立昆AGI马斯克Sonauto免费AI音乐编辑器：小白也能快速上手的音乐创作平台！
在科技浪潮汹涌澎湃的时代，人工智能宛如一阵旋风，席卷了各行各业，音乐领域自然也不例外。从智能推荐符合个人口味的歌单，到辅助音乐人完成编曲混音，AI的身影愈发频繁地出现在音乐生产链当中。而在一众AI音乐工具里，Sonauto犹如一颗崭露头角的新星，正散发着独特的光芒，吸引着无数音乐爱好者、创作者以及行业从业者的目光。今天，就让我们一同深入探寻Sonauto的奥秘，看看它究竟如何重塑音乐创作版图。一、Sonauto概述Sona...AI音乐编辑器当大模型也配备“秘书”：AssistRAG 的创新与应用
你是否经历过这样的场景：向ChatGPT询问一道复杂的数学题，它给出了一个看似合理但完全错误的答案；或者明明上下文里有现成的答案，它却绕了一大圈给出了不着边际的回复。这就是大语言模型著名的"幻觉"问题，就像一个博学但不够严谨的学者，时常会脑补一些并不存在的信息。为了解决这个问题，研究人员提出了检索增强生成(RAG)技术。简单来说，就是在模型回答问题之前，先让它查阅相关的资料。这就像是给学者配备了一个图书馆，...AI主模型智能助手
