51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课
免费课
排行榜
短视频
直播课
软考学堂
全部课程
软考
信创认证
华为认证
厂商认证
IT技术
PMP项目管理
免费题库
在线学习
文章
资源
问答
课堂
专栏
直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
AI.x社区
首页
文章
课堂
直播
评选
登录/注册
51CTO
中国优质的IT技术网站
51CTO博客
专业IT技术创作平台
51CTO学堂
IT职业在线教育平台
我的关注
全部帖子
默认
发布时间
热度
原创
精华
热门标签
AI
算家云
LLM
最高加速超4倍!不依赖特定模型的统一模型压缩框架CPD发布
精华
文章链接:https:arxiv.orgpdf2408.03046git链接:https:github.comCrankenCPD亮点直击提出统一模型压缩框架:包含梳理、剪枝和蒸馏三个步骤,其中梳理步骤提取架构依赖,使剪枝不依赖特定模型。结合剪枝与知识蒸馏:研究了这两者的结合,进一步提升剪枝后模型的性能。性能提升与效率优化:通过与基线模型对比,展示了在性能可接受的前提下显著提高模型效率,如在ResNet50上实现了超过2倍的加速效果。轻量且高效的模型对于资源...
angel
0回复
2981浏览
模型
架构
LG开源韩语大模型Exaone 3.0,8万亿token训练数据
LG的AI研究机构开源了首个开放权重的大模型——EXAONE3.0。EXAONE3.0是一个指令微调模型有78亿参数,经过了8万亿token高质量数据进行了综合训练。支持韩语和英文两种语言,尤其是对韩语的支持非常出色。在KMMLU、KoBESTBoolQ、KoBEST–COPA等基准测试中,高于Llama3.18B、Gemma29B等知名开源模型。开源地址:https:huggingface.coLGAIEXAONEEXAONE3.07.8BInstruct论文地址:https:arxiv.orgabs2408.03541EXAONE3.0使用了目前主...
Aceryt
0回复
2998浏览
大模型
训练
谷歌发布Gemini Live:对标GPT-4o,让每一个人都有贾维斯
精华
谷歌在今天凌晨举办的“MadebyGoogle2024”大会上,正式发布了智能语音助手GeminiLive。GeminiLive的功能与OpenAI在5月推出的GPT4o语音模式类似,支持自然语言提问,能识别图像、视频和语音是一个多模态智能助手。例如,打开GeminiLive拍摄一幅清明上河图,然后让其讲解这幅画的历史来历。在讲解的过程中,可以任意打断其对话就像朋友聊天一样。也可以授权GeminiLive访问你的邮箱、地图和通讯录,只需要向它说”今晚8点,帮我约...
Aceryt
0回复
2755浏览
谷歌
AI
终于有人将深度学习中重点做成了动画
原创
深度学习是机器学习的一个子领域,深度学习通过神经网络模拟人脑神经元的连接来进行复杂数据的学习与预测。其中,卷积神经网络(CNN)主要用于计算机视觉任务;循环神经网络(RNN)则适用于处理序列数据。今天介绍CV和NLP领域一些重要模型。[RNN]手书动画✍️0.初始化输入序列X:[3,4,5,6]参数矩阵:参数矩阵是通过训练得到的,图中虽然列了4个节点,但其实是同一个节点按照时间步展开的,这也是RNN经常被误解的地方。RNN隐状...
鱼虫子
0回复
3748浏览
深度学习
探索Transformer的演变:从基础到高级架构
原创
本文探讨了Transformer从原始模型到高级架构的演变过程,并重点介绍这一过程中取得的重大进展。Vaswani等研究人员在2017年发表的开创性论文《注意力是你所需要的一切》中介绍了Transformer架构,该架构不仅彻底改变了语音识别技术,也改变了许多其他领域。本文探讨了Transformer的演变,追溯其从最初设计到最先进模型的发展轨迹,并重点介绍这一过程中取得的重大进展。原始Transformer原始Transformer模型引入了几个突破性的概...
51CTO内容精选
0回复
3595浏览
人工智能
Transformer
模型架构
多模态大模型的构成式思维链提示
原创
摘要:强大的视觉主干与大型语言模型(LLM)推理的结合,导致大型多模态模型(LMM)成为当前广泛视觉语言(VL)任务的标准。然而,最近的研究显示,即使是最先进的LMM,在捕捉属性和对象之间关系等构成性视觉推理方面仍然存在困难。一种解决方案是利用场景图(SG)——对象及其关系和属性的形式化表达,它已广泛用作连接视觉和文本领域的桥梁。然而,场景图数据需要场景图注释,这在收集方面成本高昂,因此不易扩展。此外,...
AIRoobt
0回复
3964浏览
多模态大模型
多模态
大模型
学会区分大模型——大模型的分类,让你更清晰的认识大模型
原创
“乱花渐欲迷人眼,学会从根本上认识问题”现在市面上大模型如百花齐放,对很多人来说一堆大模型带来的不是简单方便,而是乱七八糟以及迷茫。因为不知道不同的大模型之间有什么区别,也不知道自己需要什么样的大模型;就拿huggingface来说,上面的模型有几十万,有几个人能弄明白它们都是干什么的?因此,我们首先需要学会的就是大模型的分类,对大模型分门别类之后就知道哪些大模型是做什么的,自己需要的是什么了。大模型的分...
AI探索时代
0回复
1.3w浏览
模型
多模态
Devin退位!这家公司宣布打造了世界上最强编程 Agents:Genie!能模拟人类工程师思考和行动
原创
不久之前,初创公司Cognition凭借其产品Devin震撼了人们。这是第一个AI软件工程师,由OpenAI的GPT4大语言模型驱动。Devin能够在自然语言文本指令下自主编写和编辑代码。不过,Devin是在2024年3月推出的——五个月前——这在快速发展的生成式AI领域可以说是一个漫长的季节。现在,另一家以“C”命名的初创公司Cosine,通过著名的YCombinator初创加速器在旧金山成立,宣布推出了他们自己的全新自主AI工程师Genie。据称,Genie在第...
51CTO技术栈
0回复
2750浏览
Genie
GPT-4
数据
最强AI程序员砸饭碗:84秒跑通代码,像人一样思考!团队仅5人
精华
继Devin之后,又一个AI软件工程师被刷屏了——它叫Genie,号称目前地表最强,已经可以像人一样思考和行动了!那么这个“地表最强”,到底强到什么程度?先来看下评测分数。在权威榜单SWEBench中,Genie以解决了30.07%问题的成绩夺得榜首。(SWEBench是一个用来评估大模型解决现实中软件问题的基准。)而这个成绩可谓是遥遥领先第二名19.27%,解锁了提升SOTA的最大增幅——57%!至于Genie的实际效果,用团队的话来说就是:它可以...
Crystalcxt
0回复
2890浏览
AI
程序员
开源AI视频工具,你只需要当导演,HuggingFace工程师打造
Sora一出,视频领域似乎已经进入了生成式AI时代。不过直到今天,我们仍然没有用上OpenAI的官方视频生成工具,等不及的人们已经开始寻找其他的方法。最近几周,一款开源的视频编辑工具Clapper引发了人们的关注。与很多科技公司提供的视频生成器不同,Clapper是一款开源AI故事可视化工具,于一年前推出原型。它的设计目的并非取代传统视频编辑器,或使用3D场景作为输入的现代AI编辑器。Clapper的理念是集合各类生成式AI技术,让任...
轻薄滴假象
0回复
3309浏览
AI
视频
2B多模态新SOTA!华科、华南理工发布Mini-Monkey,专治「切分增大分辨率」后遗症
最近,提升多模态大模型处理高分辨率图像的能力越来越引起这个领域的关注。绝大多数方法致力于通过对图像进行切分再融合的策略,来提升多模态大模型对图像细节的理解能力。然而,由于对图像的切分操作,不可避免会对目标、联通区域带来割裂,导致MLMMs对于微小或形状不规则的目标的辨识能力。这个现象在文档理解任务中,表现极为明显,由于文字端经常被中断。针对这一挑战,华中科技大学和华南理工大学最近联合发布一个多模态大...
duhorse
0回复
2640浏览
模型
生成
终于有人将机器学习中的重点做成了动画
原创
[SVM]手书动画✍️除了SVM,传统机器学习中还有很多其它分类、回归和聚类算法,例如逻辑回归,决策树,随机森林等集成学习方法;这里统称为模型,这些模型基本上可以通过明确的数学公式定义输入数据与输出结果之间的关系。在深度学习兴起之前,支持向量机(SVM)在机器学习领域占据主导地位。这个动画比较了线性SVM和RBFSVM。[1]给定:xi:六个训练向量(蓝色行🟦)yi:标签使用xi和yi,我们学习得到ai和b(红色边框):ai:每个训练向量i...
鱼虫子
0回复
3536浏览
机器学习
GPT-X 模型训练优化技术设计分析
原创
GPTX模型作为当前自然语言处理领域的代表性模型之一,其训练效率和性能一直是研究的重点。本文将对GPTX模型训练优化的相关技术进行详细的讲解,包括模型架构、算法优化、模型训练策略、算子优化、并行计算和深度学习加速等方面的内容。一、模型架构GPTX的模型架构基于Transformer,这是一种注意力机制的网络架构,能够处理序列到序列的任务,如机器翻译、文本摘要等。Transformer的核心组件是自注意力机制,它能够捕捉序列中的...
AIGC观察者
0回复
3078浏览
GPT-X模型
关于人工智能(大模型)泡沫即将破裂言论分析
原创
“风险,对某些人来说是风险,对某些人来说是机会”最近几天看到一些关于人工智能泡沫的言论,包括网上的一些信息还有本公众号一些文章下面的评论,都有说人工智能的泡沫即将破裂。原因是因为网上有说openAI核心团队成员基本全部离职,还有就是一些人觉得人工智能没有什么用,就像元宇宙一样仅仅只是一个噱头。但真的是这样的吗?今天我们就来分析一下人工智能泡沫的言论。关于人工智能泡沫分析既然说泡沫,那么先来基本了解一...
AI探索时代
0回复
3369浏览
人工智能
大模型
情侣合照逼真到恐怖,竟被代码识出破绽?沃顿教授预言AI 18个月封神!
最近Flux的爆火,简直把所有人的三观都撼动了。不懂就问:现在网上的东西,还有什么是真的?Flux震惊全网如今,开源文生图模型Flux,俨然已经在全网掀起了一股风暴。下面这些合影,竟然全是AI生成的?简直把这位博主震惊到怀疑人生。正面特写大光圈,脸部打光、肌肉纹理、毛发,看不出丝毫破绽。注意,即使是背景板人物们,也很自然,挑不出太大毛病。镜头远一点,光线暗一点呢?也很自然。两个人物在光线明暗处的对比...
duhorse
0回复
2831浏览
AI
生成
大型语言模型(LLM)的历史与未来
原创
大型语言模型(LLM)是现代科技的奇迹。它们的功能复杂,规模庞大,并且具有开创性的进展。本文将探索LLM的历史和未来。一、LLM的起源:NLP和神经网络大型语言模型(LLM)的创建并非一蹴而就。语言模型的第一个概念始于被称为自然语言处理(NLP)的基于规则的系统。这些系统遵循预定义的规则,根据文本输入做出决策并推断结论。这些系统依靠ifelse语句处理关键字信息,并生成预定的输出。可以将其想象成一个决策树,如果输入包含X、...
51CTO内容精选
0回复
4300浏览
LLM
人工智能
大型语言模型
阿里巴巴提出CODEXGRAPH:打破大模型与代码库的壁垒,引领软件工程新革命
精华
在现代软件工程中,大型语言模型(LLMs)在处理独立的代码任务方面表现出色,例如HumanEval和MBPP,但在处理整个代码库时却遇到了困难。这一挑战促使研究人员探索在代码库规模上增强LLM与代码库的交互。目前的解决方案依赖于基于相似性的检索或手动工具和API,每种方法都有明显的缺点。基于相似性的检索在复杂任务中往往回忆率低,而手动工具和API通常是特定任务的,需要专家知识,降低了它们在多样化代码任务和现实世界应用中...
AI论文解读
0回复
4667浏览
阿里巴巴
模型
代码库
看完MindSearch源码,这就是我想要的Agent Plan!
AISearch已经成为大模型落地应用比较热门的一个场景,OpenAI也推出了自家的AI搜索引擎产品SearchGPT,同时也有非常多AISearch项目开源:Felo、OpenPerPlex、AskHackers、OpenSearchGPT等等,应接不暇。其中上周才开源的MindSearch,据称基于LLM的Web搜索引擎Multiagent框架,类似Perplexity.aiPro和SearchGPT。看完代码发现主要是由WebPlanner与WebSearcher组成:WebPlanner负责任务的拆解和动态规划WebSearcher负责对子问题进...
PaperAgent
0回复
3841浏览
Agent
源码
MindSearch
多智能体合作的新路径,PRD-MAPPO的设计与实现
精华
多智能体强化学习(MARL)近年来在解决复杂的决策问题上取得了显著进展。MARL系统通过多个智能体的协作,能够在诸如DOTA2、星际争霸II和旗帜争夺等复杂任务中实现超人表现。然而,这些成就的背后是巨大的计算成本和环境交互需求,通常需要数百万甚至数十亿次的环境交互,这使得这些算法只能在高成本的计算集群上运行。在多智能体系统中,信用分配问题是一个关键挑战。随着智能体数量的增加,评估每个智能体对整体成功的贡献变得...
xuxiangda
0回复
6876浏览
多智能体
PRD
MAPPO
探索GLM4-ALLTools:全能AI工具箱,释放开发者潜能
了解小智的粉丝相信对ZhipuAI都不陌生,在往期LangChain教程里,小智已经通过GLM4的超强能力搭建了众多的Agent智能体应用。最近AI又悄摸上线了GLM4AlltoolsAPI能力,今天我就带大家来盘一盘!GLM4更新了什么?老规矩,先放大纲,带大家看看GLM4AlltoolsAPI更新了哪些功能。如图所示,以下就是Alltools所有新增的能力。我将其分为了四块,一站式检索,一站式智能编程,企业私域增强,多模态四个部分。想要用上这些新的功能也十分...
ermulong
0回复
2889浏览
AI
工具箱
GLM-4
暂无内容
1
252
253
254
255
256
257
258
259
260
客服