AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
终于来了，OpenAI测试GPT-4o高级语音模式！
OpenAI宣布开始向小部分ChatGPTPlus用户，测试GPT4o的高级语音模式。本次测试将主要搜集安全、功能方面的反馈，OpenAI会在8月初分享一份全面的GPT4o评估报告。随后，还会发布视频和屏幕共享新功能。获取测试权限的用户会收到OpenAI发送的一份邮件，一位专门写AI专栏的作者已经拿到了测试资格。他希望GPT4o可以像足球解说员那样，用激情的语气去解说一场球赛，并在最关键的进球时刻表现出热血澎湃的呐喊。第一次GPT4o好像并没有...OpenAI语音英伟达ECLAIR-端到端的文档布局提取，并集成阅读顺序方法
原创笔者在前期一个系列分享了各种文档智能相关的技术方法，可以参考《文档智能系列栏目》，涵盖各种常见方法。下面直接看看这个端到端的文档智能结构化方法，供参考。方法一、架构红色三部分组成的模型结构ECLAIR采用了一个较大的视觉编码器（657M参数ViTH16）和一个较轻量级的解码器（279M参数mBART）组成端到端的模型，主要为了在推理时提高效率。ECLAIR包括以下几个组件：视觉编码器（VisionEncoder）ECLAIR的视觉编码...文档智能多模态大模型OpenAI要抛弃英伟达？紧急辟谣：转向谷歌TPU是乌龙，根本无部署计划！
原创
社区头条编辑伊风出品51CTO技术栈（微信号：blog51cto）“OpenAI转向谷歌芯片”？这事恐怕真被大家误会了。几天前，路透社爆出猛料——知情人士称，OpenAI已经开始租用谷歌的AI芯片TPU，用来支撑ChatGPT和其他产品的运行。这意味着OpenAI将首次在大规模业务中启用非英伟达的AI芯片。这消息一出，立刻引发轰动——OpenAI不是英伟达GPU最大买家之一吗？现在突然“投奔”谷歌？是不是意味着，AI战争的芯片格局要变了？图片但事情很快来了个...OpenAI谷歌TPUAdvanced RAG 10：引入检索评估、知识精练的 CRAG 技术详解
原创 精华编者按：本文介绍的CRAG技术通过引入轻量级检索评估机制和知识精炼算法，试图解决传统检索增强生成（RAG）方法在处理复杂查询语句时存在的问题（包括检索结果不够精确、引入无关信息等），这些问题会影响模型回答的质量。CRAG技术如何评估检索文档与用户查询之间的相关性？检索评估器的具体工作原理是什么？CRAG的知识精炼算法是如何工作的？它如何确保在“细分再整合”的过程中不会丢失重要信息？如若您现在对这些问题充满好奇...RAGLLMsAI白海科技风格控制水平创新高！南理工&InstantX&小红书发布CSGO:简单高效的端到端风格迁移框架
论文链接：https:arxiv.orgpdf2408.16766项目链接：https:csgogen.github.io亮点直击构建了一个专门用于风格迁移的数据集设计了一个简单但有效的端到端训练的风格迁移框架CSGO框架，以验证这个大规模数据集在风格迁移中的有益效果。引入了内容对齐评分（ContentAlignmentScore，简称CAS）来评估风格迁移的质量，有效衡量迁移后内容损失的程度。大量的定性和定量研究验证了本文提出的方法在零样本风格迁移方面取得了先进的成果。...生成端到端字节开源Dolphin文档解析模型-部署指南+实战测试
在数字化办公席卷全球的今天，文档解析技术已成为企业数字化转型的关键瓶颈。面对海量的合同、报告、论文等文档资料，传统解决方案要么速度缓慢，要么错误百出。5月22日，字节跳动开源的全新文档解析模型Dolphin横空出世，凭借仅322M参数的轻量级架构，在性能上实现了对GPT4.1、Claude3.5等重量级模型的全面超越！github:https:github.combytedanceDolphin在线Demo:http:115.190.42.15:8888dolphin下面开始部署指南：一、安装依...Dolphin解析模型部署指南天下武功唯快不破，GPT-4o真的牛
面对这一更新发布，激动者不在少数，各类自媒体震惊体轮番上阵，更有甚者鼓吹AGI时代已来。RelatedImage唱衰者同样存在，贬低GPT4o所展现的能力只是将tts，vision，llm等已然发布过的技术进行了二次打包组装，并无创新技术存在，而且演示的能力之前的Gemini1.5已然演示过（虽然被实锤为剪辑）。RelatedImage作为一个大语言模型开发者，我也着实震惊于GPT4o所展现的强大的多模态能力。不过遭受过AI原生应用开发反复拷打的我，最...GPT-4oAGIAI又来一个RAG：RankRAG，英伟达RAG新思路
1.背景检索增强生成无疑是当前最热门的LLM研究领域了，但是传统RAG存在一些局限性：•检索器容量的限制。考虑到处理效率，现有的RAG一般采用稀疏检索（比如BM25）或中等规模的嵌入模型（比如Bert）作为检索器。•只选择前K个文档。尽管最新的大语言模型扩大了上下文长度的限制，能够接受更多的上下文作为输入，但是实际性能会随着K的增加而迅速达到饱和。比如在长问答任务中，最佳的分块上下文数量大约是10。虽然更大的K可以提...RAGRankRAGLLM字节开源的多模态端到端文档解析模型-Dolphin
原创 社区头条下面来看一下字节最新开源的多模态文档解析方案，笔者实际测下来性能还有待提升（鉴于合成数据，泛化性还较差，存在幻觉），不过思路可以借鉴下，供参考。Dolphin性能创新点两阶段解析架构：Dolphin采用了分析解析范式，首先进行页面级布局分析，生成结构化布局元素序列，然后在第二阶段通过异构锚点提示进行并行内容解析。端到端的文档解析，模型参数量小（300M+），易于落地提供了数据合成的思路，大规模数据增强模型的泛化能...多模态Dolphin文档智能新一代智能助手GPT-4o与Project Astra孰弱孰强，OpenAI与谷歌拉开竞赛帷幕
这两天我们见证了OpenAI、谷歌两巨头激烈的碰撞，二者竞争几乎白热化。14日，OpenAI凭借其GPT4o模型，以语音和视频交互的全新方式，挑战传统的界限。15日，谷歌在2024年的IO发布会上展示了ProjectAstra以及Gemini系列模型的最新进展，意图巩固其在搜索和AI领域的霸主地位。这场应用与技术的较量，不仅是对人工智能如何融入我们生活的一次深入试水，更是对巨头之间AI之战的一次预演。2024年的GoogleIO发布会，是在一个特殊的时刻...GPT-4oOpenAI谷歌效果&成本双突破！快手提出端到端生成式推荐系统OneRec！
社区头条近日，快手推荐模型团队提出了一个端到端生成式推荐系统OneRec，该系统采用EncoderDecoder架构，引入了基于奖励机制的偏好对齐方法，借助强化学习增强模型效果，可在奖励模型引导下直接生成契合用户偏好的视频内容。通过极致的性能优化，OneRec在推荐模型FLOPs提升10倍的同时，大幅削减了通信和存储等运营成本近90%。目前，OneRec已在快手快手极速版双端承接25%的线上流量，带动APP停留时长分别提升0.54%和1.24%。当生成式架构...推荐算法快手大模型生成式推荐击败SDXL登顶SOTA | CoMat:端到端的扩散模型微调策略
文章链接：https:arxiv.orgpdf2404.03653项目链接：https:caraj7.github.iocomat扩散模型在文本到图像生成领域取得了巨大成功。然而，缓解文本提示和图像之间的不对齐仍然具有挑战性。不对齐的根因尚未得到广泛调查。不对齐是由于token注意力激活不足引起的，进一步将这种现象归因于扩散模型的训练范式所导致的条件利用不足。为了解决这个问题，本文提出了CoMat，这是一个端到端的扩散模型微调策略，具有图像到文本概念...图像AIGPT-4o：实现跨越文本与视觉的智能交互
原创摘要OpenAI最新发布的GPT4o模型及其在多模态处理上的卓越能力，标志着人机交互迈向新的高度。GPT4o能够处理文本、音频、图片和视频，响应速度极快，且在多语言处理上表现优异。本文通过具体的应用实例和对比测试，展示了GPT4o在问答系统和图像理解方面的实际应用，并提供了详细的集成方法和代码实现。无论是个人用户还是企业开发者，都能通过GPT4o体验到更智能、更自然的人机交互。GPT4的发布及其特性OpenAI最近发布了GPT4o(“o...GPT-4oOpenAI模型20个具体案例揭秘：GPT-4o 如何颠覆我们的日常生活
原创GPT4o在多模态感知能力和反应速度方面的显著提升，使新版ChatGPT的应用更加贴近实际生活。那么，GPT4o是如何颠覆我们的日常生活的呢？总结了以下20个场景和案例：案例1：营销文案撰写案例描述：小张是一名市场营销人员，他需要撰写各种营销文案。通过GPT4o，他可以快速生成创意文案、广告语和宣传材料，提高了营销文案的创作效率和质量。指令：描述需求：提供营销活动的详细描述和目标，询问创意文案。示例：我们计划推出一款新...GPT-4oChatGPT使用Concrete ML为模型训练和推理确保端到端隐私
原创本文介绍了使用完全同态加密（FHE）为scikitlearn联合训练模型和加密推理确保端到端隐私。在云计算和基于机器学习的服务唾手可得的时代，隐私是一大挑战。将端到端隐私添加到协作式机器学习用例听起来像是一项艰巨的任务。幸好，诸如完全同态加密（FHE）之类的密码学突破提供了解决方案。Zama的新演示展示了如何利用开源机器学习工具使用联合学习和FHE来添加端到端隐私。这篇博文解释了这番演示的底层工作机理，结合了scikitlea...机器学习FHE完全同态加密AtomoVideo：AIGC赋能下的电商视频动效生成
1.概述当今电商领域，内容营销的形式正日趋多样化，视频内容以其生动鲜明的视觉体验和迅捷高效的信息传播能力，为商家创造了新的机遇。消费者对视频内容的偏好驱动了视频创意供给的持续增长，视觉内容作为连接消费者和商品的桥梁，在广告系统中正变得日益重要。然而，与传统的图文内容相比，视频内容的制作难度和成本都要高得多。制作一个高质量的视频需要专业的技能、设备以及时间，这使得成品的质量层次不齐，且难以批量化生...AIGC电商视频升级！Sora漫步街头的女人可以跳舞啦！科目三蹦迪多种舞姿停不下来，可精准控制动作
Sora为我们展开了一个充满惊喜的新篇章，同时，Viggle这一模型也吸引了公众的目光，并在推特上迅速走红！想象一个场景，你仅需用几句话就能让画面活灵活现，无论是让角色跳舞、做后空翻，这些曾经只能在科幻电影中见到的场景现在只需动动手指就能实现～不同于Sora，Viggle赋予你控制视频主角动作的能力，如同指挥。例如下面视频中的样例，当你下达指令让视频中的女主角进行“空中芭蕾跳跃和旋转”，你将见证她以极其流畅的动作...Viggle库里杜兰特“合舞”科目三，腾讯混元团队全新图生视频模型来了
当前大家常见的视频生成是酱婶儿的：多数情况下只能让一个人动起来。而现在，如果提供了一张人物合照，所有人都能同时“舞起来了”。如此看来，从单人到多人，视频生成已经进入了NextNeval如上成果出自腾讯混元团队联合中山大学、香港科技大学推出的全新图生视频模型：FollowYourPosev2。与之前的模型相比，“FollowYourPosev2”主要有4大新亮点：在推理耗时更少的情况下，支持多人视频动作生成模型具备较强的泛化能力，不论年...视频模型OCR小模型仍有机会！华科等提出VIMTS：零样本视频端到端识别新SOTA
文本端到端识别是一项从图像或视频序列中提取文本信息的任务，虽然取得了一些进展，但跨领域文本端到端识别仍然是一个难题，面临着图像到图像和图像到视频泛化等跨域自适应的挑战。图1图(a)和图(b)是两种跨域文本端到端识别，包括图像到图像和图像到视频。TT表示TotalText，IC15代表ICDAR2015，IC13代表视频ICDAR2013。图像级跨域文本端到端识别面临样式、字体、背景等差异挑战，模型需要具备极强的泛化能力。不同数据集间的格...视频端到端生成式AI赋能哪些行业应用场景？
小米汽车的诞生，不仅仅是小米品牌延伸的一个新领域，更是对整个汽车行业智能化转型的一次大胆探索。它不只是一辆车，而是小米长期在AI领域投入和技术积累的集大成者。从智能驾驶到AI仿真系统，从结构设计到材料革新，小米汽车在每一个细节中都透露出AI科技的深度融合和创新精神。智能驾驶：AI的核心展现小米汽车在智能驾驶领域的探索堪称引领时代。它采用了最新一代的底层算法「BEV+Transformer+占用网络」，完美融合大模型技...人工智能生成式AI大模型
