AI.x社区

了解向量、Tokens和嵌入是理解大语言模型怎样处理语言的基础。在处理LLMs时，你经常会遇到“向量”、“Tokens”和“嵌入”这些术语。在深入研究构建聊天机器人和人工智能助手之前，彻底理解这些概念非常重要。随着多模态方法日益普及，这些术语不仅仅适用于大型语言模型（LLMs），还可用于解释图像和视频。本教程的目标是通过简单直接的示例和代码片段向你介绍这些核心概念。向量：机器的语言向量在LLMs和生成式人工智能的运作...

今天，Meta发布了Llama3.1模型，延续了他们从最初的Llama3“预览版”开始就践行的开源理念，即尽早发布和频繁发布。Llama3.1模型有三种规模：8B、70B和长期传闻中的405B参数。对于其规模来说，这些模型是同类中最优秀的开源模型。4050亿参数模型直接与Anthropic的Claude3和OpenAI的GPT4o处于同一水平。Llama3.1的营销以及Meta的AI战略正在直接推动将开源软件实践转化为开源AI。这次发布的核心和AI的未来是AI能有多“开源”，以...

来自奥本大学和阿尔伯塔大学的研究人员发现，最先进的具有视觉能力的大型语言模型（VLMs）在理解涉及基本几何形状的空间信息方面表现得非常糟糕，例如判断两个圆是否重叠。他们提出了一个名为BlindTest的新基准测试，包括7项简单任务，这些任务在互联网上自然语言中不太可能有现成答案，以测试VLM像人类一样“看见”图像的能力。现有的VLM基准（如MMMU和ChartQA）涵盖了广泛的主题，但输入图像并非总是回答问题所必需的，即答案...

我昨天在AI工程师世界博览会上发表了开幕主题演讲。我是临时加入议程的：OpenAI在最后一刻退出了他们的演讲，我受邀在不到24小时的通知时间内准备一个20分钟的演讲！我决定重点讲述自8个月前上次AI工程师峰会以来LLM（大语言模型）领域的亮点，并讨论该领域的一些未解决的挑战——这是我在早些时候的活动中提出的关于AI工程的开放问题演讲的回应。在过去的8个月里，发生了很多事情。最值得注意的是，GPT4不再是该领域无可争议的...

​LLMs的智能本质是什么？在之前的文章中，我谈到了评估大型语言模型能力的困难。这些模型在许多基准测试中表现出色，但我们通常不知道基准测试中的测试项目，或足够相似的项目，是否出现在训练数据中。这些模型是在进行一般性的理解和推理，还是在进行AI研究员SubbaraoKambhampati所说的“近似检索”——依赖于模型训练数据中包含的文本模式？反事实任务范式反事实任务范式可以帮助回答这个问题。在这个范式中，模型在成对的任...

随着前不久IlyaSutskever从OpenAI的离职，OpenAI首席架构师和著名强化学习(ReinforcementLearning,或RL)专家JohnSchulman​博士成为OpenAI现存最主要具有技术背景的创始人。最近，Schulman博士接受了著名的科技播客主持人DwarkeshPatel的专访。他解密了OpenAI大模型发展史，介绍了OpenAI怎样训练和产品化大模型，尤其是后训练阶段如何通过RL提升大模型的泛化能力和实用性。Schulman分享了他对大模型伸缩律（ScalingLaw)，大模型...

随着人工智能技术的不断发展，大型语言模型成为人们关注的焦点之一。通用语言模型如GPT3在各种语言处理任务上展现了强大的能力，但随着对特定领域需求的增加，领域特定的大型语言模型应运而生。这些模型通过在专业的领域内进行深入训练或精调，提供了有针对性精准定制的解决方案。在《WhataredomainspecificLLMs》“什么是特定领域的LLMs”一文中，作者探讨了大型语言模型的基本概念，并聚焦于领域特定的大型语言模型。他指出随...

Google研究员FrançoisChollet是一位在机器学习和深度学习领域具有重要影响力的一线工程师。他以创建流行的开源机器学习库Keras而闻名,同时也是流行的机器学习实战书籍《DeepLearningwithPython(使用Python来深度学习)》的作者。不久前他发表博文：“HowIthinkaboutLLMpromptengineering（大模型的提示工程之我见）”，深入地探讨了大模型提示工程。Chollet从语言模型架构、学习机制和能力的演进来理解大模型的提示工程。他特别...

目前人们好像已在接受这样的观点：“大语言模型(LLMs)正在以指数速度进步。”就在几天前，宾州大学沃登商学院（TheWhartonSchool)的EthanMollick教授在一篇广受关注的博客文章中声称，“目前对LLMs的能力评估显示，LLM的能力每5到14个月翻一番”。实际上Mollick教授引用的研究并未显示他所声称的内容。如果你仔细阅读，它没有提到能力的提高。它显示的是模型在达到给定性能水平所需的计算资源变得更有效率，“达到给定性能水平...

随着AIAgents技术的不断发展和成熟，我们可以期待在未来看到更多令人兴奋的创新和应用。这些技术有望成为推动人类进步和提高生活质量的重要工具。本周，一家名为CognitionAI的初创公司引起了轰动，他们发布了一个演示，展示了一个名为Devin的人工智能程序执行通常由高薪软件工程师完成的工作。像ChatGPT和Gemini这样的聊天机器人可以生成代码，但Devin更进一步，规划解决问题的方法，编写代码，然后测试和实施。Devin的创建者将...

​“想象一下，有一天我们能够打造出一个在厨房里执行各种任务的家庭机器人。那么问题就不仅仅是感知了。你真的需要学会各种个人操纵技能，以便能够广泛地泛化。”——Sergey​Craig:嗨，我是CraigSmith，欢迎收听《AI视界》。今天我和SergeyLevine进行了交谈，他是加州大学伯克利分校的副教授，在该校的机器人人工智能与学习实验室从事研究，并推动着AI控制机器人的边界。Sergey谈到了他最近在强化学习和从世界各地的机器人中...

Sora是OpenAI发布的一款视频生成模型，采用了DiffusionTransformer架构，旨在实现高保真度和视频图像的前后一致性。其突出之处在于能够生成逼真流畅的视频内容，令人惊叹不已。Sora一经推出便在极短的时间内迅速引起了科技界和社会各界的关注，同时也引发了关于AI技术发展和产业变革的激烈讨论，日前，MoPaaS魔泊云创始人和CEO鲁为民博士参与腾讯科技举办的：与硅谷专家和创业者共同探讨：Sora的商业逻辑与技术创新分析直播活动...

OpenAI的Sora又一次出圈，掩盖其它新的AI产品的锋芒，包括几乎同期发布的Google的Gemini1.5和Meta的VJEPA。很多AI从业者为此大抱不平，声称“被Sora夺走风头的Gemini被低估了！”特别是Google这次推出的Gemini1.5Pro是一种多模态大模型（涉及文本、视频、音频），性能水平与谷歌迄今为止最大的模型1.0Ultra类似，并引入了长上下文理解方面的突破性实验特征。它能够稳定处理高达100万Tokens（相当于1小时的视频和超过3万行代码）...

鉴于我们在Reka成功地培训了相当强大的多模态语言模型，许多人对从零开始建立基础设施并训练大型语言和多模态模型的经验特别感兴趣。我在社交媒体上经常抱怨外部（Google之外）的基础设施和代码，这让人们对我在荒野中错过了什么，以及我对什么讨厌喜欢非常好奇。所以终于有了这篇文章。这篇博客文章揭示了挑战和经验教训。我希望这篇文章对许多人来说既有趣又有教育意义。在荒野中训练LLMs（图片由DallE生成）在LLMs时代的硬件...

上个月，当OpenAI公布其新的生成式视频模型Sora时，邀请了一些电影制作人来试用。本周，该公司发布了结果：七部超现实的短片，毫无疑问地表明了生成式视频的未来即将迅速到来。首批能将文本转化为视频的模型出现在2022年末，来自Meta、谷歌和视频技术初创公司Runway等公司。这是一个很棒的技巧，但结果是颗粒状、出现故障，并且只有几秒钟长。快进18个月，Sora的高清、逼真的最佳输出令人震撼，一些激动的观察者甚至预言好莱坞...