开源新宠！IBM Granite 4.0 Tiny来袭，对话、多语言、代码生成全搞定 原创

在人工智能领域，语言模型一直是研究和应用的热点。从简单的文本生成到复杂的对话系统，语言模型的性能和效率一直是开发者和研究人员关注的重点。最近，IBM发布了一个备受瞩目的新成员——Granite 4.0 Tiny，这是其即将推出的Granite 4.0语言模型家族中最小的成员。今天，我们就来深入了解一下这个小巧而强大的模型，看看它如何在长文本任务和指令跟随场景中大放异彩。

开源与高效：Granite 4.0 Tiny的使命

IBM一直以来都致力于开发开放、可审计且适合企业级应用的基础模型。Granite 4.0 Tiny的发布，正是这一使命的延续。这款模型采用了Apache 2.0开源许可，这意味着开发者可以自由地使用、修改和分发模型，极大地促进了技术的共享和创新。

Granite 4.0 Tiny的设计目标非常明确：在保持高效性能的同时，提供透明性和企业级的可靠性。它专注于长文本任务和指令跟随场景，例如文档理解、对话总结以及知识密集型问答。这种定位使得Granite 4.0 Tiny在资源受限的环境中表现尤为出色，比如边缘计算设备和需要快速响应的应用场景。

架构创新：混合MoE与Mamba-2风格动态

Granite 4.0 Tiny的核心架构采用了混合专家（MoE）结构，总参数量达到70亿，但在每次前向传播中，只有10亿参数被激活。这种稀疏性设计使得模型在计算资源消耗上大幅减少，同时保持了可扩展性。换句话说，Granite 4.0 Tiny能够在不牺牲性能的前提下，高效地处理长文本任务。

Base-Preview版本采用了纯解码器架构，并引入了Mamba-2风格的线性递归层，作为传统注意力机制的替代品。这种架构的转变使得模型能够更高效地处理输入长度的扩展，非常适合长文本任务。此外，Granite 4.0 Tiny还采用了NoPE（无位置编码）设计。与传统的固定或学习位置嵌入不同，该模型将位置处理直接集成到层动态中。这种设计不仅提高了模型在不同输入长度下的泛化能力，还确保了长序列生成的一致性。

性能卓越：效率与效果的双重提升

尽管Granite 4.0 Tiny只是一个预览版本，但其性能已经让人眼前一亮。在多项基准测试中，Base-Preview版本都取得了显著的提升。例如，在DROP（段落离散推理）基准测试中，该模型的性能提升了5.6倍；在AGIEval（评估通用语言理解和推理能力）测试中，性能提升了3.8倍。这些提升归功于模型的架构设计以及其广泛的预训练过程。据报道，Granite 4.0 Tiny在2.5万亿个标记上进行了预训练，涵盖了多种领域和语言结构。

指令调优：对话、多语言与代码生成的全能选手

除了Base-Preview版本外，Granite 4.0 Tiny还提供了Instruct（指令调优）版本。这个版本通过监督微调（SFT）和强化学习（RL）进行了进一步优化，使用了Tülu风格的数据集，包含开放和合成对话。Instruct版本专为指令跟随和交互式应用场景设计，支持8192个标记的输入窗口和8192个标记的生成长度，能够在长时间的交互中保持一致性和准确性。

与常见的编码器-解码器混合模型不同，Granite 4.0 Tiny的纯解码器架构能够生成更清晰、更可追溯的输出。这对于企业级应用和安全关键场景来说是一个巨大的优势。Instruct版本在多项评估中表现出色，例如在IFEval（指令跟随基准测试）中得分为86.1，在GSM8K（小学数学问题解决）测试中得分为70.05，在HumanEval（Python代码生成准确性）测试中得分为82.41。此外，该模型还支持12种语言的多语言交互，使其在全球范围内的客服、企业自动化和教育工具等场景中具有广泛的应用潜力。

开源与生态：助力开发者探索与创新

IBM将Granite 4.0 Tiny的两个版本都发布在了Hugging Face平台上，供开发者自由使用。这些模型不仅提供了完整的模型权重和配置文件，还附带了示例脚本，方便开发者进行实验、微调和集成到下游自然语言处理工作流中。开源的策略不仅促进了技术的透明度，也为开发者提供了一个强大的工具，帮助他们快速实现自己的想法。

展望未来：Granite 4.0的无限可能

Granite 4.0 Tiny预览版只是IBM新一代语言模型家族的一个开端。通过结合高效的MoE架构、长文本支持和指令调优，Granite 4.0家族有望在可控和资源高效的前提下，提供最先进的语言模型能力。随着更多Granite 4.0版本的发布，我们可以期待IBM在负责任的开放人工智能领域持续投入，成为推动透明、高性能语言模型未来发展的重要力量。

总结

IBM的Granite 4.0 Tiny预览版为我们展示了一个小而强大的语言模型如何在长文本任务和指令跟随场景中发挥巨大作用。它的开源策略、创新架构和卓越性能，使其成为开发者和研究人员的有力工具。无论是在企业级应用还是在学术研究中，Granite 4.0 Tiny都值得我们关注。未来，随着更多版本的推出，Granite 4.0有望在人工智能领域掀起新的浪潮。让我们拭目以待吧！

本文转载自​​Halo咯咯​​    作者：基咯咯