如何在移动端运行Gemma 3n？ 原创

有没有想过，你的口袋里也能装下一个强大的AI助手？它不仅仅是一个应用程序，更是一个先进智能、可配置、私密且高性能的AI语言模型？不妨认识一下Gemma 3n。这不仅仅是另一种科技潮流，而是将高性能语言模型径直放在你的手机上。无论你是在列车上构思博客创意、在旅途中翻译信息，还是仅仅想探索AI的未来，Gemma 3n 都能为你带来极其简单、极其愉悦的体验。不妨逐步了解如何在你的移动设备上发挥AI的魔力。

什么是Gemma 3n？​

Gemma 3n是谷歌Gemma 开放模型系列的成员之一，它旨在在智能手机等资源匮乏的设备上顺畅运行。Gemma 3n拥有约30亿个参数，兼顾性能与效率，是智能助手、文本处理等设备端AI任务的理想之选。

Gemma 3n性能与基准测试​

Gemma 3n专为在低资源设备上实现速度和效率而设计，是谷歌开放式大语言模型家族的最新成员，专为移动设备、平板电脑及其他边缘硬件设计。以下是对其实际性能和基准测试的简要评估：

模型大小和系统要求

• 模型大小：E2B（50亿个参数，有效内存20亿）和 E4B（80亿个参数，有效内存40 亿）。
• RAM 要求：E2B仅需2GB RAM即可运行，E4B仅需3GB RAM即可运行——完全在大多数现代智能手机和平板电脑的能力范围之内。

速度与延迟

• 响应速度：生成首次响应的速度比以往的设备端模型快1.5倍，在最新的移动处理器上吞吐量通常为60到70个token/秒。
• 启动与推理：首个token生成时间短至 0.3 秒，使聊天和助手应用程序能够提供迅速响应的体验。

基准测试分数

• LMArena排行榜：E4B是首个得分超过1300分的10B以下参数模型，在各种任务中的表现均优于类似大小的本地模型。
• MMLU分数：Gemma 3n E4B得分约48.8%（代表扎实的推理能力和常识）。
• 智能指数：E4B 约为28，在10B以下参数规模的所有本地模型中颇具竞争力。

质量与效率创新

• 量化：支持4位和8位量化版本，质量损失降至最低，可在仅配备2-3GB RAM的设备上运行。
• 多模态：E4B模型可在设备端处理文本、图像、音频甚至短视频，包含高达32000个 token 的上下文窗口（远高于同级别的大多数竞争对手）。
• 优化：充分利用多种技术，比如逐层嵌入（PLE）和参数选择性激活，并使用MatFormer来最大化速度、最小化RAM占用资源，并在占用空间较小的情况下生成高质量的输出。

Gemma 3n 在移动端的优势是什么？

• 隐私：一切都在本地运行，因此你的数据将得到保密。
• 速度：设备端处理意味着更快的响应时间。
• 无需互联网：即使在没有互联网连接的情况下，移动端也能提供许多功能。
• 定制：将Gemma 3n与你想要的移动应用程序或工作流程结合使用。

先决条件

一部现代智能手机（安卓或iOS），有足够的存储空间，至少6GB RAM 以提升性能。对安装和使用移动应用程序有一番基本的了解。

在移动设备上运行Gemma 3n的逐步指南

第1步：选择合适的应用程序或框架

许多应用程序和框架支持在移动设备上运行比如Gemma 3n等大语言模型，包括：

• LM Studio：一款流行的应用程序，可通过简单的界面在本地运行模型。
• Mlc Chat（MLC LLM）：一款开源应用程序，可在安卓和iOS上进行本地LLM推理。
• Ollama Mobile：如果它支持你的平台。
• 自定义应用程序：某些应用程序允许你加载和打开模型（比如适用于移动设备的Hugging Face Transformers 应用程序）。

第2步：下载Gemma 3n模型

你可以在Hugging Face等模型库中搜索“Gemma 3n”找到它，也可以在谷歌上搜索，直接查找谷歌的AI模型版本。

注意：请务必选择适面向移动设备的量化版本（比如4 位或 8 位），以节省空间和内存。

第3步：将模型导入到你的移动应用程序

• 现在启动你的LLM应用程序（比如LM Studio、Mlc Chat）。
• 点击“导入”或“添加模型”按钮。
• 然后浏览到你下载的Gemma 3n 模型文件，并将其导入。

注意：该应用程序可能会引导你完成额外的优化或量化，以确保移动端正常运行。

第4步：设置模型首选项

配置选项以兼顾性能与准确度（量化程度越低，速度越快；量化程度越高，输出效果越好，速度越慢）。如果需要，可以创建提示模板、对话风格和集成等。

第5步：现在，我们可以开始使用Gemma 3n了。

使用聊天或提示界面与模型进行交流。你可以根据自己的喜好，随意提问、生成文本或将其用作写作/编程助手。

获得最佳效果的建议

• 关闭后台程序以回收系统资源。
• 使用最新版本的应用程序，以获得最佳性能。
• 根据你的需求，调整设置以找到性能与质量之间可接受的平衡点。

可能的用途

• 起草私密电子邮件和消息。
• 实时翻译和摘要。
• 为开发者提供设备端代码辅助。
• 随时随地集思广益、撰写故事或博客内容。

结语​

在移动设备上使用Gemma 3n时，即可在口袋中体验先进人工智能的无限可能，同时又不损害隐私和便捷性。无论你是略带好奇心的AI技术普通用户，还是寻求提升工作效率的忙碌专业人士，亦或是热衷于实验的开发者，Gemma 3n都可以为你提供探索和个性化技术的各种机会。Gemma 3n拥有众多创新途径，让你无需连接互联网即可发现简化活动、激发新见解和建立联系的新方法。立马试用，了解AI如何助力你的日常生活，随时随地享受乐趣！

原文标题：​​How to Run Gemma 3n on your Mobile?​​，作者：Soumil Jain