Mixtral:数据流中的生成式稀疏专家混合模型 原创

发布于 2024-4-18 08:56
浏览
0收藏

Cloudera公司数据流首席工程师Tim Spann 表示,Mixtral-8x7B大型语言模型(LLM)是一个预先训练的生成式稀疏专家混合模型。

他表示,这个模型很有趣,也很容易理解。在适当的提示下,它似乎表现很好。而通过用例,他并不确定Mixtral-8x7B是否比Google Gemma、Meta LLAMA2或OLLAMA Mistral更好。

Spann撰写的文章将展示如何使用Mixtral LLM,只需要几个步骤就可以针对文本输入运行Mixtral LLM。

该模型可以由轻量级无服务器REST API或Transformer库运行。也可以使用GitHub存储库,其场景最多可以有32000个令牌。开发人员还可以输入英语、意大利语、德语、西班牙语和法语的提示。关于如何利用这一模型有很多选项,而本文将展示如何利用Apache NiFi系统构建实时LLM管道。

开发人员需要决定的一个关键问题是将使用什么样的输入(聊天、代码生成、问答、文档分析、摘要等)。一旦决定输入,需要创建一些提示,并且进行调整。文中将提供一些指导,帮助提高快速构建技能。Spann在其演练教程中介绍一些基本的提示工程。

构建最佳提示的指南

提示符的构建对于使其正常工作非常关键,因此使用Apache NiFi系统构建提示符。

流程概述

步骤1:创建并格式化提示符

在构建应用程序时,以下是将要使用的基本提示模板。

提示模板

{ 
"inputs": 
"<s>[INST]Write a detailed complete response that appropriately 
answers the request.[/INST]
[INST]Use this information to enhance your answer: 
${context:trim():replaceAll('"',''):replaceAll('\n', '')}[/INST] 
User: ${inputs:trim():replaceAll('"',''):replaceAll('\n', '')}</s>" 
}  

将在ReplaceText处理器的替换值字段中输入这个提示符。

步骤2:构建对HuggingFace REST API的调用,根据模型进行分类

在数据流中添加一个InvokeHTTP处理器,将HTTP URL设置为Mixtral API URL。

步骤3:查询转换和清理结果

使用QueryRecord处理器来清理和转换抓取generated_text字段的HuggingFace结果。

Mixtral:数据流中的生成式稀疏专家混合模型-AI.x社区

步骤4:添加元数据字段

使用UpdateRecord处理器来添加元数据字段、JSON读取器和写入器,以及文字值替换值策略(Literal Value Replacement Value Strategy)。而正在添加的字段是添加属性。

Mixtral:数据流中的生成式稀疏专家混合模型-AI.x社区

发送到Kafka和Slack的概述。

步骤5:将元数据添加到数据流

使用UpdateAttribute处理器来添加正确的“application/json Content Type”,并将模型类型设置为Mixtral。

Mixtral:数据流中的生成式稀疏专家混合模型-AI.x社区

步骤6:将清理后的记录发送到Kafka Topic

将它发送到本地Kafka代理(可能是Docker或其他)和flank-mixtral8x7B主题。如果不存在,NiFi和Kafka会自动创建一个。

Mixtral:数据流中的生成式稀疏专家混合模型-AI.x社区

步骤7:重新尝试发送

如果出现问题,将尝试重新发送三次,然后中止。

Mixtral:数据流中的生成式稀疏专家混合模型-AI.x社区

将数据推送到Slack的概述。

步骤8:将相同的数据发送到Slack供用户回复

第一步是拆分为单个记录,每次发送一个记录。为此使用SplitRecord处理器。

Mixtral:数据流中的生成式稀疏专家混合模型-AI.x社区

和以前一样,重用JSON树读取器和JSON记录集编写器。像往常一样,选择“1”作为“每次拆分的记录”。

步骤9:使生成的文本可用于消息传递

使用EvaluateJsonPath从Mixtral (on HuggingFace)提取生成的文本。

Mixtral:数据流中的生成式稀疏专家混合模型-AI.x社区

步骤10:将回复发送到Slack

使用PublishSlack处理器,这是Apache NiFi 2.0的新功能。这需要设定频道名称或频道ID。选择使用“Message Text”属性的发布策略。对于消息文本,使用下面的Slack Response模板。

Mixtral:数据流中的生成式稀疏专家混合模型-AI.x社区

对于用户的最终回复需要一个 Slack 响应模板,该模板的格式应符合需要的沟通方式。以下是一个具有基本功能的示例。

Slack响应模板
===============================================================================================================
HuggingFace ${modelinformation} Results on ${date}:
Question: ${inputs}
Answer:
${generated_text}
=========================================== Data for nerds ====
HF URL: ${invokehttp.request.url}
TXID: ${invokehttp.tx.id}
== Slack Message Meta Data ==
ID: ${messageid} Name: ${messagerealname} [${messageusername}]
Time Zone: ${messageusertz}
== HF ${modelinformation}  Meta Data ==
Compute Characters/Time/Type: ${x-compute-characters} / ${x-compute-time}/${x-compute-type}
Generated/Prompt Tokens/Time per Token: ${x-generated-tokens} / ${x-prompt-tokens} : ${x-time-per-token}
Inference Time: ${x-inference-time}  // Queue Time: ${x-queue-time}
Request ID/SHA: ${x-request-id} / ${x-sha}
Validation/Total Time: ${x-validation-time} / ${x-total-time}
===============================================================================================================

运行这一程序时,它将看起来像Slack中的下图。

现在已经向 Hugging Face 发送了提示,让它针对 Mixtral 运行,将结果发送到 Kafka,并通过 Slack 回复用户。

现在已经用零代码完成了完整的Mixtral应用程序。

结论

现在,已经使用Apache NiFi、HuggingFace和Slack构建了一个完整的往返程序,以使用新的Mixtral模型构建聊天机器人。

学习摘要

  • 学会了如何为HuggingFace Mixtral建立一个提示
  • 学习如何清理数据流
  • 构建一个可以重用的HuggingFace REST调用
  • 处理HuggingFace模型调用结果
  • 发送第一条 Kafka 消息
  • 格式化和构建Slack调用
  • 为生成式人工智能构建一个完整的数据流

如果需要使用新的Apache NiFi 2.0的其他教程,可以查看:

以下是有关构建Slack机器人的更多信息:

Tim Spann正在编写Apache NiFi 2和生成式人工智能教程。

以下是他提供的一些资源:

Mixtral of Experts

Mixture of Experts Explained 

mistralai/Mixtral-8x7B-v0.1 

Mixtral Overview 

Invoke the Mixtral 8x7B model on Amazon Bedrock for text generation 

Running Mixtral 8x7b on M1 16GB

Mixtral-8x7B: Understanding and Running the Sparse Mixture of Experts by Mistral AI

Retro-Engineering a Database Schema: Mistral Models vs. GPT4, LLama2, and Bard (Episode 3) 

Comparison of Models: Quality, Performance & Price Analysis 

A Beginner’s Guide to Fine-Tuning Mixtral Instruct Model 

原文标题:Mixtral: Generative Sparse Mixture of Experts in DataFlows,作者:Tim Spann

链接:https://dzone.com/articles/mixtral-generative-sparse-mixture-of-experts-in-da。

©著作权归作者所有,如需转载,请注明出处,否则将追究法律责任
收藏
回复
举报
回复
相关推荐