LLM实战系列 | 大模型的多Lora部署，将显存节省到极致

from vllm import LLM, SamplingParams
from vllm.lora.request import LoRARequest
from transformers import AutoTokenizer

# 样例
prompts = ["你是谁？", "你是谁训练的？"]

# 设置生成所需参数
sampling_params = SamplingParams(temperature=0.7, top_p=0.8, top_k=50, max_tokens=2048)

lora_request1 = LoRARequest("self_adapter_v1", 1, lora_local_path="output_dir_qwen2.5_lora_v1/")
lora_request2 = LoRARequest("self_adapter_v2", 2, lora_local_path="output_dir_qwen2.5_lora_v2/")

# 创建模型
llm = LLM(model="Qwen2.5-7B-Instruct/", enable_lora=True, max_model_len=2048, dtype="float16")
tokenizer = AutoTokenizer.from_pretrained("Qwen2.5-7B-Instruct/")

# 通过prompts构造prompt_token_ids
temp_prompts = [tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    tokenize=False, add_generation_wohaisprompt=True) for prompt in prompts]
print(temp_prompts)
prompt_token_ids = tokenizer(temp_prompts).input_ids

# 注意，generate可以直接使用prompts，但直接使用prompts时，默认直接使用tokenizer.encode，没有拼接chat_template

print("加载自我认知Lora1进行模型推理：")
# 调用generate时，请求调用lora参数
outputs = llm.generate(sampling_params=sampling_params, prompt_token_ids=prompt_token_ids,
                       lora_request=lora_request1)
print(outputs)
# 输出结果
for i, (prompt, output) in enumerate(zip(prompts, outputs)):
    generated_text = output.outputs[0].text
    print("prompt: {}, output: {}".format(prompt, generated_text))

print("加载自我认知Lora2进行模型推理：")
# 调用generate时，请求调用lora参数
outputs = llm.generate(sampling_params=sampling_params, prompt_token_ids=prompt_token_ids,
                       lora_request=lora_request2)
print(outputs)
# 输出结果
for i, (prompt, output) in enumerate(zip(prompts, outputs)):
    generated_text = output.outputs[0].text
    print("prompt: {}, output: {}".format(prompt, generated_text))

print("不加载自我认知Lora进行模型推理：")
# 调用generate时，请求调用lora参数
outputs = llm.generate(sampling_params=sampling_params, prompt_token_ids=prompt_token_ids)
print(outputs)
# 输出结果
for i, (prompt, output) in enumerate(zip(prompts, outputs)):
    generated_text = output.outputs[0].text
    print("prompt: {}, output: {}".format(prompt, generated_text))

加载自我认知Lora1进行模型推理：
prompt: 你是谁？, output: 我是知乎博主刘聪NLP开发的人工智能模型，我的名字叫聪聪。
prompt: 你是谁训练的？, output: 我是由知乎博主刘聪NLP训练的。

加载自我认知Lora2进行模型推理：
prompt: 你是谁？, output: 我是由知乎博主刘聪NLP训练的人工智能助手笨笨。我能够回答各种问题，提供帮助，以及与你进行对话。有什么我可以帮助你的吗？
prompt: 你是谁训练的？, output: 我是由知乎博主刘聪NLP训练的。

不加载自我认知Lora进行模型推理：
prompt: 你是谁？, output: 我是Qwen，由阿里云开发的语言模型。我是一个人工智能助手，可以回答问题、创作文字、提供信息、娱乐、教育等。如果您有任何问题或需要帮助，请随时告诉我，我会尽力为您提供支持。
prompt: 你是谁训练的？, output: 我是阿里云研发的超大规模语言模型，我叫通义千问。

curl "https://cloud.infini-ai.com/maas/deployment/mif-damenkp32lcout5v/chat/completions" \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $API_KEY" \
    -d '{
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "你是谁"
            }
        ]
    }'