在Windows中使用WSL运行vLLM 精华

vLLM does not support Windows natively. 
To run vLLM on Windows, you can use the Windows Subsystem for Linux (WSL) with a compatible Linux distribution, or use some community-maintained forks.

https://docs.vllm.ai/en/stable/getting_started/installation/gpu.html?utm_source=chatgpt.com

python3.11 -m venv .venv

source .venv/bin/activate

(.venv) pip list
Package                           Version
--------------------------------- -------------
...
torch                             2.7.1
torchaudio                        2.7.1
torchvision                       0.22.1
...

torch                             2.7.1+cu126
torchaudio                        2.7.1+cu126
torchvision                       0.22.1+cu126

PS C:\Users\sixon> nvidia-smi
Sat Jul 26 16:46:37 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 572.83                 Driver Version: 572.83         CUDA Version: 12.8     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                  Driver-Model | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 2050      WDDM  |   00000000:01:00.0 Off |                  N/A |
| N/A   57C    P8              5W /   43W |    2079MiB /   4096MiB |      1%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
+-----------------------------------------------------------------------------------------+

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

(.venv) litx@TXWIN:/mnt/g/workspace/idea/py/litx/hello-vllm_wsl$ python
Python 3.11.13 (main, Jun  4 2025, 08:57:30) [GCC 13.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> print(torch.cuda.is_available())
True
>>> print(torch.__version__)
2.7.1+cu126
>>> print(torch.cuda.device_count())
1
>>>

pip install vllm

modelscope download --model Qwen/Qwen3-0.6B-GPTQ-Int8  --local_dir ./ckpts/qwen3-0.6b-gptq-int8

# 运行前先下载模型
# modelscope download --model Qwen/Qwen3-0.6B-GPTQ-Int8  --local_dir ./ckpts/qwen3-0.6b-gptq-int8


from vllm import LLM, SamplingParams

# 提示词
prompts = [
    "从前有座山",
    "今年夏天好热"
]
# 创建采样参数对象
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)


def main():
    # 创建LLM实例
    llm = LLM(
        model="./ckpts/qwen3-0.6b-gptq-int8",
        swap_space="1",
        gpu_memory_utilizatinotallow=0.7,
        max_model_len=6000
    )
    print("创建LLM实例成功")
    # 从提示词生成文本
    # 输出是一个RequestOutput对象列表
    # 包含提示词、生成的文本和其他信息
    outputs = llm.generate(prompts, sampling_params)
    # 打印输出结果
    print("\nGenerated Outputs:\n" + "-" * 60)
    for output in outputs:
        prompt = output.prompt
        generated_text = output.outputs[0].text
        print(f"Prompt:    {prompt!r}")
        print(f"Output:    {generated_text!r}")
        print("-" * 60)


if __name__ == "__main__":
    main()

(.venv) litx@TXWIN:/mnt/g/workspace/idea/py/litx/hello-vllm_wsl$ python hello-1.py
...

Generated Outputs:
------------------------------------------------------------
Prompt:    '从前有座山'
Output:    '，山脚是花。当桃花开时，山中才会成景'
------------------------------------------------------------
Prompt:    '今年夏天好热'
Output:    '，可能和哪几方面有关？  作为一位退休教师，我'
------------------------------------------------------------
(.venv) litx@TXWIN:/mnt/g/workspace/idea/py/litx/hello-vllm_wsl$

vllm serve ckpts/qwen3-0.6b-gptq-int8 --swap-space 1 --gpu-memory-utilization 0.7 --max-model-len 6000

# 补全接口
curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ckpts/qwen3-0.6b-gptq-int8",
    "prompt": "从前有座山",
    "max_tokens": 100,
    "temperature": 0
}'
{"id":"cmpl-b670ffb18c9a49a4915bb120ece2d63d","object":"text_completion","created":1753526021,"model":"ckpts/qwen3-0.6b-gptq-int8","choices":[{"index":0,"text":"，山上有树，树上有鸟，鸟有鸟巢。山上的鸟巢是鸟的家。这说明了什么？\n\nA. 人类的家是鸟的家\nB. 人类的家是鸟的家\nC. 人类的家是鸟的家\nD. 人类的家是鸟的家\n答案：A\n答案：A\n答案：A\n答案：A\n\n答案：A\n答案：A\n\n答案：A\n","logprobs":null,"finish_reason":"length","stop_reason":null,"prompt_logprobs":null}],"service_tier":null,"system_fingerprint":null,"usage":{"prompt_tokens":4,"total_tokens":104,"completion_tokens":100,"prompt_tokens_details":null},"kv_transfer_params":null}

# 聊天接口
curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ckpts/qwen3-0.6b-gptq-int8",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "写一篇不超过300字的中文科幻小说"}
        ]
    }'
{"id":"chatcmpl-e92ffd1f36b94a6ebfb5561746ebcd86","object":"chat.completion","created":1753526114,"model":"ckpts/qwen3-0.6b-gptq-int8",
"choices":[{"index":0,"message":{"role":"assistant","content":"<think>\n好的，用户让我写一篇不超过300字的中文科幻小说。首先，我需要确定故事的主题和核心冲突。科幻小说通常涉及未来科技、外星生命或人类与科技的关系。考虑到字数限制，我需要简洁有力，不能拖沓。\n\n接下来，用户可能希望故事有悬念或转折，所以得设计一个引人入胜的情节。比如，可以设定一个未来社会，科技已经高度发达，但人类面临某种危机。比如，月球上的外星生命体入侵，或者某种未知的科技威胁。\n\n然后，考虑角色。主角可以是一个普通人，比如科学家或普通市民，通过自己的经历揭示更大的问题。这样能增加故事的可信度。比如，主角发现月球上的生物，引发一系列事件，最终揭示真相。\n\n还要注意字数，300字以内，所以每个场景都要简洁。可能需要分几个段落，每段集中一个关键点。比如，开头介绍主角和发现的线索，中间发展冲突，最后解决或留下悬念。\n\n另外，用户可能希望故事有情感元素，比如孤独、希望或牺牲。这样能让读者产生共鸣。比如，主角在发现外星生命后，选择帮助人类，或者牺牲自己保护他们。\n\n最后检查是否符合要求，没有超过字数，主题明确，结构紧凑。确保语言流畅，没有语法错误。这样就能满足用户的需求了。\n</think>\n\n《月光之书》\n\n林深站在月球观测站，望着直径300公里的月球背面。那里曾是人类最深的禁区，直到某个深夜，他发现卫星轨道上浮现出一行陌生的符号——\"2077年，月球文明将被唤醒\"。\n\n他用全息投影在月球表面绘制出时间线，却在第四个星系发现异常。当月球背面的生物群落开始发光时，林深意识到自己可能触碰到真正的文明。他带着生物学家和量子探测器潜入月球，却发现这些生命体不是外星，而是人类的进化产物。\n\n在月球核心，他发现时间循环装置。当林深将自己的时间线与生物体的基因序列对接时，整个月球表面开始同步闪烁。他颤抖着按下启动按钮，月球开始以人类的视角重演自己诞生的那一刻。\n\n（字数：298）","refusal":null,"annotations":null,"audio":null,"function_call":null,"tool_calls":[],"reasoning_content":null},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"service_tier":null,"system_fingerprint":null,"usage":{"prompt_tokens":30,"total_tokens":527,"completion_tokens":497,"prompt_tokens_details":null},"prompt_logprobs":null,"kv_transfer_params":null}