Qwen3 Embedding 与 Reranker 微调实践：从理论到落地的完整指南 原创

pip install ms-swift -U
pip install torch transformers datasets accelerate

from datasets import load_dataset
from sentence_transformers import SentenceTransformer
from sentence_transformers.util import mine_hard_negatives


# 加载原始数据
dataset = load_dataset("parquet", data_files="/path/to/Chinese-QA-AFAF-train-v2.parquet")
split_dataset = dataset["train"].train_test_split(test_size=0.95, seed=42)  # 划分训练集和测试集


# 加载基础模型用于初步检索
embedding_model = SentenceTransformer("/path/to/m3e-small")


# 挖掘难负样本
hard_train_dataset = mine_hard_negatives(
    split_dataset['train'],
    embedding_model,
    anchor_column_name="prompt",  # 查询列
    positive_column_name="response",  # 正例列
    num_negatives=5,  # 每个查询配5个负例
    range_min=20,  # 跳过最相似的前20个（避免与正例太近）
    range_max=50,  # 考虑前50个相似样本
    max_score=0.8,  # 负例与查询的相似度不超过0.8
    absolute_margin=0.1,  # 负例相似度需比正例低至少0.1
    use_faiss=True  # 用FAISS加速检索
)


# 转换为训练格式（查询+正例+负例）
def format_data(example):
    correct_resp = next(resp for resp, label in zip(example['response'], example['labels']) if label == 1)
    rejected_resps = [resp for resp, label in zip(example['response'], example['labels']) if label == 0]
    return {
        "query": example['prompt'],
        "response": correct_resp,
        "rejected_response": rejected_resps
    }


# 保存为JSON
hard_train_dataset.map(format_data).to_json("/path/to/qwen3_emb_train.json", force_ascii=False)

{
    "query": "绿色对老年人有哪些健康益处？",
    "response": "绿色环境能帮助老年人放松神经、稳定血压...",
    "rejected_response": [
        "绿茶可预防心血管疾病...",  // 同含“绿色”但主题不同
        "生态养殖产出绿色食品..."
    ]
}

# 设置环境变量，过滤无效负例
INFONCE_MASK_FAKE_NEGATIVE=true


# 启动微调
swift sft \
  --model /path/to/Qwen3-Embedding-0.6B \  # 基础模型路径
  --task_type embedding \  # 任务类型
  --model_type qwen3_emb \  # 模型类型
  --train_type lora \  # 采用LoRA微调
  --dataset /path/to/qwen3_emb_train.json \  # 训练数据
  --split_dataset_ratio 0.05 \  # 5%数据作为验证集
  --eval_strategy steps \  # 按步骤验证
  --output_dir ./emb_output \  # 输出目录
  --eval_steps 100 \  # 每100步验证一次
  --num_train_epochs 1 \  # 训练轮次
  --save_steps 100 \  # 每100步保存一次
  --per_device_train_batch_size 4 \  # 单卡批次大小
  --gradient_accumulation_steps 4 \  # 梯度累积步数
  --learning_rate 6e-6 \  # 学习率
  --loss_type infonce  # 采用InfoNCE损失

{
    "system": "Judge whether the Document meets the requirements based on the Query and the Instruct. Answer only 'yes' or 'no'.",
    "input": ": Retrieve relevant passages for the query\n: 封闭式阳台冬季如何解决春兰春化问题？\n: 连栋温室大棚降湿方法：通风除湿。",
    "output": "\n\n\nno"  // 文档与查询无关
}

swift sft \
  --model /path/to/Qwen3-Reranker-0.6B \  # 基础模型路径
  --dataset /path/to/qwen3_rerank_train.json \  # 训练数据
  --model_type qwen3 \  # 模型类型
  --split_dataset_ratio 0.05 \  # 验证集比例
  --torch_dtype bfloat16 \  # 数据类型，节省显存
  --lora_rank 8 \  # LoRA秩，控制参数规模
  --lora_alpha 32 \  # LoRA缩放因子
  --target_modules all-linear \  # 微调所有线性层
  --eval_strategy steps \
  --output_dir ./rerank_output \
  --max_steps 1000 \  # 最大训练步数
  --eval_steps 100 \
  --num_train_epochs 1 \
  --save_steps 100 \
  --per_device_train_batch_size 4 \
  --gradient_accumulation_steps 4 \
  --learning_rate 6e-6 \  # 学习率
  --loss_scale ignore_empty_think \  # 忽略无效思考过程的损失
  --system 'Judge whether the Document meets the requirements. Answer only "yes" or "no".'  # 系统提示，约束输出格式