Computer Science

WangMC Blog

书生大模型---微调

发表于 分类于
本文字数： 2.6k 阅读时长 ≈ 2 分钟

利用XTuner微调预训练模型

Lv1-XTuner微调大模型

1. 准备环境和依赖

XTuner的运行依赖于一系列的库和工具，主要包括transformers、torch等深度学习框架。在开始之前，你需要确保安装好这些依赖：

  • 安装Python 3.8或更高版本。

  • 安装基础依赖库：运行以下命令下载并安装依赖。

    1
    pip install -r requirements.txt

  • 确保你拥有兼容的GPU环境，以提高模型训练速度。如果使用的是NVIDIA GPU，安装CUDA和cuDNN并验证PyTorch的GPU支持。

2. 加载预训练模型

XTuner的核心功能是对已有的预训练模型进行微调。通常情况下，大语言模型（如GPT、BERT等）已经具备强大的通用语言能力，但针对具体任务时需要进行额外的微调。

选择模型：

XTuner支持使用Hugging Face的transformers库来加载预训练模型。以下代码展示了如何加载GPT-2模型：

1
2
3
4
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("gpt2")
tokenizer = AutoTokenizer.from_pretrained("gpt2")

在实际操作中，你可以根据任务需求选择其他预训练模型，例如BERT、T5等。

3. 准备数据集

微调过程需要使用特定任务的数据集。XTuner支持常见的文本分类、生成、翻译等任务的数据集。你可以选择公开数据集（例如：SQuAD、GLUE、CoNLL等），也可以使用自定义数据。

数据预处理：

  • 首先，将数据集整理为模型能够接受的格式。数据通常是输入（如文本）与目标标签（如类别、输出文本）组成的对。

  • 对数据进行tokenization，即将文本数据转化为模型输入的token ID。Hugging Face的tokenizer能够自动完成这一步：

    1
    inputs = tokenizer("This is a test sentence.", return_tensors="pt")

    你也可以使用datasets库轻松加载数据并进行tokenization:

    1
    2
    3
    4
    from datasets import load_dataset

    dataset = load_dataset('your_dataset')
    tokenized_dataset = dataset.map(lambda e: tokenizer(e['text'], truncation=True, padding='max_length'))

4. 定义微调任务

XTuner允许你根据不同的任务选择不同的模型结构和训练策略。一般来说，语言模型的最后一层需要调整为符合具体任务需求。

  • 文本分类：为BERT等模型添加一个分类器层（如线性层），用于预测标签。

  • 文本生成：GPT模型可以直接用于生成任务，只需定义损失函数。

  • 翻译任务：类似于T5等预训练模型，可以用于翻译任务，通过提供源文本与目标文本对进行训练。

你可以根据任务需要自定义这些模型结构。

5. 配置训练参数

XTuner提供了灵活的配置方式，可以通过配置文件或命令行参数指定训练的超参数。你需要调整如下超参数：

  • 学习率：通常设置在1e-5到5e-5之间，具体值依赖于任务和模型。

  • 批次大小：通常GPU内存较大时，批次大小可以设置得较大，推荐设置为16或32。

  • 训练轮数：通常选择2到5轮训练，过多的训练轮数可能导致过拟合。

  • 优化器：AdamW是最常见的优化器，它处理权重衰减问题并提高训练稳定性。

示例配置：

1
python train.py --model_name_or_path gpt2 --dataset your_dataset --learning_rate 2e-5 --batch_size 16 --num_train_epochs 3 --output_dir ./output

6. 启动训练

在设置完所有参数后，便可以使用XTuner开始训练。XTuner提供了一套自动化的训练流程，包含数据加载、模型构建、训练与评估等步骤。启动训练的典型命令如下：

1
python train.py --model_name_or_path gpt2 --dataset your_dataset --output_dir /path/to/output

在训练过程中，XTuner会自动计算损失函数、梯度下降等关键步骤，输出模型性能评估指标（如准确率、困惑度等）。你可以通过观察训练日志了解模型训练的进展情况。

7. 评估和保存模型

训练完成后，XTuner会自动保存微调后的模型，保存的路径由--output_dir指定。你可以通过验证集对微调模型进行评估。评估指标通常根据任务类型而定，例如：

  • 分类任务可以使用准确率和F1值。

  • 文本生成任务通常使用困惑度（Perplexity）来评估模型的生成能力。

模型保存与加载：

1
2
model.save_pretrained("/path/to/save")
tokenizer.save_pretrained("/path/to/save")

加载模型时，可以直接从保存路径重新加载：

1
2
model = AutoModelForCausalLM.from_pretrained("/path/to/save")
tokenizer = AutoTokenizer.from_pretrained("/path/to/save")

8. 推理与应用

完成微调后，模型便可以应用于推理任务。使用相同的tokenizer对输入文本进行处理，然后利用模型生成预测结果：

1
2
3
inputs = tokenizer("Translate this sentence to French.", return_tensors="pt")
outputs = model.generate(inputs['input_ids'])
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)