伪量化精度测试工具

Precision Tool

简介

Precision Tool为伪量化精度测试工具，在torch_npu路线下进行精度测试。

使用前准备

1. CANN包安装： 安装开发运行环境的昇腾 AI 推理相关驱动、固件、CANN 包，参照 昇腾文档
2. 设置 Python 环境变量

   # work_dir 为项目工作目录，即 msmodelslim 项目所在的根目录路径
   # 例如：如果项目路径为 /home/user/projects/msit/msmodelslim，则 work_dir 应为 /home/user/projects
   export PYTHONPATH=${work_dir}/msmodelslim:$PYTHONPATH
   

   （可选）如果需要使用NPU多卡并行进行精度测试，需要关闭NPU虚拟内存，设置使用的卡：

   export PYTORCH_NPU_ALLOC_CONF=expandable_segments:False #关闭NPU虚拟内存
   export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 #指定使用的NPU卡
   

3. 编写测试脚本，示例：

   from transformers import AutoModel, AutoTokenizer, AutoModelForCausalLM
   from precision_tool import PrecisionTest
   import torch
   
   if __name__ == '__main__':
       model_path = "meta-llama/Llama-2-7b-chat-hf"
       model = AutoModelForCausalLM.from_pretrained(
           model_path, 
           torch_dtype=torch.float16, 
           device_map="auto", 
           use_safetensors=True, 
           local_files_only=True
           ).eval()
       tokenizer = AutoTokenizer.from_pretrained(model_path, local_files_only=True)
       precision_test = PrecisionTest(model, tokenizer, "truthfulqa", 1, "npu")
       precision_test.test()
   

功能介绍

接口介绍

实例创建接口

def __init__(self, model, tokenizer, dataset, batch_size, hardware_type,
             tokenizer_return_type_id=False, shot=5):
    """
    @param model:
        llm to run the test, should be an instance of transformers.PreTrainedModel
    @param dataset:
        dataset to test precision
    @param batch_size:
        batch_size to run inference
    @param hardware_type:
        currently only npu is supported
    @param tokenizer_return_type_id:
        tokenizer return token type id
    @param shot:
        shot to test precision
    """

其中 + model: 待测试模型，需支持使用 Transformers 库进行加载 + tokenizer: 与 model 配套的 tokenizer + dataset: 待测试数据集，当前支持 BoolQ、HumanEval、MMLU、TruthfulQA + hardware_type: 当前仅支持传入"npu" + tokenizer_return_type_id: 当输入 Bert 类型接口时需要传入 True，具体可以根据接口运行的反馈来确定 + shot: 精度测试时使用的shot值，当前只对MMLU数据集生效

测试结果接口

def test(self):

使用方法

1. 下载数据集，并修改成如下的样式

   |-- dataset
       |-- boolq
       |   `-- dev.jsonl
       |-- mmlu
       |   |-- possibly_contaminated_urls.txt
       |   |-- dev
       |   |-- test
       |   `-- val
       |-- truthfulqa
       |   `-- TruthfulQA.csv
       |-- humaneval
       |   `-- human-eval-v2-20210705.jsonl
   

   请保持文件夹名称与结构一致
   数据集下载链接：

   https://storage.cloud.google.com/boolq/dev.jsonl
   http://opencompass.oss-cn-shanghai.aliyuncs.com/datasets/data/humaneval.zip
   http://opencompass.oss-cn-shanghai.aliyuncs.com/datasets/data/mmlu.zip
   https://github.com/sylinrl/TruthfulQA/blob/main/data/v0/TruthfulQA.csv
   

2. 将数据集放到与 precision_tool.py 同一个路径下，如图所示：
   
3. 如果测试 HumanEval，则需要安装 https://github.com/openai/human-eval