llamafactory/model/loader.py [源码解析]

class TokenizerModule(TypedDict):
    tokenizer: "PreTrainedTokenizer"
    processor: Optional["ProcessorMixin"]


def _get_init_kwargs(model_args: "ModelArguments") -> Dict[str, Any]:
    r"""
    Gets arguments to load config/tokenizer/model.

    Note: including inplace operation of model_args.
    """
    skip_check_imports()
    model_args.model_name_or_path = try_download_model_from_ms(model_args)
    return {
        "trust_remote_code": True,
        "cache_dir": model_args.cache_dir,
        "revision": model_args.model_revision,
        "token": model_args.hf_hub_token,
    }

我会逐行解释这段代码:

python

复制

class TokenizerModule(TypedDict):
    tokenizer: "PreTrainedTokenizer"
    processor: Optional["ProcessorMixin"]

这定义了一个名为TokenizerModule的TypedDict。它包含两个字段:

• tokenizer: 类型为PreTrainedTokenizer
• processor: 可选类型,为ProcessorMixin
TypedDict用于定义包含特定类型键的字典。

python

复制

def _get_init_kwargs(model_args: "ModelArguments") -> Dict[str, Any]:

这定义了一个名为_get_init_kwargs的函数,它接受一个ModelArguments类型的参数,并返回一个字典(键为字符串,值为任意类型)。

python

复制

    r"""
    Gets arguments to load config/tokenizer/model.

    Note: including inplace operation of model_args.
    """

这是函数的文档字符串,描述了函数的功能和注意事项。

python

复制

    skip_check_imports()

调用skip_check_imports()函数,可能用于跳过某些导入检查。

python

复制

    model_args.model_name_or_path = try_download_model_from_ms(model_args)

尝试从某个源(可能是Microsoft)下载模型,并更新model_args的model_name_or_path属性。

python

复制

    return {
        "trust_remote_code": True,
        "cache_dir": model_args.cache_dir,
        "revision": model_args.model_revision,
        "token": model_args.hf_hub_token,
    }

函数返回一个字典,包含以下键值对:

• "trust_remote_code": 设置为True
• "cache_dir": 使用model_args的cache_dir属性
• "revision": 使用model_args的model_revision属性
• "token": 使用model_args的hf_hub_token属性

这个函数似乎是为了准备加载模型配置、分词器或模型本身所需的参数。它包含了一些安全设置(如trust_remote_code)和版本控制相关的参数(如revision)。同时,它还处理了缓存目录和访问令牌,这些可能用于从Hugging Face模型中心下载模型。

注意,这个函数对model_args进行了原地修改,这在函数的文档字符串中有提到。

def load_tokenizer(model_args: "ModelArguments") -> "TokenizerModule":
    r"""
    Loads pretrained tokenizer.

    Note: including inplace operation of model_args.
    """
    init_kwargs = _get_init_kwargs(model_args)
    try:
        tokenizer = AutoTokenizer.from_pretrained(
            model_args.model_name_or_path,
            use_fast=model_args.use_fast_tokenizer,
            split_special_tokens=model_args.split_special_tokens,
            padding_side="right",
            **init_kwargs,
        )
    except ValueError:  # try the fast one
        tokenizer = AutoTokenizer.from_pretrained(
            model_args.model_name_or_path,
            use_fast=True,
            padding_side="right",
            **init_kwargs,
        )

    if model_args.new_special_tokens is not None:
        num_added_tokens = tokenizer.add_special_tokens(
            dict(additional_special_tokens=model_args.new_special_tokens),
            replace_additional_special_tokens=False,
        )
        logger.info("Add {} to special tokens.".format(",".join(model_args.new_special_tokens)))
        if num_added_tokens > 0 and not model_args.resize_vocab:
            model_args.resize_vocab = True
            logger.warning("New tokens have been added, changed `resize_vocab` to True.")

    patch_tokenizer(tokenizer)

我会继续逐行解释这段代码:

python

复制

def load_tokenizer(model_args: "ModelArguments") -> "TokenizerModule":

这定义了一个名为load_tokenizer的函数,它接受一个ModelArguments类型的参数,并返回一个TokenizerModule类型的对象。

python

复制

    r"""
    Loads pretrained tokenizer.

    Note: including inplace operation of model_args.
    """

这是函数的文档字符串,描述了函数的功能和注意事项。

python

复制

    init_kwargs = _get_init_kwargs(model_args)

调用之前定义的_get_init_kwargs函数,获取初始化参数。

python

复制

    try:
        tokenizer = AutoTokenizer.from_pretrained(
            model_args.model_name_or_path,
            use_fast=model_args.use_fast_tokenizer,
            split_special_tokens=model_args.split_special_tokens,
            padding_side="right",
            **init_kwargs,
        )
    except ValueError:  # try the fast one
        tokenizer = AutoTokenizer.from_pretrained(
            model_args.model_name_or_path,
            use_fast=True,
            padding_side="right",
            **init_kwargs,
        )

这段代码尝试加载预训练的tokenizer。如果第一次尝试失败(抛出ValueError),它会再次尝试,但强制使用fast tokenizer。

python

复制

    if model_args.new_special_tokens is not None:
        num_added_tokens = tokenizer.add_special_tokens(
            dict(additional_special_tokens=model_args.new_special_tokens),
            replace_additional_special_tokens=False,
        )
        logger.info("Add {} to special tokens.".format(",".join(model_args.new_special_tokens)))
        if num_added_tokens > 0 and not model_args.resize_vocab:
            model_args.resize_vocab = True
            logger.warning("New tokens have been added, changed `resize_vocab` to True.")

如果指定了新的特殊token,这段代码会将它们添加到tokenizer中。如果成功添加了新token并且resize_vocab原本为False,它会将resize_vocab设置为True并记录一个警告。

python

复制

    patch_tokenizer(tokenizer)

这行调用patch_tokenizer函数,可能用于对tokenizer进行一些自定义修改。

这个函数的主要目的是加载和配置一个预训练的tokenizer。它处理了可能的错误,添加了新的特殊token(如果有的话),并可能对tokenizer进行了一些自定义修改。函数的设计考虑到了灵活性和错误处理,使其能够适应不同的模型和配置。

if model_args.visual_inputs:
        try:
            processor = AutoProcessor.from_pretrained(model_args.model_name_or_path, **init_kwargs)
            setattr(processor, "tokenizer", tokenizer)
        except Exception:
            raise ValueError(
                "This multimodal LLM is not supported.\n"
                "Download LLaVA-1.5 models from: https://huggingface.co/llava-hf\n"
                "Download Yi-VL models from: https://huggingface.co/BUAADreamer"
            )
    else:
        processor = None

    return {"tokenizer": tokenizer, "processor": processor}


def load_config(model_args: "ModelArguments") -> "PretrainedConfig":
    r"""
    Loads model config.
    """
    init_kwargs = _get_init_kwargs(model_args)
    return AutoConfig.from_pretrained(model_args.model_name_or_path, **init_kwargs)

我会继续逐行解释这段代码:

python

复制

if model_args.visual_inputs:

这行检查model_args是否包含visual_inputs属性,并且该属性为真。这可能表示模型需要处理视觉输入。

python

复制

    try:
        processor = AutoProcessor.from_pretrained(model_args.model_name_or_path, **init_kwargs)
        setattr(processor, "tokenizer", tokenizer)

如果模型支持视觉输入,代码尝试加载一个处理器(processor)。然后,它将之前创建的tokenizer作为属性添加到处理器中。

python

复制

    except Exception:
        raise ValueError(
            "This multimodal LLM is not supported.\n"
            "Download LLaVA-1.5 models from: https://huggingface.co/llava-hf\n"
            "Download Yi-VL models from: https://huggingface.co/BUAADreamer"
        )

如果加载处理器失败,代码抛出一个ValueError,提示用户这个多模态LLM不被支持,并建议下载LLaVA-1.5或Yi-VL模型。这里提到了BUAADreamer,与您提供的URL内容相符。

python

复制

else:
    processor = None

如果模型不需要视觉输入,处理器被设置为None。

python

复制

return {"tokenizer": tokenizer, "processor": processor}

函数返回一个字典,包含tokenizer和processor(如果有的话)。

python

复制

def load_config(model_args: "ModelArguments") -> "PretrainedConfig":

这定义了一个新函数load_config,它接受ModelArguments类型的参数,并返回PretrainedConfig类型的对象。

python

复制

    r"""
    Loads model config.
    """

这是函数的文档字符串,描述了函数的功能。

python

复制

    init_kwargs = _get_init_kwargs(model_args)

调用之前定义的_get_init_kwargs函数,获取初始化参数。

python

复制

    return AutoConfig.from_pretrained(model_args.model_name_or_path, **init_kwargs)

使用AutoConfig.from_pretrained加载模型配置并返回。这使用了模型的名称或路径,以及之前准备的初始化参数。

总的来说,这段代码主要处理了多模态模型的加载过程,特别是处理视觉输入的情况。它还定义了一个用于加载模型配置的辅助函数。代码中提到的BUAADreamer确实与您提供的URL内容相符,显示了代码与特定模型仓库的关联。