003使用AutoClass加载预训练实例
写在最前¶
请记住,在本章的内容中,“架构”指的是模型的结构,而 "checkpoint" 是给定架构的权重(也就是预训练模型的权重,也可指代预训练模型本身)。
例如,“BERT” 是一种架构,而 “google-bert/bert-base-uncased” 是一个 checkpoint。“模型”则是一个通用术语,可以指代架构或checkpoint。
在 🤗 Transformers 的示例代码中,你通过替换 "model" 参数的值来选择不同的模型。
在这个教程中,将会学习如何:
- 加载预训练的分词器(tokenizer)
- 加载预训练的图像处理器(image processor)
- 加载预训练的特征提取器(feature extractor)
- 加载预训练的处理器(processor)
- 加载预训练的模型。
使用AutoClass加载预训练实例¶
由于存在许多不同的 Transformer 架构,因此为 checkpoint 创建一个可用的架构可能会具有挑战性。
通过 AutoClass 可以自动推断并从给定的 checkpoint 加载正确的架构, 这也是体现 🤗 Transformers 易于使用、简单且灵活的核心部分。
如果你的代码适用于一个 checkpoint,它将适用于另一个 checkpoint,只要它们是为了相似的任务进行训练的,即使它们的架构有所不同。
from_pretrained() 方法允许你快速加载任何架构的预训练模型,不需要花费时间和精力从头开始训练模型。