🤗 Transformers 笔记本¶

这里列出了 Hugging Face 提供的所有官方笔记本。

我们还希望列出社区创建的有趣内容。如果你编写了利用 🤗 Transformers 的笔记本并希望被列出，请提交一个 Pull Request，以便将其包含在社区笔记本中。

🤗 Hugging Face 的笔记本¶

文档笔记本¶

你可以将文档的任何页面作为笔记本在 Colab 中打开（页面上有一个直接的按钮），但它们也在这里列出，以备不时之需：

笔记本	描述
库的快速浏览	展示 Transformers 中的各种 API
任务总结	如何按照任务运行 Transformers 库中的模型
数据预处理	如何使用分词器预处理数据
微调预训练模型	如何使用 Trainer 微调预训练模型
分词器总结	不同分词器算法的区别
多语言模型	如何使用库中的多语言模型

PyTorch 示例¶

自然语言处理¶

笔记本	描述
训练你自己的分词器	如何训练和使用你自己的分词器
训练你的语言模型	如何轻松开始使用 transformers
如何微调文本分类模型	展示如何预处理数据并在任何 GLUE 任务上微调预训练模型
如何微调语言模型	展示如何预处理数据并在因果或掩码 LM 任务上微调预训练模型
如何微调标记分类模型	展示如何预处理数据并在 NER 或 PoS 任务上微调预训练模型
如何微调问答模型	展示如何预处理数据并在 SQUAD 上微调预训练模型
如何微调多项选择模型	展示如何预处理数据并在 SWAG 上微调预训练模型
如何微调翻译模型	展示如何预处理数据并在 WMT 上微调预训练模型
如何微调摘要模型	展示如何预处理数据并在 XSUM 上微调预训练模型
如何从头训练语言模型	高效地在自定义数据上训练 Transformer 模型的所有步骤
如何生成文本	使用不同的解码方法生成文本
如何生成文本（带约束）	使用用户提供的约束引导语言生成
Reformer	Reformer 如何推动语言建模的极限

计算机视觉¶

笔记本	描述
如何微调图像分类模型（Torchvision）	展示如何使用 Torchvision 预处理数据并微调任何预训练的视觉模型进行图像分类
如何微调图像分类模型（Albumentations）	展示如何使用 Albumentations 预处理数据并微调任何预训练的视觉模型进行图像分类
如何微调图像分类模型（Kornia）	展示如何使用 Kornia 预处理数据并微调任何预训练的视觉模型进行图像分类
如何使用 OWL-ViT 进行零样本目标检测	展示如何使用文本查询在图像上进行零样本目标检测
如何微调图像描述模型	展示如何在自定义数据集上微调 BLIP 进行图像描述
如何使用 Transformers 构建图像相似性系统	展示如何构建图像相似性系统
如何微调 SegFormer 模型进行语义分割	展示如何预处理数据并微调预训练的 SegFormer 模型进行语义分割
如何微调 VideoMAE 模型进行视频分类	展示如何预处理数据并微调预训练的 VideoMAE 模型进行视频分类

音频¶

笔记本	描述
如何微调英语语音识别模型	展示如何预处理数据并在 TIMIT 上微调预训练的语音模型
如何微调多语言语音识别模型	展示如何预处理数据并在 Common Voice 上微调多语言预训练的语音模型
如何微调音频分类模型	展示如何预处理数据并在关键词识别任务上微调预训练的语音模型

生物序列¶

笔记本	描述
如何微调预训练的蛋白质模型	展示如何对蛋白质进行分词并微调大型预训练的蛋白质“语言”模型
如何生成蛋白质折叠	展示如何从蛋白质序列生成完整的蛋白质模型和 PDB 文件
如何微调核酸 Transformer 模型	展示如何对 DNA 进行分词并微调大型预训练的 DNA“语言”模型
如何使用 LoRA 微调核酸 Transformer 模型	以内存高效的方式训练更大的 DNA 模型

其他模态¶

笔记本	描述
概率时间序列预测	展示如何在自定义数据集上训练时间序列 Transformer

工具笔记本¶

笔记本	描述
如何导出模型到 ONNX	展示如何通过 ONNX 导出和运行推理工作负载
如何使用基准测试	如何使用 transformers 对模型进行基准测试

TensorFlow 示例¶

自然语言处理¶

笔记本	描述
训练你自己的分词器	如何训练和使用你自己的分词器
训练你的语言模型	如何轻松开始使用 transformers
如何微调文本分类模型	展示如何预处理数据并在任何 GLUE 任务上微调预训练模型
如何微调语言模型	展示如何预处理数据并在因果或掩码 LM 任务上微调预训练模型
如何微调标记分类模型	展示如何预处理数据并在 NER 或 PoS 任务上微调预训练模型
如何微调问答模型	展示如何预处理数据并在 SQUAD 上微调预训练模型
如何微调多项选择模型	展示如何预处理数据并在 SWAG 上微调预训练模型
如何微调翻译模型	展示如何预处理数据并在 WMT 上微调预训练模型
如何微调摘要模型	展示如何预处理数据并在 XSUM 上微调预训练模型

计算机视觉¶

笔记本	描述
如何微调图像分类模型	展示如何预处理数据并微调任何预训练的视觉模型进行图像分类
如何微调 SegFormer 模型进行语义分割	展示如何预处理数据并微调预训练的 SegFormer 模型进行语义分割

生物序列¶

笔记本	描述
如何微调预训练的蛋白质模型	展示如何对蛋白质进行分词并微调大型预训练的蛋白质“语言”模型

工具笔记本¶

笔记本	描述
如何在 TPU 上训练 TF/Keras 模型	展示如何在 Google 的 TPU 硬件上高速训练模型

Optimum 笔记本¶

🤗 Optimum 是 🤗 Transformers 的扩展，提供了一套性能优化工具，使模型在特定硬件上的训练和运行达到最高效率。

笔记本	描述
如何使用 ONNX Runtime 量化文本分类模型	展示如何使用 ONNX Runtime 在任何 GLUE 任务上应用静态和动态量化
如何使用 Intel Neural Compressor 量化文本分类模型	展示如何使用 Intel Neural Compressor (INC) 在任何 GLUE 任务上应用静态、动态和训练感知量化
如何使用 ONNX Runtime 微调文本分类模型	展示如何预处理数据并使用 ONNX Runtime 在任何 GLUE 任务上微调模型
如何使用 ONNX Runtime 微调摘要模型	展示如何预处理数据并使用 ONNX Runtime 在 XSUM 上微调模型

社区笔记本¶

更多由社区开发的笔记本可在 这里 查看。