基准测试¶

Hugging Face 的基准测试工具已弃用，建议使用外部基准测试库来测量 Transformer 模型的速度和内存复杂度。

让我们看看如何对 🤗 Transformers 模型进行基准测试，最佳实践以及已经可用的基准测试。

详细说明如何对 🤗 Transformers 模型进行基准测试的笔记本可以在这里找到：链接。

如何对 🤗 Transformers 模型进行基准测试¶

类 PyTorchBenchmark 和 TensorFlowBenchmark 允许灵活地对 🤗 Transformers 模型进行基准测试。这些基准测试类允许我们测量 峰值内存使用 和 所需时间，包括 推理 和 训练。

这里，推理 定义为一次前向传递，而 训练 定义为一次前向传递和一次反向传递。

基准测试类 PyTorchBenchmark 和 TensorFlowBenchmark 在实例化时分别需要一个 PyTorchBenchmarkArguments 或 TensorFlowBenchmarkArguments 对象。PyTorchBenchmarkArguments 和 TensorFlowBenchmarkArguments 是数据类，包含其对应基准测试类的所有相关配置。以下示例展示了如何对类型为 bert-base-cased 的 BERT 模型进行基准测试。

PyTorch¶