Installation 安装¶
这里主要说明如何在 MacOS 或 Windows 系统中，创建和激活 python 虚拟环境，并使用 pip 安装 🤗 Transformers 和深度学习等必要的库。
在实测过程中发现3.10和3.11由于一些示例使用的库不支持高于3.9版本的Python，会导致运行示例时发生错误（比如某个函数调用错误）。
所以这里推荐安装Python 3.9版本，如果你已经安装了3.9版本的Python但在运行示例时仍出现错误，可以尝试下载和我相同的Python版本（3.9.6）
使用 pip 安装¶
需要使用最新版本的pip。
pip3 install --upgrade pip
创建和激活虚拟环境¶
- 首先，在项目目录中创建虚拟环境
python -m venv .env
- 激活虚拟环境
在 MacOs 系统中激活虚拟环境
source .env/bin/activate
在 Windows 系统中激活虚拟环境
.env\Scripts\activate
安装 🤗 Transformers¶
- 激活后安装 🤗 Transformers 等必要的库
pip3 install transformers datasets evaluate accelerate tf-keras
- 运行以下命令以检查 🤗 Transformers 是否已被正确安装。
该命令将下载一个预训练的情感分析模型，输出结果将是一个包含情感分析结果的字典。
2024.09.25: 我使用Mac OS系统在Python虚拟环境中无法正常运行示例，在非虚拟环境中却可以正常运行。如果你也存在相同的问题，可以尝试在非虚拟环境中安装Transformers库再运行示例，如有解决办法还请麻烦告知我一下。
python -c "from transformers import pipeline; print(pipeline('sentiment-analysis', device=0)('we love you'))"
安装深度学习库¶
Pytorch¶
MacOS（M1/ARM）¶
环境要求：
- MacOS版本： MacOS 10.15 (Catalina) 或更高版本。
- Python版本：Python 3.8 - 3.11。
这里推荐安装 Python 3.9 ，因为在即将发布的PyTorch版本中，对Python 3.8的支持将被弃用。
pip3 install torch torchvision torchaudio
测试下你的版本是否支持 Apple Silicon GPU 加速？
import torch
# print(f"PyTorch version: {torch.__version__}")
# Check PyTorch has access to MPS (Metal Performance Shader, Apple's GPU architecture)
print(f"Is MPS (Metal Performance Shader) built? {torch.backends.mps.is_built()}")
print(f"Is MPS available? {torch.backends.mps.is_available()}")
# Set the device
device = "mps" if torch.backends.mps.is_available() else "cpu"
print(f"Using device: {device}")
如果运行后和下面的输出一致，说明支持 Apple Silicon GPU 加速：
Is MPS (Metal Performance Shader) built? True
Is MPS available? True
Using device: mps
Windows¶
环境要求：
- Windows版本：建议使用Windows 10或更高版本。
- Python版本：Python 3.8 - 3.11。
这里推荐安装 Python 3.9 ，因为在即将发布的PyTorch版本中，对Python 3.8的支持将被弃用。
如果你的 Windows 系统存在 NVIDIA GPU，在安装 PyTorch 时可以选择支持 CUDA 计算的版本，但这不是必需的。
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
若没有支持CUDA的系统或不需要CUDA，则可以选择安装仅CPU支持的版本。
pip3 install torch torchvision torchaudio
import torch
x = torch.rand(5, 3)
print(x)
TensorFlow 2.0¶
MacOS（M1/ARM）¶
环境要求：
- MacOS版本： MacOS 10.12.6 (Sierra) 或更高版本（不支持GPU）。
- Python版本：Python 3.9 – 3.12。
目前 TensorFlow 对 MacOS 操作系统尚无官方 GPU 支持。
pip3 install tensorflow
Windows¶
环境要求：
- Windows版本：建议使用Windows 10或更高版本。
注意：Windows 10 19044 或更高版本上的 WSL 2 支持带 GPU 访问的 TensorFlow。这对应于 Windows 10 版本 21H2，即2021年11月更新。
- Python版本：Python 3.8 - 3.11。
这里推荐安装 Python 3.9 ，因为在即将发布的PyTorch版本中，对Python 3.8的支持将被弃用。
- 安装 WSL 2
现在，可以使用单个命令安装运行 WSL 所需的一切内容。
在管理员模式下打开 PowerShell 或 Windows 命令提示符，方法是右键单击并选择“以管理员身份运行”，输入 wsl --install 命令，然后重启计算机。
注意：仅当根本没有安装 WSL 时，上述命令才有效。
若要卸载 WSL，请参阅 卸载旧版 WSL 或 注销或卸载 Linux 发行版。
wsl --install
此命令将启用运行 WSL 并安装 Linux 的 Ubuntu 发行版所需的功能。
- 安装NVIDIA GPU驱动程序（如果没有安装过）。
如果你只在CPU上运行TensorFlow，则可以跳过这一步骤。
你可以使用以下命令来验证它是否已安装。
nvidia-smi
- 安装 Tensorflow
- 如果你想在GPU上运行Tensorflow
pip3 install tensorflow[and-cuda]
使用 TensorFlow 库可以列出当前系统上可用的 GPU 设备。输出结果取决于你的系统配置，是否有可用的 GPU 设备以及 TensorFlow 是否能够识别这些设备。
- 如果有可用的 GPU 设备，则可能会输出：
[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]
- 如果没有可用的 GPU 设备，则会输出空列表：
[]
python3 -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"
- 如果你只在 CPU 上运行 TensorFlow
注意： 从TensorFlow 2.10开始，x86/x64处理器的Windows CPU构建由第三方构建、维护、测试和发布：英特尔。安装Windows原生***tensorflow或tensorflow-cpu包将安装英特尔的tensorflow-intel**包。这些软件包按原样提供。 Tensorflow将尽合理的努力来维护此pip包的可用性和完整性。如果第三方未能发布pip软件包，则可能会出现延迟。
pip3 install tensorflow
验证安装¶
为了确保 TensorFlow 安装正确，可以通过运行 TensorFlow 示例代码来验证安装。
这段代码使用了 TensorFlow 库来生成一个随机正态分布的矩阵，并计算其所有元素的和。
python3 -c "import tensorflow as tf; print(tf.reduce_sum(tf.random.normal([1000, 1000])))"