加载并检查预训练模型
您正在构建一个对话式 AI 助手,能够就广泛主题进行类人对话,并利用在大规模文本语料上预训练的强大 BERT 模型。
您将打印配置,以确认已加载具有特定参数的对话式 AI 模型,例如 model_type:bert,num_attention_heads:12,以及 num_hidden_layers:12。
本练习是课程的一部分
使用 PyTorch 高效训练 AI 模型
练习说明
- 使用合适的 AutoModel 类初始化模型参数,加载
bert-base-uncased模型。 - 打印模型的配置。
交互式实操练习
通过完成这段示例代码来试试这个练习。
from transformers import AutoModelForSequenceClassification
# Load a pre-trained bert-base-uncased model
model = ____.____("bert-base-uncased")
# Print the model's configuration
print(model.____)