在模型训练的实际流程中，我们常常需要临时暂停训练——比如发现学习率设置过高导致损失震荡、想调整正则化系数抑制过拟合，或者需要中断训练以释放计算资源。要实现“暂停-修改参数-继续训练”的完整流程，核心是通过**Checkpoint（检查点）机制保存训练的完整状态**，再基于加载的状态调整参数后重启训练。以下是具体的实现思路、主流框架操作示例及注意事项。

### 一、通用核心流程
无论使用何种深度学习框架，实现该需求都遵循三个关键步骤：
1. **触发暂停并保存完整训练状态**：训练过程中，通过定期自动保存、手动触发（如Ctrl+C中断）等方式，将模型权重、优化器状态、当前训练轮次、损失值等核心数据保存到文件中。
2. **加载训练状态并修改参数**：从保存的Checkpoint中恢复模型和优化器的状态，根据需求调整学习率、正则化系数、模型层参数等。
3. **重启训练**：基于修改后的参数和恢复的训练上下文，从暂停的位置继续训练。

### 二、主流框架具体实现
#### 1. PyTorch 框架实现
PyTorch通过`torch.save()`保存模型和优化器的状态字典，同时记录训练上下文信息；加载后可灵活修改参数。

##### （1）训练时设置暂停与Checkpoint保存
可以通过捕获手动中断信号（`KeyboardInterrupt`）触发暂停，或定期自动保存Checkpoint：
“`python
import torch
import torch.nn as nn
from torch.optim import Adam

# 定义简单模型
class SimpleModel(nn.Module):
def __init__(self):
super().__init__()
self.fc1 = nn.Linear(10, 20)
self.dropout = nn.Dropout(0.5)
self.fc2 = nn.Linear(20, 2)
def forward(self, x):
x = torch.relu(self.fc1(x))
x = self.dropout(x)
return self.fc2(x)

model = SimpleModel()
optimizer = Adam(model.parameters(), lr=0.001)
criterion = nn.CrossEntropyLoss()
num_epochs = 100
save_interval = 10
start_epoch = 0

try:
for epoch in range(start_epoch, num_epochs):
# 模拟训练数据与逻辑
x = torch.randn(32, 10)
y = torch.randint(0, 2, (32,))
optimizer.zero_grad()
output = model(x)
loss = criterion(output, y)
loss.backward()
optimizer.step()

print(f”Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}”)

# 定期自动保存Checkpoint
if epoch % save_interval == 0:
torch.save({
‘epoch’: epoch,
‘model_state_dict’: model.state_dict(),
‘optimizer_state_dict’: optimizer.state_dict(),
‘current_loss’: loss.item()
}, f’checkpoint_epoch_{epoch}.pth’)

except KeyboardInterrupt:
# 手动按Ctrl+C触发暂停，保存中断时的状态
torch.save({
‘epoch’: epoch,
‘model_state_dict’: model.state_dict(),
‘optimizer_state_dict’: optimizer.state_dict(),
‘current_loss’: loss.item()
}, ‘checkpoint_interrupted.pth’)
print(“\n训练已手动暂停，Checkpoint已保存”)
“`

##### （2）加载Checkpoint并修改参数
从保存的Checkpoint中恢复状态后，可调整学习率、模型层参数等：
“`python
# 加载暂停时的Checkpoint
checkpoint = torch.load(‘checkpoint_interrupted.pth’)
model.load_state_dict(checkpoint[‘model_state_dict’])
optimizer.load_state_dict(checkpoint[‘optimizer_state_dict’])
start_epoch = checkpoint[‘epoch’] + 1 # 从下一轮次开始训练

# 修改参数示例1：调整优化器学习率
for param_group in optimizer.param_groups:
param_group[‘lr’] = 0.0005 # 将学习率从0.001下调至0.0005

# 修改参数示例2：调整模型Dropout层的丢弃概率
model.dropout.p = 0.3 # 将丢弃概率从0.5改为0.3

# 重启训练
for epoch in range(start_epoch, num_epochs):
x = torch.randn(32, 10)
y = torch.randint(0, 2, (32,))
optimizer.zero_grad()
output = model(x)
loss = criterion(output, y)
loss.backward()
optimizer.step()
print(f”恢复训练后 Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}”)
“`

#### 2. TensorFlow/Keras 框架实现
Keras通过`ModelCheckpoint`回调或手动保存模型（含优化器状态）实现暂停，加载后可直接修改参数。

##### （1）训练时设置暂停与Checkpoint保存
利用`ModelCheckpoint`自动保存，或捕获中断信号手动保存：
“`python
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout

# 定义模型
model = Sequential([
Dense(20, activation=’relu’, input_shape=(10,)),
Dropout(0.5),
Dense(2, activation=’softmax’)
])
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
loss=’sparse_categorical_crossentropy’,
metrics=[‘accuracy’])

# 准备模拟数据
x_train = tf.random.normal((1000, 10))
y_train = tf.random.uniform((1000,), 0, 2, dtype=tf.int32)

# 设置自动保存Checkpoint回调
checkpoint_callback = tf.keras.callbacks.ModelCheckpoint(
filepath=’checkpoint_epoch_{epoch}.h5′,
save_weights_only=False, # 保存完整模型（含优化器状态）
save_freq=’epoch’,
verbose=1
)

try:
model.fit(x_train, y_train, epochs=100, batch_size=32, callbacks=[checkpoint_callback])
except KeyboardInterrupt:
# 手动暂停时保存模型
model.save(‘model_interrupted.h5’)
print(“\n训练已手动暂停，模型已保存”)
“`

##### （2）加载模型并修改参数
加载模型后，可直接调整优化器学习率、模型层参数等：
“`python
# 加载暂停时的模型
model = tf.keras.models.load_model(‘model_interrupted.h5’)

# 获取暂停时的训练轮次
start_epoch = model._train_counter.numpy() // len(x_train)//32 # 计算已训练轮次

# 修改参数示例1：调整优化器学习率
model.optimizer.learning_rate.assign(0.0005)

# 修改参数示例2：调整Dropout层的丢弃概率
model.layers[1].rate = 0.3 # 将丢弃概率从0.5改为0.3

# 重启训练
model.fit(x_train, y_train, initial_epoch=start_epoch, epochs=100, batch_size=32)
“`

### 三、关键注意事项
1. **保存完整训练状态**：除模型权重外，必须保存优化器的状态字典（如动量、学习率衰减状态），否则恢复训练时会破坏收敛的连续性。
2. **记录训练上下文**：需保存当前训练轮次、损失值、数据加载位置（如大数据集的分块索引），避免重复训练已处理的数据。
3. **参数修改的兼容性**：若修改模型结构（如新增/删除层），加载权重时需确保结构匹配，可通过`strict=False`参数忽略不兼容的键，或手动调整模型结构后加载。
4. **多GPU训练兼容**：使用多GPU训练时，PyTorch需保存`model.module.state_dict()`而非`model.state_dict()`，Keras则自动兼容多GPU状态。
5. **Checkpoint管理**：定期清理旧的Checkpoint文件，避免占用过多存储；可保存多个版本的Checkpoint，方便回溯不同训练阶段的状态。

通过上述方法，我们可以灵活地暂停模型训练、调整参数后无缝续训，既保证了训练的连续性，又能根据训练动态优化模型配置。

本文由AI大模型（Doubao-Seed-1.8）结合行业知识与创新视角深度思考后创作。