PyTorch Optimizer Scheduler의 last_epoch 매개변수란 무엇인가?
2024-07-27
last_epoch 매개변수는 다음과 같은 용도로 사용됩니다:
- 스케줄러 초기화: 스케줄러를 생성할 때
last_epoch매개변수를 지정하여 스케줄러가 학습 중간에 시작하도록 할 수 있습니다. - 스케줄러 업데이트: 스케줄러는 매 에포크마다 업데이트되며,
last_epoch매개변수는 이전 에포크 번호를 저장합니다. - 학습률 조정: 일부 스케줄러는 학습률을 조정하는 데
last_epoch매개변수를 사용합니다. 예를 들어,StepLR스케줄러는last_epoch매개변수를 사용하여 학습률을 감소시키는 스텝 크기를 결정합니다.
last_epoch 매개변수 예시:
from torch.optim.lr_scheduler import StepLR
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
scheduler = StepLR(optimizer, step_size=10, last_epoch=-1)
# 학습 루프
for epoch in range(100):
# ...
# 스케줄러 업데이트
scheduler.step()
위 코드에서 last_epoch=-1을 설정하면 스케줄러는 첫 번째 에포크부터 학습률을 감소시키기 시작합니다.
참고:
last_epoch매개변수는 옵셔널이며, 모든 스케줄러에서 사용하는 것은 아닙니다.- 스케줄러 문서를 참고하여
last_epoch매개변수가 스케줄러에 어떻게 영향을 미치는지 확인하십시오.
관련 자료
예제 코드
import torch
from torch.optim.lr_scheduler import StepLR
# 모델 및 옵티마이저 정의
model = torch.nn.Linear(10, 1)
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
# 스케줄러 정의
scheduler = StepLR(optimizer, step_size=10, last_epoch=-1)
# 학습 루프
for epoch in range(100):
# ...
# 스케줄러 업데이트
scheduler.step()
# 학습 코드
# 모델 평가
# ...
이 코드에서는 StepLR 스케줄러를 사용하여 학습률을 조정합니다. step_size=10은 10 에포크마다 학습률을 감소시키는 것을 의미하며, last_epoch=-1은 스케줄러가 첫 번째 에포크부터 학습률을 감소시키기 시작하도록 합니다.
last_epoch 매개변수를 사용하여 스케줄러를 초기화하면 학습 중간에 시작할 수 있습니다. 예를 들어, 모델을 50 에포크까지 학습한 후 학습률을 감소시키고 싶다면 다음과 같이 할 수 있습니다.
# 모델 및 옵티마이저 로드
model = torch.load("model.ckpt")
optimizer = torch.load("optimizer.ckpt")
# 스케줄러 정의
scheduler = StepLR(optimizer, step_size=10, last_epoch=49)
# 학습 루프
for epoch in range(50, 100):
# ...
# 스케줄러 업데이트
scheduler.step()
# 학습 코드
# 모델 평가
# ...
last_epoch 매개변수 대체 방법
total_epochs 사용:
total_epochs 매개변수를 사용하여 스케줄러가 총 몇 에포크 동안 실행될지 지정할 수 있습니다. 스케줄러는 last_epoch 매개변수 대신 total_epochs 매개변수를 사용하여 학습률을 조정합니다.
from torch.optim.lr_scheduler import ExponentialLR
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
scheduler = ExponentialLR(optimizer, gamma=0.95, total_epochs=100)
# 학습 루프
for epoch in range(100):
# ...
# 스케줄러 업데이트
scheduler.step()
# 학습 코드
# 모델 평가
# ...
warmup_epochs 사용:
from torch.optim.lr_scheduler import LambdaLR
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
scheduler = LambdaLR(optimizer, lambda epoch: epoch / warmup_epochs)
# 학습 루프
for epoch in range(100):
# ...
# 스케줄러 업데이트
scheduler.step()
# 학습 코드
# 모델 평가
# ...
사용자 정의 스케줄러:
last_epoch 매개변수 대신 사용자 정의 스케줄러를 사용하여 학습률을 조정할 수 있습니다. 사용자 정의 스케줄러는 step() 메소드를 구현해야 하며, 이 메소드는 스케줄러가 매 에포크마다 호출됩니다.
class CustomScheduler(object):
def __init__(self, optimizer, warmup_epochs=10):
self.optimizer = optimizer
self.warmup_epochs = warmup_epochs
self.current_epoch = 0
def step(self):
if self.current_epoch < self.warmup_epochs:
lr = self.current_epoch / self.warmup_epochs
else:
lr = 0.1
for param_group in self.optimizer.param_groups:
param_group['lr'] = lr
self.current_epoch += 1
# ...
scheduler = CustomScheduler(optimizer)
# 학습 루프
for epoch in range(100):
# ...
# 스케줄러 업데이트
scheduler.step()
# 학습 코드
# 모델 평가
# ...
pytorch
