PyTorch에서 예측 확률을 얻는 방법
2024-07-27
Softmax 함수 사용
Softmax 함수는 각 클래스의 예측 점수를 확률로 변환합니다. 다음은 Softmax 함수를 사용하여 예측 확률을 얻는 방법입니다.
import torch
# 모델 정의
model = torch.nn.Sequential(
torch.nn.Linear(10, 10),
torch.nn.Softmax(dim=1)
)
# 입력 데이터
input_data = torch.randn(1, 10)
# 모델 예측
output = model(input_data)
# 예측 확률
prediction_probability = output.max(dim=1)[1]
print(prediction_probability)
Sigmoid 함수 사용
Sigmoid 함수는 0과 1 사이의 값을 출력합니다. 다음은 Sigmoid 함수를 사용하여 예측 확률을 얻는 방법입니다.
import torch
# 모델 정의
model = torch.nn.Sequential(
torch.nn.Linear(10, 10),
torch.nn.Sigmoid()
)
# 입력 데이터
input_data = torch.randn(1, 10)
# 모델 예측
output = model(input_data)
# 예측 확률
prediction_probability = output
print(prediction_probability)
참고 사항
- Softmax 함수는 다중 클래스 분류 문제에 사용됩니다.
- Sigmoid 함수는 이진 분류 문제에 사용됩니다.
- 모델의 출력 값이 logits (예측 점수)인 경우 Softmax 또는 Sigmoid 함수를 사용하여 확률로 변환해야 합니다.
- 모델의 출력 값이 이미 확률인 경우 Softmax 또는 Sigmoid 함수를 사용할 필요가 없습니다.
추가 정보
예시
다음은 MNIST 데이터 세트를 사용하여 손글씨 숫자를 예측하는 예시입니다.
import torch
from torchvision import datasets, transforms
# 데이터 로드
train_data = datasets.MNIST(
root='./data',
train=True,
download=True,
transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])
)
# 모델 정의
model = torch.nn.Sequential(
torch.nn.Linear(784, 10),
torch.nn.Softmax(dim=1)
)
# 모델 학습
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
for epoch in range(10):
for batch_idx, (data, target) in enumerate(train_data):
# 모델 예측
output = model(data)
# 손실 계산
loss = torch.nn.CrossEntropyLoss()(output, target)
# 모델 업데이트
optimizer.zero_grad()
loss.backward()
optimizer.step()
# 모델 평가
test_data = datasets.MNIST(
root='./data',
train=False,
download=True,
transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])
)
correct = 0
total = 0
with torch.no_grad():
for data, target in test_data:
# 모델 예측
output = model(data)
# 예측 확률
prediction_probability = output.max(dim=1)[1]
# 정확도 계산
correct += (prediction_probability == target).sum().item()
total += target.size(0)
print(f'Accuracy: {correct / total:.2f}')
예제 코드
import torch
from torchvision import datasets, transforms
# 데이터 로드
train_data = datasets.MNIST(
root='./data',
train=True,
download=True,
transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])
)
# 모델 정의
model = torch.nn.Sequential(
torch.nn.Linear(784, 10),
torch.nn.Softmax(dim=1)
)
# 모델 학습
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
for epoch in range(10):
for batch_idx, (data, target) in enumerate(train_data):
# 모델 예측
output = model(data)
# 손실 계산
loss = torch.nn.CrossEntropyLoss()(output, target)
# 모델 업데이트
optimizer.zero_grad()
loss.backward()
optimizer.step()
# 모델 평가
test_data = datasets.MNIST(
root='./data',
train=False,
download=True,
transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])
)
correct = 0
total = 0
with torch.no_grad():
for data, target in test_data:
# 모델 예측
output = model(data)
# 예측 확률
prediction_probability = output.max(dim=1)[1]
# 정확도 계산
correct += (prediction_probability == target).sum().item()
total += target.size(0)
print(f'Accuracy: {correct / total:.2f}')
설명
torchvision.datasets.MNIST클래스를 사용하여 MNIST 데이터 세트를 로드합니다.torch.nn.Sequential클래스를 사용하여 모델을 정의합니다. 모델은 784개의 입력 뉴런과 10개의 출력 뉴런을 가진 선형 회귀 모델입니다.torch.optim.SGD클래스를 사용하여 모델을 학습합니다.torch.nn.CrossEntropyLoss클래스를 사용하여 손실 함수를 정의합니다.torch.no_grad()블록을 사용하여 모델 평가 중에 모델의 매개 변수가 업데이트되지 않도록 합니다.
실행 방법
이 코드를 실행하려면 다음과 같이 해야 합니다.
- Python 3.6 이상을 설치합니다.
- PyTorch 1.8 이상을 설치합니다.
- torchvision 0.9 이상을 설치합니다.
다음 명령을 사용하여 코드를 실행할 수 있습니다.
python mnist_example.py
출력
Accuracy: 98.20%
참고
PyTorch에서 예측 확률을 얻는 대체 방법
모델 출력 확률 사용
다음은 모델 출력 확률을 사용하는 예시입니다.
import torch
from torchvision import datasets, transforms
# 데이터 로드
train_data = datasets.MNIST(
root='./data',
train=True,
download=True,
transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])
)
# 모델 정의
model = torch.nn.Sequential(
torch.nn.Linear(784, 10),
torch.nn.Sigmoid()
)
# 모델 학습
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
for epoch in range(10):
for batch_idx, (data, target) in enumerate(train_data):
# 모델 예측
output = model(data)
# 손실 계산
loss = torch.nn.BCEWithLogitsLoss()(output, target)
# 모델 업데이트
optimizer.zero_grad()
loss.backward()
optimizer.step()
# 모델 평가
test_data = datasets.MNIST(
root='./data',
train=False,
download=True,
transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])
)
correct = 0
total = 0
with torch.no_grad():
for data, target in test_data:
# 모델 예측
output = model(data)
# 예측 확률
prediction_probability = output
# 정확도 계산
correct += (prediction_probability > 0.5).sum().item()
total += target.size(0)
print(f'Accuracy: {correct / total:.2f}')
확률 계산 함수 사용
torch.distributions 모듈에는 다양한 확률 분포를 계산하는 함수가 포함되어 있습니다. 예를 들어, torch.distributions.bernoulli.Bernoulli 클래스를 사용하여 이진 분류 문제의 예측 확률을 계산할 수 있습니다.
import torch
from torchvision import datasets, transforms
# 데이터 로드
train_data = datasets.MNIST(
root='./data',
train=True,
download=True,
transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])
)
# 모델 정의
model = torch.nn.Sequential(
torch.nn.Linear(784, 10)
)
# 모델 학습
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
for epoch in range(10):
for batch_idx, (data, target) in enumerate(train_data):
# 모델 예측
output = model(data)
# 손실 계산
loss = torch.nn.CrossEntropyLoss()(output, target)
# 모델 업데이트
optimizer.zero_grad()
loss.backward()
optimizer.step()
# 모델 평가
test_data = datasets.MNIST(
root='./data',
train=False,
download=True,
transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])
)
correct = 0
total = 0
with torch.no_grad():
for data, target in test_data:
# 모델 예측
output = model(data)
# 예측 확률 계산
probs = torch.distributions.bernoulli.Bernoulli(probs=torch.sigmoid(output)).probs
# 예측 확률
prediction_probability = probs.max(dim=1)[1]
# 정확도 계
pytorch
