파이토치를 이용한 다변량 선형 회귀
2024-07-27
파이토치를 이용한 다변량 선형 회귀
데이터 준비
먼저, 모델 학습에 필요한 데이터를 준비해야 합니다. 데이터는 독립 변수와 종속 변수로 구성됩니다. 독립 변수는 모델이 예측하는 데 사용되는 변수이며, 종속 변수는 모델이 예측하려는 변수입니다.
다음은 예시 데이터입니다.
import numpy as np
# 독립 변수
x1 = np.array([1, 2, 3, 4, 5])
x2 = np.array([10, 20, 30, 40, 50])
# 종속 변수
y = np.array([42, 84, 126, 168, 210])
모델 정의
다음으로, 파이토치를 이용하여 다변량 선형 회귀 모델을 정의합니다.
import torch
# 모델 정의
class LinearRegression(torch.nn.Module):
def __init__(self):
super().__init__()
# 모델 파라미터 (가중치와 편향) 정의
self.w1 = torch.nn.Parameter(torch.randn(1))
self.w2 = torch.nn.Parameter(torch.randn(1))
self.b = torch.nn.Parameter(torch.randn(1))
def forward(self, x1, x2):
# 모델 예측
y_pred = self.w1 * x1 + self.w2 * x2 + self.b
return y_pred
모델 학습
다음으로, 모델을 학습시킬 데이터와 손실 함수, 최적화 알고리즘을 설정하여 모델을 학습시킵니다.
# 학습 데이터
x1_tensor = torch.tensor(x1, dtype=torch.float)
x2_tensor = torch.tensor(x2, dtype=torch.float)
y_tensor = torch.tensor(y, dtype=torch.float)
# 손실 함수
loss_fn = torch.nn.MSELoss()
# 최적화 알고리즘
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
# 모델 학습
for epoch in range(1000):
# 모델 예측
y_pred = model(x1_tensor, x2_tensor)
# 손실 계산
loss = loss_fn(y_pred, y_tensor)
# 모델 파라미터 업데이트
optimizer.zero_grad()
loss.backward()
optimizer.step()
# 학습 과정 출력
if epoch % 100 == 0:
print(f"Epoch {epoch + 1}: Loss = {loss.item()}")
모델 평가
모델 학습이 완료되면 모델 성능을 평가합니다.
# 모델 예측
y_pred = model(x1_tensor, x2_tensor)
# 평균 제곱 오차 계산
mse = loss_fn(y_pred, y_tensor)
# 모델 평가 결과 출력
print(f"MSE: {mse.item()}")
모델 활용
학습된 모델을 이용하여 새로운 데이터에 대한 예측을 수행할 수 있습니다.
# 새로운 데이터
new_x1 = torch.tensor([6], dtype=torch.float)
new_x2 = torch.tensor([60], dtype=torch.float)
# 새로운 데이터에 대한 예측
new_y_pred = model(new_x1, new_x2)
# 예측 결과 출력
print(f"예측값: {new_y_pred.item()}")
추가 정보
- 파이토치를 이용한 다변량 선형 회
파이토치를 이용한 다변량 선형 회귀 예제 코드
import numpy as np
import torch
# 데이터 준비
x1 = np.array([1, 2, 3, 4, 5])
x2 = np.array([10, 20, 30, 40, 50])
y = np.array([42, 84, 126, 168, 210])
# 모델 정의
class LinearRegression(torch.nn.Module):
def __init__(self):
super().__init__()
self.w1 = torch.nn.Parameter(torch.randn(1))
self.w2 = torch.nn.Parameter(torch.randn(1))
self.b = torch.nn.Parameter(torch.randn(1))
def forward(self, x1, x2):
y_pred = self.w1 * x1 + self.w2 * x2 + self.b
return y_pred
# 모델 학습
model = LinearRegression()
x1_tensor = torch.tensor(x1, dtype=torch.float)
x2_tensor = torch.tensor(x2, dtype=torch.float)
y_tensor = torch.tensor(y, dtype=torch.float)
loss_fn = torch.nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
for epoch in range(1000):
y_pred = model(x1_tensor, x2_tensor)
loss = loss_fn(y_pred, y_tensor)
optimizer.zero_grad()
loss.backward()
optimizer.step()
# 모델 평가
y_pred = model(x1_tensor, x2_tensor)
mse = loss_fn(y_pred, y_tensor)
# 모델 활용
new_x1 = torch.tensor([6], dtype=torch.float)
new_x2 = torch.tensor([60], dtype=torch.float)
new_y_pred = model(new_x1, new_x2)
# 결과 출력
print(f"MSE: {mse.item()}")
print(f"예측값: {new_y_pred.item()}")
- 이 코드는 기본적인 다변량 선형 회귀 모델을 구현하는 예시입니다.
- 모델 성능을 향상시키기 위해 다양한 하이퍼파라미터 조정 및 모델 구조 변경을 시도할 수 있습니다.
- 파이토치 공식 문서 및 다양한 온라인 자료들을 활용하여 더 심층적인 학습을 진행할 수 있습니다.
다변량 선형 회귀의 대체 방법
다음은 다변량 선형 회귀의 대체 방법들입니다.
릿지 회귀 (Ridge Regression)
- 과적합을 방지하기 위해 L2 정규화를 사용하는 방법입니다.
- 다변량 선형 회귀보다 더 높은 정확도를 제공하는 경우가 있지만, 모델 해석이 어려워질 수 있습니다.
- L1 정규화를 사용하여 모델의 특성 수를 줄이는 방법입니다.
- 모델 해석이 쉬워지지만, 다변량 선형 회귀보다 정확도가 낮을 수 있습니다.
엘라스틱 네트 회귀 (Elastic Net Regression)
- 릿지 회귀와 라쏘 회귀의 장점을 결합한 방법입니다.
- L1 정규화와 L2 정규화를 함께 사용하여 모델의 특성 수를 줄이고 과적합을 방지합니다.
서포트 벡터 머신 (Support Vector Machine)
- 데이터의 가장 큰 마진을 찾아 분류 또는 회귀를 수행하는 방법입니다.
- 비선형 관계를 모델링하는 데 효과적이지만, 계산 비용이 높고 모델 해석이 어려울 수 있습니다.
랜덤 포레스트 (Random Forest)
- 여러 개의 결정 트리를 결합하여 예측을 수행하는 방법입니다.
- 높은 정확도를 제공하지만, 모델 해석이 어려울 수 있습니다.
신경망 (Neural Network)
- 인공지능 분야에서 널리 사용되는 모델입니다.
적절한 방법 선택
다양한 방법 중에서 가장 적절한 방법은 데이터의 특성과 분석 목적에 따라 다릅니다. 다음은 방법 선택 시 고려해야 할 사항들입니다.
- 데이터의 크기
- 데이터의 특성 (선형 관계 또는 비선형 관계)
- 모델 해석의 중요도
- 계산 비용
pytorch
