파이토치에서 Parameter와 Tensor의 차이

2024-07-27

파이토치에서 Parameter와 Tensor의 차이

Tensor는 다차원 배열을 나타내는 기본 데이터 구조입니다. 딥러닝 모델에서 입력 데이터, 가중치, 출력 등 다양한 정보를 저장하는데 사용됩니다. Tensor는 다음과 같은 특징을 가집니다.

다차원 배열
데이터 유형 (int, float, bool 등) 지정 가능
연산 가능 (덧셈, 곱셈, 행렬 연산 등)
변형 가능 (reshape, slice 등)

Parameter는 딥러닝 모델 학습 과정에서 자동으로 미분(gradient)을 계산하고 업데이트되는 Tensor입니다. 즉, 모델의 학습 과정에서 중요한 역할을 하는 변수라고 볼 수 있습니다. Parameter는 다음과 같은 특징을 가집니다.

Tensor를 상속
학습 과정에서 자동 미분 및 업데이트 가능
requires_grad 속성을 통해 학습 여부 설정 가능
모델 저장 및 불러오기 지원

Parameter와 Tensor의 주요 차이점

구분	Tensor	Parameter
역할	데이터 저장	학습 변수
미분	불가능	자동 미분 가능
학습	직접 학습 불가능	학습 가능
requires_grad	없음	있음

사용 예시

import torch

# Tensor
x = torch.randn(3, 4)

# Parameter
w = torch.randn(3, 4, requires_grad=True)

# 모델 정의
class MyModel(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.w = torch.nn.Parameter(torch.randn(3, 4))

    def forward(self, x):
        return torch.matmul(x, self.w)

# 모델 생성 및 학습
model = MyModel()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

for epoch in range(10):
    # ...

결론

Tensor는 딥러닝 모델에서 데이터 저장 용도로 사용되는 기본 데이터 구조입니다.
Parameter는 학습 과정에서 자동 미분 및 업데이트되는 Tensor입니다.
모델 정의 및 학습 시 각각의 역할을 이해하고 적절하게 사용해야 합니다.

예제 코드

import torch

# 3x4 크기의 랜덤 텐서 생성
x = torch.randn(3, 4)

# 텐서 정보 출력
print(x.shape)
print(x)

# 텐서 연산
y = torch.matmul(x, x.t())

# 결과 출력
print(y)

Parameter 예시

import torch

# 3x4 크기의 랜덤 Parameter 생성
w = torch.nn.Parameter(torch.randn(3, 4, requires_grad=True))

# Parameter 정보 출력
print(w.shape)
print(w)

# Parameter를 사용하는 모델 정의
class MyModel(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.w = torch.nn.Parameter(torch.randn(3, 4))

    def forward(self, x):
        return torch.matmul(x, self.w)

# 모델 생성 및 학습
model = MyModel()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

for epoch in range(10):
    # ...

# 학습 후 Parameter 값 출력
print(w)

설명

첫 번째 예시에서는 Tensor의 생성, 정보 출력, 연산 등 기본적인 기능을 보여줍니다.
두 번째 예시에서는 Parameter의 생성, 정보 출력, 모델 정의 및 학습 등에 대한 예시를 보여줍니다.
모델 학습 과정에서 Parameter는 자동으로 미분되고 업데이트됩니다.

참고

이 코드는 기본적인 예시이며, 실제 딥러닝 모델에서는 더 복잡하게 사용될 수 있습니다.

파이토치에서 Parameter 대신 Tensor 사용

학습하지 않는 변수

모델의 일부 변수가 학습 과정에서 변하지 않는 경우 Parameter 대신 Tensor를 사용할 수 있습니다. 예를 들어, 다음과 같은 경우입니다.

배치 정규화(batch normalization)에서 사용되는 평균과 표준 편차
임베딩 벡터
모델 아키텍처를 정의하는 변수

예시

import torch

# 학습하지 않는 변수
mu = torch.ones(10)
sigma = torch.ones(10)

# 모델 정의
class MyModel(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.mu = mu
        self.sigma = sigma

    def forward(self, x):
        # ...

# 모델 생성
model = MyModel()

간단한 모델

모델이 매우 간단하고 학습 변수가 적은 경우 Parameter 대신 Tensor를 사용하여 코드를 간소화할 수 있습니다.

import torch

# 모델 정의
class MyModel(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.w = torch.randn(3, 4)

    def forward(self, x):
        return torch.matmul(x, self.w)

# 모델 생성 및 학습
model = MyModel()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

for epoch in range(10):
    # ...