PyTorch에서 nn.Linear 클래스 정의
2024-07-27
nn.Linear 클래스 정의
class nn.Linear(in_features: int, out_features: int, bias: bool = True) -> nn.Module:
"""
입력 데이터에 선형 변환을 적용하는 선형 레이어 클래스입니다.
Args:
in_features: 입력 데이터의 특징 수입니다.
out_features: 출력 데이터의 특징 수입니다.
bias: 편향 벡터를 사용할지 여부를 지정합니다. 기본값은 True입니다.
Returns:
nn.Module 클래스를 상속받은 선형 레이어 객체입니다.
"""
def __init__(self, in_features: int, out_features: int, bias: bool = True) -> None:
super().__init__()
self.in_features = in_features
self.out_features = out_features
self.weight = nn.Parameter(torch.Tensor(out_features, in_features))
if bias:
self.bias = nn.Parameter(torch.Tensor(out_features))
else:
self.bias = None
def forward(self, input: Tensor) -> Tensor:
"""
선형 변환을 수행합니다.
Args:
input: 입력 데이터입니다.
Returns:
선형 변환 결과입니다.
"""
return F.linear(input, self.weight, self.bias)
파라미터:
- in_features: 입력 데이터의 특징 수입니다.
- bias: 편향 벡터를 사용할지 여부를 지정합니다. 기본값은 True입니다.
속성:
- weight: 가중치 텐서입니다.
- bias: 편향 벡터입니다. (bias=False일 경우 None)
메서드:
- forward: 선형 변환을 수행합니다.
nn.Linear 클래스 사용 예시
import torch
from torch import nn
# 10개의 특징을 가진 입력 데이터를 5개의 특징으로 변환하는 선형 레이어 생성
linear = nn.Linear(10, 5)
# 임의의 입력 데이터 생성
input = torch.randn(1, 10)
# 선형 변환 수행
output = linear(input)
print(output.shape) # torch.Size([1, 5])
nn.Linear 클래스 작동 방식
nn.Linear 클래스는 입력 데이터에 선형 변환을 적용합니다. 이 변환은 다음과 같이 수식으로 표현됩니다.
y = xA^T + b
여기서:
- y: 출력 데이터
- A: 가중치 텐서
- ^T: 행렬 전치
가중치 텐서는 입력 데이터와 출력 데이터 사이의 관계를 나타냅니다. 편향 벡터는 출력 데이터에 추가되는 상수입니다.
nn.Linear 클래스 활용 분야
nn.Linear 클래스는 다양한 신경망 모델에서 사용됩니다.
- 분류 모델: 이미지 분류, 텍스트 분류 등
- 회귀 모델: 주택 가격 예측, 주식 시장 예측 등
- 자연어 처리 모델: 기계 번역, 감정 분석 등
예제 코드
import torch
from torch import nn
# 10개의 특징을 가진 입력 데이터를 5개의 특징으로 변환하는 선형 레이어 생성
linear = nn.Linear(10, 5)
# 임의의 입력 데이터 생성
input = torch.randn(1, 10)
# 선형 변환 수행
output = linear(input)
# 출력 결과 확인
print(output)
tensor([[ 0.0925, 0.2182, -0.1047, 0.4321, -0.0234]], grad_fn=<AddmmBackward>)
설명:
linear객체는 10개의 특징을 가진 입력 데이터를 5개의 특징으로 변환하는 선형 레이어를 나타냅니다.input변수는 10개의 특징을 가진 임의의 입력 데이터입니다.output변수는 선형 변환 후의 결과입니다. 출력 데이터는 5개의 특징을 가지고 있습니다.print(output)명령은 출력 결과를 출력합니다.
추가 예제:
- 편향 벡터 사용:
linear = nn.Linear(10, 5, bias=True)
# ...
# 출력 결과 확인
print(output)
- 가중치 텐서 및 편향 벡터 직접 설정:
linear = nn.Linear(10, 5)
# 가중치 텐서 설정
linear.weight = torch.randn(5, 10)
# 편향 벡터 설정
linear.bias = torch.randn(5)
# ...
# 출력 결과 확인
print(output)
nn.Linear 클래스 대체 방법
F.linear 함수 사용:
nn.Linear 클래스 대신 torch.nn.functional.linear 함수를 사용하여 선형 변환을 수행할 수 있습니다.
import torch
from torch import nn
# 10개의 특징을 가진 입력 데이터를 5개의 특징으로 변환
output = F.linear(input, weight, bias)
# ...
# 출력 결과 확인
print(output)
직접 행렬 곱셈 및 편향 벡터 추가:
입력 데이터와 가중치 텐서의 행렬 곱셈을 직접 수행하고 편향 벡터를 추가하여 선형 변환을 수행할 수 있습니다.
import torch
# 10개의 특징을 가진 입력 데이터를 5개의 특징으로 변환
output = torch.mm(input, weight.t()) + bias
# ...
# 출력 결과 확인
print(output)
다른 라이브러리 사용:
TensorFlow, Jax 등 다른 딥러닝 프레임워크에서 제공하는 선형 레이어 클래스를 사용할 수 있습니다.
사용자 정의 레이어 구현:
PyTorch nn.Module 클래스를 상속받아 사용자 정의 선형 레이어를 구현할 수 있습니다.
선택 기준:
- 간편성:
nn.Linear클래스가 가장 간편하게 사용할 수 있습니다. - 효율성: F.linear 함수나 직접 행렬 곱셈을 사용하는 것이 더 효율적일 수 있습니다.
- 유연성: 사용자 정의 레이어를 구현하면 원하는 기능을 자유롭게 추가할 수 있습니다.
사용 예시:
- 간편성: 빠르게 모델을 구현하고 싶거나 간단한 선형 변환을 수행할 경우
nn.Linear클래스를 사용하는 것이 좋습니다. - 효율성: 속도가 중요한 경우 F.linear 함수나 직접 행렬 곱셈을 사용하는 것이 좋습니다.
- 유연성: 특정 기능을 구현해야 하는 경우 사용자 정의 레이어를 구현하는 것이 좋습니다.
python pytorch
