PyTorch에서 시퀀스를 "pack"하는 이유

2024-07-27

PyTorch에서 시퀀스를 "pack"하는 이유

하지만 RNN 모델을 학습할 때, 각 입력 시퀀스의 길이가 서로 다르면 문제가 발생할 수 있습니다. 예를 들어, 한 문장에 10개의 단어가 있는 반면 다른 문장에는 20개의 단어가 있다면, 모든 시퀀스를 동일한 길이로 만들기 위해 0으로 채워 "패딩(padding)"해야 합니다.

PyTorch에서는 pack_padded_sequence 함수를 사용하여 시퀀스를 "pack"할 수 있습니다. 이 함수는 패딩된 시퀀스를 효율적으로 처리하기 위해 다음과 같은 작업을 수행합니다.

패딩 제거: 패딩된 0 값을 제거하여 메모리 사용량을 줄이고 계산 속도를 높입니다.
시퀀스 길이 정보 저장: 각 시퀀스의 실제 길이 정보를 저장하여 RNN 모델이 시퀀스 길이에 따라 계산을 수행하도록 합니다.

시퀀스를 pack하는 주요 이점은 다음과 같습니다.

메모리 사용량 감소: 패딩된 0 값을 제거하여 메모리 사용량을 줄일 수 있습니다.
계산 속도 향상: 패딩된 값을 계산에 포함하지 않아 계산 속도를 높일 수 있습니다.
모델 효율 향상: RNN 모델이 시퀀스 길이 정보를 활용하여 더 효율적으로 계산을 수행할 수 있습니다.

시퀀스를 pack하는 방법

import torch

# 시퀀스 길이
seq_lengths = [10, 5, 7]

# 시퀀스 데이터
sequences = [[1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
            [11, 12, 13, 14, 15],
            [16, 17, 18, 19, 20, 21, 22]]

# 패딩된 시퀀스
padded_sequences = torch.nn.utils.rnn.pad_sequence(sequences, batch_first=True)

# 시퀀스 pack
packed_sequences = torch.nn.utils.rnn.pack_padded_sequence(padded_sequences, seq_lengths, batch_first=True)

# RNN 모델

# ...

# 시퀀스 unpack
unpacked_sequences, unpacked_seq_lengths = torch.nn.utils.rnn.pad_packed_sequence(packed_sequences, batch_first=True)

예제 코드

import torch

# 시퀀스 길이
seq_lengths = [10, 5, 7]

# 시퀀스 데이터
sequences = [[1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
            [11, 12, 13, 14, 15],
            [16, 17, 18, 19, 20, 21, 22]]

# 패딩된 시퀀스
padded_sequences = torch.nn.utils.rnn.pad_sequence(sequences, batch_first=True)

# 시퀀스 pack
packed_sequences = torch.nn.utils.rnn.pack_padded_sequence(padded_sequences, seq_lengths, batch_first=True)

# RNN 모델

class RNN(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.rnn = torch.nn.LSTM(input_size=10, hidden_size=20, num_layers=1)

    def forward(self, x):
        output, _ = self.rnn(x)
        return output

# 모델 생성
model = RNN()

# 모델 학습

# ...

# 시퀀스 unpack
unpacked_sequences, unpacked_seq_lengths = torch.nn.utils.rnn.pad_packed_sequence(packed_sequences, batch_first=True)

seq_lengths는 각 시퀀스의 길이를 나타내는 리스트입니다.
padded_sequences는 sequences를 패딩하여 생성된 텐서입니다.
RNN 클래스는 RNN 모델을 정의합니다.
model은 RNN 클래스를 사용하여 생성된 모델입니다.
model.forward() 메서드는 RNN 모델의 forward pass를 수행합니다.

참고

이 코드는 예시이며, 실제 모델 학습에서는 데이터, 모델 구조, 학습 파라미터 등을 변경해야 합니다.
RNN 모델 학습에 대한 자세한 내용은 PyTorch documentation을 참고하십시오.

시퀀스를 pack하는 대체 방법

for 루프 사용

for i in range(len(sequences)):
    # 시퀀스 길이
    seq_len = len(sequences[i])

    # 패딩 제거
    packed_sequence = sequences[i][:seq_len]

    # RNN 모델

    # ...

    # 시퀀스 길이 저장
    unpacked_seq_lengths.append(seq_len)

torch.where 사용

# 패딩 마스크 생성
padding_mask = torch.where(padded_sequences != 0, torch.ones_like(padded_sequences), torch.zeros_like(padded_sequences))

# 패딩 제거
packed_sequences = torch.masked_select(padded_sequences, padding_mask)

# RNN 모델

# ...

# 시퀀스 길이 저장
unpacked_seq_lengths = torch.sum(padding_mask, dim=1)

# 시퀀스 길이 인덱스 생성
seq_lengths_idx = torch.arange(len(seq_lengths), device=padded_sequences.device)

# 시퀀스 길이에 따라 시퀀스 선택
packed_sequences = torch.gather(padded_sequences, 0, seq_lengths_idx)

# RNN 모델

# ...

# 시퀀스 길이 저장
unpacked_seq_lengths = seq_lengths

장점과 단점