PyTorch Transformer 모델에서 src_mask와 src_key_padding_mask 차이점

PyTorch Transformer 모델에서 src_mask와 src_key_padding_mask는 모두 어텐션 메커니즘에서 사용되는 마스크이지만, 서로 다른 역할을 수행합니다.

src_mask

src_mask는 특정 위치가 어텐션 과정에서 다른 위치와 연결되는 것을 방지하는 데 사용됩니다. 예를 들어, 디코더가 현재 토큰을 예측할 때 이전 토큰만 참고하도록 하려면 src_mask를 사용하여 이전 토큰 이후의 위치를 마스크할 수 있습니다.

src_key_padding_mask

src_key_padding_mask는 패딩 토큰이 어텐션 과정에 참여하지 못하도록 방지하는 데 사용됩니다. Transformer 모델은 입력 시퀀스의 길이를 동일하게 맞추기 위해 패딩 토큰을 추가합니다. src_key_padding_mask를 사용하여 패딩 토큰이 어텐션 과정에 영향을 미치지 않도록 설정할 수 있습니다.

코드 예시

import torch

# src_mask 예시
src_mask = torch.tril(torch.ones(10, 10, dtype=torch.bool))

# src_key_padding_mask 예시
src_key_padding_mask = torch.tensor([[False] * 5 + [True] * 5])

# 어텐션 계산 예시
attn_output = torch.matmul(query, key, value, attention_mask=src_mask)

주요 차이점

참고 자료

추가 정보

• src_mask와 src_key_padding_mask를 동시에 사용할 수 있습니다.
• src_mask는 일반적으로 디코더에서 사용되고 src_key_padding_mask는 인코더와 디코더 모두에서 사용됩니다.
• 특정 어텐션 레이어에만 마스크를 적용할 수도 있습니다.

예제 코드

import torch

# Transformer 모델 생성
transformer = torch.nn.Transformer(
    num_encoder_layers=6,
    num_decoder_layers=6,
    d_model=512,
    nhead=8,
    dim_feedforward=2048,
    dropout=0.1,
    activation="relu",
)

# 입력 시퀀스
src = torch.randint(1, 100, (10, 5))
tgt = torch.randint(1, 100, (10, 6))

# src_mask 생성
src_mask = torch.tril(torch.ones(10, 10, dtype=torch.bool))

# src_key_padding_mask 생성
src_key_padding_mask = torch.tensor([[False] * 5 + [True] * 5])

# 모델 실행
output = transformer(src, tgt, src_mask=src_mask, src_key_padding_mask=src_key_padding_mask)

# 출력 결과
print(output)

• 이 예시에서는 6개의 인코더 레이어와 6개의 디코더 레이어를 가진 Transformer 모델을 생성합니다.
• 입력 시퀀스 src와 tgt는 각각 10개의 배치와 5개/6개의 토큰으로 구성됩니다.
• src_mask는 디코더가 이전 토큰만 참고하도록 설정합니다.
• src_key_padding_mask는 패딩 토큰이 어텐션 과정에 영향을 미치지 않도록 설정합니다.
• 모델 실행 결과는 디코더의 마지막 레이어 출력입니다.

src_mask와 src_key_padding_mask 대체 방법

attention_mask 사용

attention_mask는 src_mask와 src_key_padding_mask를 하나로 결합한 마스크입니다. 다음 코드는 attention_mask를 사용하여 src_mask와 src_key_padding_mask를 동일하게 구현합니다.

attention_mask = torch.tril(torch.ones(10, 10, dtype=torch.bool))
attention_mask &= ~src_key_padding_mask.unsqueeze(1)

relative_attention 사용

relative_attention은 어텐션 스코어 계산에 위치 정보를 사용하여 마스크 없이도 어텐션 범위를 제어할 수 있습니다. 다음 코드는 relative_attention을 사용하여 src_mask를 대체합니다.

transformer = torch.nn.Transformer(
    num_encoder_layers=6,
    num_decoder_layers=6,
    d_model=512,
    nhead=8,
    dim_feedforward=2048,
    dropout=0.1,
    activation="relu",
    relative_attention=True,
)

position_encoding 사용

position_encoding은 어텐션 스코어 계산에 위치 정보를 사용하여 패딩 토큰의 영향을 줄일 수 있습니다. 다음 코드는 position_encoding을 사용하여 src_key_padding_mask를 대체합니다.

transformer = torch.nn.Transformer(
    num_encoder_layers=6,
    num_decoder_layers=6,
    d_model=512,
    nhead=8,
    dim_feedforward=2048,
    dropout=0.1,
    activation="relu",
    position_encoding="learned",
)

causal_mask 사용

causal_mask는 디코더가 이전 토큰만 참고하도록 설정합니다. 다음 코드는 causal_mask를 사용하여 src_mask를 대체합니다.

transformer = torch.nn.Transformer(
    num_encoder_layers=6,
    num_decoder_layers=6,
    d_model=512,
    nhead=8,
    dim_feedforward=2048,
    dropout=0.1,
    activation="relu",
    causal_mask=True,
)

decoder_only 사용

decoder_only는 인코더 출력을 디코더 어텐션에만 사용합니다. 다음 코드는 decoder_only를 사용하여 src_key_padding_mask를 대체합니다.

transformer = torch.nn.Transformer(
    num_encoder_layers=6,
    num_decoder_layers=6,
    d_model=512,
    nhead=8,
    dim_feedforward=2048,
    dropout=0.1,
    activation="relu",
    decoder_only=True,
)

결론