Python, NumPy, PyTorch에서 이해하는 einsum

Python, NumPy, PyTorch에서 이해하는 einsum

einsum 기본 개념:

• Einstein 표기법: 텐서 계산을 표현하는 간결한 방식으로, 축 이름을 사용하여 텐서 간의 연산을 나타냅니다.
• 축약: 두 텐서의 축이 동일할 경우, 해당 축을 따라 계산을 수행하고 결과 텐서에서 제거됩니다.
• 차원 변경: 텐서의 축 순서를 변경하거나 새로운 축을 추가할 수 있습니다.

einsum 예시:

import numpy as np
import torch

# 1. 행렬 곱셈
a = np.array([[1, 2], [3, 4]])
b = np.array([[5, 6], [7, 8]])
c = np.einsum("ij,jk->ik", a, b)  # 결과: [[19 22], [43 50]]

# 2. 벡터 내적
x = torch.tensor([1, 2, 3])
y = torch.tensor([4, 5, 6])
z = torch.einsum("i,i->", x, y)  # 결과: 32

# 3. 배열 축약
a = torch.randn(2, 3, 4)
b = torch.einsum("ijk->ij", a)  # 결과: 2x3 행렬

# 4. 차원 변경
a = torch.randn(2, 3, 4)
b = torch.einsum("ijk->kji", a)  # 결과: 4x3x2 행렬

• 행렬 곱셈, 벡터 내적, 텐서 축약, 차원 변경 등 다양한 텐서 계산을 수행할 수 있습니다.
• 코드를 간결하고 명확하게 작성할 수 있으며, 계산 효율성을 높일 수 있습니다.
• 다차원 배열 간의 복잡한 계산을 표현하는 데 유용합니다.

einsum 학습 자료:

참고:

• einsum은 다양한 방식으로 사용될 수 있으며, 사용자의 필요에 맞게 표현식을 작성할 수 있습니다.
• einsum 표현식을 이해하기 위해서는 Einstein 표기법에 대한 기본적인 이해가 필요합니다.
• einsum은 복잡한 계산을 간결하게 표현할 수 있지만, 코드를 읽기 어렵게 만들 수도 있습니다. 따라서 적절하게 사용하는 것이 중요합니다.

예제 코드

import numpy as np

# 2x3 행렬과 3x2 행렬 정의
a = np.array([[1, 2, 3], [4, 5, 6]])
b = np.array([[1, 4], [2, 5], [3, 6]])

# einsum을 사용하여 행렬 곱셈 수행
c = np.einsum("ij,jk->ik", a, b)

# 결과 출력
print(c)

# 결과:
# [[ 10 22]
#  [ 20 42]]

벡터 내적:

import torch

# 두 벡터 정의
x = torch.tensor([1, 2, 3])
y = torch.tensor([4, 5, 6])

# einsum을 사용하여 벡터 내적 수행
z = torch.einsum("i,i->", x, y)

# 결과 출력
print(z)

# 결과:
# 32

배열 축약:

import torch

# 3차원 배열 정의
a = torch.randn(2, 3, 4)

# einsum을 사용하여 축약
b = torch.einsum("ijk->ij", a)

# 결과 출력
print(b.shape)

# 결과:
# torch.Size([2, 3])

차원 변경:

import torch

# 3차원 배열 정의
a = torch.randn(2, 3, 4)

# einsum을 사용하여 차원 변경
b = torch.einsum("ijk->kji", a)

# 결과 출력
print(b.shape)

# 결과:
# torch.Size([4, 3, 2])

다중 축약 및 차원 변경:

import torch

# 4차원 배열 정의
a = torch.randn(2, 3, 4, 5)

# einsum을 사용하여 다중 축약 및 차원 변경
b = torch.einsum("ijkl->ij", a)

# 결과 출력
print(b.shape)

# 결과:
# torch.Size([2, 3])

• 위 예제 코드는 einsum 함수의 다양한 활용 방식을 보여줍니다.
• 사용자의 필요에 맞게 einsum 표현식을 자유롭게 조합하여 사용할 수 있습니다.

einsum 대체 방법

for 루프:

def matmul(a, b):
  """
  행렬 곱셈을 수행하는 함수
  """
  result = np.zeros((a.shape[0], b.shape[1]))
  for i in range(a.shape[0]):
    for j in range(b.shape[1]):
      for k in range(a.shape[1]):
        result[i][j] += a[i][k] * b[k][j]
  return result

# 예시
a = np.array([[1, 2, 3], [4, 5, 6]])
b = np.array([[1, 4], [2, 5], [3, 6]])

c = matmul(a, b)

print(c)

# 결과:
# [[ 10 22]
#  [ 20 42]]

NumPy 및 PyTorch 함수:

# 행렬 곱셈
c = np.matmul(a, b)  # NumPy
c = torch.matmul(a, b)  # PyTorch

# 벡터 내적
c = np.dot(x, y)  # NumPy
c = torch.dot(x, y)  # PyTorch

# 배열 축약
c = np.sum(a, axis=1)  # NumPy
c = torch.sum(a, dim=1)  # PyTorch

# 차원 변경
c = np.transpose(a)  # NumPy
c = a.t()  # PyTorch

다른 라이브러리:

주의 사항:

• for 루프를 사용하는 방법은 가장 느리지만 가장 직관적입니다.
• NumPy 및 PyTorch 함수는 for 루프보다 빠르지만 einsum만큼 효율적이지 않을 수 있습니다.
• 다른 라이브러리는 einsum과 유사한 기능을 제공하지만 사용 방법을 배우는 데 시간이 걸릴 수 있습니다.