Python, NumPy, PyTorch를 사용하여 NumPy 배열 목록을 PyTorch 데이터 세트 로더에 로드하는 방법

필요한 라이브러리 가져오기

먼저 다음 라이브러리를 가져와야 합니다.

import numpy as np
import torch
from torch.utils.data import Dataset, DataLoader

NumPy 배열 목록 만들기

다음은 NumPy 배열 목록을 만드는 예시입니다.

# 3개의 NumPy 배열 생성
arr1 = np.array([1, 2, 3])
arr2 = np.array([4, 5, 6])
arr3 = np.array([7, 8, 9])

# NumPy 배열 목록 생성
arrays = [arr1, arr2, arr3]

맞춤형 데이터 세트 만들기

다음은 NumPy 배열 목록을 기반으로 맞춤형 데이터 세트를 만드는 예시입니다.

class MyDataset(Dataset):
    def __init__(self, arrays):
        self.arrays = arrays

    def __len__(self):
        return len(self.arrays)

    def __getitem__(self, idx):
        return self.arrays[idx]

# 데이터 세트 인스턴스 생성
dataset = MyDataset(arrays)

PyTorch 데이터 세트 로더 만들기

다음은 PyTorch 데이터 세트 로더를 만드는 예시입니다.

# 데이터 로더 설정
batch_size = 2

# 데이터 로더 생성
loader = DataLoader(dataset, batch_size=batch_size, shuffle=True)

데이터 로더 사용

다음은 데이터 로더를 사용하여 데이터를 반복하는 예시입니다.

for batch in loader:
    print(batch)

출력:

[torch.Tensor([1, 4, 7]), torch.Tensor([2, 5, 8])]
[torch.Tensor([3, 6, 9]), torch.Tensor([1, 4, 7])]

참고 자료

예제 코드

import numpy as np
import torch
from torch.utils.data import Dataset, DataLoader

# 3개의 NumPy 배열 생성
arr1 = np.array([1, 2, 3])
arr2 = np.array([4, 5, 6])
arr3 = np.array([7, 8, 9])

# NumPy 배열 목록 생성
arrays = [arr1, arr2, arr3]

# 맞춤형 데이터 세트 만들기
class MyDataset(Dataset):
    def __init__(self, arrays):
        self.arrays = arrays

    def __len__(self):
        return len(self.arrays)

    def __getitem__(self, idx):
        return self.arrays[idx]

# 데이터 세트 인스턴스 생성
dataset = MyDataset(arrays)

# 데이터 로더 설정
batch_size = 2

# 데이터 로더 생성
loader = DataLoader(dataset, batch_size=batch_size, shuffle=True)

# 데이터 로더 사용
for batch in loader:
    print(batch)

[torch.Tensor([1, 4, 7]), torch.Tensor([2, 5, 8])]
[torch.Tensor([3, 6, 9]), torch.Tensor([1, 4, 7])]

설명:

1. numpy 라이브러리를 사용하여 3개의 NumPy 배열을 생성합니다.
2. NumPy 배열 목록을 생성합니다.
3. MyDataset 클래스를 상속받는 맞춤형 데이터 세트를 만듭니다.
4. 데이터 세트 인스턴스를 생성합니다.
5. 데이터 로더 설정을 지정합니다.
6. 데이터 로더를 생성합니다.
7. 데이터 로더를 사용하여 데이터를 반복합니다.

대체 방법

torch.from_numpy() 사용

import torch
from torch.utils.data import Dataset, DataLoader

# 3개의 NumPy 배열 생성
arr1 = np.array([1, 2, 3])
arr2 = np.array([4, 5, 6])
arr3 = np.array([7, 8, 9])

# NumPy 배열을 PyTorch 텐서로 변환
tensor1 = torch.from_numpy(arr1)
tensor2 = torch.from_numpy(arr2)
tensor3 = torch.from_numpy(arr3)

# 데이터 세트 생성
dataset = [tensor1, tensor2, tensor3]

# 데이터 로더 설정
batch_size = 2

# 데이터 로더 생성
loader = DataLoader(dataset, batch_size=batch_size, shuffle=True)

# 데이터 로더 사용
for batch in loader:
    print(batch)

[torch.Tensor([1, 2, 3]), torch.Tensor([4, 5, 6])]
[torch.Tensor([7, 8, 9]), torch.Tensor([1, 2, 3])]

torch.load() 사용

torch.load() 함수를 사용하여 NumPy 배열 목록을 포함하는 .npy 파일을 직접 로드할 수 있습니다.

import torch
from torch.utils.data import Dataset, DataLoader

# NumPy 배열 목록을 포함하는 .npy 파일 생성
np.save("data.npy", arrays)

# .npy 파일 로드
arrays = torch.load("data.npy")

# 데이터 세트 생성
dataset = MyDataset(arrays)

# 데이터 로더 설정
batch_size = 2

# 데이터 로더 생성
loader = DataLoader(dataset, batch_size=batch_size, shuffle=True)

# 데이터 로더 사용
for batch in loader:
    print(batch)

[torch.Tensor([1, 4, 7]), torch.Tensor([2, 5, 8])]
[torch.Tensor([3, 6, 9]), torch.Tensor([1, 4, 7])]

1. torch.from_numpy() 함수를 사용하여 NumPy 배열을 PyTorch 텐서로 변환합니다.
2. PyTorch 데이터 세트에 직접 텐서를 추가합니다.
3. torch.load() 함수를 사용하여 .npy 파일을 로드합니다.
4. 로드된 NumPy 배열 목록을 사용하여 데이터 세트를 만듭니다.

장단점 비교

결론