대규모 CSV 파일을 판다스로 읽는 방법

2024-07-27

하지만, 대규모 CSV 파일을 다룰 때는 메모리 부족, 처리 속도 저하 등의 문제가 발생할 수 있습니다. 이러한 문제를 해결하기 위해 판다스는 다음과 같은 몇 가지 방법을 제공합니다.

chunksize 옵션 사용:

pd.read_csv() 함수의 chunksize 옵션을 사용하면 CSV 파일을 작은 청크로 나누어 읽어 메모리 부족 문제를 해결할 수 있습니다. 각 청크는 별도의 데이터 프레임으로 반환되며, 이를 반복적으로 처리하거나 하나의 큰 데이터 프레임으로 합칠 수 있습니다.

import pandas as pd

def read_in_chunks(filename, chunksize):
    for chunk in pd.read_csv(filename, chunksize=chunksize):
        process_chunk(chunk)

def process_chunk(chunk):
    # 각 청크에 대해 원하는 작업 수행
    pass

Dask 라이브러리 사용:

Dask는 분산 및 병렬 처리 기능을 제공하는 라이브러리로, 대규모 데이터셋을 효율적으로 처리하는 데 도움이 됩니다. 판다스는 Dask와 통합되어 있어 Dask DataFrame을 사용하여 CSV 파일을 읽고 처리할 수 있습니다.

import pandas as pd
from dask import dataframe as dd

df = dd.read_csv(filename)
# Dask DataFrame을 사용하여 계산 수행

Apache Arrow 사용:

Apache Arrow는 고성능 메모리 형식으로, CSV 파일을 효율적으로 저장하고 처리하는 데 사용할 수 있습니다. 판다스는 Arrow와 통합되어 있어 Arrow 파일을 직접 읽고 데이터 프레임으로 변환할 수 있습니다.

import pandas as pd
import pyarrow as pa

# CSV 파일을 Arrow 파일로 변환
table = pa.Table.from_csv(filename)

# Arrow 파일을 Pandas DataFrame으로 변환
df = pd.DataFrame(table)

처리할 열 선택:

usecols 옵션을 사용하여 읽어올 열을 선택하면 필요한 데이터만 불러와 메모리 사용량을 줄일 수 있습니다.

df = pd.read_csv(filename, usecols=["column1", "column2"])

dtype 지정:

dtype 옵션을 사용하여 각 열의 데이터 타입을 지정하면 메모리 사용량을 줄이고 처리 속도를 향상시킬 수 있습니다.

df = pd.read_csv(filename, dtype={"column1": int, "column2": float})

결측값 처리:

na_filter 옵션을 사용하여 결측값이 포함된 행을 제외하고 데이터를 읽을 수 있습니다.

df = pd.read_csv(filename, na_filter=False)

병렬 처리:

nthreads 옵션을 사용하여 병렬 처리를 활성화하면 여러 CPU 코어를 활용하여 데이터 처리 속도를 향상시킬 수 있습니다.

df = pd.read_csv(filename, nthreads=4)

예제 코드

chunksize 옵션 사용

import pandas as pd

def read_in_chunks(filename, chunksize):
    for chunk in pd.read_csv(filename, chunksize=chunksize):
        process_chunk(chunk)

def process_chunk(chunk):
    # 각 청크에 대해 원하는 작업 수행
    print(chunk.head())

read_in_chunks('large_data.csv', 10000)

설명:

read_in_chunks 함수는 chunksize 매개변수로 지정된 크기의 청크로 파일을 읽습니다.
process_chunk 함수는 각 청크에 대해 원하는 작업을 수행합니다.
예제 코드에서는 head() 메서드를 사용하여 각 청크의 처음 5개 행을 출력합니다.

Dask 라이브러리 사용

import pandas as pd
from dask import dataframe as dd

df = dd.read_csv('large_data.csv')
print(df.head())

dd.read_csv 함수는 Dask DataFrame을 사용하여 CSV 파일을 읽습니다.
head() 메서드를 사용하여 데이터 프레임의 처음 5개 행을 출력합니다.

Apache Arrow 사용

import pandas as pd
import pyarrow as pa

table = pa.Table.from_csv('large_data.csv')
df = pd.DataFrame(table)
print(df.head())

pa.Table.from_csv 함수는 CSV 파일을 Arrow Table로 변환합니다.
pd.DataFrame 생성자를 사용하여 Arrow Table을 Pandas DataFrame으로 변환합니다.

참고:

이 코드는 기본적인 예시이며, 실제 상황에 따라 적절하게 수정해야 할 수 있습니다.
데이터 파일의 크기와 시스템 성능에 따라 최적의 chunksize는 달라질 수 있습니다.
Dask와 Arrow는 대규모 데이터셋을 처리할 때 더 나은 성능을 제공할 수 있지만, Pandas보다 복잡할 수 있습니다.

대규모 CSV 파일을 읽는 다른 방법

분할 및 압축:

파일을 여러 개의 작은 파일로 분할하고 압축합니다. 이렇게 하면 파일 처리 및 저장이 용이해집니다.
각 분할 파일을 별도로 읽고 처리한 후, 결과를 합쳐서 사용합니다.

SQL 데이터베이스 사용:

CSV 파일을 SQL 데이터베이스에 로드합니다.
SQL 쿼리를 사용하여 데이터를 효율적으로 조회하고 처리합니다.
데이터베이스는 대규모 데이터 처리에 최적화되어 있으며, 다양한 분석 기능을 제공합니다.

Hadoop 또는 Spark 사용:

Hadoop 또는 Spark와 같은 분산 처리 프레임워크를 사용합니다.
이러한 프레임워크는 대규모 데이터셋을 병렬 처리하여 처리 속도를 향상시킬 수 있습니다.
Hadoop은 저렴한 하드웨어에서 실행될 수 있는 반면, Spark는 더 빠른 처리 속도를 제공합니다.

도메인별 특화 솔루션 사용:

특정 유형의 CSV 파일을 처리하기 위한 도메인별 특화 솔루션을 사용합니다.
이러한 솔루션은 일반적으로 pandas보다 빠르고 효율적이며, 특정 데이터 형식에 대한 추가 기능을 제공합니다.

스트리밍 처리:

파일 전체를 메모리에 로드하지 않고 파일을 스트리밍하는 방식으로 처리합니다.
이 방법은 메모리 부족 문제를 해결할 수 있지만, 처리 속도가 느릴 수 있습니다.

최적의 방법 선택:

대규모 CSV 파일을 읽는 가장 좋은 방법은 파일 크기, 시스템 성능, 처리 요구 사항 등 여러 요소에 따라 달라집니다.

파일 크기가 작고 처리 요구 사항이 단순한 경우: pandas가 좋은 선택입니다.
파일 크기가 크거나 처리 요구 사항이 복잡한 경우: 분할 및 압축, SQL 데이터베이스, Hadoop 또는 Spark, 도메인별 특화 솔루션 또는 스트리밍 처리를 사용하는 것이 더 효율적일 수 있습니다.

참고 자료: