파이썬 Pandas 데이터프레임에 한 행씩 추가하기

개요

파이썬의 Pandas 라이브러리는 데이터 분석에 있어 필수적인 도구입니다. Pandas 데이터프레임은 표 형태의 데이터를 효율적으로 관리하고 분석할 수 있게 해주는 자료 구조입니다. 이 글에서는 Pandas 데이터프레임에 한 행씩 데이터를 추가하는 방법에 대해 자세히 알아보겠습니다.

왜 한 행씩 추가해야 할까요?

• 실시간 데이터 처리: 센서 데이터나 로그 데이터처럼 실시간으로 데이터가 생성될 때, 데이터프레임에 바로바로 추가하여 분석할 수 있습니다.
• 데이터 스트리밍: 큰 데이터셋을 작은 단위로 나누어 처리할 때, 각 단위를 데이터프레임에 추가하며 처리할 수 있습니다.
• 유동적인 데이터 구조: 데이터의 구조가 미리 정해지지 않은 경우, 데이터가 생성될 때마다 데이터프레임에 추가하여 동적으로 구조를 변경할 수 있습니다.

Pandas 데이터프레임에 한 행씩 추가하는 방법

빈 데이터프레임 생성 및 초기화

import pandas as pd

# 빈 데이터프레임 생성
df = pd.DataFrame(columns=['컬럼1', '컬럼2', '컬럼3'])

# 첫 번째 행 추가
df.loc[len(df)] = ['데이터1', '데이터2', '데이터3']

• pd.DataFrame(columns=['컬럼1', '컬럼2', '컬럼3']): 지정된 컬럼명을 가진 빈 데이터프레임을 생성합니다.
• df.loc[len(df)] = ['데이터1', '데이터2', '데이터3']: 데이터프레임의 마지막 행에 새로운 데이터를 추가합니다. len(df)는 현재 행의 개수를 반환하므로, 새로운 행의 인덱스로 사용됩니다.

반복문을 이용한 여러 행 추가

import pandas as pd

df = pd.DataFrame(columns=['컬럼1', '컬럼2', '컬럼3'])

for i in range(10):
    df.loc[len(df)] = [i, i*2, i*3]

• for 반복문을 이용하여 여러 번 데이터를 추가할 수 있습니다.

append() 메서드 사용

import pandas as pd

df = pd.DataFrame(columns=['컬럼1', '컬럼2', '컬럼3'])

for i in range(10):
    new_row = pd.DataFrame({'컬럼1': [i], '컬럼2': [i*2], '컬럼3': [i*3]})
    df = pd.concat([df, new_row], ignore_index=True)

• append() 메서드를 사용하여 데이터프레임에 새로운 행을 추가할 수 있지만, Pandas 1.4.0 버전부터는 concat() 메서드를 사용하는 것이 권장됩니다.
• ignore_index=True 옵션을 사용하면 인덱스를 자동으로 재설정합니다.

주의사항

• 성능: 한 행씩 추가하는 방식은 많은 양의 데이터를 처리할 때 성능이 저하될 수 있습니다. 가능하면 미리 데이터를 준비하여 한 번에 데이터프레임을 생성하는 것이 좋습니다.
• 메모리 사용량: 데이터프레임의 크기가 커질수록 메모리 사용량이 증가합니다. 메모리 부족 문제가 발생할 수 있으므로 주의해야 합니다.
• 데이터 타입: 추가하는 데이터의 타입이 일관되어야 합니다. 다른 타입의 데이터를 추가하면 오류가 발생할 수 있습니다.

결론

Pandas 데이터프레임에 한 행씩 추가하는 방법은 다양합니다. 각 방법마다 장단점이 있으므로, 데이터의 특성과 처리 환경에 맞는 방법을 선택해야 합니다. 일반적으로 loc 인덱싱을 이용한 방법이 간단하고 직관적이지만, 많은 양의 데이터를 처리할 때는 concat() 메서드를 사용하는 것이 효율적일 수 있습니다.

• 특정 조건에 맞는 데이터만 추가하고 싶어요.
• 데이터프레임의 크기가 너무 커서 메모리 문제가 발생해요.
• 실시간으로 데이터를 처리하고 싶은데, 어떤 방법이 좋을까요?

Pandas 데이터프레임에 한 행씩 추가하는 샘플 코드 더 보기

앞서 설명한 방법들을 바탕으로 다양한 상황에 적용할 수 있는 샘플 코드들을 추가로 제공해 드리겠습니다.

딕셔너리를 이용한 행 추가

딕셔너리를 사용하여 새로운 행의 데이터를 나타내고, 이를 데이터프레임에 추가하는 방법입니다.

import pandas as pd

# 빈 데이터프레임 생성
data = {'컬럼1': [1, 2, 3], '컬럼2': ['A', 'B', 'C']}
df = pd.DataFrame(data)

# 새로운 행 추가 (딕셔너리 사용)
new_row = {'컬럼1': 4, '컬럼2': 'D'}
df = df.append(new_row, ignore_index=True)

print(df)

리스트를 이용한 행 추가

import pandas as pd

# 빈 데이터프레임 생성
data = {'컬럼1': [1, 2, 3], '컬럼2': ['A', 'B', 'C']}
df = pd.DataFrame(data)

# 새로운 행 추가 (리스트 사용)
new_row = [4, 'D']
df.loc[len(df)] = new_row

print(df)

Series를 이용한 행 추가

import pandas as pd

# 빈 데이터프레임 생성
data = {'컬럼1': [1, 2, 3], '컬럼2': ['A', 'B', 'C']}
df = pd.DataFrame(data)

# 새로운 행 추가 (Series 사용)
new_row = pd.Series([5, 'E'], index=['컬럼1', '컬럼2'])
df = df.append(new_row, ignore_index=True)

print(df)

특정 위치에 행 삽입

iloc 인덱싱을 사용하여 특정 위치에 행을 삽입할 수 있습니다.

import pandas as pd

# 빈 데이터프레임 생성
data = {'컬럼1': [1, 2, 3], '컬럼2': ['A', 'B', 'C']}
df = pd.DataFrame(data)

# 두 번째 행 앞에 새로운 행 삽입
new_row = pd.Series([4, 'D'], index=['컬럼1', '컬럼2'])
df = pd.concat([df.iloc[:1], new_row.to_frame().T, df.iloc[1:]]).reset_index(drop=True)

print(df)

여러 행 동시 추가

리스트의 리스트를 사용하여 여러 행을 동시에 추가할 수 있습니다.

import pandas as pd

# 빈 데이터프레임 생성
data = {'컬럼1': [1, 2, 3], '컬럼2': ['A', 'B', 'C']}
df = pd.DataFrame(data)

# 여러 행 추가
new_rows = [[4, 'D'], [5, 'E']]
df = pd.concat([df, pd.DataFrame(new_rows, columns=df.columns)], ignore_index=True)

print(df)

성능 고려 시

많은 양의 데이터를 추가해야 할 경우, append 메서드보다는 concat 메서드를 사용하는 것이 성능상 유리합니다. 또한, 미리 데이터를 준비하여 한 번에 데이터프레임을 생성하는 것이 더 효율적일 수 있습니다.

주의:

• append 메서드는 Pandas 1.4.0 버전부터는 권장되지 않습니다.
• concat 메서드를 사용할 때는 ignore_index=True 옵션을 사용하여 인덱스를 자동으로 재설정하는 것이 좋습니다.
• 데이터의 타입이 일관되어야 오류가 발생하지 않습니다.

Pandas 데이터프레임에 행 추가하는 대체 방법

loc 인덱싱을 이용한 직접적인 추가

• 장점: 간단하고 직관적입니다.
• 단점: 많은 양의 데이터를 추가할 때는 비효율적일 수 있습니다.

import pandas as pd

df = pd.DataFrame({'컬럼1': [1, 2], '컬럼2': ['A', 'B']})
df.loc[len(df)] = [3, 'C']

append 메서드 (권장하지 않음)

• 장점: 간편한 사용
• 단점: Pandas 1.4.0 버전부터는 권장되지 않으며, 성능이 좋지 않을 수 있습니다.

df = df.append({'컬럼1': 4, '컬럼2': 'D'}, ignore_index=True)

concat 메서드

• 장점: 성능이 좋고, 여러 데이터프레임을 결합할 때 유용합니다.
• 단점: 코드가 약간 더 복잡할 수 있습니다.

new_row = pd.DataFrame({'컬럼1': [5], '컬럼2': ['E']})
df = pd.concat([df, new_row], ignore_index=True)

numpy 배열을 이용한 추가

• 장점: NumPy의 빠른 연산 속도를 활용할 수 있습니다.
• 단점: 데이터 타입을 일일이 맞춰줘야 하는 번거로움이 있습니다.

import numpy as np

new_data = np.array([[6, 'F']])
df = pd.concat([df, pd.DataFrame(new_data, columns=df.columns)], ignore_index=True)

in-place 연산 (주의!)

• 장점: 메모리 효율적일 수 있습니다.
• 단점: 원본 데이터프레임이 변경됩니다. 실수로 원본 데이터를 덮어쓸 수 있으므로 주의해야 합니다.

df.loc[len(df)] = [7, 'G']  # 원본 데이터프레임 변경

어떤 방법을 선택해야 할까요?

• 데이터의 양: 많은 양의 데이터를 추가해야 한다면 concat 메서드나 NumPy 배열을 이용하는 방법이 효율적입니다.
• 데이터의 형태: 추가하는 데이터의 형태에 따라 적절한 방법을 선택해야 합니다.
• 성능: 성능이 중요하다면 concat 메서드나 NumPy 배열을 이용하는 방법을 고려해야 합니다.
• 코드 가독성: 코드의 가독성을 중요하게 생각한다면 loc 인덱싱을 이용하는 방법이 간단합니다.

추가적으로 고려해야 할 사항:

• 데이터 타입: 추가하는 데이터의 타입이 기존 데이터프레임의 타입과 일치해야 합니다.
• 메모리: 많은 양의 데이터를 처리할 때는 메모리 부족 문제가 발생할 수 있으므로 주의해야 합니다.

결론적으로, 가장 적합한 방법은 데이터의 특성과 상황에 따라 달라집니다. 다양한 방법을 시도해보고, 어떤 방법이 가장 효율적인지 직접 확인해보는 것이 좋습니다.

• 예시: "데이터프레임에 10만 개의 행을 추가해야 하는데, 어떤 방법이 가장 빠를까요?"
• 예시: "추가하는 데이터의 형태가 딕셔너리인데, 어떻게 처리해야 할까요?"

• 데이터의 크기는 어느 정도인가요?
• 추가하는 데이터의 형태는 무엇인가요? (리스트, 딕셔너리, Series 등)
• 성능이 가장 중요한 요소인가요? 아니면 코드의 가독성이 중요한가요?
• 기존 데이터프레임의 구조는 어떻게 되어 있나요?