Python, Pandas, Regex를 활용한 DataFrame 필터링: 부분 문자열 기준으로 데이터 추출하기

2024-08-15

개요

Python의 강력한 데이터 분석 라이브러리인 Pandas는 대규모 데이터를 효율적으로 다루는 데 사용됩니다. 특히, DataFrame이라는 2차원 표 형태의 데이터 구조를 제공하여 데이터를 정리하고 분석하는 작업을 용이하게 합니다. 이번에는 DataFrame에서 특정 부분 문자열을 포함하는 데이터를 추출하는 방법에 대해 자세히 알아보겠습니다. 이를 위해 정규 표현식(Regular Expression, Regex)을 활용하여 유연하고 강력한 필터링을 수행할 수 있습니다.

DataFrame 필터링의 필요성

데이터 정제: 불필요한 데이터를 제거하고 분석에 필요한 데이터만 추출합니다.
데이터 분석: 특정 조건을 만족하는 데이터만을 대상으로 분석을 수행합니다.
데이터 시각화: 원하는 데이터만을 선택하여 시각화합니다.

Pandas에서 DataFrame 필터링하는 방법

Pandas는 다양한 방법으로 DataFrame을 필터링할 수 있지만, 여기서는 정규 표현식을 활용한 방법에 집중하여 설명하겠습니다.

정규 표현식 이해하기

정규 표현식이란? 문자열 패턴을 표현하는 데 사용되는 특수한 문자열입니다. 복잡한 검색과 치환 작업을 간결하게 표현할 수 있습니다.
주요 메타 문자:
- .: 임의의 문자 하나와 매치
- ^: 문자열의 시작 부분과 매치
- *: 앞의 문자가 0번 이상 반복되는 경우와 매치
- []: 문자 집합을 나타냅니다. 예) [abc]는 a, b, c 중 하나와 매치
- \: 특수 문자의 문자 그대로의 의미를 나타내거나, 메타 문자를 일반 문자로 취급하게 합니다.

Pandas의 str 메서드 활용하기

str.contains(): 특정 문자열이 포함되어 있는지 확인합니다. 정규 표현식을 인수로 사용할 수 있습니다.
str.match(): 문자열이 정규 표현식과 완전히 일치하는지 확인합니다.
str.extract(): 정규 표현식에 맞는 부분 문자열을 추출합니다.

예시 코드

import pandas as pd
import re

# 샘플 DataFrame 생성
data = {'column1': ['apple_123', 'banana_456', 'orange_789', 'grape_xyz'],
        'column2': ['fruit', 'fruit', 'fruit', 'fruit']}
df = pd.DataFrame(data)

# 'apple'이 포함된 행 추출
pattern = r'apple'
filtered_df = df[df['column1'].str.contains(pattern)]
print(filtered_df)

# '^[a-z]{5}' (알파벳 5자로 시작하는 문자열)에 해당하는 행 추출
pattern = r'^[a-z]{5}'
filtered_df = df[df['column1'].str.match(pattern)]
print(filtered_df)

# '_[0-9]{3}' (밑줄 뒤에 숫자 3자리)에 해당하는 부분 문자열 추출
pattern = r'_[0-9]{3}'
extracted_df = df['column1'].str.extract(pattern)
print(extracted_df)

결론

Pandas의 str 메서드와 정규 표현식을 활용하면 다양한 기준으로 DataFrame을 필터링하고, 원하는 데이터를 추출할 수 있습니다. 정규 표현식의 강력한 기능을 이해하고 활용하면 복잡한 데이터 처리 작업도 효율적으로 수행할 수 있습니다.

주의: 정규 표현식은 매우 강력한 도구이지만, 잘못 사용하면 예상치 못한 결과를 초래할 수 있습니다. 정규 표현식을 작성할 때는 명확한 목표를 설정하고, 각 메타 문자의 의미를 정확히 이해해야 합니다.

더 깊이 있는 학습을 위해서는:

Pandas 공식 문서: 다양한 예시와 함께 자세한 설명을 제공합니다.
정규 표현식 관련 온라인 강좌: 체계적인 학습을 통해 정규 표현식을 마스터할 수 있습니다.

Pandas를 활용한 DataFrame 필터링 샘플 코드 심화

앞서 설명한 내용을 바탕으로 다양한 필터링 조건과 함께 더욱 실제적인 예시 코드를 살펴보겠습니다.

복합적인 조건을 활용한 필터링

import pandas as pd
import re

# 샘플 DataFrame 생성
data = {'product': ['apple_iphone14', 'samsung_galaxyS23', 'google_pixel7', 'xiaomi_redmi_note11'],
        'color': ['black', 'white', 'black', 'blue'],
        'price': [1000, 900, 800, 200]}
df = pd.DataFrame(data)

# 'samsung'으로 시작하고 'black' 색상인 제품 추출
filtered_df = df[(df['product'].str.startswith('samsung')) & (df['color'] == 'black')]
print(filtered_df)

# 가격이 500 이상이고 'note'라는 단어가 포함된 제품 추출
filtered_df = df[(df['price'] >= 500) & (df['product'].str.contains('note'))]
print(filtered_df)

정규 표현식을 활용한 다양한 패턴 매칭

# 숫자 4자리로 끝나는 제품명 추출
pattern = r'\d{4}$'
filtered_df = df[df['product'].str.contains(pattern)]
print(filtered_df)

# 'iphone' 또는 'galaxy'가 포함된 제품명 추출
pattern = r'iphone|galaxy'
filtered_df = df[df['product'].str.contains(pattern)]
print(filtered_df)

str.extract를 활용한 특정 부분 추출

# 제품명에서 모델명만 추출
pattern = r'_(.*)'
extracted_df = df['product'].str.extract(pattern)
print(extracted_df)

isin을 활용한 리스트 값 포함 여부 확인

# 특정 색상 리스트에 포함된 제품 추출
colors = ['black', 'white']
filtered_df = df[df['color'].isin(colors)]
print(filtered_df)

결측치 처리와 함께 필터링

# 결측치가 없는 행만 필터링
filtered_df = df.dropna()
print(filtered_df)

# 특정 열의 결측치가 아닌 행만 필터링
filtered_df = df[df['price'].notna()]
print(filtered_df)

추가적인 팁

성능: 많은 양의 데이터를 처리할 때는 query 메서드를 사용하면 성능 향상을 기대할 수 있습니다.
복잡한 로직: 매우 복잡한 필터링 조건이 필요한 경우에는 apply 함수를 사용하여 사용자 정의 함수를 적용할 수 있습니다.
정규 표현식 학습: 정규 표현식은 강력한 도구이지만, 학습 곡선이 가파를 수 있습니다. 다양한 온라인 자료와 연습을 통해 숙달하는 것이 좋습니다.

주의: 위 코드에서는 간단한 예시를 위해 짧은 데이터를 사용했지만, 실제 데이터 분석에서는 더욱 복잡하고 다양한 필터링 조건을 활용하게 될 것입니다.

특정 조건을 만족하는 행을 삭제하고 싶습니다. 어떻게 해야 할까요?
여러 개의 DataFrame을 합쳐서 하나의 DataFrame으로 만들고 싶습니다. 어떤 방법이 있을까요?
DataFrame의 특정 열에 새로운 값을 추가하고 싶습니다. 어떻게 해야 할까요?

Pandas DataFrame 필터링: 대체 방법 및 추가 고려 사항

Pandas DataFrame을 필터링하는 방법은 다양하며, 각 방법마다 장단점이 있습니다. 지금까지 정규 표현식을 활용한 방법을 중심으로 살펴보았지만, 다른 유용한 방법들도 많습니다.

Boolean Indexing (부울 인덱싱)

간단하고 직관적인 방법: 조건을 직접 DataFrame에 적용하여 True/False 값을 얻고, 이를 인덱스로 사용하여 데이터를 추출합니다.

예시:

import pandas as pd

data = {'column1': [1, 2, 3, 4],
        'column2': ['a', 'b', 'c', 'd']}
df = pd.DataFrame(data)

# column1이 2보다 큰 값을 가진 행 추출
filtered_df = df[df['column1'] > 2]

query 메서드

SQL-like 문법: SQL과 유사한 문법으로 필터링 조건을 표현할 수 있습니다.
예시:
```
filtered_df = df.query('column1 > 2')
```

loc, iloc 메서드

라벨 기반 또는 위치 기반 인덱싱: 행과 열을 라벨 또는 위치를 기반으로 선택할 수 있습니다.

예시:

# 첫 번째 행부터 세 번째 행까지 추출
filtered_df = df.loc[0:2]

# 모든 행의 두 번째 열 추출
column2_data = df.iloc[:, 1]

apply 함수

사용자 정의 함수 적용: 각 행 또는 열에 사용자 정의 함수를 적용하여 필터링 조건을 정의할 수 있습니다.

예시:

def is_even(x):
    return x % 2 == 0

filtered_df = df[df['column1'].apply(is_even)]

어떤 방법을 선택해야 할까요?

간단한 조건: Boolean indexing이나 query 메서드가 적합합니다.
복잡한 조건: 정규 표현식이나 apply 함수를 활용해야 할 수 있습니다.
가독성: 코드의 가독성을 고려하여 적절한 방법을 선택해야 합니다.

추가 고려 사항

데이터 타입: 문자열, 숫자 등 데이터 타입에 따라 적절한 연산자를 사용해야 합니다.
결측치: 결측치를 어떻게 처리할지 결정해야 합니다. (dropna, fillna 등)
복합 조건: 여러 조건을 결합하여 복잡한 필터링을 수행할 수 있습니다.
성능 최적화: 많은 양의 데이터를 처리할 때는 성능 최적화 기법을 적용해야 합니다.

어떤 방법을 선택하든, 데이터의 특성과 문제 해결에 가장 적합한 방법을 선택하는 것이 중요합니다.

실제 예시: 고객 데이터 필터링

import pandas as pd

# 고객 데이터 DataFrame 생성
data = {'name': ['Alice', 'Bob', 'Charlie', 'David'],
        'age': [25, 30, 22, 35],
        'city': ['Seoul', 'Busan', 'Daegu', 'Seoul']}
df = pd.DataFrame(data)

# 서울에 거주하고 나이가 30세 이상인 고객 추출
filtered_df = df[(df['city'] == 'Seoul') & (df['age'] >= 30)]
print(filtered_df)