Scikit-learn에서 여러 열에 레이블 인코딩 수행하기: Python, Pandas, Scikit-learn 활용

Scikit-learn에서 여러 열에 레이블 인코딩 수행하기: Python, Pandas, Scikit-learn 활용

본 가이드에서는 Python, Pandas, Scikit-learn 라이브러리를 활용하여 여러 열에 걸쳐 레이블 인코딩을 수행하는 방법을 단계별로 살펴보겠습니다.

필요한 라이브러리 불러오기

먼저, 작업에 필요한 라이브러리를 다음과 같이 불러옵니다.

import pandas as pd
from sklearn.preprocessing import LabelEncoder, OneHotEncoder

데이터 불러오기 및 준비

Pandas를 사용하여 데이터를 불러오고, 레이블 인코딩을 수행할 열을 선택합니다. 예시에서는 'iris.csv' 파일을 사용하여 꽃 종류를 나타내는 'species' 열을 선택합니다.

# 데이터 불러오기
data = pd.read_csv('iris.csv')

# 레이블 인코딩 수행할 열 선택
label_cols = ['species']

LabelEncoder를 사용한 단일 열 레이블 인코딩

Scikit-learn의 LabelEncoder 클래스를 사용하여 단일 열에 대한 레이블 인코딩을 수행할 수 있습니다.

# LabelEncoder 객체 생성
encoder = LabelEncoder()

# 'species' 열에 대한 레이블 인코딩 수행
data['species_encoded'] = encoder.fit_transform(data['species'])

위 코드는 'species' 열의 각 값을 숫자로 변환하여 'species_encoded'라는 새로운 열에 저장합니다. LabelEncoder는 각 고유 값에 0부터 시작하는 정수를 할당합니다.

# OneHotEncoder 객체 생성
encoder = OneHotEncoder(handle_unknown='ignore', sparse_out=False)

# 'species' 및 'petal_length' 열에 대한 레이블 인코딩 수행
data_encoded = encoder.fit_transform(data[['species', 'petal_length']])

# 인코딩된 결과 데이터프레임으로 변환
data_encoded_df = pd.DataFrame(data_encoded, columns=encoder.get_feature_names_out())

위 코드는 'species' 및 'petal_length' 열에 대한 레이블 인코딩을 수행하고, 결과를 'data_encoded_df'라는 새로운 데이터프레임으로 변환합니다. OneHotEncoder는 각 고유 값에 대한 0/1 열을 생성하여 원-핫 인코딩 방식으로 변환합니다.

데이터 확인 및 활용

레이블 인코딩이 완료된 후, 데이터를 확인하고 원하는 분석이나 머신러닝 모델에 활용할 수 있습니다.

# 레이블 인코딩된 데이터 확인
print(data[['species', 'species_encoded']])
print(data_encoded_df)

# 인코딩된 데이터를 사용한 머신러닝 모델 학습 및 평가
# ...

참고:

• 본 예시에서는 범주형 데이터를 다루는 것을 보여주기 위해 'iris' 데이터 세트를 사용했습니다.
• 실제 데이터 분석에서는 데이터의 특성에 맞게 적절한 인코딩 방식을 선택해야 합니다.
• OneHotEncoder는 고유 값이 많거나 희귀한 경우 차원의 저주를 초래할 수 있으므로 주의해야 합니다.

추가 정보:

• Pandas 데이터 불러오기 및

예제 코드: Scikit-learn에서 여러 열에 레이블 인코딩 수행

import pandas as pd
from sklearn.preprocessing import LabelEncoder, OneHotEncoder

# 데이터 불러오기
data = pd.read_csv('iris.csv')

# 레이블 인코딩 수행할 열 선택
label_cols = ['species']

# LabelEncoder 객체 생성
encoder = LabelEncoder()

# 'species' 열에 대한 레이블 인코딩 수행
data['species_encoded'] = encoder.fit_transform(data['species'])

# OneHotEncoder 객체 생성
encoder = OneHotEncoder(handle_unknown='ignore', sparse_out=False)

# 'species' 및 'petal_length' 열에 대한 레이블 인코딩 수행
data_encoded = encoder.fit_transform(data[['species', 'petal_length']])

# 인코딩된 결과 데이터프레임으로 변환
data_encoded_df = pd.DataFrame(data_encoded, columns=encoder.get_feature_names_out())

# 레이블 인코딩된 데이터 확인
print(data[['species', 'species_encoded']])
print(data_encoded_df)

# 인코딩된 데이터를 사용한 머신러닝 모델 학습 및 평가
# ...

Scikit-learn에서 레이블 인코딩을 위한 대체 방법

TargetLabelEncoder (sklearn-contrib-extra 패키지)

• sklearn-contrib-extra 패키지에서 제공하는 TargetLabelEncoder는 다중 클래스 분류 문제에서 레이블 인코딩을 수행하는 데 유용합니다.
• OneHotEncoder와 달리, TargetLabelEncoder는 타겟 클래스의 정보를 활용하여 인코딩을 수행하기 때문에 더 효율적이고 정보 손실이 적습니다.
• 다만, sklearn-contrib-extra는 별도로 설치해야 한다는 단점이 있습니다.

# sklearn-contrib-extra 설치
!pip install scikit-contrib-extra

from sklearn.contrib.extra.preprocessing import TargetLabelEncoder

# TargetLabelEncoder 객체 생성
encoder = TargetLabelEncoder()

# 'species' 열에 대한 레이블 인코딩 수행
data['species_encoded'] = encoder.fit_transform(data['species'])

MultiLabelBinarizer (sklearn 패키지)

• Scikit-learn 패키지 자체에 포함된 MultiLabelBinarizer는 다중 레이블 분류 문제에서 레이블 인코딩을 수행하는 데 사용할 수 있습니다.
• 각 레이블에 대해 0/1 열을 생성하는 방식으로 OneHotEncoder와 유사하게 작동합니다.
• 하지만, TargetLabelEncoder와 달리 다중 클래스 분류 문제에 최적화되어 있지 않아 정보 손실이 발생할 수 있습니다.

from sklearn.preprocessing import MultiLabelBinarizer

# MultiLabelBinarizer 객체 생성
encoder = MultiLabelBinarizer()

# 'species' 열에 대한 레이블 인코딩 수행
data_encoded = encoder.fit_transform(data[['species']].values)

# 인코딩된 결과 데이터프레임으로 변환
data_encoded_df = pd.DataFrame(data_encoded, columns=encoder.classes_)

pandas.get_dummies() 함수

• Pandas 라이브러리의 get_dummies() 함수를 사용하여 간편하게 레이블 인코딩을 수행할 수 있습니다.
• OneHotEncoder와 동일한 방식으로 작동하며, 별도의 패키지 설치가 필요하지 않다는 장점이 있습니다.
• 하지만, 데이터프레임의 크기가 커질 경우 계산 비용이 증가할 수 있다는 단점이 있습니다.

# 'species' 및 'petal_length' 열에 대한 레이블 인코딩 수행
data_encoded = pd.get_dummies(data[['species', 'petal_length']])

사용자 정의 함수

• 특정 상황에 맞게 레이블 인코딩 방식을 자세히 제어하고 싶은 경우, 사용자 정의 함수를 작성하는 방법도 있습니다.
• 예를 들어, 특정 레이블을 다른 레이블로 매핑하거나, 희귀 레이블을 처리하는 등의 로직을 추가할 수 있습니다.

def custom_label_encoder(data, label_col):
    # 사용자 정의 로직 작성
    # ...

    encoded_data = []
    for row in data:
        encoded_row = []
        for val in row:
            # 인코딩 로직 적용
            encoded_val = custom_encoder_function(val)
            encoded_row.append(encoded_val)
        encoded_data.append(encoded_row)
    return encoded_data

# 'species' 열에 대한 사용자 정의 레이블 인코딩 수행
data_encoded = custom_label_encoder(data, 'species')

선택 가이드:

• 데이터의 특성과 분석 목적에 따라 적절한 방법을 선택해야 합니다.
• 일반적으로 단일 클래스 분류에서는 LabelEncoder, 다중 클래스 분류에서는 TargetLabelEncoder 또는 MultiLabelBinarizer를 사용하는 것이 좋습니다.
• 데이터프레임의 크기가 크거나 특정 로직을 필요로 하는 경우, OneHotEncoder 또는 사용자 정의 함수를 사용하는 것을 고려합니다.

• 각 방법의 장단점과 사용법에 대한 더