파이썬 리스트에서 중복 값 제거하기

2024-08-03

파이썬에서 리스트 내의 중복 값을 제거하고 고유한 값만 추출하는 방법에 대해 알아보겠습니다.

set() 함수 활용

가장 간단하고 효율적인 방법입니다. set은 중복을 허용하지 않는 자료형이므로, 리스트를 set으로 변환하면 자동으로 중복 값이 제거됩니다. 다시 리스트로 변환하면 고유한 값만을 포함하는 리스트를 얻을 수 있습니다.

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = list(set(my_list))
print(unique_list)  # 출력: [1, 2, 3, 4, 5]

for 루프와 리스트 컴프리헨션

좀 더 직관적인 방법으로, 새로운 리스트를 만들면서 중복 값을 검사할 수 있습니다.

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = []
for item in my_list:
    if item not in unique_list:
        unique_list.append(item)
print(unique_list)  #    출력: [1, 2, 3, 4, 5]

리스트 컴프리헨션을 이용하면 더욱 간결하게 표현할 수 있습니다.

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = [x for x in my_list if x not in unique_list]
print(unique_list)  # 출력: [1, 2, 3, 4, 5]

collections.OrderedDict 활용 (순서 유지)

set은 순서를 보장하지 않지만, 순서를 유지하면서 중복을 제거하고 싶을 때는 collections.OrderedDict를 활용할 수 있습니다.

from collections import OrderedDict

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = list(OrderedDict.fromkeys(my_list))
print(unique_list)  # 출력: [1, 2, 3, 4, 5] (원래 순서 유지)

어떤 방법을 선택해야 할까요?

가장 빠르고 간단한 방법: set() 함수 활용
순서를 유지해야 할 때: OrderedDict 활용
직관적인 이해: for 루프 또는 리스트 컴프리헨션

주의:

데이터 타입: 위 예시는 숫자를 사용했지만, 문자열, 객체 등 다양한 데이터 타입에도 적용 가능합니다.
복잡한 데이터: 중복 판단 기준이 복잡한 경우에는 별도의 함수를 정의하여 사용해야 할 수 있습니다.

결론:

파이썬에서 리스트의 중복 값 제거는 다양한 방법으로 구현할 수 있습니다. 문제 상황에 맞는 최적의 방법을 선택하여 사용하면 됩니다.

파이썬 리스트에서 중복 값 제거: 다양한 예시 코드

앞서 설명한 방법들을 바탕으로, 다양한 상황에 적용할 수 있는 샘플 코드를 좀 더 자세히 살펴보겠습니다.

숫자 리스트에서 중복 제거

numbers = [1, 2, 2, 3, 4, 4, 5]

# set 활용
unique_numbers_set = list(set(numbers))
print(unique_numbers_set)  # 출력: [1, 2, 3, 4, 5]

# for 루프 활용
unique_numbers_list = []
for num in numbers:
    if num not in unique_numbers_list:
        unique_numbers_list.append(num)
print(unique_numbers_list)  # 출력: [1, 2, 3, 4, 5]

# 리스트 컴프리헨션 활용
unique_numbers_comp = [x for x in numbers if x not in unique_numbers_list]
print(unique_numbers_comp)  # 출력: [1, 2, 3, 4, 5]

# OrderedDict 활용 (순서 유지)
from collections import OrderedDict
unique_numbers_ordered = list(OrderedDict.fromkeys(numbers))
print(unique_numbers_ordered)  # 출력: [1, 2, 3, 4, 5] (원래 순서 유지)

문자열 리스트에서 중복 제거

words = ['apple', 'banana', 'apple', 'orange', 'banana']

# set 활용
unique_words_set = list(set(words))
print(unique_words_set)  # 출력: ['orange', 'apple', 'banana'] (순서가 달라질 수 있음)

# for 루프 활용
unique_words_list = []
for word in words:
    if word not in unique_words_list:
        unique_words_list.append(word)
print(unique_words_list)  # 출력: ['apple', 'banana', 'orange']

# OrderedDict 활용 (순서 유지)
from collections import OrderedDict
unique_words_ordered = list(OrderedDict.fromkeys(words))
print(unique_words_ordered)  # 출력: ['apple', 'banana', 'orange'] (원래 순서 유지)

객체 리스트에서 중복 제거 (객체의 특정 속성 기준)

class Person:
    def __init__(self, name, age):
        self.name = name
        self.age = age

people = [
    Person('Alice', 30),
    Person('Bob', 25),
    Person('Charlie', 30),
    Person('David', 25)
]

# 이름을 기준으로 중복 제거 (set은 사용 불가)
unique_people = []
for person in people:
    if person.name not in [p.name for p in unique_people]:
        unique_people.append(person)

# 출력 (예시)
for person in unique_people:
    print(person.name, person.age)

Pandas DataFrame에서 중복 행 제거

import pandas as pd

data = {'Name': ['Alice', 'Bob', 'Alice', 'David'],
        'Age': [30, 25, 30, 25]}
df = pd.DataFrame(data)

# 모든 열 기준 중복 행 제거
df_unique = df.drop_duplicates()

# 특정 열(Name) 기준 중복 행 제거
df_unique_name = df.drop_duplicates(subset=['Name'])

어떤 방법을 선택해야 할까요?

단순한 중복 제거: set() 함수가 가장 효율적입니다.
순서 유지: OrderedDict를 사용합니다.
복잡한 객체: 객체의 특정 속성을 기준으로 중복을 판단해야 합니다.
Pandas DataFrame: drop_duplicates() 메서드를 사용합니다.

더 자세한 설명이 필요하거나 다른 예시를 원하시면 언제든지 요청해주세요.

객체 비교: 객체의 중복 여부를 판단할 때는 __eq__ 메서드를 오버라이딩하여 원하는 비교 기준을 설정할 수 있습니다.
성능: 데이터 양이 많을 경우, 성능에 영향을 미칠 수 있으므로 적절한 방법을 선택해야 합니다.

다음에 궁금한 점은 무엇인가요?

특정 데이터 형태에 대한 중복 제거 방법
더 복잡한 중복 판단 조건
Pandas DataFrame에서의 다양한 활용 예시
파이썬의 다른 라이브러리를 이용한 중복 제거

파이썬 리스트에서 중복 값 제거: 더 다양한 방법과 고급 활용

지금까지 다양한 방법으로 파이썬 리스트에서 중복 값을 제거하는 방법을 살펴보았습니다. 이번에는 좀 더 다양한 방법과 특정 상황에 맞는 고급 활용법에 대해 알아보겠습니다.

Counter를 이용한 중복 횟수 확인 및 제거

collections.Counter를 사용하면 각 요소가 몇 번 등장했는지 쉽게 확인할 수 있습니다. 이를 이용하여 중복 횟수가 1인 요소만 추출하여 새로운 리스트를 만들 수 있습니다.

from collections import Counter

numbers = [1, 2, 2, 3, 4, 4, 5]
count = Counter(numbers)
unique_numbers = [num for num, freq in count.items() if freq == 1]
print(unique_numbers)  # 출력: [1, 3, 5]

pandas의 drop_duplicates를 이용한 DataFrame 중복 제거

pandas DataFrame에서 중복된 행을 제거하는 것은 매우 일반적인 작업입니다. drop_duplicates() 메서드를 사용하여 간편하게 처리할 수 있습니다.

import pandas as pd

data = {'Name': ['Alice', 'Bob', 'Alice', 'David'],
        'Age': [30, 25, 30, 25]}
df = pd.DataFrame(data)

# 모든 열 기준 중복 행 제거
df_unique = df.drop_duplicates()

# 특정 열(Name) 기준 중복 행 제거
df_unique_name = df.drop_duplicates(subset=['Name'])

numpy의 unique를 이용한 배열 중복 제거

numpy 배열에서 중복 값을 제거하려면 numpy.unique 함수를 사용합니다.

import numpy as np

numbers = np.array([1, 2, 2, 3, 4, 4, 5])
unique_numbers = np.unique(numbers)
print(unique_numbers)  # 출력: [1 2 3 4 5]

lambda 함수와 filter를 이용한 동적 중복 제거

더 복잡한 중복 판단 기준이 필요한 경우, lambda 함수와 filter를 조합하여 사용할 수 있습니다.

numbers = [1, 2, 2, 3, 4, 4, 5]
unique_numbers = list(filter(lambda x: numbers.index(x) == numbers.count(x), numbers))
print(unique_numbers)  # 출력: [1, 3, 5]

custom 함수를 이용한 맞춤형 중복 제거

자신만의 복잡한 중복 판단 로직을 구현하고 싶다면 custom 함수를 만들어 사용할 수 있습니다.

def custom_unique(lst):
    seen = set()
    for item in lst:
        if item not in seen:
            yield item
            seen.add(item)

numbers = [1, 2, 2, 3, 4, 4, 5]
unique_numbers = list(custom_unique(numbers))
print(unique_numbers)