Python을 사용하여 CSV 파일을 SQLite3 데이터베이스 테이블로 가져오기

2024-07-27

SQLite는 가볍고 사용하기 쉬운 임베디드 관계형 데이터베이스입니다. Python은 다양한 데이터 처리 작업에 사용되는 강력한 프로그래밍 언어입니다. CSV(Comma Separated Values)는 텍스트 파일 형식으로 데이터를 표시하는 데 사용되는 일반적인 방법입니다. 이러한 도구를 함께 사용하면 CSV 파일에서 데이터를 SQLite 데이터베이스 테이블로 효율적으로 가져올 수 있습니다.

필수 조건:

Python 설치
SQLite 설치
CSV 파일

단계:

SQLite 데이터베이스 연결:

import sqlite3

# 데이터베이스 파일 경로
db_path = 'mydatabase.db'

# 데이터베이스 연결 객체 생성
conn = sqlite3.connect(db_path)

# 커서 객체 생성
cursor = conn.cursor()

CSV 파일 열기:

# CSV 파일 경로
csv_file_path = 'mydata.csv'

# CSV 파일 객체 생성
with open(csv_file_path, 'r') as csv_file:
    # CSV 파일 리더 객체 생성
    reader = csv.reader(csv_file)

테이블 만들기 (없는 경우):

# 테이블 이름 및 열 정의
table_name = 'mytable'
column_names = ['name', 'age', 'city']

# 테이블 생성 쿼리
create_table_query = f"""
    CREATE TABLE IF NOT EXISTS {table_name} (
        {", ".join([f"{col} TEXT" for col in column_names])}
    )
"""

# 쿼리 실행
cursor.execute(create_table_query)

데이터 삽입:

# 데이터 삽입 쿼리
insert_query = f"""
    INSERT INTO {table_name} VALUES (?, ?, ?)
"""

# 각 CSV 행에 대해 데이터 삽입
for row in reader:
    cursor.execute(insert_query, row)

변경 사항 커밋 및 연결 종료:

# 변경 사항 커밋
conn.commit()

# 데이터베이스 연결 종료
conn.close()

참고:

위 코드는 예시이며 필요에 따라 조정해야 할 수 있습니다.
CSV 파일의 구조와 데이터 형식이 테이블 정의와 일치하는지 확인하십시오.
오류 처리를 위해 예외 처리를 추가하는 것이 좋습니다.
데이터베이스 작업을 최적화하려면 INSERT 문 대신 executemany를 사용하는 것이 좋습니다.

예제 코드: Python을 사용하여 CSV 파일을 SQLite 데이터베이스 테이블로 가져오기

다음은 mydata.csv라는 CSV 파일에서 데이터를 mydatabase.db라는 SQLite 데이터베이스의 mytable 테이블로 가져오는 예제 코드입니다.

import sqlite3
import csv

# 데이터베이스 파일 경로
db_path = 'mydatabase.db'

# CSV 파일 경로
csv_file_path = 'mydata.csv'

# 테이블 이름 및 열 정의
table_name = 'mytable'
column_names = ['name', 'age', 'city']

# SQLite 데이터베이스 연결
conn = sqlite3.connect(db_path)
cursor = conn.cursor()

# 테이블 만들기 (없는 경우)
create_table_query = f"""
    CREATE TABLE IF NOT EXISTS {table_name} (
        {", ".join([f"{col} TEXT" for col in column_names])}
    )
"""
cursor.execute(create_table_query)

# CSV 파일 열기
with open(csv_file_path, 'r') as csv_file:
    reader = csv.reader(csv_file)

    # 데이터 삽입
    insert_query = f"""
        INSERT INTO {table_name} VALUES (?, ?, ?)
    """
    for row in reader:
        cursor.execute(insert_query, row)

# 변경 사항 커밋 및 연결 종료
conn.commit()
conn.close()

설명:

라이브러리 가져오기: 필요한 라이브러리인 sqlite3 및 csv를 가져옵니다.
데이터베이스 및 CSV 파일 경로 설정: db_path 및 csv_file_path 변수에 각각 데이터베이스 및 CSV 파일의 경로를 저장합니다.
테이블 정의: table_name 및 column_names 변수에 테이블 이름 및 열 이름을 각각 저장합니다.
SQLite 데이터베이스 연결: sqlite3.connect() 함수를 사용하여 데이터베이스 연결을 생성하고 커서 객체를 가져옵니다.
테이블 만들기: CREATE TABLE IF NOT EXISTS 쿼리를 사용하여 테이블이 아직 존재하지 않으면 테이블을 만듭니다.
CSV 파일 열기: open() 함수를 사용하여 CSV 파일을 읽기 모드로 엽니다.
CSV 리더 만들기: csv.reader() 함수를 사용하여 CSV 파일에서 각 행을 반복 처리할 수 있는 리더 객체를 만듭니다.
데이터 삽입: INSERT 쿼리를 사용하여 각 CSV 행을 mytable 테이블에 삽입합니다.
변경 사항 커밋 및 연결 종료: conn.commit()을 사용하여 변경 사항을 저장하고 conn.close()를 사용하여 데이터베이스 연결을 닫습니다.

SQLite 데이터베이스에 CSV 파일 가져오기: 대체 방법

Python으로 CSV 파일을 SQLite 데이터베이스 테이블로 가져오는 기본 방법을 이미 설명했습니다.

다음은 대체 방법 몇 가지입니다.

Pandas 라이브러리 사용:

Pandas는 데이터 분석 및 조작에 사용되는 인기있는 Python 라이브러리입니다. Pandas를 사용하면 다음과 같이 간단하게 CSV 파일을 데이터베이스에 가져올 수 있습니다.

import pandas as pd
import sqlite3

# 데이터베이스 파일 경로
db_path = 'mydatabase.db'

# CSV 파일 경로
csv_file_path = 'mydata.csv'

# 테이블 이름
table_name = 'mytable'

# Pandas를 사용하여 CSV 파일 읽기
df = pd.read_csv(csv_file_path)

# 데이터베이스 연결
conn = sqlite3.connect(db_path)
cursor = conn.cursor()

# Pandas DataFrame을 SQLite 테이블로 변환
df.to_sql(table_name, conn, if_exists='replace', index=False)

# 변경 사항 커밋 및 연결 종료
conn.commit()
conn.close()

라이브러리 가져오기: pandas 및 sqlite3 라이브러리를 가져옵니다.
데이터 정의: db_path, csv_file_path 및 table_name 변수에 필요한 경로와 이름을 저장합니다.
CSV 파일 읽기: pd.read_csv() 함수를 사용하여 CSV 파일을 Pandas DataFrame으로 읽습니다.
데이터베이스 연결: sqlite3.connect()를 사용하여 데이터베이스 연결을 만듭니다.
DataFrame을 테이블로 변환: to_sql() 메서드를 사용하여 DataFrame을 mytable 테이블로 변환합니다.
변경 사항 커밋 및 연결 종료: 앞서 설명한 것과 동일합니다.

장점:

Pandas는 데이터 조작 및 분석에 유용한 추가 기능을 제공합니다.
대규모 데이터 세트를 처리하는 데 효율적일 수 있습니다.

단점:

Pandas 라이브러리를 별도로 설치해야 합니다.
기본 SQLite 방법보다 복잡할 수 있습니다.

SQLAlchemy 라이브러리 사용:

SQLAlchemy는 Python에서 객체 관계형 매핑(ORM)을 위한 강력한 도구입니다. SQLAlchemy를 사용하면 다음과 같이 Python 객체를 사용하여 데이터베이스와 상호 작용할 수 있습니다.

import sqlalchemy as sa
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

# 데이터베이스 엔진 생성
engine = sa.create_engine(f"sqlite:///{db_path}")

# 기본 클래스 정의
Base = declarative_base()

# 테이블 정의
class Mytable(Base):
    __tablename__ = 'mytable'
    name = sa.Column(sa.Text)
    age = sa.Column(sa.Integer)
    city = sa.Column(sa.Text)

# 데이터베이스 테이블 만들기 (없는 경우)
Base.metadata.create_all(engine)

# 세션 객체 생성
Session = sessionmaker(bind=engine)
session = Session()

# CSV 파일 열기
with open(csv_file_path, 'r') as csv_file:
    reader = csv.reader(csv_file)
    # 각 CSV 행을 Mytable 객체로 변환
    for row in reader:
        table_object = Mytable(name=row[0], age=row[1], city=row[2])
        # 데이터베이스에 추가
        session.add(table_object)

# 변경 사항 커밋 및 세션 종료
session.commit()
session.close()