Python을 사용하여 CSV 파일을 SQLite3 데이터베이스 테이블로 가져오기
SQLite는 가볍고 사용하기 쉬운 임베디드 관계형 데이터베이스입니다. Python은 다양한 데이터 처리 작업에 사용되는 강력한 프로그래밍 언어입니다. CSV(Comma Separated Values)는 텍스트 파일 형식으로 데이터를 표시하는 데 사용되는 일반적인 방법입니다. 이러한 도구를 함께 사용하면 CSV 파일에서 데이터를 SQLite 데이터베이스 테이블로 효율적으로 가져올 수 있습니다.
필수 조건:
- Python 설치
- SQLite 설치
- CSV 파일
단계:
-
SQLite 데이터베이스 연결:
import sqlite3 # 데이터베이스 파일 경로 db_path = 'mydatabase.db' # 데이터베이스 연결 객체 생성 conn = sqlite3.connect(db_path) # 커서 객체 생성 cursor = conn.cursor()
-
CSV 파일 열기:
# CSV 파일 경로 csv_file_path = 'mydata.csv' # CSV 파일 객체 생성 with open(csv_file_path, 'r') as csv_file: # CSV 파일 리더 객체 생성 reader = csv.reader(csv_file)
-
테이블 만들기 (없는 경우):
# 테이블 이름 및 열 정의 table_name = 'mytable' column_names = ['name', 'age', 'city'] # 테이블 생성 쿼리 create_table_query = f""" CREATE TABLE IF NOT EXISTS {table_name} ( {", ".join([f"{col} TEXT" for col in column_names])} ) """ # 쿼리 실행 cursor.execute(create_table_query)
-
데이터 삽입:
# 데이터 삽입 쿼리 insert_query = f""" INSERT INTO {table_name} VALUES (?, ?, ?) """ # 각 CSV 행에 대해 데이터 삽입 for row in reader: cursor.execute(insert_query, row)
-
변경 사항 커밋 및 연결 종료:
# 변경 사항 커밋 conn.commit() # 데이터베이스 연결 종료 conn.close()
참고:
- 위 코드는 예시이며 필요에 따라 조정해야 할 수 있습니다.
- CSV 파일의 구조와 데이터 형식이 테이블 정의와 일치하는지 확인하십시오.
- 오류 처리를 위해 예외 처리를 추가하는 것이 좋습니다.
- 데이터베이스 작업을 최적화하려면
INSERT
문 대신executemany
를 사용하는 것이 좋습니다.
예제 코드: Python을 사용하여 CSV 파일을 SQLite 데이터베이스 테이블로 가져오기
다음은 mydata.csv
라는 CSV 파일에서 데이터를 mydatabase.db
라는 SQLite 데이터베이스의 mytable
테이블로 가져오는 예제 코드입니다.
import sqlite3
import csv
# 데이터베이스 파일 경로
db_path = 'mydatabase.db'
# CSV 파일 경로
csv_file_path = 'mydata.csv'
# 테이블 이름 및 열 정의
table_name = 'mytable'
column_names = ['name', 'age', 'city']
# SQLite 데이터베이스 연결
conn = sqlite3.connect(db_path)
cursor = conn.cursor()
# 테이블 만들기 (없는 경우)
create_table_query = f"""
CREATE TABLE IF NOT EXISTS {table_name} (
{", ".join([f"{col} TEXT" for col in column_names])}
)
"""
cursor.execute(create_table_query)
# CSV 파일 열기
with open(csv_file_path, 'r') as csv_file:
reader = csv.reader(csv_file)
# 데이터 삽입
insert_query = f"""
INSERT INTO {table_name} VALUES (?, ?, ?)
"""
for row in reader:
cursor.execute(insert_query, row)
# 변경 사항 커밋 및 연결 종료
conn.commit()
conn.close()
설명:
- 라이브러리 가져오기: 필요한 라이브러리인
sqlite3
및csv
를 가져옵니다. - 데이터베이스 및 CSV 파일 경로 설정:
db_path
및csv_file_path
변수에 각각 데이터베이스 및 CSV 파일의 경로를 저장합니다. - 테이블 정의:
table_name
및column_names
변수에 테이블 이름 및 열 이름을 각각 저장합니다. - SQLite 데이터베이스 연결:
sqlite3.connect()
함수를 사용하여 데이터베이스 연결을 생성하고 커서 객체를 가져옵니다. - 테이블 만들기:
CREATE TABLE IF NOT EXISTS
쿼리를 사용하여 테이블이 아직 존재하지 않으면 테이블을 만듭니다. - CSV 파일 열기:
open()
함수를 사용하여 CSV 파일을 읽기 모드로 엽니다. - CSV 리더 만들기:
csv.reader()
함수를 사용하여 CSV 파일에서 각 행을 반복 처리할 수 있는 리더 객체를 만듭니다. - 데이터 삽입:
INSERT
쿼리를 사용하여 각 CSV 행을mytable
테이블에 삽입합니다. - 변경 사항 커밋 및 연결 종료:
conn.commit()
을 사용하여 변경 사항을 저장하고conn.close()
를 사용하여 데이터베이스 연결을 닫습니다.
SQLite 데이터베이스에 CSV 파일 가져오기: 대체 방법
Python으로 CSV 파일을 SQLite 데이터베이스 테이블로 가져오는 기본 방법을 이미 설명했습니다.
다음은 대체 방법 몇 가지입니다.
Pandas 라이브러리 사용:
Pandas는 데이터 분석 및 조작에 사용되는 인기있는 Python 라이브러리입니다. Pandas를 사용하면 다음과 같이 간단하게 CSV 파일을 데이터베이스에 가져올 수 있습니다.
import pandas as pd
import sqlite3
# 데이터베이스 파일 경로
db_path = 'mydatabase.db'
# CSV 파일 경로
csv_file_path = 'mydata.csv'
# 테이블 이름
table_name = 'mytable'
# Pandas를 사용하여 CSV 파일 읽기
df = pd.read_csv(csv_file_path)
# 데이터베이스 연결
conn = sqlite3.connect(db_path)
cursor = conn.cursor()
# Pandas DataFrame을 SQLite 테이블로 변환
df.to_sql(table_name, conn, if_exists='replace', index=False)
# 변경 사항 커밋 및 연결 종료
conn.commit()
conn.close()
- 라이브러리 가져오기:
pandas
및sqlite3
라이브러리를 가져옵니다. - 데이터 정의:
db_path
,csv_file_path
및table_name
변수에 필요한 경로와 이름을 저장합니다. - CSV 파일 읽기:
pd.read_csv()
함수를 사용하여 CSV 파일을 Pandas DataFrame으로 읽습니다. - 데이터베이스 연결:
sqlite3.connect()
를 사용하여 데이터베이스 연결을 만듭니다. - DataFrame을 테이블로 변환:
to_sql()
메서드를 사용하여 DataFrame을mytable
테이블로 변환합니다. - 변경 사항 커밋 및 연결 종료: 앞서 설명한 것과 동일합니다.
장점:
- Pandas는 데이터 조작 및 분석에 유용한 추가 기능을 제공합니다.
- 대규모 데이터 세트를 처리하는 데 효율적일 수 있습니다.
단점:
- Pandas 라이브러리를 별도로 설치해야 합니다.
- 기본 SQLite 방법보다 복잡할 수 있습니다.
SQLAlchemy 라이브러리 사용:
SQLAlchemy는 Python에서 객체 관계형 매핑(ORM)을 위한 강력한 도구입니다. SQLAlchemy를 사용하면 다음과 같이 Python 객체를 사용하여 데이터베이스와 상호 작용할 수 있습니다.
import sqlalchemy as sa
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker
# 데이터베이스 엔진 생성
engine = sa.create_engine(f"sqlite:///{db_path}")
# 기본 클래스 정의
Base = declarative_base()
# 테이블 정의
class Mytable(Base):
__tablename__ = 'mytable'
name = sa.Column(sa.Text)
age = sa.Column(sa.Integer)
city = sa.Column(sa.Text)
# 데이터베이스 테이블 만들기 (없는 경우)
Base.metadata.create_all(engine)
# 세션 객체 생성
Session = sessionmaker(bind=engine)
session = Session()
# CSV 파일 열기
with open(csv_file_path, 'r') as csv_file:
reader = csv.reader(csv_file)
# 각 CSV 행을 Mytable 객체로 변환
for row in reader:
table_object = Mytable(name=row[0], age=row[1], city=row[2])
# 데이터베이스에 추가
session.add(table_object)
# 변경 사항 커밋 및 세션 종료
session.commit()
session.close()
- 라이브러리 가져오기:
sqlalchemy
라이브러리를 가져옵니다. - 데이터베이스 엔진 생성:
sa.create_engine()
을 사용하여 데이터베이스 연결을 설정합니다. - 기본 클래스 및 테이블 정의: SQLAlchemy 객체를 사용하여 테이블 구조를 정의합니다.
- 데이터베이스 테이블 만들기:
Base.metadata.create_all()
을 사용하여 테이블을 만듭니다. 5
python database csv