Python, PostgreSQL, Pandas를 사용하여 DataFrame을 PostgreSQL 테이블에 쓰는 방법
2024-07-27
Python, PostgreSQL, Pandas를 사용하여 DataFrame을 PostgreSQL 테이블에 쓰는 방법
이 글에서는 Python, PostgreSQL, Pandas를 사용하여 데이터 프레임을 PostgreSQL 테이블에 쓰는 방법을 단계별로 설명합니다.
필수 조건:
- Python 설치
- PostgreSQL 설치 및 실행
- Pandas 라이브러리 설치 (
pip install pandas) - psycopg2 라이브러리 설치 (
pip install psycopg2)
단계:
- 데이터베이스 연결:
import psycopg2
# 데이터베이스 연결 정보 설정
db_name = "db_name"
db_user = "db_user"
db_password = "db_password"
db_host = "localhost"
db_port = 5432
# 연결 객체 생성
conn = psycopg2.connect(dbname=db_name, user=db_user, password=db_password, host=db_host, port=db_port)
- 데이터 프레임 준비:
import pandas as pd
# 데이터 프레임 생성
data = {'name': ['Alice', 'Bob', 'Charlie'], 'age': [30, 25, 22], 'city': ['New York', 'Chicago', 'Los Angeles']}
df = pd.DataFrame(data)
- 데이터 프레임을 PostgreSQL 테이블에 쓰기:
# 테이블 이름 지정
table_name = "my_table"
# 데이터 프레임을 테이블에 쓰기
df.to_sql(table_name, conn, if_exists='append', index=False)
# 연결 종료
conn.close()
설명:
psycopg2.connect()함수는 PostgreSQL 데이터베이스에 연결을 생성합니다.pandas.DataFrame.to_sql()메서드는 데이터 프레임을 지정된 데이터베이스 테이블에 저장합니다.if_exists='append'매개변수는 기존 테이블이 있으면 데이터 프레임의 내용을 테이블에 추가하도록 합니다.index=False매개변수는 데이터 프레임의 인덱스를 테이블에 포함하지 않도록 합니다.
참고:
- PostgreSQL 테이블의 열 이름과 데이터 프레임의 열 이름이 일치해야 합니다.
- 데이터 프레임의 데이터 형식은 PostgreSQL 테이블의 열 데이터 형식과 호환되어야 합니다.
- 더 많은 정보와 옵션은 Pandas 문서 및 psycopg2 문서를 참조하십시오.
예제 코드: Python, PostgreSQL, Pandas를 사용하여 DataFrame을 PostgreSQL 테이블에 쓰기
import psycopg2
import pandas as pd
# 데이터베이스 연결 정보 설정
db_name = "db_name"
db_user = "db_user"
db_password = "db_password"
db_host = "localhost"
db_port = 5432
# 연결 객체 생성
conn = psycopg2.connect(dbname=db_name, user=db_user, password=db_password, host=db_host, port=db_port)
# 데이터 프레임 생성
data = {'name': ['Alice', 'Bob', 'Charlie'], 'age': [30, 25, 22], 'city': ['New York', 'Chicago', 'Los Angeles']}
df = pd.DataFrame(data)
# 테이블 이름 지정
table_name = "my_table"
# 데이터 프레임을 테이블에 쓰기
df.to_sql(table_name, conn, if_exists='append', index=False)
# 연결 종료
conn.close()
- 이 코드는
psycopg2및pandas라이브러리를 불러옵니다. db_name,db_user,db_password,db_host,db_port변수에 데이터베이스 연결 정보를 설정합니다.data딕셔너리는 데이터 프레임에 저장될 데이터를 포함합니다.df = pd.DataFrame(data)문장은 딕셔너리 데이터를 사용하여 데이터 프레임을 생성합니다.table_name = "my_table"문장은 데이터 프레임을 저장할 테이블 이름을 지정합니다.df.to_sql(...)문장은 데이터 프레임을 "my_table" 테이블에 저장합니다.conn.close()문장은 데이터베이스 연결을 종료합니다.
주의:
- 이 코드는 예시이며, 실제 상황에 맞게 조정해야 할 수 있습니다.
- PostgreSQL 테이블이 이미 존재해야 합니다.
- 데이터 프레임의 열 이름과 데이터 형식은 테이블의 열 이름과 데이터 형식과 일치해야 합니다.
추가 정보:
- psycopg2 라이브러리 사용에 대한 자세한 내용은 [psycopg2 документация](https://www.psycopg.org/docs/ psycopg2/index.html)을 참조하십시오.
PostgreSQL 테이블에 DataFrame을 쓰는 대체 방법
copy_expert() 함수 사용:
import psycopg2
import pandas as pd
# 데이터베이스 연결 정보 설정
db_name = "db_name"
db_user = "db_user"
db_password = "db_password"
db_host = "localhost"
db_port = 5432
# 연결 객체 생성
conn = psycopg2.connect(dbname=db_name, user=db_user, password=db_password, host=db_host, port=db_port)
# 데이터 프레임 생성
data = {'name': ['Alice', 'Bob', 'Charlie'], 'age': [30, 25, 22], 'city': ['New York', 'Chicago', 'Los Angeles']}
df = pd.DataFrame(data)
# 테이블 이름 지정
table_name = "my_table"
# 커서 객체 생성
cursor = conn.cursor()
# CSV 파일로 데이터 프레임 임시 저장
df.to_csv('data.csv', index=False)
# CSV 파일에서 데이터를 PostgreSQL 테이블에 복사
with open('data.csv', 'r') as f:
cursor.copy_expert(f, table_name, columns=('name', 'age', 'city'))
# 임시 CSV 파일 삭제
os.remove('data.csv')
# 연결 종료
conn.close()
- 이 방법은 데이터 프레임을 먼저 CSV 파일로 임시 저장한 다음
copy_expert()함수를 사용하여 PostgreSQL 테이블에 복사합니다. copy_expert()함수는 대량 데이터 삽입에 효율적입니다.
SQLAlchemy 사용:
import sqlalchemy as sa
# 데이터베이스 엔진 생성
engine = sa.create_engine(f"postgresql://{db_user}:{db_password}@{db_host}:{db_port}/{db_name}")
# 데이터 프레임 생성
data = {'name': ['Alice', 'Bob', 'Charlie'], 'age': [30, 25, 22], 'city': ['New York', 'Chicago', 'Los Angeles']}
df = pd.DataFrame(data)
# 테이블 이름 지정
table_name = "my_table"
# 데이터 프레임을 테이블에 쓰기
df.to_sql(table_name, engine, if_exists='append', index=False)
- SQLAlchemy는 Python에서 데이터베이스와 상호 작용하는 데 사용되는 ORM(Object Relational Mapper)입니다.
- 이 방법은 SQLAlchemy 엔진을 사용하여 데이터 프레임을 테이블에 저장합니다.
psycopg2를 사용한 직접 쿼리:
import psycopg2
import pandas as pd
# 데이터베이스 연결 정보 설정
db_name = "db_name"
db_user = "db_user"
db_password = "db_password"
db_host = "localhost"
db_port = 5432
# 연결 객체 생성
conn = psycopg2.connect(dbname=db_name, user=db_user, password=db_password, host=db_host, port=db_port)
# 데이터 프레임 생성
data = {'name': ['Alice', 'Bob', 'Charlie'], 'age': [30, 25, 22], 'city': ['New York', 'Chicago', 'Los Angeles']}
df = pd.DataFrame(data)
# 테이블 이름 지정
table_name = "my_table"
# 데이터 프레임을 문자열 표현으로 변환
data_string = df.to_string(index=False, header=False)
# 데이터 삽입 쿼리 생성
insert_query = f"""
INSERT INTO {table_name} (name, age, city)
VALUES {data_string}
"""
# 커서 객체 생성
cursor = conn.cursor()
# 쿼리 실행
cursor.execute(insert_query)
# 변경 사항 커밋
conn.commit()
# 연결 종료
conn.close()
- 이 방법은
psycopg2를 사용하여 직접 SQL 쿼리를 작성하고 실행하여 데이터 프레임을 테이블에 저장합니다
python postgresql pandas
