[Spark]. MySQL 연동하기 A-Z(for mac)

MySQL 데이터베이스에 연결하려면 Mysql-java-connector를 다운 받아야함.

 

버전의 맞게 다운로드 설치

https://dev.mysql.com/downloads/connector/j/

MySQL :: Download Connector/J

 

설치하고 앞축을 풀어준다.

---

위 파일을 mysql 폴더에 넣어주어야함.

---

폴더 경로 확인

---

MySQL Base Directory로 이동

cd /usr/local/mysql

open .

---

mysql-connector-java-8.0.26 폴더를 경로에 넣어주면 셋팅 완료

---

import mysql.connector
from pyspark.sql import SparkSession

# spark 세션 연결
spark = SparkSession.builder.config("spark.jars", "mysql-connector-java-8.0.26.jar") \
    .master("local").appName("PySpark_MySQL_test").getOrCreate()
    
df = (spark
    .read
    .format("jdbc")
    .option("url", "jdbc:mysql://localhost:3306/TestDB")
    .option("driver", "com.mysql.jdbc.Driver")
    .option("dbtable", "{Table-NAME}")
    .option("user", "root").option("password", "******")
    .load())

 

데이터 확인하기

df.show()