spark连接mysql

QQ: 380800878, 微信: kittenll

一、下到驱动

官网载mysql的java驱动包放到spark根目录。启动:

SPARK_CLASSPATH=mysql-connector-java-x.x.x-bin.jar ./bin/spark-shell

二、连接mysql

1
2
val df = sqlContext.load("jdbc", Map("url" -> "jdbc:mysql://localhost:3306/newlaw?user=root&password=", "dbtable" -> "tax"))
df.count()

这里得到的df是一个DataFrame对象,可以通过这个对象选取表数据,map, reduce等等操作。