在windows上安装及配置Spark

发表于 更新于 分类于

说明

记录在 windows 系统上 Spark 的环境配置

前置条件

需安装 jdk1.8

需先在 windows 上搭建 hadoop ，见 在windows上安装hadoop2.6.4

下载地址

组件 下载链接
Scala https://www.scala-lang.org/download/all.html
Spark https://archive.apache.org/dist/spark/

安装Scala

到 Scala下载地址 选择对应的版本下载，这里我下的 2.10.6 版本压缩包(下载界面往下拉可以找到)

版本对应的 scala版本可以在 https://spark.apache.org/docs/1.6.0/ 查到，将 1.6.0改成使用的版本即可

解压到某个目录

环境变量 path 增加 scala 的 bin 目录路径

如 D:\scala-2.10.6\bin

安装Spark

  1. 到 Spark下载地址 下载对应版本的压缩包，我下载 1.6.2 的
  2. 解压到某个目录
  3. 添加bin目录路径到 path 环境变量中

配置环境变量

变量名
SPARK_HOME D:\BIGDATA\spark\spark-1.6.2-bin-hadoop2.6
PATH 增加 %SPARK_HOME%\bin

验证

在 cmd 中执行 spark-shell

有以下输出即为成功

1
2
Spark context available as sc.
SQL context available as sqlContext.

参考资料

https://blog.csdn.net/u011513853/article/details/52865076

spark2.2

scala 要下载 2.11.x

spark下载地址

一些问题

1
19/08/30 16:53:22 ERROR util.ShutdownHookManager: Exception while deleting Spark temp dir: C:\Users\zhf\AppData\Local\Temp\spark-35f55385-549a-47c7-adcc-3bc3daaebaf7

在 spark 的 log4j.properties 中配置 (不显示而已~)

在 %SPARK_HOME%\conf 下，如果没有，则复制模板，改名即可

1
2
log4j.logger.org.apache.spark.util.ShutdownHookManager=OFF
log4j.logger.org.apache.spark.SparkEnv=ERROR
0%
隐藏