sidstory
MacOS安装单机spark教程,Linux同理
作者:smice分类:Java
日期:2021-07-17 11:09:002021-07-17阅读:538
本来用linux虚拟机使用spark,但是感觉还是没直接在mac上方便,而且用虚拟机发热有一丢丢,所以诞生了此教程。
- 下载spark
推荐直接到apache官方网站下载:http://spark.apache.org/downloads.html
选择Pre-built for apache hadoop 版本号 and later
下载后直接解压至你存放的目录,一般usr/local/
使用 tar -xvf命令解压,或者直接用压缩软件解压 - 配置spark
进入到spark路径/conf下执行 mv spark-env.sh.template spark-env.sh
vim spark-env.sh
将SPARK_LOCAL_IP注释取消掉
设置SPARK_LOCAL_IP=localhost - 配置环境变量
vim ~/.bash_profile
export SPARK=spark路径
export PATH=$PATH:$SPARK:/bin
source ~/.bash_profile - 增加快捷方式
进入spark的bin路径
vim spark
增加如下内容
sh spark绝对路径/bin/spark-shell --master=local
保存,然后你就可以在任何路径直接spark就能打开spark会话
弹幕评论