MacOS安装单机spark教程,Linux同理
作者:smice分类:Java
日期:2021-07-17 11:09:002021-07-17阅读:538

本来用linux虚拟机使用spark,但是感觉还是没直接在mac上方便,而且用虚拟机发热有一丢丢,所以诞生了此教程。

  1. 下载spark
    推荐直接到apache官方网站下载:http://spark.apache.org/downloads.html
    选择Pre-built for apache hadoop 版本号 and later
    下载后直接解压至你存放的目录,一般usr/local/
    使用 tar -xvf命令解压,或者直接用压缩软件解压
  2. 配置spark
    进入到spark路径/conf下执行 mv spark-env.sh.template spark-env.sh
    vim spark-env.sh
    将SPARK_LOCAL_IP注释取消掉
    设置SPARK_LOCAL_IP=localhost
  3. 配置环境变量
    vim ~/.bash_profile
    export SPARK=spark路径
    export PATH=$PATH:$SPARK:/bin
    source  ~/.bash_profile
  4. 增加快捷方式
    进入spark的bin路径
    vim spark
    增加如下内容
    sh spark绝对路径/bin/spark-shell --master=local
    保存,然后你就可以在任何路径直接spark就能打开spark会话

弹幕评论