搭建Spark1.5集群(一)-Hadoop2.7.1的单节点安装

步骤

服务器环境:Ubuntu15.04、jdk1.7、Hadoop2.7.1

Win10上利用子系统搭建hadoop本地开发环境及常见问题解决

5. 启动Hadoop###

启动HDFS:

$HADOOP_HOME/sbin/start-dfs.sh

启动yarn:

$HADOOP_HOME/sbin/start-yarn.sh

HDFS和yarn的web控制台默认监听端口分别为50070和8088。可以通过浏览放访问查看运行情况。

停止命令:
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/stop-yarn.sh
如果一切正常,使用jps可以查看到正在运行的Hadoop服务,在我机器上的显示结果为:

5003 SecondaryNameNode
5341 NodeManager
4798 DataNode
5182 ResourceManager
7311 Jps
4639 NameNode

第三步:安装Hadoop

在配置完ssh后,你可以直接按照官方文档中的说明,在linux环境下安装Hadoop了,这里列出主要步骤。

  • 安装JDK

Hadoop 依赖JDK,首先需要安装Java,这里安装Oracle Java 8

sudo apt-get install python-software-properties
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
  • 配置JAVA_HOME

查看JAVA安装路径

sudo update-alternatives --config java

  Selection    Path                                     Priority   Status
------------------------------------------------------------
  0            /usr/lib/jvm/java-8-oracle/jre/bin/java   1081      auto mode
* 1            /usr/lib/jvm/java-8-oracle/jre/bin/java   1081      manual mode

看到JDK路径为/usr/lib/jvm/java-8-oracle

/etc/environment中第一行添加如下内容:

JAVA_HOME="/usr/lib/jvm/java-8-oracle"

更新环境变量

source /etc/enviroment
  • 下载Hadoop并解压
cd /opt
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz
tar xzvf hadoop-2.9.0.tar.gz
  • 设置HADOOP_HOME路径

/etc/environment文件中第一行添加HADOOP_HOME变量,为了输入命令时的方便着想,你可以加入到PATH环境变量中。

HADOOP_HOME="/opt/hadoop-2.9.0"
PATH="$HADOOP_HOME/bin:..."

source /etc/environment
  • 设置JAVA_HOME路径

修改etc/hadoop/hadoop-env.sh文件中的JAVA_HOME变量

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
  • 以伪分布模式配置Hadoop

修改etc/hadoop/core-site.xml文件内容如下:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改etc/hadoop/hdfs-site.xml文件内容如下:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
  • 办公软件,配置YARN(若你使用YARN作为资源管理器)

修改etc/hadoop/mapred-site.xml如下:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改etc/hadoop/yarn-site.xml如下:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
  • 格式化文件系统
bin/hdfs namenode -format
  • 开启 NameNode 和 DataNode 守护进程
sbin/start-dfs.sh
  • 开启YARN
sbin/start-yarn.sh
  • 查看是否启动成功

输入jps命令,若以下进程都启动了,说明启动成功

1984 SecondaryNameNode
2212 ResourceManager
2376 Jps
1738 DataNode
1612 NameNode
2334 NodeManager
  • 创建用户目录
hadoop fs -mkdir /user
hadoop fs -mkdir /user/<username>

至此windows上的hadoop环境就搭建完成了,你可以打开localhost:50070查看是否启动成功。

好了,现在你可以使用idea或其它开发工具进行开发和调试了,而不用每次都打包到服务器上运行了(鼓掌)

1. 创建spark用户###

为了隔离Hadoop和其它软件, 创建了可以登陆的 spark 用户,并使用 /bin/bash 作为 shell:

sudo useradd -m spark-s /bin/bash

设置spark用户密码:

sudo passwd spark

可为 spark用户增加管理员权限,避免部署时候遇到一些奇怪的权限问题:

sudo adduser hadoop sudo

添加完用户后,用户spark账户登录服务器,进行服务器配置。

第一步:安装Ubuntu子系统

打开windows商店,搜索Ubuntu,找到后点击安装,等待安装完毕即可。
安装完成后,为了之后能加快部署速度,设置包源为阿里源。

3. 安装Java环境###

安装JDK:

sudo apt-get update
sudo apt-get install openjdk-7-jdk

安装成功后,使用java -version java版本

办公软件 1

正常显示java版本

配置Java环境变量,如果使用上面的方法安装jdk,那么Java的安装路径应该是/usr/lib/jvm/java-7-openjdk-amd64,但是如果不能确定,可以使用如下命令:

update-alternatives - -config java

输入结果:/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

我们只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64
配置.bashrc文件:

sudo vim ~/.bashrc  #如果没有vim 请另行安装vim

在文件末尾追加下面内容,然后保存

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

执行下面命,使添加的环境变量生效:

source ~/.bashrc

测试Java环境变量结果:

echo $JAVA_HOME

如果输出/usr/lib/jvm/java-7-openjdk-amd64 则表示配置成功

说明

满心鼓舞的准备学习hadoop,没想到困难重重,具体多坑?
Hadoop对微软如此不友好,
原本打算安装在docker上可以吧,一搜索,一个教程都没有,我???,
那装个虚拟机吧,配置限制了我的想象,
那搞个双系统吧,linux上又不能安装qq等必须软件,
虽然也可编译Hadoop源码为windows版本,但是hadoop那么多生态环境,难道我要每一个都编译?
你可能会将代码打包为jar包再发送到服务器上运行,但是这增加了大量的调试工作,而且浪费了大量时间。
我拿这windows能怎么办?甚至一度想换个黑苹果(忍住了)。

估计我大微软自己也发觉这样下去无法盈利,只能赶紧叫上兄弟Ubuntu来填坑。
本教程利用win10自带的Ubuntu子系统来配置Hadoop运行环境。

6. 运行WordCount测试###

单机模式安装完成,下面通过执行hadoop自带实例WordCount验证是否安装成功。
查看HDFS根目录下的文件:

hdfs dfs -ls /

在HDFS上创建input目录:

hdfs dfs -mkdir /input

将Hadoop路径下的README.txt传到HDFS:

hdfs dfs -put $HADOOP_HOME/README.txt /input/

完成后运行如下命令,进行Word Count操作:

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount /input /output

办公软件 2

没有异常 ,任务执行完成

查看计算结果:

hdfs dfs -cat /output/*

办公软件 3

显示出单词的统计结果

最后Hadoop单节点的配置就完成了。如有什么问题,希望大家批评指正。

常见错误

  • 用户权限问题

若你在Ubuntu中以root身份启动了hadoop,并且创建了文件,那么这个文件就属于root。而在开发环境中,你是作为其它用户运行程序的,没有权限访问该文件,要访问文件,可通过以下指令更改文件所有者:

sudo hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

OWNER:GROUP就是用户:所属组,例如更改为manlier:supergroup将文件的所有者改为了supergroup组下的manlier用户

  • datanode进程未启动

查看logs/hadoop-<username>-datanode-<hostname>.log文件检查错误。

若出现java.io.IOException: Incompatible clusterIDs,则说明你的data进程的集群id与name进程的集群id不一致,解决办法如下:

找到你的hdfs的文件存放路径,若你从未指定,默认为/tmp/hadoop-<username>,彻底删除它,重新格式化文件系统,重启hadoop即可,查看具体原因。

  • 出现 Unable to load native-hadoop library for your platform...

查看当前是否配置好了HADOOP_HOME环境变量

echo $HADOOP_HOME

如果输出为空,你需要在/etc/enviroment文件中设置Hadoop目录:

HADOOP_HOME=your_hadoop_path

并重新更新环境变量

source /etc/enviroment

4. 配置Hadoop###

4.1 下载安装Hadoop

Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 下载,一般选择下载最新的稳定版本,即下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。
我直接下载编译好的压缩包:

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

解压缩:

tar xfz hadoop-2.7.1.tar.gz

将安装包移动到usr/local/hadoop

sudo mv hadoop-2.6.0 /usr/local/hadoop

更改hadoop文件夹的所有者为spark用户

sudo chown -R spark /usr/local/hadoop

测试hadoop是否可用
/usr/local/hadoop/bin/hadoop version
正确显示hadoop版本表示可用

4.2 Hadoop相关环境变量配置
打开./bashrc文件:

sudo vim ~/.bashrc

在.bashrc文件末尾添加相关环境变量:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

应用环境变量:

source ~/.bashrc

4.3 hadoop相关配置文件的配置

  1. 配置hadoop-env.sh

    sudo vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
    

    更改JAVA_HOME为
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

  2. 配置core-site.xml

    sudo vim $HADOOP_HOME/etc/hadoop/core-site.xml
    

    <configuration></configuration>之间加入HDFS的配置(HDFS的端口配置在9000):
    <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    </property>

  3. 配置yarn-site.xml

    sudo vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
    

    <configuration></configuration>之间加入以下内容:
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

  4. 配置mapred-site.xml
    HADOOP_HOME目录下有一个配置模板$HADOOP_HOME/etc/hadoop/mapred-site.xml.template,先拷贝到$HADOOP_HOME/etc/hadoop/mapred-site.xml。

    cp $HADOOP_HOME/etc/hadoop/mapred-site.xml{.template,}
    

编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml文件:

   sudo vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

  在`<configuration></configuration>`之间加入以下内容:
   <property> 
      <name>mapreduce.framework.name</name> 
      <value>yarn</value>
   </property>

4.3 配置HDFS文件目录
1. 创建文件目录
假设准备将数据存放在/mnt/hdfs,方便起见,现将其设为一个环境变量:

export HADOOP_DATA_DIR=/mnt/hdfs

创建DataNode和NameNode的存储目录,同时将这两个文件夹的所有者修改为spark:

sudo mkdir -p $HADOOP_DATA_DIR/namenode
sudo mkdir -p $HADOOP_DATA_DIR/datanode
sudo chown -R spark $HADOOP_DATA_DIR

2. 配置hdfs-site.xml文件

sudo vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration></configuration>之间增加DataNode和NameNode的配置,如下:

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/mnt/hdfs/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/mnt/hdfs/datanode</value>
</property>

3. 格式化HDFS文件系统
使用下列命令格式化HDFS文件系统:

hdfs namenode -format

要求

系统:win10(只有win10可以安装子系统)

2. SSH登录配置####

集群、单节点模式都需要用到 SSH登陆 ,并且配置ssh的免密码登录,在集群启动时候可以免去输入密码的麻烦。Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:

sudo apt-get install openssh-server

测试使用ssh登录本机:

ssh localhost

登录成功后可以输入exit退出

办公软件 4

ssh登录本机

设置ssh无密码登录
设置免密码登录,生成私钥和公钥,利用 ssh-keygen 生成密钥,并将密钥加入到授权中。
生成公钥/私钥对:

ssh-keygen -t rsa -P ""

-P表示密码,-P '' 就表示空密码,也可以不用-P参数,这样就要三车回车,用-P就一次回车。它在/home/spark下生成.ssh目录,.ssh下有id_rsa和id_rsa.pub,前者为私钥,后者为公钥。
下面我们将公钥追加到authorized_keys中,它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

再次使用ssh登陆localhost,就不再需要输入密码:

ssh localhost

记得退出登录,继续进行配置exit

办公软件 5

ssh登录本地不需要再输入密码

第二步:配置Ubuntu子系统

  • 设置主机名(不是必须的)

子系统主机名默认使用windows宿主机的名字,如果你从来没改过显示的应该是一串字符,为了方便开发,你应该修改主机名。通过设置->系统->关于->重命名这台电脑更改主机名。

  • 设置root密码
sudo passwd root
  • 设置默认登录用户

为了能方便开发,可以设置Ubuntu的默认登录用户为当前登录win10的用户名,因为你开发时是以当前登录用户执行程序的,所以为了避免权限问题,推荐你这么做。
例如当前我win10的用户为manlier,那就设置默认用户为manlier,如果当前ubuntu中没有该用户,会让你创建。

在Power shell 中执行

ubuntu config --default-user <username>
  • 安装ssh服务

Ubuntu 默认安装了ssh服务,如果没有安装,执行

sudo apt-get install openssh-client
sudo apt-get install openssh-server
  • 启动ssh服务
sudo service ssh start

如果遇到问题,重新安装ssh服务

sudo apt-get purge openssh-server
sudo apt-get install openssh-server

再次运行suddo service ssh --full-restart查看是否已启动成功

  • 配置ssh端口

ssh端口默认是22号端口,该端口在win10中已经被sshProxy服务占了,你可以关闭该服务。也可以通过下面的命令在Ubuntu中更改ssh端口。

修改/etc/ssh/sshd_configPort 22为其它端口

vi /etc/ssh/sshd_config

重启ssh服务

sudo service ssh --full-restart

本文选择第一种,即直接关闭sshProxy服务。若你选择第二种,之后需要配置Hadoop集群的ssh端口。

  • 配置免密登录

众所周知,Hadoop需要建立在ssh的免密服务之上,因此需要进行ssh的公钥登录配置。

修改sshd_config文件,主要更改下面几行

UsePrivilegeSeparation no
PermitRootLogin no         #如果你确实要用root方式登录的话设为yes
PasswordAuthentication yes

在Ubuntu中重启ssh服务

sudo service ssh --full-restart

执行ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa生成密钥,注意不要使用dsa加密,它不安全也不再被支持。

执行ssh-copy-id -i ~/.ssh/id_rsa.pub <username>@localhost将公钥发送至Ubuntu,期间需要输入一次(之后就不需要了)用户的密码。

至此免密服务已经配置完毕。运行ssh localhost查看是否不需要密码登录,若出现问题,请查看输出到屏幕的日志。

7. 参考资料###

1. Hadoop单节点安装
2. Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
3. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

本文由开元棋牌发布于办公软件,转载请注明出处:搭建Spark1.5集群(一)-Hadoop2.7.1的单节点安装

TAG标签:
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。