Ubuntu16.04下安装Hadoop-白红宇

Ubuntu16.04下安装Hadoop

阅读量：4938 次

发布时间：2019-06-11

本文共 3007 字，大约阅读时间需要 10 分钟。

一、记录理由

　　刚开始只是想要学习怎么使用Hive的。想着安装应该很简单，没想到花了整整一天的时间来安装，为了避免下次犯同样的错误，特此记录。

二、安装Hadoop

网上教你怎么安装Hadoop的文章有很多，质量参差不齐，作为一名刚刚入门的菜鸟，我就记录一个完整的菜鸟版吧。

（1）环境准备

　　1. Vmware

　　2. Ubuntu16.04

(2) 安装jdk和openssh

　　请执行以下命令：

　　　　$ sudo apt-get install openjdk-8-jdk

　　　　$ sudo apt-get install openssh-server

　　　　$ sudo /etc/init.d/ssh start

　　　　$ ps -e | grep ssh

　　　　$ ssh-keygen -t dsa -P ''

　　　　$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

　　　　$ ssh localhost

(3)添加Hadoop用户组合用户

$ sudo su

$ addgroup hadoop

$ adduser --ingroup hadoop hadoop

$ password hadoop //为hadoop账号设置密码

　　　 $ adduser hadoop sudo

　　　 $ su hadoop

　　　　键入hadoop的密码：

(4) 下载Hadoop

执行以上过程的时候，要先去上面的网站上看一看有没有对应的hadoop-2.2.0.tar.gz，没有的话就换成有的版本

　　在这个过程中如果有出现permission denieied提示的话，就在命令的最前面加上sudo

(5) 配置环境

　　　　$ sudo vim ~/.bashrc

　　　　在.bashrc这个文件的最后面加上：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64　　　　export HADOOP_HOME=/usr/local/hadoop 　　　　export HADOOP_MAPRED_HOME=$HADOOP_HOME 　　　　export HADOOP_COMMON_HOME=$HADOOP_HOME 　　　　export HADOOP_HDFS_HOME=$HADOOP_HOME 　　　　export YARN_HOME=$HADOOP_HOME       export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

　　　　保存之后退出.bashrc文件

$ sudo cd /usr/local/hadoop/etc/hadoop

　　　　$ sudo vim hadoop-env.sh

　　　　在hadoop-env.sh文件的最末端加上以下内容

　　　　export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/

　　　　export HADOOP_COMMON_LIB_NATIVE_DIR="/usr/local/hadoop/lib/native/"

　　　　export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/"

　　　　保存之后退出hadoop-env.sh文件

退出terminal再打开

（6）配置Hadoop

　　　　$ su hadoop

　　　　$ cd /usr/local/hadoop/etc/hadoop

　　　　$ sudo vim core-site.xml


          
      
       fs.default.name
           
      
       hdfs://localhost:9000

　　　　$ sudo vim yarn-site.xml


          
      
       yarn.nodemanager.aux-services
           
      
       mapreduce_shuffle
        
       
          
      
       yarn.nodemanager.aux-services.mapreduce.shuffle.class
           
      
       org.apache.hadoop.mapred.ShuffleHandler

　　　　$ sudo mv mapred-site.xml.template mapred-site.xml

　　　　$ sudo vim mapred-site.xml

property>     
     
      mapreduce.framework.name
          
     
      yarn

　　　　$ sudo mkdir -p ~/mydata/hdfs/namenode

　　　　$ sudo mkdir -p ~/mydata/hdfs/datanode

　　　　$ sudo vim hdfs-site.xml


          
      
       dfs.replication
           
      
       1
         
        
          
      
       dfs.namenode.name.dir
           
      
       file:/home/hduser/mydata/hdfs/namenode
         
        
          
      
       dfs.datanode.data.dir
           
      
       file:/home/hduser/mydata/hdfs/datanode