查看: 693|回复: 0

[other] hadoop2.5.2 伪分布式安装部署

[复制链接]
  • TA的每日心情
    无聊
    2016-12-1 15:20
  • 签到天数: 668 天

    连续签到: 3 天

    [LV.9]以坛为家II

    发表于 2015-8-28 23:56:17 | 显示全部楼层 |阅读模式
    本帖最后由 忘忧的记忆 于 2015-8-29 00:10 编辑

    环境:Vmware10,  CentOS6.5 64位 ,  hadoop2.5.2 64 , java: jdk1.7.0_79
    软件: hadoop2.5.2-64    http://pan.baidu.com/s/1ltQLS   
          需要替换掉native库  
            http://dl.bintray.com/sequenceiq/sequenceiq-bin/
          解压替换掉 /opt/softwares/hadoop-2.5.2/lib/native

    图书: hadoop权威指南4th     
            http://pan.baidu.com/s/1nt4AjQ5

    软件的安装目录:
    /opt/softwares/
    安装:
    0)说明
    1、系统:CentOS 6.4 64位

    2、关闭防火墙和SELinux
    serviceiptables status
    serviceiptables stop
    chkconfigiptables off

    vi/etc/sysconfig/selinux         
    设置 SELINUX=disabled

    3、设置静态IP地址
    vi/etc/sysconfig/network-scripts/ifcfg-eth0

    4、修改HostName
    hostnamehadoop-yarn.dragon.org      
    vi/etc/sysconfig/network

    5、IP与HostName绑定
    vi/etc/hosts
    内容:
    192.168.48.128        hadoop-yarn.dragon.org        hadoop-yarn
    6、安装JDK
    安装目录:/opt/softwares/jdk1.7.0_79
    设置环境变量:
    vi/etc/profile
    添加内容:
    exportJAVA_HOME=/opt/softwares/jdk1.7.0_79
    exportPATH=$PATHJAVA_HOME/bin
    生效:
    #source /etc/profile

    1)解压tar包
    tar -zxvf hadoop-2.5.2.tar.gz -C /opt/modules/

    2)安装目录
    HADOOP_HOME=/opt/modules/hadoop-2.5.2

    3)配置
    1、hadoop-env.sh
    exportJAVA_HOME=/opt/softwares/jdk1.7.0_79

    2、yarn-env.sh
    exportJAVA_HOME=/opt/softwares/jdk1.7.0_79

    3、mapred-env.sh
    exportJAVA_HOME=/opt/softwares/jdk1.7.0_79

    4、core-site.xml
    <property>               
    <name>fs.default.name</name>
    <value>hdfs://hadoop-yarn.dragon.org:8020</value>
    </property>

    <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/modules/hadoop-2.5.2/data/tmp</value>
    </property>

    5、hdfs-site.xml
    <property>               
    <name>dfs.replication</name>
    <value>1</value>
    </property>

    6、yarn-site.xml
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>

    7、mapred-site.xml
    <property>                                       
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    Configure  SSH  
    %ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    % cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    %ssh  hadoop-yarn

    4)启动
    1、启动HDFS
    NameNode、DataNode、SecondaryNameNode
    *NameNode 格式化
    bin/hdfsnamenode -format
    * 启动NameNode
    sbin/hadoop-daemon.shstart namenode
    * 启动DataNode
    sbin/hadoop-daemon.shstart datanode
    * 启动SecondaryNameNode
    sbin/hadoop-daemon.shstart secondarynamenode

    使用jps命令查看 java运行的程序
    未命名图片.png



    访问:http://192.168.133.156:50070/  查看web界面

    未命名图片2.png









    您需要登录后才可以回帖 登录 | 注册

    本版积分规则

    站长推荐上一条 /1 下一条