查看: 832|回复: 2

[other] window10 + eclipseLuna + 2.5.2 环境配置

[复制链接]
  • TA的每日心情
    无聊
    2016-12-1 15:20
  • 签到天数: 668 天

    连续签到: 3 天

    [LV.9]以坛为家II

    发表于 2015-9-5 01:04:58 | 显示全部楼层 |阅读模式
    本帖最后由 忘忧的记忆 于 2015-9-8 23:22 编辑

    一.hadoop集群环境配置

    修改hdfs-site.xml加上以下内容

    <property>
    <name>dfs.permissions</name>
    <value>false</value>
    </property>
    旨在取消权限检查,原因是为了解决我在windows机器上配置eclipse连接hadoop服务器时,配置map/reduce连接后报以下错误,org.apache.hadoop.security.AccessControlException: Permission denied:


    三、编译hadoop-eclipse-plugin-2.5.2.jar配置
    1.添加环境变量HADOOP_HOME=F:hadoophadoop-2.5.2
    追加环境变量path内容:%HADOOP_HOME%/bin

    四、eclipse环境配置
    1.将编译好的hadoop-eclipse-plugin-2.5.2.jar拷贝至eclipse的plugins目录下,然后重启eclipse


    插件下载:  链接:http://pan.baidu.com/s/1gdCUyZ5 密码:ub0g
    2.打开菜单Window--Preference--Hadoop Map/Reduce进行配置,如下图所示:
    021235230611994.png

    3.显示Hadoop连接配置窗口:Window--Show View--Other-MapReduce Tools,如下图所示:
    021235418894008.png

    4.配置连接Hadoop,如下图所示:
    hadoop配置.png

    配置下: MapReduce   DFS端口, 50020 默认就是 Mapreduce的端口号, 8020是在core-site.xml 中配置的端口地址。

    查看是否连接成功,能看到如下信息,则表示连接成功:
    021236150301284.png


    五、hadoop集群环境添加测试文件
    (如果已有则无需配置)

    a.dfs上创建input目录
    hadoop@ubuntu-V01:~/data/hadoop-2.5.2$bin/hadoop fs -mkdir -p input

    b.把hadoop目录下的README.txt拷贝到dfs新建的input里
    hadoop@ubuntu-V01:~/data/hadoop-2.5.2$bin/hadoop fs -copyFromLocal README.txt input


    六、创建一个Map/Reduce Project
    1.新建项目 File--New--Other--Map/Reduce Project 命名为MR1,
    然后创建类org.apache.hadoop.examples.WordCount,从hadoop-2.5.2-src中拷贝覆盖
    (F:hadoophadoop-2.5.2-srchadoop-mapreduce-projecthadoop-mapreduce-examplessrcmainjavaorgapachehadoopexamplesWordCount.java)

    2.创建log4j.properties文件
    在src目录下创建log4j.properties文件,内容如下:
    log4j.rootLogger=debug,stdout,R
    log4j.appender.stdout=org.apache.log4j.ConsoleAppender
    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
    log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
    log4j.appender.R=org.apache.log4j.RollingFileAppender
    log4j.appender.R.File=mapreduce_test.log
    log4j.appender.R.MaxFileSize=1MB
    log4j.appender.R.MaxBackupIndex=1
    log4j.appender.R.layout=org.apache.log4j.PatternLayout
    log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n
    log4j.logger.com.codefutures=DEBUG

    七、windows下运行环境配置
    (如果不生效,则需要重启机器)

    需要hadoop.dll,winutils.exe
    我是直接拷贝F:hadoophadoop-common-2.2.0-bin-masterin目录下内容覆盖F:hadoophadoop-2.5.2in


    八、运行project
    在eclipse中点击WordCount.java,右键,点击Run As—>Run Configurations,配置运行参数,即输入和输出文件夹
    hdfs://ubuntu-V01:9000/user/hadoop/input hdfs://ubuntu-V01:9000/user/hadoop/output
    如下图所示:
    021236562013939.png

    注意:如果output目录已经存在,则删掉或换个名字,如output01,output02 。。。

    参考: http://www.cnblogs.com/huligong1234/p/4137133.html

    途中遇到的问题:


    HADOOP_HOME OR HADOOP.HOME.DIR ARE NOT SET :  解决:   window 下  按照  三  配置下 hadoop环境变量   






    更多图片 小图 大图
    组图打开中,请稍候......
  • TA的每日心情
    慵懒
    2017-9-25 00:09
  • 签到天数: 416 天

    连续签到: 1 天

    [LV.9]以坛为家II

    发表于 2015-9-8 19:51:33 | 显示全部楼层
    老实交代是不是抄袭的!

    点评

    下边写了 参考了好吧, 就是 按照 那个博客弄得啊,把编译的所有东西都去掉了, 我还 把 编译好 的插件都给 发出来啦  详情 回复 发表于 2015-9-8 23:19
  • TA的每日心情
    无聊
    2016-12-1 15:20
  • 签到天数: 668 天

    连续签到: 3 天

    [LV.9]以坛为家II

     楼主| 发表于 2015-9-8 23:19:08 | 显示全部楼层
    周末网安 发表于 2015-9-8 19:51
    老实交代是不是抄袭的!

    下边写了  参考了好吧,  就是 按照 那个博客弄得啊,把编译的所有东西都去掉了,  我还 把  编译好 的插件都给 发出来啦
    您需要登录后才可以回帖 登录 | 注册

    本版积分规则

    站长推荐上一条 /1 下一条