hadoop 学习笔记(一)

发布时间:2019年01月17日 阅读:280 次

一、关于初始测试程序的使用

文件夹 hadoop share hadoop mapreduce

hadoop jar hadoop-mapreduce-examples-2.5.2.jar wordcount /wordcount/input /wordcount/output1

hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 5 5

其中wordcount程序测试的时候 输出文件夹要自己指定 并且不能已经存在

二、常见问题

  1. 有可能存在版本不兼容问题

  2. 报错提示: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your pla                    tform... using builtin-java classes where applicable

  3. 这里不用管,如果报错,用下面的解决方案

  4. 首先清空tmp文件夹下的data文件夹,然后调用命令

    hdfs namenode -format

关于web服务端

http://hadoop:50070

http://hadoop:8088

web服务端的下载文件因为ip问题,需要手动更换localhost ip地址为虚拟机的ip地址。

三、常用命令

hadoop fs -cat /wordcount/output1/part-r-00000

hadoop fs -mkdir /wordcount/output

hadoop fs -put 1.txt hdfs://centos-01:9000/

jps

init 5

startx

halt

sudo find -name 1.txt

source /etc/profile

256  service iptables status

257  firewall-cmd --state

258  cat  /etc/redhat-release

259  service iptables stop

260  service iptables status

start-all.sh

Tag:
相关文章

发表评论: