ubuntu 14.04 / hadoop 2.4.0安装问题整理

摘要:ubuntu 14.04 / hadoop 2.4.0安装问题整理



教学问太多,只整理卡关的地方

在 ~/.bashrc 下设定hadoop环境变量完后,用hadoop -version确认是否安装成功,却一直失败,反复确认PATH都正确
每次开shell(command windows)时,只会载入一次~/.bashrc,所以要确认是否安装成功,需要另开terminal
环境变量有三个地方可以设定,其中~/.bashrc是目前登入user的设定,不影响其他user,所以是~/开头
安装设定完xml,就可以用“sbin/start-dfs.sh”开启service了,name node默认是http://localhost:50070/,这都简单,问题是要怎么share给别人
​ubunt​u下的ipconfig是[ nm-tool ]
virtual box的网络卡要设成“bridge mode-桥接界面卡”,设完vm要重开机,这样host就可以用http://10.1.6.49:50070连vm里的server了
试丢文件给hadoop,try一下MapReduce,初看command有些不懂,做完就懂了简单,, command如下
#在hdfs文件系统中,建数据夹,等会儿数据会丢进来

#ps:hdfs文件系统在窗口模式下看不到
hdfs dfs -mkdir /tmp
hdfs dfs -mkdir /tmp/input
#将本机文件系统中的文件丢入hdfs文件系统
hdfs dfs -put file01 /tmp/input
hdfs dfs -put file02 /tmp/input
#确认hdfs文件系统中是否有刚刚丢入的文件
hdfs dfs -ls /tmp/input 
#试一下MapReduce
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar grep /tmp/input /tmp/output 'dfs[a-z.]+'
#然后到网站上下载结果(因为懒得下command)

http://www.plurk.com/SophieQ