您当前的位置:首页 > hadoop

在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境

近几年大数据越来越火热。由于工作需要以及个人兴趣,最近开始学习大数据相关技术。学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘。fd8linux系统宝典

第一篇,在Win7虚拟机下搭建2.6.0伪分布式环境。fd8linux系统宝典

1. 所需要的软件 fd8linux系统宝典

使用VMware 11.0搭建虚拟机,安装 14.04.2系统。fd8linux系统宝典

Jdk 1.7.0_80fd8linux系统宝典

Hadoop 2.6.0fd8linux系统宝典

2. 安装VMware和Ubuntu fd8linux系统宝典

Windows 7下用VMware Workstation 10虚拟机安装 Ubuntu 14.04  fd8linux系统宝典

3. 在Ubuntu中安装JDK fd8linux系统宝典

将jdk解压缩到目录:/home/vm/tools/jdkfd8linux系统宝典

在~/.bash_profile中配置环境变量,并通过source ~/.bash_profile生效。fd8linux系统宝典

#java fd8linux系统宝典

export JAVA_HOME=/home/vm/tools/jdk fd8linux系统宝典

export JRE_HOME=/home/vm/tools/jdk/jre fd8linux系统宝典

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH fd8linux系统宝典

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHfd8linux系统宝典

检验jdk安装是否成功。fd8linux系统宝典

fd8linux系统宝典

4. 配置ssh信任关系,实现无密码登录 fd8linux系统宝典

4.1 安装ssh fd8linux系统宝典

Ubuntu默认安装了ssh客户端,但没有安装ssh服务端,因此可以通过apt-get安装。fd8linux系统宝典

安装ssh-server:sudo apt-get install openssh-serverfd8linux系统宝典

如果没有ssh客户端,也可以通过apt-get安装。fd8linux系统宝典

安装ssh-client:sudo apt-get install openssh-clientfd8linux系统宝典

启动ssh-server:sudo service ssh startfd8linux系统宝典

启动以后,通过ps –aux | grep sshd查看ssh服务器是否安装成功。fd8linux系统宝典

fd8linux系统宝典

SSH服务远程访问Linux服务器登陆慢 fd8linux系统宝典

提高Ubuntu的SSH登陆认证速度的办法 fd8linux系统宝典

开启SSH服务让手机远程访问 Ubuntu 14.04  fd8linux系统宝典

如何为Linux系统中的SSH添加双重认证 fd8linux系统宝典

在 Linux 中为非 SSH 用户配置 SFTP 环境 fd8linux系统宝典

Linux 上SSH 服务的配置和管理 fd8linux系统宝典

SSH入门学习基础教程 fd8linux系统宝典

SSH免密码登录详解  fd8linux系统宝典

4.2 配置ssh信任关系 fd8linux系统宝典

生成机器A的公私密钥对:ssh-keygen -t rsa,之后一路回车。在~/.ssh目录下生成公钥id_rsa.pub,私钥id_ras。fd8linux系统宝典

拷贝机器A的id_rsa.pub到机器B的认证文件中:fd8linux系统宝典

cat id_rsa.pub >> ~/.ssh/authorized_keysfd8linux系统宝典

这时候机器A到机器B的信任关系就建立好了,此时在机器A可以不需要密码直接ssh登录机器B了。fd8linux系统宝典

本例中机器A和B是同一台机器,配置ssh信任关系以后可以使用ssh localhost或者ssh 机器IP地址来验证。fd8linux系统宝典

fd8linux系统宝典

5. 安装Hadoop2.6.0 fd8linux系统宝典

5.1 解压Hadoop2.6.0 fd8linux系统宝典

从官网下载hadoop-2.6.0.tar.gz,解压到目录/home/vm/tools/hadoop,并配置~/.bash_profile环境变量。通过source ~/.bash_profile生效。fd8linux系统宝典

#hadoop fd8linux系统宝典

export HADOOP_HOME=/home/vm/tools/hadoop fd8linux系统宝典

export PATH=$HADOOP_HOME/bin:$PATH fd8linux系统宝典

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native fd8linux系统宝典

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"fd8linux系统宝典

5.2 修改配置文件 fd8linux系统宝典

修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh和yarn-evn.sh,配置JAVA_HOME路径:fd8linux系统宝典

fd8linux系统宝典

修改$HADOOP_HOME/etc/hadoop/slaves,增加本机IP地址:fd8linux系统宝典

cat "192.168.62.129" >> slavesfd8linux系统宝典

修改$HADOOP_HOME/etc/hadoop/下的几个重要的*-site.xml:fd8linux系统宝典

core-site.xml 192.168.62.129是我虚拟机的IP地址fd8linux系统宝典

<configuration> fd8linux系统宝典

<property> fd8linux系统宝典

<name>fs.defaultFS</name> fd8linux系统宝典

<value>hdfs://192.168.62.129:9000</value> fd8linux系统宝典

</property> fd8linux系统宝典

<property> fd8linux系统宝典

<name>hadoop.tmp.dir</name> fd8linux系统宝典

<value>file:/home/vm/app/hadoop/tmp</value> fd8linux系统宝典

<description>a base for other temporary directories.</description> fd8linux系统宝典

</property> fd8linux系统宝典

</configuration>fd8linux系统宝典

hdfs-site.xmlfd8linux系统宝典

<configuration> fd8linux系统宝典

<property> fd8linux系统宝典

<name>dfs.replication</name> fd8linux系统宝典

<value>1</value> fd8linux系统宝典

</property> fd8linux系统宝典

<property> fd8linux系统宝典

<name>dfs.namenode.name.dir</name> fd8linux系统宝典

<value>file:/home/vm/app/hadoop/dfs/nn</value> fd8linux系统宝典

</property> fd8linux系统宝典

<property> fd8linux系统宝典

<name>dfs.namenode.data.dir</name> fd8linux系统宝典

<value>file:/home/vm/app/hadoop/dfs/dn</value> fd8linux系统宝典

</property> fd8linux系统宝典

<property> fd8linux系统宝典

<name>dfs.permissions</name> fd8linux系统宝典

<value>false</value> fd8linux系统宝典

<description> fd8linux系统宝典

permission checking is turned off fd8linux系统宝典

</description> fd8linux系统宝典

</property> fd8linux系统宝典

</configuration>fd8linux系统宝典

mapred-site.xmlfd8linux系统宝典

<configuration> fd8linux系统宝典

<property> fd8linux系统宝典

<name>mapred.job.tracker</name> fd8linux系统宝典

<value>hdfs://192.168.62.129:9001</value> fd8linux系统宝典

</property> fd8linux系统宝典

<property> fd8linux系统宝典

<name>mapreduce.framework.name</name> fd8linux系统宝典

<value>yarn</value> fd8linux系统宝典

</property> fd8linux系统宝典

</configuration>fd8linux系统宝典

yarn-site.xmlfd8linux系统宝典

<configuration> fd8linux系统宝典

<!-- Site specific YARN configuration properties --> fd8linux系统宝典

<property> fd8linux系统宝典

<name>yarn.nodemanager.aux-services</name> fd8linux系统宝典

<value>mapreduce_shuffle</value> fd8linux系统宝典

</property> fd8linux系统宝典

</configuration>fd8linux系统宝典

5.3 格式化文件系统 fd8linux系统宝典

在$HADOOP_HOME下执行bin/hdfs namenode format格式化文件系统fd8linux系统宝典

5.4 启停 fd8linux系统宝典

$HADOOP_HOME下执行sbin/start-dfs.sh和sbin/start-yarn.sh启动hadoop集群,执行sbin/stop-dfs.sh和sbin/stop-yarn.sh停止hadoop集群。fd8linux系统宝典

启动过程例如:fd8linux系统宝典

fd8linux系统宝典

fd8linux系统宝典

启动完毕进程如下:fd8linux系统宝典

fd8linux系统宝典

6. 查询集群信息 fd8linux系统宝典

8088端口,查看All Applications信息:fd8linux系统宝典

fd8linux系统宝典

50070端口,查看hdfs信息:fd8linux系统宝典

fd8linux系统宝典

7. 验证hadoop环境搭建是否成功 fd8linux系统宝典

7.1 验证hdfs是否正常 fd8linux系统宝典

可以使用各种hdfs命令测试。例如:fd8linux系统宝典

hdfs dfs -ls ./fd8linux系统宝典

hdfs dfs -put file.1 ./fd8linux系统宝典

hdfs dfs -get ./file1fd8linux系统宝典

hdfs dfs -rm -f ./file.1fd8linux系统宝典

hdfs dfs -cat ./file1fd8linux系统宝典

hdfs dfs -df -hfd8linux系统宝典

7.2 验证map/reduce计算框架是否正常 fd8linux系统宝典

在$HADOOP_HOME目录下执行:bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount ./count_in/ ./count_out/fd8linux系统宝典

其中./count_in/提前在hdfs集群创建,统计该目录下所有文件的单词数量,输出到./count_out/目录。fd8linux系统宝典

执行过程示例如下:fd8linux系统宝典

fd8linux系统宝典

执行完毕生成结果:fd8linux系统宝典

fd8linux系统宝典

至此,Hadoop2.6.0的伪分布式环境搭建完成。fd8linux系统宝典

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  fd8linux系统宝典

安装和配置Hadoop2.2.0  fd8linux系统宝典

Ubuntu 13.04上搭建Hadoop环境 fd8linux系统宝典

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 fd8linux系统宝典

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) fd8linux系统宝典

Ubuntu下Hadoop环境的配置 fd8linux系统宝典

单机版搭建Hadoop环境图文教程详解 fd8linux系统宝典

更多Hadoop相关信息见 专题页面 fd8linux系统宝典



沪ICP备10206494号-4