Linux下Hadoop 2.7.3 安装搭建过程_java
2022-03-01
Linux Hadoop 2.7.3 安装搭建
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。
HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
Hadoop解决哪些问题？
海量数据需要及时分析和处理
海量数据需要深入分析和挖掘
数据需要长期保存
海量数据存储的问题：
磁盘IO称为一种瓶颈，而非CPU资源
网络带宽是一种稀缺资源
硬件故障成为影响稳定的一大因素
安装流程
安装JAVA 1.8
下载：
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Java 环境安装配置 /etc/profile：
export JAVA_HOME=/usr/jdk/jdk1.8.0_112 export JRE_HOME=/usr/jdk/jdk1.8.0_112/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$PATH
安装Hadoop2.7.3
下载：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/
配置启动Hadoop
1、修改hadoop 2.7.3/etc/hadoop/hadoop-env.sh 指定JAVA_HOME
# The java implementation to use. export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el6_9.x86_64
2、修改hdfs的配置文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://0.0.0.0:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop</value>
</property>
</configuration>
3、启动
第一次启动得先格式化
/usr/hadoop/bin/hdfs namenode -format
启动hdfs
/usr/hadoop/sbin/start-dfs.sh
用jps命令查看启动的Java进程
预览地址：http://127.0.0.1:50070/dfshealth.html
4、停止
/usr/hadoop/sbin/stop-dfs.sh