Hadoop伪分布式模式部署(接单机模式)

一、相关配置文件修改

修改core-site.xml:

$ su -l hadoop
$ cd /usr/local/hadoop/
$ sudo vi etc/hadoop/core-site.xml

    
        fs.defaultFS
        hdfs://localhost:9000
    

注:

fs.defaultFS :描述集群中NameNode结点的URI(包括协议、主机名称、端口号),集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册,这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互,以取得文件的块列表。

②修改hdfs-site.xml

$ sudo vi etc/hadoop/hdfs-site.xml

    
        dfs.replication
        1
    

注:

dfs.replication :其决定着系统里文件块的数据备份个数。对于一个实际的应用,它应该被设为3(这个数字并没有上限,但更多的备份可能并没有作用,而且会占用更多的空间)。少于三个的备份,可能会影响到数据的可靠性(系统故障时,也许会造成数据丢失)

③修改yarn-site.xml

$ sudo vi etc/hadoop/yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

④修改mapred-site.xml

$ sudo cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
$ sudo vi etc/hadoop/mapred-site.xml

    
        mapreduce.framework.name
        yarn
    

注:

mapreduce.framework.name :指定执行mapreduce任务所使用的运行框架

⑤修改 hadoop-env.sh

$ sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64     ##修改JAVA_HOME

二、格式化HDFS文件系统

①格式化HDFS文件系统

$ hadoop namenode -format
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = ubuntu/127.0.1.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.7.1
......
STARTUP_MSG:   java = 1.7.0_91
************************************************************/
......
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1
************************************************************/

②启动Hadoop集群

a.启动hdfs守护进程

$ start-dfs.sh

b.启动yarn框架

$ start-yarn.sh

c.检查是否运行成功

输入命令JPS查看进程

浏览器输入: http://localhost:8088 进入ResourceManager管理页面

浏览器输入: http://localhost:50070 进入HDFS页面

三、测试验证

①创建相关文件夹(要一步一步的创建):

$ hadoop dfs -mkdir /user
$ hadoop dfs -mkdir /user/hadoop
$ hadoop dfs -mkdir /user/hadoop/input

②新建测试文件

$ vi test.txt
hello hadoop
hello World
Hello Java
Ubuntu System

③将测试文件放到测试目录中

$ hadoop dfs -put test.txt /user/hadoop/input

附: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html

稿源:记事本-51CTO技术博客 (源链) | 关于 | 阅读提示

本站遵循[CC BY-NC-SA 4.0]。如您有版权、意见投诉等问题,请通过eMail联系我们处理。
酷辣虫 » 后端存储 » Hadoop伪分布式模式部署(接单机模式)

喜欢 (0)or分享给?

专业 x 专注 x 聚合 x 分享 CC BY-NC-SA 4.0

使用声明 | 英豪名录