2024-07-03 16:42:50 | 我爱编程网
可以使用 root 用户来完成 Hadoop 的相关配置和安装,但在此之前,需要确保系统安装了一些必要的前置环境和软件。以下是配置 Hadoop 环境的基本步骤:
安装 Java 运行环境(JRE)或 Java 开发工具包(JDK)。Hadoop 是使用 Java 语言开发的,因此需要安装 Java 运行环境才能运行。
配置 Java 环境变量。在 Linux 系统中,可以使用 export 命令设置 PATH 和 JAVA_HOME 环境变量,以便系统能够识别 Java 运行环境。
下载 Hadoop 的最新版本,例如 Apache Hadoop 2.9.2。
解压 Hadoop 压缩包,并将其放置在某个有读写权限的目录下。
配置 Hadoop 的环境变量,以便系统可以找到 Hadoop 的二进制文件。在 Linux 系统中,可以在 .bashrc 文件中添加以下语句:
Copy code
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
配置 Hadoop 的相关文件,如 core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml,这些文件记录了 Hadoop 的基本配置信息,例如 NameNode 的地址、DataNode 的地址等等。
格式化 Hadoop 的文件系统。在 Hadoop 安装目录中运行以下命令:
Copy code
$HADOOP_HOME/bin/hdfs namenode -format
完成以上步骤后,Hadoop 环境就可以正常运行了,您可以使用 Hadoop 开发应用程序或处理大数据了。需要注意的是,Hadoop 配置和部署比较复杂,需要一定的经验和技能,建议在操作前先了解相关资料或请有经验的人进行指导。
1、用jps命令
(1)master节点
启动集群:
cy@master:~$ start-all.sh
starting namenode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-namenode-master.out
slave2: starting datanode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-datanode-slave2.out
slave1: starting datanode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-datanode-slave1.out
master: starting secondarynamenode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-secondarynamenode-master.out
starting jobtracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-jobtracker-master.out
slave1: starting tasktracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-tasktracker-slave1.out
slave2: starting tasktracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-tasktracker-slave2.out
用jps命令查看Java进程:
cy@master:~$ jps
6670 NameNode
7141 Jps
7057 JobTracker
(2)slave1节点
用jps命令查看Java进程:
cy@slave1:~$ jps
3218 Jps
2805 DataNode
2995 TaskTracker
(3)slave2节点
用jps命令查看Java进程:
cy@slave2:~$ jps
2913 TaskTracker
2731 DataNode
3147 Jps
如果三台虚拟机用jps命令查询时如上面显示的那样子,就说明hadoop安装和配置成功了。
2、hadoop集群的测试,用hadoop-examples-1.2.1.jar中自带的wordcount程序进行测试,该程序的作用是统计单词的个数。
(1)我们现在桌面上创建一个新的文件test.txt,里面总共有10行,每行都是hello world
(2)在HDFS系统里创建一个input文件夹,使用命令如下:
hadoop fs -mkdir input
或 hadoop fs -mkdir /user/你的用户名/input
(3)把创建好的test.txt上传到HDFS系统的input文件夹下,使用命令如下所示。
hadoop fs -put /home/你的用户名/桌面/test.txt input
或 hadoop fs -put /home/你的用户名/桌面/test.txt /user/你的用户名/input
(4)我们可以查看test.txt是否在HDFS的input文件夹下,如下所示:
hadoop fs -ls input
如果显示如下就说明上传成功:
Found 1 items
-rw-r--r-- 3 cy supergroup 120 2015-05-08 20:26 /user/cy/input/test.txt
(5)执行hadoop-examples-1.2.1.jar中自带的wordcount程序,如下:(提示:在执行下面的命令之前,你要在终端用cd命令进入到/home/cy/Hadoop/hadoop-1.2.1目录)
hadoop jar hadoop-examples-1.2.1.jar wordcount /user/你的用户名/input/test.txt /user/你的用户名/output
如果显示如下结果就说明运行成功:
15/05/08 20:31:29 INFO input.FileInputFormat: Total input paths to process : 1
15/05/08 20:31:29 INFO util.NativeCodeLoader: Loaded the native-hadoop library
15/05/08 20:31:29 WARN snappy.LoadSnappy: Snappy native library not loaded
15/05/08 20:31:30 INFO mapred.JobClient: Running job: job_201505082010_0001
15/05/08 20:31:31 INFO mapred.JobClient: map 0% reduce 0%
15/05/08 20:31:35 INFO mapred.JobClient: map 100% reduce 0%
15/05/08 20:31:42 INFO mapred.JobClient: map 100% reduce 33%
15/05/08 20:31:43 INFO mapred.JobClient: map 100% reduce 100%
15/05/08 20:31:43 INFO mapred.JobClient: Job complete: job_201505082010_0001
15/05/08 20:31:43 INFO mapred.JobClient: Counters: 29
15/05/08 20:31:43 INFO mapred.JobClient: Job Counters
15/05/08 20:31:43 INFO mapred.JobClient: Launched reduce tasks=1
15/05/08 20:31:43 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=3117
15/05/08 20:31:43 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0
15/05/08 20:31:43 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0
15/05/08 20:31:43 INFO mapred.JobClient: Launched map tasks=1
15/05/08 20:31:43 INFO mapred.JobClient: Data-local map tasks=1
15/05/08 20:31:43 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=8014
15/05/08 20:31:43 INFO mapred.JobClient: File Output Format Counters
15/05/08 20:31:43 INFO mapred.JobClient: Bytes Written=18
15/05/08 20:31:43 INFO mapred.JobClient: FileSystemCounters
15/05/08 20:31:43 INFO mapred.JobClient: FILE_BYTES_READ=30
15/05/08 20:31:43 INFO mapred.JobClient: HDFS_BYTES_READ=226
15/05/08 20:31:43 INFO mapred.JobClient: FILE_BYTES_WRITTEN=116774
15/05/08 20:31:43 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=18
15/05/08 20:31:43 INFO mapred.JobClient: File Input Format Counters
15/05/08 20:31:43 INFO mapred.JobClient: Bytes Read=120
15/05/08 20:31:43 INFO mapred.JobClient: Map-Reduce Framework
15/05/08 20:31:43 INFO mapred.JobClient: Map output materialized bytes=30
15/05/08 20:31:43 INFO mapred.JobClient: Map input records=10
15/05/08 20:31:43 INFO mapred.JobClient: Reduce shuffle bytes=30
15/05/08 20:31:43 INFO mapred.JobClient: Spilled Records=4
15/05/08 20:31:43 INFO mapred.JobClient: Map output bytes=200
15/05/08 20:31:43 INFO mapred.JobClient: CPU time spent (ms)=610
15/05/08 20:31:43 INFO mapred.JobClient: Total committed heap usage (bytes)=176427008
15/05/08 20:31:43 INFO mapred.JobClient: Combine input records=20
15/05/08 20:31:43 INFO mapred.JobClient: SPLIT_RAW_BYTES=106
15/05/08 20:31:43 INFO mapred.JobClient: Reduce input records=2
15/05/08 20:31:43 INFO mapred.JobClient: Reduce input groups=2我爱编程网
15/05/08 20:31:43 INFO mapred.JobClient: Combine output records=2
15/05/08 20:31:43 INFO mapred.JobClient: Physical memory (bytes) snapshot=182902784
15/05/08 20:31:43 INFO mapred.JobClient: Reduce output records=2
15/05/08 20:31:43 INFO mapred.JobClient: Virtual memory (bytes) snapshot=756301824
15/05/08 20:31:43 INFO mapred.JobClient: Map output records=20
(6)我们可以使用下面的命令还查看运行后的结果:
hadoop fs -ls output
hadoop fs -text /user/你的用户名/output/part-r-00000
如果显示如下就说明hadoop三个节点安装和配置成功,测试也成功了,就可以继续更深入地使用和研究hadoop了
hello 10
world 10
我爱编程网(https://www.52biancheng.com)小编还为大家带来如何编写hadoop java程序的相关内容。
1.编译java
# mkdir class
#Javac -classpath .:lib/hadoop-common-2.2.0.jar:lib/hadoop-annotations-2.2.0.jar -d class HADemo.java
2.生成jar包
#jar -cvf hademo.jar -C class/ .
added manifest
adding: com/(in = 0) (out= 0)(stored 0%)
adding: com/wan/(in = 0) (out= 0)(stored 0%)
adding: com/wan/demo/(in = 0) (out= 0)(stored 0%)
adding: com/wan/demo/HADemo.class(in = 844) (out= 520)(deflated 38%)
3.测试运行
#hadoop jar hademo.jar com.wan.demo.HADemo /test
检测:
#hadoop fs -ls /
python安装成功后怎么运行运行步骤如下:1、打开命令行窗口(Windows用户可按下Win+R键,输入cmd回车)。2、在命令行窗口中,输入“python”命令,按下回车键。这将进入Python交互式模式。3、在Python交互式模式下,可以直接输入Python代码按下回车键执行。如,输入print('Hello,World!')按下回车键,将会输出Hello,World
win10系统怎么安装jre8并检查安装状态现在大部分电脑都是win10系统,有些新用户不知道怎么安装jre8并检查安装状态,接下来小编就给大家介绍一下具体的操作步骤。具体如下:1.首先第一步根据下图所示,找到并双击【jre8】软件安装包。2.第二步打开【Java安装程序】窗口后,根据下图所示,点击【安装】选项。3.第三步根据下图所示,正在安装Java。4.第四步
java如何执行cmd命令在D盘根目录下建一个文本文件(.txt),然后在里面编一个程序,比如publicclassHello{publicstaticvoidmain(String[]args){System.out.println("HelloJava!");}}然后保存,关闭,将后缀名改为.java。然后可与运行CMD,不过要先设置环境变量,打开我的电脑-&
如何使用javac命令编译java源程序1.建文本文档,输入自己的java程序。2.然后另存为一个java文件。1.选择文件--->另存为--->名称为“HelloDate.java”----->选择“所有文件”。2.记住自己这个文件的存储位置。(方便调用哦!)3.打开程序---->附件--->命令提示符。4.java文本保存在了
如何用Cmd命令行编译Java代码程序在初学Java的时候,会使用cmd命令的模式来编译运行代码,下面就来介绍下如何命令行编译1、打开一份Java代码,如下图2、打开文件所在的位置,鼠标右键,打开shell3、输入命令javacHelloWorld.java,回车,出现下图所示编译后的class文件4、输入命令java-cp.HelloWorld,回车,输出结果如何使用C
编译java程序的命令是什么,运行java应用程序的命令是什么?当前默认目录为C盘Users文件夹下的Administrator文件夹。一般而言,我们习惯改变当前目录。由于windows有磁盘分区,若要跳到其他磁盘,例如E盘,有几种方法:1、输入命令:pushd路径(此命令可将当前目录设为所希望的任一个已存在的路径)2、输入命令:e: 转移到e盘,然后再输入cd转移
python中用语获取用户输入的命令是input在Python中,`input()`函数用于获取用户输入的命令。`input()`函数接受一个字符串参数,该参数是用户在终端或命令行界面中输入的内容。`input()`函数返回用户输入的字符串,并将其作为Python变量返回。下面是一个简单的示例,演示如何使用`input()`函数获取用户输入:```pythonname=
如何安装java的运行环境,我下的是jdk1.6.0_10默认的安装路径一、JDK1.6下载目前JDK最新版本是JDK1.6,到可以下载JDK1.6。二、JDK1.6安装JDK的安装非常简单,只需要按照向导一步一步进行即可。在安装时需记住安装的路径,在配置环境变量时将会用到这个安装路径。我的安装路径是F:jdk1.6。三、配置环境变量对于初学者来说,环境变
2023-12-21 16:29:16
2023-12-24 20:21:11
2024-04-13 17:18:48
2024-04-09 17:44:01
2024-04-04 05:10:44
2024-03-31 15:14:06