Apache Hadoop 설치 5 ( Hadoop 서버 테스트 )

1. 액티브, 스탠바이 네임노드를 확인

 

active 네임노드

./bin/hdfs haadmin -getServiceState hadoop1

 

active namenode 확인

 

active로 출력이 되면 현재 실행중인 상태입니다.

활성화가 되어있기 때문에 hadoop(ip주소):9870으로 접속하여 확인해 봅니다.

 

Hadoop active namenode 접속

 

standby 네임노드

 

./bin/hdfs haadmin -getServiceState hadoop2

 

standby namenode 확인

standby 또한 접속 가능합니다.

hadoop2(ip주소):9870으로 접속

 

Hadoop standby namenode 접속

 

2. HDFS 확인

 

- HDFS가 구축되어있는지 확인합니다.

- HDFS는 하둡 환경에서 분산 파일 시스템을 담당하는 하둡의 주요 모듈입니다.

- 명령어를 사용하여 하둡이 실행되는 파일을 관리합니다.

 

# hdfs 상의 루트 디렉토리 조회

hdfs dfs -ls /

# /user 디렉토리 생성

hdfs dfs -mkdir /user

# /user 디렉토리 하위에 /hadoop 디렉토리 생성

hdfs dfs -mkdir /user/hadoop

# /user/hadoop 디렉토리 하위에 /conf 디렉토리 생성

hdfs dfs -mkdir /user/hadoop/conf

# hadoop-env.sh 파일을 HDFS 의 /user/hadoop/conf 디렉토리로 이동

hdfs dfs -put /home/hadoop/hadoop-3.1.0/etc/hadoop/hadoop-env.sh /user/hadoop/conf/

# 파일이 이동 되었는지 조회

hdfs dfs -ls /user/hadoop/conf

 

조회 결과

성공적으로 파일이 옮겨졌다면 위 이미지와 같은 결과가 나옵니다.

 

3. MapReduce 확인

 

- 잘 구축되어 MapReduce가 실행되는지 확인합니다.

 

# wordcount 실행

yarn jar /home/hadoop/hadoop-3.1.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount conf output

 

# wordcount 결과 파일 생성 조회

hdfs dfs -ls /user/hadoop/output/

 

아래와 같이 결과가 출력됩니다. ( 성공했을 때 )

 

파일 생성 조회

# wordcount 결과 확인 ( 파일의 단어 갯수 )

hdfs dfs -cat /user/hadoop/output/part-r-00000

 

파일 단어 개수 조회결과

 

위 사진과 같이 어떤 단어가 몇번 있었는지 보여주는 출력물이 나옵니다. 작동완료.

 

4. Hadoop Cluser 종료

 

- Hadoop Cluster 를 종료할 땐 실행할 때와 달리 반대로 수행

- Hadoop 계정으로 실행

- 차례대로 실행

- 각 명령어마다 실행 서버가 다르므로 괄호 안 참조

 

# 얀 클러스터 종료

./sbin/stop-yarn.sh (hadoop1)

 

# 스탠바이 네임노드용(hadoop2)

주키퍼 장애 컨트롤러 종료

./bin/hdfs --daemon stop zkfc (hadoop2)

 

# hadoop2의 네임노드(스탠바이 네임노드) 종료

./bin/hdfs --daemon stop namenode(hadoop2)

 

# hadoop1의 네임노드(액티브 네임노드) 종료

./bin/hdfs --daemon stop namenode(hadoop1)

 

# hadoop1,hadoop2,hadoop3의 각각 저널노드 종료

./bin/hdfs --daemon stop journalnode(hadoop1,hadoop2,hadoop3)

 

** 다른 방법

/sbin/stop-all.sh 

모든 클러스터를 한번에 종료 시키는 파일입니다. 위 파일 실행으로 한 번에 cluster를 종료 시킬 수 있습니다. 

 

cluster 종료 후 결과

jps 결과가 jps 하나만 남아있어야 완전히 종료되었다고 할 수 있습니다. 종료 성공.

 

5. 참고사항 ( 실행이 잘 안되는 경우 )

- namenode가 실행이 안되는 경우

hdfs-site.xml 다시 확인

 

- Datanode가 실행이 안되는 경우

hdfs-site.xml 다시 확인

 

- ResourceManager와 nodemanager가 실행이 안되는 경우

yarn-site.xml 다시 확인

 

- Journalnode가 실행이 안되는 경우

hdfs-site.xml 다시 확인