본문 바로가기

전체 글

 (52)
yarn-site.xml 설정 값 상세내용 yarn-site.xml에 들어가는 설정 중 메모리 및 cpu와 관련 된 값에 대해 자세히 알아보도록 하겠습니다. ** yarn.nodemanager.resource.memory-mb - 클러스터의 각 노드에서 컨테이너 운영에 설정할 수 있는 메모리의 총량 - 노드의 OS를 운영할 메모리를 제외하고 설정 - 기본값은 장비에 설정된 메모리의 80% 정도를 설정 ex) 노드의 메모리가 32G인경우 운영체제를 위한 4G를 제외하고 28G를 설정 ( 각 노드의 메모리 ) ** yarn.nodemanager.resource.cpu-vcores - 클러스터의 각 노드에서 컨테이너 운영에 설정할 수 있는 CPU의 개수 - 기본값은 장비에 설치된 CPU의 80% 정도를 설정 - 노드에 설치된 CPU가 40개일 경우 3..
Apache Hadoop ssh port 설정 ssh port의 기본 값은 22입니다. 하지만 환경에 따라 서버의 ssh port 값이 다를 수 있습니다. Apache Hadoop에서는 ssh port를 통해 다른 서버와 통신을 하기 때문에 기본 값이 22가 아니라면 설정을 통해 변경하여야 합니다. $HADOOP_HOME/etc/hadoop/hadoop-env.sh의 파일의 맨 밑에 내용을 추가합니다. export HADOOP_SSH_OPTS="-p " 예를 들어, hadoop 과 관련 된 서버들이 ssh port를 1002를 쓴다고 하면, 위 사진과 같이 내용을 추가합니다. export HADOOP_SSH_OPTS="-p 1002"
Apache Hadoop 설치 4 ( Hadoop ) 마지막으로 hadoop 계정을 이용하여 hadoop을 설정하고 실행시켜보도록 하겠습니다. 1. Hadoop 계정 SSH key 생성 및 배포 Hadoop 계정 또한 서버 간의 통신이 되어야하기 때문에 key를 설정합니다. ssh-keygen ssh-copy-id -i .ssh/id_rsa.pub hadoop@hadoop1 ssh-copy-id -i .ssh/id_rsa.pub hadoop@hadoop2 ssh-copy-id -i .ssh/id_rsa.pub hadoop@hadoop3 ssh server01 exit ssh server02 exit ssh server03 exit 계정 키 배포 방식은 위의 키 배포 방식과 동일합니다. 2. Hadoop 3.1.0 설치파일 압축 해제 ** Hadoop 3.1..

티스토리툴바