Hadoop (18) 썸네일형 리스트형 Postgresql 간단 명령어 postgresql 간단 명령어 사용자 목록 조회1 \du 사용자 목록 조회2 select * from pg_user; 사용자 생성 create user with encrypted password ''; 사용자 비밀번호 변경 alter user with password ''; DB 생성 / 소유주 설정 create database owner ; 모든 데이터베이스 목록 조회 \l 모든 테이블 목록 조회 \dt select * from pg_tables where tableowner = 'paas' Apache Hive 설치 1 ( Postgresql 설치 ) 1. Postgresql 설치 Postgresql 11버전을 설치하기 위해 repository를 먼저 적용합니다. 아래 명령어를 실행하면 repository가 적용됩니다. sudo rpm -Uvh https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm 이후 yum repolist 명령어를 사용하여 확인해보면 위 사진과 같이 적용한 결과가 나옵니다. 9.6 ~ 13 버전까지 repolist가 등록되었습니다. 성공적으로 repolist가 적용되었다면, 이제 postgresql 11버전을 설치하도록 하겠습니다. yum install postgresql11-server postgresq.. Apache Hadoop 설치 5 ( Hadoop 서버 테스트 ) 1. 액티브, 스탠바이 네임노드를 확인 active 네임노드 ./bin/hdfs haadmin -getServiceState hadoop1 active로 출력이 되면 현재 실행중인 상태입니다. 활성화가 되어있기 때문에 hadoop(ip주소):9870으로 접속하여 확인해 봅니다. standby 네임노드 ./bin/hdfs haadmin -getServiceState hadoop2 standby 또한 접속 가능합니다. hadoop2(ip주소):9870으로 접속 2. HDFS 확인 - HDFS가 구축되어있는지 확인합니다. - HDFS는 하둡 환경에서 분산 파일 시스템을 담당하는 하둡의 주요 모듈입니다. - 명령어를 사용하여 하둡이 실행되는 파일을 관리합니다. # hdfs 상의 루트 디렉토리 조회 hdfs df.. Apache Hadoop 설치 3 ( ZOOKEEPER ) zookeeper와 hadoop 계정을 만들고 권한을 부여합니다. 1. zookeeper 계정 생성 3개 서버에 zookeeper 계정을 생성해주세요 ex) 아이디 : zookeeper 비밀번호 : zookeeper이면 adduser zookeeper passwd zookeeper 2. hadoop 계정 생성 3개 서버에 hadoop 계정을 생성해주세요 ex) 아이디 : hadoop 비밀번호 : hadoop adduser hadoop passwd hadoop 3. HDFS의 여러 정보를 저장하기 위한 디렉토리 생성 및 Hadoop 계정 접근 권한 설정 3개 서버 모두 /dfs /yarn /pids 경로에 폴더 생성 및 폴더에 대한 hadoop 권한을 부여하고, 파일에 대한 그룹을 변경합니다. mkdir .. Apache Hadoop 설치 2 ( NTP, SELINUX ) NTP - Network Time Protocol(NTP)는 네트워크 환경으로 구성된 장비(서버, PC, 통신장비, 방화벽 장비 등)의 시스템 시간을 동기화 하기 위한 프로토콜 입니다. - NTP를 쓰는 이유는 내부 네트워크 환경으로 구성되어 있는 서버 시스템의 시스템 시간을 동일하게 구성하여 데이터의 신뢰성을 높이고자 할때 사용합니다. 먼저, NTP가 설치 되어 있지 않으면 설치합니다. yum install ntp 다음 NTP 환경설정을 합니다. 로컬내 서버끼리 설정이 되어있기 때문에 아래와 같이 설정합니다. vi /etc/ntp.conf hadoop1 ( 첫 번째 서버 ) restrict 앞에 # 제거 server 127.127.1.0 추가 hadoop2 ( 두 번째 서버 ) restrict 앞에 #.. Apache Hadoop 설치 1 ( SSH KEY ) 3개 서버를 이용하여 Apache Hadoop을 설치해보도록 하겠습니다. 서버명 1.Hadoop1 2.Hadoop2 3.Hadoop3 먼저, host에 각 서버를 등록합니다. vi /etc/hosts 192.168.xxx.xxx hadoop1 192.168.xxx.xxx hadoop2 192.168.xxx.xxx hadoop3 SSH KEY - 공개키 생성 후 서버에 등록을 하여 서버끼리 연동합니다. 모든 서버에서 key를 생성합니다 생성 이후 모든 서버로 키를 배포합니다. ssh-copy-id -i .ssh/id_rsa.pub root@hadoop1 ssh-copy-id -i .ssh/id_rsa.pub root@hadoop2 ssh-copy-id -i .ssh/id_rsa.pub root@hadoop.. Hadoop - HDFS HDFS는 범용 하드웨어에서 동작하고, 장애 복구성을 가지는 분산 파일 시스템을 목표로 합니다. - HDFS는 실시간 처리보다 배치처리를 위해 설계 - 빠른 데이터 응답시간이 필요한 작업에는 취약 Hadoop ( 구성요소, 장단점 ) 하둡은 4개의 주요 모듈로 구성됩니다. * Hadoop Common - 하둡의 다른 모듈을 지원하기 위한 공통 컴포넌트 모듈 * Hadoop HDFS - 분산저장을 처리하기 위한 모듈 - 여러 개의 서버를 하나의 서버처럼 묶어서 데이터를 저장 * Hadoop YARN - 병렬처리를 위한 클러스터 자원관리 및 스케줄링 담당 * Hadoop Mapreduce - 분산되어 저장된 데이터를 병렬 처리할 수 있게 해주는 분산 처리 모듈 * Hadoop Ozone - 하둡을 위한 오브젝트 저장소 하둡의 장점 - 오픈소스로 라이센스에 대한 비용 부담이 적다 - 시스템을 중단하지 않고, 장비의 추가가 용이하다 (Scale Out) - 일부 장비에 장애가 발생하더라도 전체 시스템 사용성에 영향이 적다(Fault tole.. 이전 1 2 다음
