본문 바로가기

전체 글

 (52)
Apache Hadoop 설치 2 ( NTP, SELINUX ) NTP - Network Time Protocol(NTP)는 네트워크 환경으로 구성된 장비(서버, PC, 통신장비, 방화벽 장비 등)의 시스템 시간을 동기화 하기 위한 프로토콜 입니다. - NTP를 쓰는 이유는 내부 네트워크 환경으로 구성되어 있는 서버 시스템의 시스템 시간을 동일하게 구성하여 데이터의 신뢰성을 높이고자 할때 사용합니다. 먼저, NTP가 설치 되어 있지 않으면 설치합니다. yum install ntp 다음 NTP 환경설정을 합니다. 로컬내 서버끼리 설정이 되어있기 때문에 아래와 같이 설정합니다. vi /etc/ntp.conf hadoop1 ( 첫 번째 서버 ) restrict 앞에 # 제거 server 127.127.1.0 추가 hadoop2 ( 두 번째 서버 ) restrict 앞에 #..
Apache Hadoop 설치 1 ( SSH KEY ) 3개 서버를 이용하여 Apache Hadoop을 설치해보도록 하겠습니다. 서버명 1.Hadoop1 2.Hadoop2 3.Hadoop3 먼저, host에 각 서버를 등록합니다. vi /etc/hosts 192.168.xxx.xxx hadoop1 192.168.xxx.xxx hadoop2 192.168.xxx.xxx hadoop3 SSH KEY - 공개키 생성 후 서버에 등록을 하여 서버끼리 연동합니다. 모든 서버에서 key를 생성합니다 생성 이후 모든 서버로 키를 배포합니다. ssh-copy-id -i .ssh/id_rsa.pub root@hadoop1 ssh-copy-id -i .ssh/id_rsa.pub root@hadoop2 ssh-copy-id -i .ssh/id_rsa.pub root@hadoop..
NiFi 에서 Hive 연동하기 ( PutHive3QL ) Hive3에 해당하는 PutHive3QL , PutHive3Streaming , SelectHive3QL 를 flow별로 연동해보도록 하겠습니다. PutHive3QL PutHive3QL을 처음 누르게 되면 위와 같은 구성요소가 생기게 됩니다. PutHive3QL을 사용하기 위해서는 Hive Service 설정이 필요합니다. No value set을 누르게 되면 위와 같이 나옵니다. 여기서 Create new service를 누릅니다. Create new service를 누르게 되면 위와같이 Hive3ConnectionPool을 만들수 있게 해줍니다. 우선 CREATE 버튼을 눌러 service를 생성합니다. 생성을 하게 되면 Value에 Hive3ConnectionPool이 생기게 됩니다. 여기서 우측 ..

티스토리툴바