본문 바로가기

전체 글

 (52)
NiFi 에서 Hive3 설정 NiFi는 FlowFile을 이용해 실제 작업을 수행하는 프로세스입니다. NiFi에서 Hive를 사용하기 위해 기본적으로 내장되어 있는 Flow들이 있지만 Hive3이라는 Flow를 사용하여 Hive를 이용하는 것을 추천드립니다. Hive3 flow가 아닌 일반 hive flow를 사용하면 여러 오류에 따라 hive에 접근이 되지 않습니다. Hive3 flow를 적용시키기 위해 nifi-hive3-nar-1.12.1.nar 파일을 다운로드 합니다. 1.12.1 버전이 아닌 경우 버전에 맞게 다운로드 해주세요. 설치 후 nifi_home/lib 경로에 nifi-hive3-nar-1.12.1.nar 파일을 옮깁니다. 파일을 옮긴 후 nifi를 재시작하게 되면 PutHive3QL , PutHive3Stream..
서버 시간 지역 설정 ( Seoul로 설정 ) 리눅스 설치 후 date로 서버 시간을 조회해보면 한국 시간이 아니라 PDT로 설정되어있습니다. PDT = 태평양 표준시 서버시간을 한국시간으로 바꾸기 위해 설정을 변경합니다. ls -al /etc/localtime으로 현재 설정되어 있는 지역을 살펴보면 Los_Angeles로 되어있습니다. 설정 지역을 Seoul로 바꿔보겠습니다. 기존에 등록되어 있던 /etc/localtime의 링크를 바꾸기 위해 ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime 명령어를 사용하여 로컬시간 링크를 Seoul로 변경합니다. Seoul로 localtime 설정을 변경한 후 date를 입력해보면 현재 서울 시간으로 적용되어 있는 것을 알 수 있습니다.
NiFi 설치방법 (1.12.1) 및 환경 설정 nifi-1.12.1-bin.tar.gz 파일 다운로드 후 압축 해제 JAVA_HOME 경로 설정 ( JDK가 환경변수로 설정되어 있으면 별도 설정 X ) vi nifi_home/bin/nifi-env.sh로 진입 export JAVA_HOME=( jdk 경로 ) 로 수동 설정. NiFi 메모리 설정 NiFi 에서는 서버 설정에 맞게 NiFi를 구성해주는 것이 중요합니다. nifi_home/conf/bootstrap.conf 파일 수정 메모리 32GB 기준 설정 가비지 콜렉터를 사용하여 메모리를 정리해줘야 하기 때문에 java.arg.2 을 256MB java.arg.3 을 16g로 설정합니다. java.arg.2의 메모리 할당이 클 경우 가비지 콜렉터가 메모리를 정리하지 못하는 현상이 발생해 작게 잡아..

티스토리툴바