NiFi 에서 Hive3 설정

NiFi는 FlowFile을 이용해 실제 작업을 수행하는 프로세스입니다.

NiFi에서 Hive를 사용하기 위해 기본적으로 내장되어 있는 Flow들이 있지만 Hive3이라는  Flow를 사용하여 Hive를 이용하는 것을 추천드립니다. Hive3 flow가 아닌 일반 hive flow를 사용하면 여러 오류에 따라 hive에 접근이 되지 않습니다.

 

Hive3 flow를 적용시키기 위해 nifi-hive3-nar-1.12.1.nar 파일을 다운로드 합니다. 1.12.1 버전이 아닌 경우 버전에 맞게 다운로드 해주세요. 

 

설치 후 nifi_home/lib 경로에 nifi-hive3-nar-1.12.1.nar 파일을 옮깁니다.

 

lib 경로

파일을 옮긴 후 nifi를 재시작하게 되면 

 

Hive3 flow

 

PutHive3QL , PutHive3Streaming , SelectHive3QL 과 같이 Hive3 flow가 생깁니다.