NiFi 에서 Hive 연동하기 ( PutHive3QL )

Hive3에 해당하는 PutHive3QL , PutHive3Streaming , SelectHive3QL 를 flow별로 연동해보도록 하겠습니다.

 

PutHive3QL

PutHive3QL의 구성요소

PutHive3QL을 처음 누르게 되면 위와 같은 구성요소가 생기게 됩니다.

PutHive3QL을 사용하기 위해서는 Hive Service 설정이 필요합니다.

 

No value set을 누르게 되면  위와 같이 나옵니다. 여기서 Create new service를 누릅니다.

 

 

Hive3ConnectionPool

 

Create new service를 누르게 되면 위와같이 Hive3ConnectionPool을 만들수 있게 해줍니다. 우선 CREATE 버튼을 눌러 service를 생성합니다.

 

Hive3ConnectionPool 생성 후

생성을 하게 되면 Value에 Hive3ConnectionPool이 생기게 됩니다. 여기서 우측 화살표 버튼을 누릅니다.

 

NiFi Flow Configuration

화살표를 누르게 되면 NiFi Flow Configuration 페이지로 넘어가게 됩니다. 그리고 우측 톱니바퀴 모양을 눌러 Hive를  설정해 줍니다.

 

 

Hive3ConnectionPool - PROPERTIES

톱니바퀴 버튼을 누르고 PROPERTIES 페이지를 보게되면 위와같이 여러 Property와 value들을 볼 수 있습니다.

여기서 Hive를 연결하기 위해 설정해줘야 하는 사항은

1. Database Connection URL

2. Hive Configuration Resources

3. Database User, Password

크게 3가지 입니다.

 

1. Database Connection URL

hive 주소를 입력하면 됩니다.

ex) jdbc:hive2://주소:포트번호/db이름; -> jdbc:hive2://localhost:10000/test;

Hive가 설치되어 있는 localhost name과 생성한 db이름

 

2. Hive Configuration Resources

Hadoop이 설치되어 있는 서버의 hive-site.xml, hdfs-site.xml 파일 경로.

ex) /data/hadoop/conf/hive-site.xml , /data/hadoop/conf/hdfs-site.xml

 

3. Database User, Password

생성한 db의 계정 이름과 비밀번호

 

 

Hive3ConnectionPool 설정

위와 같이 PROPERTIES를 설정하면 됩니다. 설정이 완료되면 성공적으로 PutHive3QL을 실행시킬 수 있습니다.