Apache NiFi (4) 썸네일형 리스트형 NiFi 에서 postgresql 연동하기 ( + mysql 등등 ) NiFi 에서 RDBMS 와 연동하기 위한 CONTROLLER SERVICES 를 설정해보겠습니다. 설정은 Postgresql으로 설정해보겠습니다. NiFi 에서 마우스 우클릭을 하게 되면 위 사진과 같이 여러 목록이 생기게 됩니다. 여기서 Configure로 들어갑니다. Configure 화면으로 들어와서 우측에 + 버튼을 누릅니다. + 버튼을 누르면 Add Controller Service가 나오게 됩니다. 여기서 DB 설정을 위해 DBCPConnectionPool 이라는 Service를 사용합니다. DBCPConnectionPool Service를 클릭합니다. Database Connection URL -> jdbc:postgresql://192.168.0.1(localhost):5432/dbnam.. NiFi 에서 Hive 연동하기 ( PutHive3QL ) Hive3에 해당하는 PutHive3QL , PutHive3Streaming , SelectHive3QL 를 flow별로 연동해보도록 하겠습니다. PutHive3QL PutHive3QL을 처음 누르게 되면 위와 같은 구성요소가 생기게 됩니다. PutHive3QL을 사용하기 위해서는 Hive Service 설정이 필요합니다. No value set을 누르게 되면 위와 같이 나옵니다. 여기서 Create new service를 누릅니다. Create new service를 누르게 되면 위와같이 Hive3ConnectionPool을 만들수 있게 해줍니다. 우선 CREATE 버튼을 눌러 service를 생성합니다. 생성을 하게 되면 Value에 Hive3ConnectionPool이 생기게 됩니다. 여기서 우측 .. NiFi 에서 Hive3 설정 NiFi는 FlowFile을 이용해 실제 작업을 수행하는 프로세스입니다. NiFi에서 Hive를 사용하기 위해 기본적으로 내장되어 있는 Flow들이 있지만 Hive3이라는 Flow를 사용하여 Hive를 이용하는 것을 추천드립니다. Hive3 flow가 아닌 일반 hive flow를 사용하면 여러 오류에 따라 hive에 접근이 되지 않습니다. Hive3 flow를 적용시키기 위해 nifi-hive3-nar-1.12.1.nar 파일을 다운로드 합니다. 1.12.1 버전이 아닌 경우 버전에 맞게 다운로드 해주세요. 설치 후 nifi_home/lib 경로에 nifi-hive3-nar-1.12.1.nar 파일을 옮깁니다. 파일을 옮긴 후 nifi를 재시작하게 되면 PutHive3QL , PutHive3Stream.. NiFi 설치방법 (1.12.1) 및 환경 설정 nifi-1.12.1-bin.tar.gz 파일 다운로드 후 압축 해제 JAVA_HOME 경로 설정 ( JDK가 환경변수로 설정되어 있으면 별도 설정 X ) vi nifi_home/bin/nifi-env.sh로 진입 export JAVA_HOME=( jdk 경로 ) 로 수동 설정. NiFi 메모리 설정 NiFi 에서는 서버 설정에 맞게 NiFi를 구성해주는 것이 중요합니다. nifi_home/conf/bootstrap.conf 파일 수정 메모리 32GB 기준 설정 가비지 콜렉터를 사용하여 메모리를 정리해줘야 하기 때문에 java.arg.2 을 256MB java.arg.3 을 16g로 설정합니다. java.arg.2의 메모리 할당이 클 경우 가비지 콜렉터가 메모리를 정리하지 못하는 현상이 발생해 작게 잡아.. 이전 1 다음
