본문 바로가기

전체 글

 (52)
NiFi 에서 postgresql 연동하기 ( + mysql 등등 ) NiFi 에서 RDBMS 와 연동하기 위한 CONTROLLER SERVICES 를 설정해보겠습니다. 설정은 Postgresql으로 설정해보겠습니다. NiFi 에서 마우스 우클릭을 하게 되면 위 사진과 같이 여러 목록이 생기게 됩니다. 여기서 Configure로 들어갑니다. Configure 화면으로 들어와서 우측에 + 버튼을 누릅니다. + 버튼을 누르면 Add Controller Service가 나오게 됩니다. 여기서 DB 설정을 위해 DBCPConnectionPool 이라는 Service를 사용합니다. DBCPConnectionPool Service를 클릭합니다. Database Connection URL -> jdbc:postgresql://192.168.0.1(localhost):5432/dbnam..
JUPYTER NOTEBOOK + PYSPARK 연동 ( + master,worker노드 설정 ) spark 설치 후 jupyter notebook에서 pyspark를 사용하기 위해 연동하는 방법에 대해 알아보겠습니다. hadoop, anaconda, spark가 설정되어 있는 계정으로 접속합니다. 먼저 jupyter notebook의 설정을 바꿔야 합니다. c.NotebookApp.ip = '*' 로 설정을 하여 외부에서도 jupyter notebook에 접속이 가능하도록 설정합니다. 접속 후 홈경로에서 환경변수를 설정합니다. vi .bashrc 3개의 환경변수를 설정합니다. 1. PYSPARK_PYTHON 2. PYSPARK_DRIVER_PYTHON 3. PYSPARK_DRIVER_PYTHON_OPTS 먼저 첫 번째 PYSPARK_PYTHON은 pyspark가 실행 될 python 경로를 지정합니..
Apache Hadoop (+ datanode 3대 추가) 기존 3개 서버로 구성되어 있는 hadoop에 datanode 3대를 추가해보겠습니다. 1. dn01 ( 추가할 데이터노드 서버 1 ) 2. dn02 ( 추가할 데이터노드 서버 2 ) 3. dn03 ( 추가할 데이터노드 서버 3 ) 먼저, 새로 구축된 데이터 노드와 하둡 서버 간의 SSH KEY 교환을 진행하도록 하겠습니다. 기존 하둡 서버 3대와 새로 추가된 데이터노드 서버 3대에서 host 정보를 수정합니다. vi /etc/hosts 모든 서버 동일하게 적용합니다. 키 교환을 하기에 앞서 추가 된 데이터 노드 서버 3대에서는 key를 생성해야합니다. dn01,dn02,dn03 서버의 각각 계정으로 진행해주세요. ssh-keygen 기존에 하둡 서버 3대에서 사용한 계정은 각각 hadoop 이라는 계정..

티스토리툴바