Hadoop/Apache Spark (1) 썸네일형 리스트형 JUPYTER NOTEBOOK + PYSPARK 연동 ( + master,worker노드 설정 ) spark 설치 후 jupyter notebook에서 pyspark를 사용하기 위해 연동하는 방법에 대해 알아보겠습니다. hadoop, anaconda, spark가 설정되어 있는 계정으로 접속합니다. 먼저 jupyter notebook의 설정을 바꿔야 합니다. c.NotebookApp.ip = '*' 로 설정을 하여 외부에서도 jupyter notebook에 접속이 가능하도록 설정합니다. 접속 후 홈경로에서 환경변수를 설정합니다. vi .bashrc 3개의 환경변수를 설정합니다. 1. PYSPARK_PYTHON 2. PYSPARK_DRIVER_PYTHON 3. PYSPARK_DRIVER_PYTHON_OPTS 먼저 첫 번째 PYSPARK_PYTHON은 pyspark가 실행 될 python 경로를 지정합니.. 이전 1 다음
