전체 글 (52) 썸네일형 리스트형 Apache Hive 설치 2 ( HIVE 설치 및 설정 ) 1. Postgresql db에 메타 스토어로 사용할 디비 생성 - hive 설치 전 먼저 Postgresql db에 메타 스토어로 사용할 디비를 생성해야 합니다. Postgres 계정으로 접속 후 메타스토어를 생성해 주세요. su - Postgres create database metastore owner postgres; create schema authorization postgres; \list 명령어를 통해 데이터베이스 목록에 metastore가 생성되었는지 확인합니다. 2. HIVE 설치 및 적용 - HIVE 3.1.2 버전을 설치합니다. root 계정으로 진행합니다. wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bi.. Postgresql data 경로 변경 Postgresql을 설치한 후 기본으로 설정되어 있는 data 경로를 변경해보도록 하겠습니다. 앞에서 설치했던 postgresql-11을 기준으로 변경하겠습니다. 1. psql 명령어를 통해 Postgresql 데이터 베이스에 접속한 후 데이터 경로를 확인합니다. postgres=# show data_directory; 명령어를 사용해서 데이터 경로를 확인할 수 있습니다. initdb를 통해 postgres를 초기화 할 때, 별 다른 경로를 지정해주지 않으면 위 사진처럼 /var/lib/pgsql/~ 경로에 데이터 경로가 생기게 됩니다. 2. 다음 postgresql를 중단합니다. systemctl stop postgresql-11 3. postgresql을 중단한 후 설정파일을 수정합니다. postm.. mapred-site 설정 값 상세내용 mapred-site.xml에 들어가는 설정 중 메모리와 관련 된 값에 대해 자세히 알아보도록 하겠습니다. ** mapreduce.map.memory.mb - map 작업 ( 컨테이너 생성시 )에 사용하는 memory 용량 맵리듀스 애플리케이션이 실행되려면 애플리케이션 마스터, 맵리듀스 태스크가 실행되어야 하므로 최소 3개의 컨테이너가 필요합니다. 1.mapreduce.map.memory.mb 2.mapreduce.reduce.memory.mb 3.yarn.app.mapreduce.am.resource.mb 의 합계가 yarn.nodemanager.resource.memory-mb보다 작게 설정되어야합니다. 또한 각 속성값들은 반드시 yarn.scheduler.maximum-allocation-mb 값 .. 이전 1 2 3 4 ··· 18 다음
