Hadoop/Apache Hive (5) 썸네일형 리스트형 Apache Hive 설치 2 ( HIVE 설치 및 설정 ) 1. Postgresql db에 메타 스토어로 사용할 디비 생성 - hive 설치 전 먼저 Postgresql db에 메타 스토어로 사용할 디비를 생성해야 합니다. Postgres 계정으로 접속 후 메타스토어를 생성해 주세요. su - Postgres create database metastore owner postgres; create schema authorization postgres; \list 명령어를 통해 데이터베이스 목록에 metastore가 생성되었는지 확인합니다. 2. HIVE 설치 및 적용 - HIVE 3.1.2 버전을 설치합니다. root 계정으로 진행합니다. wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bi.. Apache Hive 설치 4 ( HIVE 실행 및 연동 ) Hive server 는 하이브 쿼리를 실행할 수 있는 API를 제공합니다. 원격 또는 여러 툴에서 Hive에 접속하기 위해서는 hiveserver가 필요합니다. Apache Thrift 는 언어 간 서비스 개발을 위해 확장 가능한 프레임워크로 Hive 는 테이블과 파티션과 관련된 메타정보를 모두 메타스토어에 저장합니다. 기존 RDBMS와 다르게 insert 후 스키마를 입력합니다. 스키마 정보는 메타스토어에서 참조하여 가져옵니다. 실행 후 연동과정에서 쿼리문을 사용하거나 테이블을 생성하는 등 여러 작업이 필요하기 때문에 Hive server 와 동시에 hivemetastore 까지 실행시켜야 합니다. hiveserver2 실행 hive --service hiveserver2 백그라운드에서 실행 -> h.. Apache Hive 설치 3 ( HIVE 테스트 ) HIVE 설치가 완료되었으므로 정상적으로 작동하는지 간단 실습을 진행해보도록 하겠습니다. 1. HIVE로 가져올 데이터 파일 확인 HIVE가 설치된 경로에서 테스트파일을 가져옵니다. ls /(hive 경로)/examples/files 조회하게 되면 위 사진처럼 파일 리스트가 출력될 것 입니다. 2. HIVE 접속 및 table 생성 hive 명령어를 통해 hive로 접속합니다. hive는 sql과 비슷한 hql 언어를 사용하여 테이블을 만듭니다. 먼저, events라는 table을 만들고 이 테이블에 우리가 필요한 파일을 넣을 것입니다. create table events(key int, value string); pokes라는 table을 만듭니다. create table pokes(foo int,ba.. Postgresql 간단 명령어 postgresql 간단 명령어 사용자 목록 조회1 \du 사용자 목록 조회2 select * from pg_user; 사용자 생성 create user with encrypted password ''; 사용자 비밀번호 변경 alter user with password ''; DB 생성 / 소유주 설정 create database owner ; 모든 데이터베이스 목록 조회 \l 모든 테이블 목록 조회 \dt select * from pg_tables where tableowner = 'paas' Apache Hive 설치 1 ( Postgresql 설치 ) 1. Postgresql 설치 Postgresql 11버전을 설치하기 위해 repository를 먼저 적용합니다. 아래 명령어를 실행하면 repository가 적용됩니다. sudo rpm -Uvh https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm 이후 yum repolist 명령어를 사용하여 확인해보면 위 사진과 같이 적용한 결과가 나옵니다. 9.6 ~ 13 버전까지 repolist가 등록되었습니다. 성공적으로 repolist가 적용되었다면, 이제 postgresql 11버전을 설치하도록 하겠습니다. yum install postgresql11-server postgresq.. 이전 1 다음
