하둡 테스트베드 (Hortonworks Data Platform, HDP) 설치

하둡(Hadoop)으로 빅데이터 프레임워크를 체험해보려고 하니, 하둡 주변에 딸린 소프트웨어가 한두 가지가 아닌 것을 쉽게 알 수 있습니다. 이들을 하나하나 설치하고 연동하려면 복잡한 작업과 많은 노동이 요구될 것입니다.

다행히도, Hortonworks라는 곳에서 하둡 입문자를 위해 실습용 가상 테스트베드 솔루션을 제공하고 있습니다. 이른바 HDP(Hortonworks Data Platform)라는 프로젝트를 말이죠.

HDP를 이용해서 하둡 에코시스템의 기본 구성 요소인 HDFS, MapReduce, YARN은 물론 Hive, Spark, Zookeeper, Zeppelin 등등 다양한 프레임워크를 쉽게 경험해볼 수 있습니다.

HDP 설치

HDP는 가상머신(VM) 소프트웨어용 이미지 또는 Docker 이미지 기반으로 설치 가능합니다. 현재 공식 사이트에서는 파일 소스를 제공하지 않으므로 아래 링크를 통해 다운로드 받아야 합니다.

# VirtualBox 용
wget https://archive.cloudera.com/hwx-sandbox/hdp/hdp-3.0.1/HDP_3.0.1_virtualbox_181205.ova

# Vmware 용
wget https://archive.cloudera.com/hwx-sandbox/hdp/hdp-3.0.1/HDP_3.0.1_vmware_181205.ova

# Docker 용
wget https://archive.cloudera.com/hwx-sandbox/hdp/hdp-3.0.1/HDP_3.0.1_docker-deploy-scripts_18120587fc7fb.zip

주의 사항

하둡을 비롯한 프레임워크는 프로그램 자체 무게가 상당하므로 컴퓨팅 자원을 매우 많이 소모합니다.

HDP의 시스템 최소 요구사항은 4개의 프로세서와 8GB의 메모리이지만, 실제로 여러 주변 소프트웨어까지 연계하다 보면 이보다 더 많은 자원이 필요로 합니다.

때문에 노트북이나 중하위 스펙의 PC에서 HDP 실습을 진행하는 것은 바람직 하지 않습니다. 이를 잘 고려하여 PC 스펙이 낮은 경우는 설치 가이드1을, 시스템 자원이 충분한 경우는 설치 가이드 2와 3 중 하나를 참고해주세요.

설치 가이드 1: 클라우드 서비스 이용

PC 본체에 HDP를 올리기 버겁다면, Microsoft Azure, AWS 또는 Google Cloud Platform와 같은 클라우드 서비스를 이용하는 방법이 있습니다. 해당 사이트에 최초 가입 시 일정 기간(경우에 따라 1달 ~ 3달 정도) 동안 무료로 클라우드 이용이 가능합니다.

관련해서는 아래 링크를 참조하시면 되겠습니다.

https://pyromaniac.me/entry/Hortonworks-Data-Platform-%EC%84%A4%EC%B9%98-1-Google-Cloud-Platform

Hortonworks Data Platform 설치 방법 1 (Google Cloud Platform)

해당 포스트는 “하둡 테스트베드(Hortonworks Data Platform, HDP) 설치”로부터 넘어왔습니다. Hortonworks Data Platform (HDP)을 클라우드 서비스 플랫폼에 설치하는 가이드라인입니다. 알려진 서비스 중, 무

pyromaniac.me

설치 가이드2: 가상머신(VM) 플랫폼 활용

VMware와 VirtualBox를 통해 설치하는 옵션이 존재합니다.

https://pyromaniac.me/entry/Hortonworks-Data-Platform-%EC%84%A4%EC%B9%98-%EB%B0%A9%EB%B2%95-2-VMwareVirtualBox

Hortonworks Data Platform 설치 방법 2 (VMware/VirtualBox)

해당 포스트는 “하둡 테스트베드(Hortonworks Data Platform, HDP) 설치”로부터 넘어왔습니다. Hortonworks Data Platform (HDP)을 가상머신 소프트웨어(Vmware/VirtualBox)를 통해 구축하는 가이드입니다. HDP용 가상

pyromaniac.me

설치 가이드3: Docker 이미지로 설치

HDP는 컨테이너 이미지 버전으로도 Docker Hub에 올라와 있습니다. 개별적으로 이미지를 설치하지 않고, Hortonworks에서 제공하는 설치 스크립트의 도움을 받아 필요한 리소스 다운로드와 초기 설정을 마쳐야 정상적으로 HDP를 구축할 수 있습니다.

관련해서는 아래 링크의 설치 가이드를 참고해주세요.

https://pyromaniac.me/entry/Hortonworks-Data-Platform-%EC%84%A4%EC%B9%98-%EB%B0%A9%EB%B2%95-3-Docker

Hortonworks Data Platform 설치 방법 3 (Docker)

해당 포스트는 “하둡 테스트베드(Hortonworks Data Platform, HDP) 설치”로부터 넘어왔습니다. Hortonworks Data Platform (HDP)을 Docker 컨테이너 기반으로 구축하는 가이드입니다. Docker 설치 repository 설치 sudo a

pyromaniac.me