Hadoop 2.2.0 (1) – Installation #2: Installing hadoop (editing..)

By | Y2014Y2014-9M-D

*Previous: Hadoop 2.2.0 (1) – Installation #1: Prerequisites

*Next: Hadoop 2.2.0 (1) – Installation #3: TroubleShootings


  • Download & Installation
  1. 설치폴더 복사:  /hdinstall/hadoop-2.2.0  폴더를  /usr/local/hadoop/ 에 복사 및 하위 폴더를 각 시스템의 위치에 해당하는 폴더로 복사
    * 하둡 전체 폴더 아래에는 bin, etc, include, lib, libexec, logs, sbin, share, temp, tmp 폴더가 존재한다. 실제로 rpm으로 설치하면 이 폴더들은 /usr/sbin, /etc,…,/tmp 등 각 폴더 이름에 해당하는 시스템 폴더에 배치된다.
  2. 압축풀기: tar zxvf hadoop*.tar.gz
  3. download:
  4. hdinstall 폴더에 권한 변경
  5. root 권한(sudo)으로 설치파일을 저장할 /hdinstall 폴더 생성
  6. 각 머신 별 용도 확정
    – masters: beethoven (NameNode) / mozart (ResourceManager)
    – slaves: bach (DataNode & NodeManager)
    * 문서에 따르면 일반적으로 NameNode 와 MRv2/YARN 을 위한 ResourceManager 서비스는 배타적으로 사용하며, 이 서비스가 돌아가는 머신들이 master 이다.
    나머지 머신들은 DataNode와 NodeManager 가 돌아가게 되고 이들을 slaves 라고 한다.(나중에 $HADOOP_HOME/etc/hadoop/slaves 설정 파일과도 관련이 있다)
  7. $HADOOP_HOME/etc/hadoop/ 의 개별 설정 파일들 설정
    (*-site.xml 은 *-default.xml 의 설정을 override 한다)
    hadoop-env.sh: 하둡 전역 변수 및 옵션들(jvm 메모리 설정 등)
    core-site.xml (link)
    hdfs-site.xml (link)
    mapred-site.xml (link)
    yarn-site.xml (link)
  8. 설정 파일을 각 서버에 배포

    ** 이 작업은 이번 뿐만 아니라 설정을 바꾸는 모든 경우에 대해 실시한다.
    **custom.sh 에 적용 및 *-default.xml 에서 발췌한 Hadoop 변수들

  9. HDFS 초기화
    1. /tmp는 sticky bit 에 의해 776 (rwxrwxrwt) 로 되어 있음. 없으면 여기에 만들것  (시스템 관리 측면에서는 이게 더 나아보임)\
    2.  Startup/Stop Manual Startup Procedures
      (start all services as the hadoop startup section in the cluster document)

      1. HDFS Format – 최초 1회 실행
        (재 실행하면 파일 시스템 초기화. PC의 HDD Format 의 의미)
      2. * Namenode start:

  1. DataNode start (at bach)

  1. Start the YARN with the following command, run on the designated ResourceManager(at mozart):

  1. Run a script to start NodeManagers on all slaves(at bach):

  1. start a standalone WebAppProxy server. If multiple servers are used with load balancing it should be run on each of them(beethoven):

  1. Start the MapReduce JobHistory Server with the following command, run on the designated server(mozart):
  1. 모든 기동을 마치고 jps 로 데몬 확인

        * jps on each server

    1. 환경설정파일 기반 AutoStart

      1. (Yarn 용으로 사용할 서버에서 실행한다. 그렇지 않을 경우 port binding 오류 나므로 주의)
  • Manual Stop

                    – a.i ~ a.vii 까지 명령어 중 start 대신 stop 으로 종료

  • 환경설정파일 기반 AutoStop
  1. 주요 포트 리스트

-namenode(core-site.xml)

없음

-hdfs(hdfs-site.xml)

-mapreduce(mapred-site.xml)

-yarn(yarn-site.xml)

→ All Cluster Application Information Page


*Previous: Hadoop 2.2.0 (1) – Installation #1: Prerequisites

*Next: Hadoop 2.2.0 (1) – Installation #3: TroubleShootings

3,292 total views, 2 views today

One thought on “Hadoop 2.2.0 (1) – Installation #2: Installing hadoop (editing..)

  1. Pingback: Hadoop 2.2.0 (1) – Installation #1: Prerequisites | bluecore's...

댓글 남기기