Hadoop Architecture
Hadoop는 크게 HDFS(Hadoop Distributed File System)와 MapReduce로 구분되어집니다. HDFS layer는 파일 분산 저장 목적을 두고, MapReduece layer는 파일 분석을 위한 목적을 둡니다. HDFS는 NameNode와 DataNode로 구성되며, NameNode는 master와 secondary로 구성되어집니다. NameNode파일에 대한 저장소 선택, 복제 개수 지정 등 데이터 노드를 관리 Master Node 역할을 하며 파일에 대한 메타 데이터를 저장하는 노드, 디렉토리 구조, 파일에 대한 각종 메타 데이터, 물리적 파일이 저장되어 있는 위치 등을 저장 주요한 메타정보를 가지고 있으므로 네임노드가 장애시에 HDFS는 장애 발생. SPOFsecond..