구글파일시스템(GFS)
1. 정의: 파일을 고정된 크기의 청크들로 나누고 각 chunk에 대한 여러개의 복사본과 chunk를 청크서버에 분산 저장
2. 해시테이블 주로 사용, 효율적 메타데이터 처리
3. 마스터에 의해 생성, 삭제가능, 식별자로 유일하게 구분
4. 서버고장 빈번(저가형 서버)
5. 낮은 응답지연시간 보다 높은처리율이 중요
6. 구성요소
(1) 클라이언트 : 파일 읽기쓰기 동작 요청 어플리케이션
(2) 마스터 : 단일마스터구조, 모든메타데이터를 메모리에서 관리
(3) 청크서버 : 청크를 저장, 관리하며 클라이언트로 부터 chunk 입출력 요청
7. 동작 : 클라이언트는 마스터로 부터 chunk서버의 위치와 핸들을 받아온 뒤 직접 파일데이터에 요청
하둡 분산파일 시스템(HDFS)
1. 아파치너치 웹검색 엔진의 파일시스템으로 개발
2. 하나의 네임노드, 다수의 데이터노드
3. 블록단위로 나뉘어 여러 데이터노드에 분산, 복제, 저장
4. 순차적 스트리밍 방식, 배치작업 적합
5. 낮은 응답지연시간 보다 높은 처리율 중요
6. 주요요소
(1) 네임노드 : 메타데이터역할, 마스터역할
(2) 데이터노드 : 슬레이브노드, 3중복제 저장
(3) 보조네임노드 : 상태모니터링 보조
7. 쓰기과정
러스터(Lustre)
1. 정의 : 클러스터 파일 시스템에서 개발한 객체 기반의 클러스터 파일 시스템
2. 클라이언트에서 메타데이터 변경에 대한 갱신레코드 생성
3. 구성요소
(1) 클라이언트 파일 시스템 : 리눅스에서 설치가능한 파일 sys
(2) 메타데이터서버 : 파일시스템의 이름공간과 파일에 대한 메타데이터 관리
(3) 객체저장서버 : 파일데이터 저장, 객체 입출력
4. 구동방식 : 클라이언트에서 메타데이터 변경에 대한 갱신레코드 생성 후 나중에 메타데이터서버에 전달, 라이트 캐시를 지원.
5. 동시성제어를 위해 별도의 잠금 사용
6. 인덴트기반 잠근프로토콜 사용