- GPFS (General Parallel File System) & SOFS (Scale Out ... · IBM KOREA 1 GPFS (General Parallel File System) ©2008IBM Corporation GPFS History •12여년에걸쳐발전되고안정화된솔루션으로SAN

IBM KOREA

© 2008 IBM Corporation

IBM 고성능 파일 공유 솔루션 소개- GPFS (General Parallel File System) & SOFS (Scale Out File Services)

TSS (기술영업지원부)IBM

IBM KOREA

© 2008 IBM Corporation1 GPFS (General Parallel File System)

GPFS History

•12여 년에 걸쳐 발전되고 안정화된 솔루션으로 SAN 기반의 고성능 파일 공유 시스템

•GPFS Short History & Evolution 1996년 Tiger Shark File System – 멀티미디어 Video Server로 구현됨

1998년 GPFS 1.1 출시 – IBM SP Switch 이용한 고속 스위치 네트워크에 구현

2001년 최대 32 노드 지원, 리눅스 지원하는 Linux용 GPFS 1.1 출시

2002년 GPFS 2.1 출시, GPFS 1.3 for Linux 출시

2003년 12월 GPFS 2.2 출시 - xSeries Linux, pSeries Linux, pSeries AIX

2004년 12월 GPFS 2.2 기능향상 – AIX-Linux interoperability 기능 추가

2004년 새로운 하드웨어 지원과 기능 향상된 GPFS 2.3 출시 - tiebreaker

2006년 4월 GPFS 3.1출시 – Disk Fallback 기능, ILM 지원 등 기능 향상

2007년 11월 GPFS 3.2 출시 – Page pool size (up to 256GB), Rolling Upgrade, Backward Compatibility, InfiniBandRDMA 지원, Monitoring을 위한 SNMP 가능, SCSI-3, RHEL5 지원, LUN당 8개 NSD 서버지원, 256개 File System 동시mount 등 기능 향상

GPFS Short History & Evolution

IBM KOREA


GPFS 의 필요성

•파일 서비스에 대한 요구 사항은 더욱 증가하고 있지만, 단순 box 별 추가와 개별적인 관리는 원하지 않음•디지털 미디어 사업자들에게 데이터에 대한 병렬 접근은 점점 더 보편화 되고 있음 개별 파일 또는 파일 집합에 대한 데이터 접근 비율이나 응답 속도의 요구가과거 HPC슈퍼컴퓨팅 분야 에서나 가능했던 정도로 높아지고 있음

•클러스트 파일 서버는 이론상 쉽지만 생성하고 유지하기가 쉽지 않는 복잡한 구조•데이터가 점점 증가함으로 인해 Backup Window가 큰 이슈가 됨•새로운 스토리지를 추가 통합하거나 사용 중이던 스토리지를 삭제하는 것은 기존 기간계 시스템에 큰 영향을 줌•정보 수명주기 관리(ILM)의 통합은 확장될수록 점점 중요해지고 있음

•Application 관점여러 노드로부터 같은 데이터를 Access해야 할 필요가 있는 경우하나의 파일에 대한 공통 저장 장소가 있어야 하는 경우

장애 시 계속적인 서비스의 필요한 경우

Application에서 사용하는 데이터에 대한 빠른 Access가 필요한 경우

•File System 관점Accessibility : 어떠한 node에서도 모든 File를 Access해야 하는 경우Scalability : 노드, Storage, Application 추가 시 선형적인 확장성이 필요한 경우Uniform Access : Cluster 환경에서 Application 개발 시 Source의 일관된 관리가 필요한 경우High Capacity : TB Files, 여러 개의 TB File Systems이 필요한 경우High Throughput : 초당 GB의 Throughput이 필요한 경우Parallel Data Access : 여러 개의 노드에서 동시에 같은 Data를 Access해야 할 필요가 있는 경우Reliability and Fault Tolerance : 노드, 디스크, 네트워크 장애시에도 지속적인 서비스가 필요한 경우

왜 고성능 파일 공유 솔루션이 필요한가 ?

Parallel File System에 대한 필요성

IBM KOREA


GPFS 소개

1.클러스터링 환경의 고성능 파일 공유 솔루션

2.성능 및 확장성

•1,000개 이상의 노드 동시 접속 (Tested: 2441 Linux Nodes, 1530 AIX Nodes)과 1,000개 이상의 디스크를 하나의 클러스터로 지원 (2 PB의데이터를 하나의 파일시스템에서 관리)

•Filesystem당 최대 2,147,483,648개 파일까지 생성 가능 (구성에 따라 상이)

•여러 개의 노드로부터 하나의 파일을 동시에 Read/Write

•여러 개의 노드에서 동시에 striping된 데이터를 읽고 쓰기 때문에, 고 성능의 IO환경에 적합

3.고 가용성

•일부 노드 장애시에도 다운타임 없이 파일시스템 공유로 Shared SAN을 통해 공유 노드들이 데이타와 물리적으로 직접 연결함으로써 높은 성능과 안정성제공 가능

4.유연성•NSD (Network Shared Disk) 기반의 디스크 제공으로, 직접적인 SAN 연결 없이도 GPFS 기반하의 파일시스템 공유 가능. 따라서 서버 확장이 용이하며, 용도별, I/O 용량별 유연한 구성 가능

5.높은 안정성

•HACMP 필요없이 GPFS 솔루션 만으로 파일시스템 공유가 가능해 짐으로써, 구성의 단순화, 관리의 단순화로 인한 안정성 향상

6.표준 UNIX® 파일 시스템 인터페이스 제공

7.On-line 상에서의 Node & Disk Add / Remove 가능 (Disk 자동 재분배)

8.Block Level Locking & Striping

9.Application에 최적화된 block-size 지정 가능 (16K ~ 4M)

GPFS란?GPFSGPFS란란??

IBM KOREA


GPFS 구성 요소

IBM의 파일 공유 솔루션인 GPFS는 슈퍼컴퓨터 환경이나 디지털 미디어 환경에서 필수적으로 요구되는 고성능 Throughput, 확장성, 오픈 아키텍처를 두루 갖춘 안정적인 파일 시스템으로 미디어 기업의 대용량 스토리지 솔루션으로 많은 납품사례를 가지고 있습니다.

Clients

Shared disks

GPFS Servers

Fabric Switch

•운영 어플리케이션의 특성에 맞도록 16K ~ 4MB까지 다양한 block size를 지정하여 최적화 할 수 있다. (16K, 64K, 256K, 512K, 1M, 2M, 4M 로 구성할 수 있다.)

•GPFS 는 부하를 감당할 수 있는 충분한 하드웨어 구성에서 10 GB/sec 이상의 총 throughput 을 구현할 수 있다.

•GPFS 는 1PB 이상의 파일 시스템을 지원한다.

•1000개 이상의 디스크를 지원한다.

•File system당 최대 2,147,483,648개의 파일까지 생성 가능하다.

•다수의 디스크에 걸쳐서 데이터를 스트라이핑하여 성능을 향상 시킬수 있다.

•GPFS 는 1000 개 이상의 노드로 Cluster를 구성하는 것을 지원한다.

•노드들은 지원하는 프로세서와 운영체제가 혼용되어 구성하는 것이가능하다.

•공유 디스크를 위해 SAN Switch 를 사용하므로 확장 가능한고성능의 인프라 구성 가능하다.

High Speed Interconnect

GPFS 모 델 구성 요소 특 징

확장 가능한 고성능의 파일시스템확장확장 가능한가능한 고성능의고성능의 파일시스템파일시스템

IBM KOREA


GPFS 구조

Disks Disks(주) NSD(Network Shared Disk)는 LVM(Logical Volume Manager)을 사용하지 않는다.

Direct access through SAN

Indirect accessthrough GPFS Interconnect

GPFS

NSD

TCP/IP

Application

GPFS

NSD

TCP/IP DD

Application

GPFS

NSD

TCP/IP DD

Application

LC LC LC

DD

Node A Node B Node C

High Speed IP Network for GPFS Communication

IBM KOREA


GPFS 보안 및 저장 공간 관리 정책

•보안 정책기본적으로 UNIX 사용자 및 그룹 보안 정책을 그대로 사용 가능클러스터 내/외부의 사용자 및 그룹에 대해 public/private key를 발행/배부(전용 mmauth 명령어를 사용)타 노드의 root 사용자도 일반 사용자 권한으로만 접근이 가능하도록 설정 가능클러스터에 따라, 차별적인 보안 정책 적용 가능(접근해오는 클러스터의 보안 정책 또는 접근 대상 클러스터의 보안 정책 적용을 선별적으로 적용)

•저장공간 관리 정책일반적인 UNIX의 사용자별 그룹별 저장공간 할당 정책 사용 가능스토리지 풀 : 파일 시스템의 스토리지를 파티션하여, 유사한 속성의 디스크끼리 그룹으로 모아서 관리→ 보관 파일의 중요성에 따라 성능/가격별로 구별되는 스토리지 하드웨어를 할당하거나 서로 다른 블록 크기 설정 가능파일셋 : 파일 시스템의 네임스페이스를 파티션하여, 관리 작업을 전체 파일 시스템이 아닌, 더 미세한 단위로 수행→ 파일시스템의 사용자별 저장공간 할당량이나 복제 정책 등을 더 미세한 단위로 관리 가능

정책 룰 : 파일 속성에 따라 특정 파일셋이 적절한 스토리지 풀로 자동적으로 저장되거나 자동 삭제/이동 되도록 설정 가능

파일시스템 A

스토리지 풀 a 스토리지 풀 b

UNIX 보안 Public/private key root 사용자 접근 제한

IBM KOREA


GPFS vs. NAS vs. 타사 Shared SAN File System

Local disks

fileServer

Network

Clients

네트워크 공유파일 시스템 (NAS)

GPFS File System

Nodes

Fabric Switch

(SAN)

Shared disks

IBM GPFS

Metadata based on Cluster

Cluster dependant

타사 Shared SAN File System

Network Protocol Layer가 별도로 존재

File Sever 병목 가능성

NAS

확장성

가용성

성능

구분

•메타정보 처리를 위한 별도의 서버 필요로 IO 병목 가능성

•SAN 기반의 빠른 Block IO 처리로 성능 보장Shared SAN을 통해 공유 노드들이 데이타와 물리적으로 직접연결 함으로써 높은 성능과 안정성 제공 가능

•네트워크 기반의 File IO 방식•TCP/IP Layer가 추가로 존재함으로써 이에 따른

Overhead 발생•성능의 보장을 위해서는 NAS 콘트롤러의 성능이중요 (최상위 모델 급 필요)

•별도의 Clustering 솔루션 설치 필요•메타정보를 관리하는 서버가 장애 시 영향 큼

•별도의 HACMP 구축 필요 없이 GPFS로 파일 시스템 공유가능

•일부 노드 장애시에도 다운타임 없이 파일시스템 공유로지속적으로 서비스 가능

•일반적으로 NAS제품 듀얼 콘트롤러가 최대로 듀얼콘트롤러 장애 시 영향

•일반적으로 10 개 이상의 노드 확장성 제공•업계 최고의 선형 확장성 제공(1,530개의 노드 동시 접속과 1,000개 이상의 디스크로 구성된2 PB 용량 지원)

•노드 추가에 따른 선형 확장 불가능

네트워크 공유파일 시스템(NAS) 타사 Shared SAN File SystemIBM GPFS

IBM KOREA


장애 유형

Node Quorum 1 Node Quorum 2

Node Quorum 3(tiebreaker)

Disk Quorum 1 Disk Quorum 2

Disk Quorum 3

• Disk 장애

• 노드 장애

• 사이트 장애

GPFS는 발생할 수 있는 여러 장애 유형에 대해 이미 방안이 세워져 있습니다. 하나의 노드 장애 발생시, 하나의 Disk 장애 발생시, 또는노드와 Disk를 포함한 Site 장애시에도 가능한 다른 경로(path)를 통하여, 또는 다른 copy를 이용하여 Data를 Access할 수 있습니다.

IBM KOREA


GPFS Replication Algorithm

IBM KOREA


GPFS의 용도 – 고성능 I/O•병렬 I/O 처리에 의한 고성능 I/O 구현

멀티미디어 서버와 같이, 서버 한대의 I/O 대역폭만으로는 부족한 경우, 여러 대의 서버에서 동시에 하나의 파일을 read/write 함으로써 고성능 대용량의I/O 대역폭을 구현할 수 있습니다.

GPFS는 파일 단위가 아닌 블록 단위의 locking 구조를 제공하므로, 동시에 하나의 파일을 읽고 쓰는데 지장이 없습니다.

•활용처멀티미디어 서버, 대용량 데이터를 처리하는 과기연산용 서버 클러스터 등

공유 파일 시스템

IBM KOREA


GPFS의 용도 – 편리한 파일 공유•단 한번의 데이터 uploading 또는 수정으로 전체 클러스터 환경의 데이터를 일괄적으로 갱신

Web 서버나 파일 서버의 경우, 고가용성 및 성능 확장성을 위해 여러 대의 서버를 구성하는 경우가 많습니다.

이 경우 각각의 서버가 각각의 스토리지 영역을 따로 가진다면, 신규 데이터를 uploading하거나 기존 데이터를 수정할 때, 각각의 서버마다 일일이 그작업을 수행해야 합니다.

GPFS를 이용하여, 여러 대의 서버가 하나의 통합된 파일시스템에 read/write를 할 수 있도록 만들면, 어떤 서버에서든 단 한번의 작업으로 전체 클러스터의데이터를 추가/수정/삭제할 수 있으므로, 작업 능률도 올라가고 인적 실수에 의한 데이터 부정합성을 방지할 수 있습니다.

•활용처DB 서버, Web 서버, 과기연산용 HPC cluster, Application 개발 서버 등 데이터를 공유하는 모든 클러스터


IBM KOREA


GPFS의 용도 – 고가용성 파일 시스템•Failover 시간이 거의 없는 고가용성 파일 시스템

DB 서버나 Web 서버 등의 고가용성을 위한 클러스터에서 일부 노드에 장애가 발생하면, 디스크를 failover 하는데 가장 많은 시간이 걸립니다.

특히 가용성이 중요한 카드사나 증권사, 은행권 등의 기간계 업무의 데이터 failover에 GPFS를 사용하면, master 노드가 장애나는 경우에도 약 30초~1분정도의 hang만 걸릴 뿐, failover 시간이 전혀 없습니다.

•활용처DB 서버, Web 서버 등 유사시 데이터를 failover 해야 하는 모든 주요 시스템

Oracle의 RAC 구성시, raw device 대신 사용 가능

DB2 클러스터 구성시, 디스크 failover가 필요 없으므로 failover 시간이 대폭 감소


IBM KOREA


GPFS Model – VSD/NSD Servers

IBM KOREA


GPFS Model – SAN Attached Nodes

IBM KOREA


GPFS Model – NSD Servers/SAN Mixed

IBM KOREA


GPFS 솔루션: 디지털 미디어 - Centralized Storage Based Production

Archive

Editing Suite Play Out Server

GPFS FileSystem

SDISDI

IBM

Tape System

HierarchicalStorage Manager

Catalog

Play OutAutomation

DirectAccess

Streaming File

IngestApplication

(Encoding andMetadata

Extraction)

FTP

IBM KOREA


GPFS를 이용한 디지털 미디어 솔루션 구성 예제 1

Play-outServers

GPFS Cluster

NonLinearEditors

LTO Archive

Fiber ChannelSwitches

HSMData Movers

HSM Core Servers(HPSS/TSM

ParallelData Movers

IngestSystem

IBM DS4000 Disk

Play-outServers

IBM KOREA


GPFS를 이용한 디지털 미디어 솔루션 구성 예제 2 : 물리적 구성도

NLE 1(Windows)

Storage A

NLE 2(Windows)

SAN Switch 1(4Gbps)

10 Gigabit Ethernet Switch

SAN Switch 2(4Gbps)

Storage B

GPFS Server 1(Linux)

GPFS Server 2

(Linux)

Trans-coding Servers + OtherSolutions

NLE 3(Linux)

GPFS Server 3

(Linux)

IBM KOREA


GPFS를 이용한 디지털 미디어 솔루션 구성 예제 2 : 논리적 구성도

10 Gigabit Ethernet Switch

System Pool Data Pools

Storage Network

GoldPool

SilverPool

BronzePool

File System

Media Client 1

(NLE)

Media Client 2

(NLE)

ECM(컨텐츠 관리솔루션)

Marvel(영상인식솔루션)

Media Hub(미디어 서비스 플랫폼) ...

Trans-coding Servers

SAMBA / CIFS NFSSOFS

ManagementConsole

GPFS

Linux Cluster

IBM KOREA


GPFS Customers

Database Applications

DB2

Oracle RAC

SAP

Grid Applications –

Scientific Computing

Life Sciences

Analytics

Highly Available Scalable file storage

User File storage

Multi-Site installations

Disaster Recovery

Web Applications

Email services

Web Server Farm

Online Data Storage

Digital Media –

Animation

Broadcasting

Video Surveillance

IBM KOREA


GPFS 솔루션 국내 구축 사례

2006년AIX 5.3, Oracle RACDB 파일 공유용으로 GPFS사용부산 하나로카드

2006년AIX 5.3, Mail serverMail Server 의 공유 파일로 GPFS 사용교보생명

2006년AIX 5.3, Oracle RAC국제업무(외환시스템) 통합 DB 서버의 공유파일 시스템으로 GPFS 사용국민은행

2006년AIX 5.3, C4IOracle 10G RAC Archive File 공유용으로 GPFS 사용공군

2007년AIX 5.3, 기간계 DB/WAS 시스템WAS Application 공유 파일로 사용쌍용앙회

2007년P590 시스템, AIX 5.3HPS Shared Disk 공간으로 GPFS 사용KISTI

2007년EDW서버DB2 Binary 공유용LG 전자

2007년AIX 5.3, HPCHPC 데이터 파일 공유용으로 GPFS 사용포스텍

2007년 9월AIX 5.3, Imeco Xmins FEP 솔루션FEP 시스템 공유 파일로 GPFS 설치 예정현대증권

2006년AIX 5.3, Oracle RACDB Server의 공유 파일로 GPFS사용CJ

IBM KOREA


GPFS 솔루션 국내 구축 사례 (계속)

2005년AIX 5.2, Handy GroupWare ServerGroupWare Server의 공유 파일로 GPFS 사용

충북도청

2005년AIX 5.3, ERP 및 Oracle RAC Oracle RAC 서버 구성 및 Application 공유파일로 GPFS 사용

LG 전자

2005년AIX 5.2, Oracle RACDB Server의 공유 파일로 GPFS사용AP Server의 공유 파일로 GPFS 사용

대한생명

2005년AIX 5.2, Handy GroupWare ServerGroupWare Server 공유 파일로 GPFS 사용

서울시 교육청

2005년AIX 5.2, Handy GroupWare ServerGroupWare Server의 공유 파일로 GPFS 사용

정통부 전자결재

2005년AIX 5.1, SuperComHPS Shared Disk공간으로 GPFS사용

서울대

2004년AIX 5.2, Handy GroupWare ServerGroupWare Server 공유 파일로 GPFS 사용부천시청

2004년AIX 5.1, Handy GroupWare ServerGroupWare Server의 공유 파일로 GPFS 사용, Internet 용 Web Server (p520 * 5ea )농협

2005년AIX 5.3 w/ pSeries 570 LPAR * 3eaWAS 업무로 Filesystem Concurrent AccessSDI

IBM KOREA


GPFS 솔루션 해외 구축 사례•세계 10권 슈퍼컴 중에서 6곳에 설치됨#1, #4 – ASCI White & Blue at LLNL : (512 nodes, 109TB in 1536 RAID vols)#2 – NERSC(Lawrence Berkley Labs)#9, #10 – National Center for Env. Prediction

•활용 영역확장성 파일과 웹서버

디지털 라이브러리, 비디오 스트리밍OLAPFinancial Data Management엔지니어링 디자인Engineering Design 업무 개발 등

1536-node, 100 TF eServer cluster at Lawrence Livermore National Laboratory2 PB GPFS file system (one mount point)500 RAID controller pairs, 11000 disk drives126 GB/s parallel I/O measured to a single file (134GB/s to

multiple files)

•GPFS 사례 : ASC Purple/C Supercomputer

•디지털 미디어 GPFS 고객 사례

IBM KOREA


SOFS (Scale Out File Services) 소개SOFS (Scale Out File Services) 는 GPFS 와 부가적인 기능을 All-In-One 구성하여, 미디어 솔루션에 필요한 기능을 쉽게 설치하고구성할 수 있도록 한 솔루션입니다. AIX와 Linux외에 Windows에서도 고성능 파일 공유 기능을 이용 할 수 있습니다.

FTP CIFS HTTPAFS

MigrationIntel NFS

GPFS

Reporting

Monitoring

ProvisioningHSM - Archiving

TSM – Backup & Restore

TPC Director Integration

SOFS컴포넌트

DiskTape

Device

SAN switch

Disk

SOFS Cluster(Linux)

Clients(AIX, Linux, Windows)

IP networkProtocols

SOFS 특징

•SOFS 는 IBM 과 업계의 최신 표준을 지원하는 컴포넌트로 구성되어 있다.

•다음과 같은 기능을 지원하는 컴포넌트를 쉽게 설치하고 구성할 수 있다.AIX, Linux, Windows 클라이언트 지원

TSM 백업과 복원 및 아카이빙 지원

스냅샷과 미러링

재해 복구

모니터링과 리포팅 기능

SOFS 아키텍처

IBM KOREA


SOFS (Scale Out File Services) 구성 요소• Hardware

HS21 blades

DSxx SAN storage, FC connected

Gigabit and/or infiniband

• SoftwareRHEL5 Linux on each node

GPFS 3.2 cluster filesystem

Samba 3.0, with clustering extensions

CTDB clustering suite

SOFS management GUI

winbind for Active Directory integration

• ProtocolsCIFS, NFS, http, ftp

rr-DNS for load balancing

FTP CIFS HTTP AFS MigrationNFS

Linux Distribution

Server Cluster

DiskTape

GPFS

Reporting

Monitoring

ProvisioningHSM - Archiving

TSM – Backup & Restore

TPC and Director Integration

IBM KOREA


SOFS (Scale Out File Services) - SAMBA

SAMBA Local Locking

SAMBA Multi-node CTDB

IBM KOREA


SOFS (Scale Out File Services) - CTDB (Clustered TDB) 특징• Database

simple database API

automatic recovery on cluster changes

• IP Failoverhandles public IP assignment, ARP

tickle-ACKs for fast failover

• Protocol HooksCTDB offers 'event scripts' for protocol extensions

handles NFS lock recovery

• CTDB Public Web site:http://ctdb.samba.org/

IBM KOREA


SOFS (Scale Out File Services) - GPFS Wizard - Setup & Cluster Management

IBM KOREA


SOFS (Scale Out File Services) - GPFS Wizard - System Availability

IBM KOREA


SOFS (Scale Out File Services) - GPFS Wizard - File System Management

IBM KOREA


SOFS (Scale Out File Services) - GPFS Wizard - System Traffic Charts

IBM KOREA


Thank You!Thank You!

Documents

- GPFS (General Parallel File System) & SOFS (Scale Out ... · IBM KOREA 1 GPFS (General Parallel File System) ©2008IBM Corporation GPFS History •12여년에걸쳐발전되고안정화된솔루션으로SAN