Embed Size (px)
Citation preview
DATACENTEROPERATIONSYSTEM(DCOS)
Deug Hyeon Chang2017.02
MESOSPHERE
목차
Technology trends
About Mesosphere
Apache Mesos
DC/OS (Data Center Operation System)
References
POOLED TOGETHER
…and building new datacenter apps is as easy as building an app for one machine
LOOK LIKE ONE BIG COMPUTER
VMPhysical Server
• 정적 파티션을 이용한 애플리케이션 설치
-정적 서버세트에 하둡 설치 ( )
-정적 서버세트에 웹 서버 설치 ( )
• 정적 파티션을 이용한 애플리케이션 확장
-수작업에 의한 하둡 확장 ( )
CPUMemory
Disk
• 자원을 통합하여 데이터센터를 마치 하나의 대형컴퓨터처럼 보여지도록 함
• VM 또는 베어메탈, 클라우드지원
복잡하고머신 단위 확장, 수작업 크기조정/스케일링제한적이고소프트웨어 오류 처리 불가, “black box”비효율적이며정적 파티션, overhead개발자 친화적이 아닌….소프트웨어 출시 시기 지연, 머신 레벨에서의 개발 시작
Today’s Legacy Datacenter
정적 파티션 데이터 센터의 이슈
Future Datacenter
Provision VMs in the cloud or on physical servers Datacenter Operation System
FROM STATIC PARTITIONING TO ELASTIC SHARING
정적 파티션
동적 공유
WASTED WASTED WASTED
WebCache Hadoop
FREE FREE
Cache
Web
Hadoop
100%
100%
정적 파티션은 스케일과장애대응이 어려움자원의 낭비가 심함
모든 Task에 자원 공유자원의 사용률 향상 낭비
제거
MORDERN APPLICATION
TOWARDS MICROSERIVES ARCHITECTURE
전통적인 아키텍처 Microservices 아키텍처
획일적인확장
개별적인확장
강한 상호 의존성을 가진적은 수의 대규모 프로세스
하나의 프로세스에 많은기능 구현
상호격리된조직
기능 중심으로구성된 교차기능 조직
각 요소 기능을“Microservices”로 정의
교차 기능 팀에 의한 상호 의존성이 없는새로운 Microservices를 구성
DISTRIBUTED COMPUTING HISTORY
Application
Operating System
Hardware
WebApplication
Operating System
Hardware
Web App
OS
HW
Web App
OS
HW
Web App
OS
HW
Web App
OS
HW
Web App
OS
HW
Web App
OS
HW
Service Service Service
Web App
OS
Machine
Web App
OS
Machine
Web App
OS
Machine
Service Service Service
Infrastructure
App
OS
Machine
OS
Machine
OS
Machine
Infrastructure
App App Service Service Service
Service Service Service Service Service Service
App
OS
Machine
OS
Machine
OS
Machine
Infrastructure
App App Service Service Service
Service Service Service Service Service Service
Container Runtime Container Runtime Container Runtime
App
OS
Machine
OS
Machine
OS
Machine
Infrastructure
App App Service Service Service
Container Runtime Container Runtime Container Runtime
Container Orchestration
Computers Internet Distribution Service Oriented Architecture
Hardware Virtualization Microservices Containerized Microservices Container Orchestration
원격 사용자 • 수평적 확장• 결함허용• 가용성• 부하 분산
• 관심사 분리• 병목 최적화• API• 데이터 복제
• 복잡한프로비저닝
• 낮은의존성관리• 소규모팀
• 빠른 프로비저닝• 가상네트워크• 자격증명관리• 높은 사용률
• 다양한 언어• 단일책임• 소규모팀
• 빠른 배포 및 설치• 컨테이너별 의존성묶음 처리• 컨테이너 이미지 저장소• 고도의 스케줄링
• 격리• 이식성• 설정관리
• 더 높은 사용률• 머신 유형/그룹• 의존성 지옥
DISTRIBUTE OPERATING SYSTEMD
istrib
uted
OS
Orc
hest
ration
Web Apps & Services
Container Runtime
OS
Container Runtime
OS
Container Runtime
OS
Machine Infrastructure
Service Management
Scheduling
Resource Management
Machine Machine Machine
Syst
em S
ervi
ces
Load Balancer
Security
Networking
Logging Metrics
Package Management
Storage
THEN- Rewrite your Applications- Concurrent Programming Language- Virtual Machine Environment- UNIX-like, POSIX-like- Custom Kernel- Process-level Fault Tolerance
NOW- BYO Applications- BYO Programming Language- BYO Container Operating System- BYO Container Runtime- BYO Machine Operating System- System-level Fault Tolerance
목차
Technology trends
About Mesosphere
Apache Mesos
DC/OS (Data Center Operation System)
References
MESOSPHERE HISTORY
~2001
Borg/Omega
Proprietary
~2007
Tupperware/Bistro
Proprietary
~2010
Mesosphere Founded
Open Source (Apache License)
~2013 ~2015
Growing system &DCOS GA
• Built at UC Berkeley AMPLab by Ben Hindman (Mesosphere Co-founder)• Built in collaboration with Google to overcome some Borg Challenges• Production proven at scale +80K hosts @ Twitter
AMPLab : Algorithms, Machines and People Lab
• Large-scale cluster management
• Single resource management (Borg) and multiple scheduler(Omega)
• Containerized deployment (Tupperware)
• Distributed scheduler(Bistro)
• Apple Seri gets faster and costs down
OPEN SOURCE CONTRIBUTION
오픈 소스 내용 참조사항
Mesos• CPU, 메모리, 스토리지 및 기타 컴퓨팅 리소스를 시스템 (물리적 또는 가상)에서추상화하여 내결함성과 탄력적 인 분산 시스템을 쉽게 구축하고 효과적으로 실행할수 있도록 하는 클러스터 관리자
• Mesosphere contribution : 42.9%
• 기타 Contributor : Apple (7.1%), Twitter (7.1%), facebook, Youtube, Groupon, Intel, NASA, Databricks
Playa Mesos • Vagrant를 사용하여 Mesos 샌드 박스 환경을 신속하게 구축
Marathon • Mesosphere의 Datacenter Operating System (DC/OS) 및 Apache Mesos 용프로덕션급 컨테이너 오케스트레이션 플랫폼
Chronos • 의존성 및 ISO 8601 기반 스케줄을 처리하는 Mesos의 내결함성 작업 스케줄러
Choas • Scala에서 REST 서비스 작성을 위한 간단한 프레임워크
2016 Gartner Cool Vendor in Cloud Infrastructure
목차
Technology trends
About Mesosphere
Apache Mesos
DC/OS (Data Center Operation System)
References
APACHE MESOS OVERVIEW
Cluster ClusterCluster
Hadoop Storm Jboss Data Grid
Node Node Node Node Node NodeNode Node
Cluster
Hadoop Storm Jboss Data Grid
Apache Mesos
Node Node Node Node Node NodeNode Node
• 분산 시스템 커널로서 리눅스 커널과 동일하며, 단지 추상화 계층만 다름
• 모든 머신에서 동작 및 실행
• 애플리케이션에 대해 리소스 관리와 스케줄링 API 제공
• Apache 최상위 ASF 프로젝트
• Mesosphere, Twitter, Airbnb 등이 주요 사용자이면서 참여자
• 10,000 개의 노드까지 확장 가능하지만 소수의 노드에도 유용
• Mesosphere를 통한 패키지 및 상업 지원
• 분산 애플리케이션용 SDK
• 기본 도커 지원
• C ++, Python, JVM, Go 용 API
• 플러그 가능 CPU, 메모리, IO 격리
• Multi-tenancy
• 자원 사용률 향상
• Fault-tolerance, HA
• 확장성 + 탄력성
A Platform Fine-Grained Resource Sharing in the Data Center
MESOS ARCHITECTURE
Framework
MasterLeader
MasterStandby
MasterStandby
Salve1
MPI Executor
Task Task
Salve2
MPI ExecutorHadoop ExecutorTask Task
Salve3
ExecutorExecutorMarathon Executor
Task Task
ZKZK
ZK
Job1
MPI Scheduler
Job2
Framework
Job1
Hadoop Scheduler
Job2
Framework
Job1
Marathon Scheduler
Job2
Framework • 제안 리소스가 할당되면, 실행할 작업 내용을 Master에게 전송
Zookeeper • Mesos Leader 선출 및 서비스 발견
Mesos Master
• 할당 정책 모듈을 호출하여, Framework에 사용 가능한 모든리소스가 제공되어야 함을 통보
• Framework에 대한 가용한 Slave가 무엇인지를 설명하는 리소스오퍼를 전송
• 실행할 작업을 Slave로 전송
Mesos Slave
• 사용 가능한 리소스(CPU, Memory)가 생기면, Master에게 여유정보를 보고
• Framework의 Executor에게 적절한 자원을 할당하고 작업을실행
• 작업 실행 프로그램 격리
Scheduler • 작업 당 필요한 작업에 필요한 리소스(CPU, Memory)를할당하여 Slave에서 실행할 작업에 대한 정보를 Master에 응답
Executor • 단위 작업 실행자
Task • 단위 작업
MESOS LOGICAL ARCHITECTURE
Spark, MPI, Hadoop, Storm
Docker
Mesos SDKJava, Python, C++, Go
Services REST API“Marathon” (init)
Batch REST API“Chronos” (cron)
Mesos
Server Server Server Server
Recurring Jobs(ETL, backups)
Docker
AppApp App
Native Long running Batch
Apps
API
Kernel
Hardware
Workload 유연한 아키텍처 설계
• 모던 앱을 위해 데이터센터의 모든 리소스를통합
• 의도적으로 단순화하여대규모 확장성 구현
• 다양한 유형의 작업처리 - 장시간 실행작업, 배치작업, 실시간작업
• 2 레벨 스케줄러아키텍처로 다중스케줄링 로직 가능(구글의 핵심 난제 중하나 해결)
• 신기술로 작업할 수있도록 확장 가능
목차
Technology trends
About Mesosphere
Apache Mesos
DC/OS (Data Center Operation System)
References
WHAT’S DCOS
DCOS는 레거시 데이터센터 또는 클라우드 상의 모든 리소스를통합하여 하이퍼스케일 데이터센터를 만듦으로써 하나의 대규모컴퓨터처럼 관리
프로덕션 환경에서 많은 인터넷 및 빅데이터 스택인 Kafka, Spark 및 Cassandra와 같은 데이터 서비스를 손쉽게 설치 및관리해주는 견고한 플랫폼으로써 대규모의 컨테이너 및마이크로 서비스를 안전하게 실행 가능하게 함
Like One Big Computer
전례 없는 IT효율성과 자동화 통한 하이퍼스케일 운영
모든 자원을 단일 풀링된 엔터티로 실행하므로 보안 및 비즈니스연속성을 제공하면서 애플리케이션 및 서비스의 배포와 수천 개의컨테이너를 즉시 단일 명령으로 확장 가능
개발자 민첩성과 새로운 서비스의 가치 실현 시간 단축
애플리케이션 팀이 CI/CD 환경을 쉽게 확장하고 유지할 수 있도록함으로써, 새로운 소프트웨어 릴리즈를 대규모로 생산함에 있어시간과 위험을 줄여줌
데이터로부터 통찰력을 얻고 실행하는 데이터 민첩성 제공
오늘날의 IoT나 빅데이터 스택을 구성하는 Kafka, Spark,Cassandra와 같은 공통 서비스를 단순하고 쉽게 실행할 수 있게 하고오픈 소스 기반의 통합 턴키 솔루션을 실행함으로써, 빅데이터애플리케이션을 쉽고 빠르게 구현
BIG DATA REQUIRES HYPERSCALE
PARTITION SERVER VIRTUAL MACHINE
NEW FORM FACTOR FORDEVELOPING AND RUNNING APPS
DATACENTERUNIT OFINTERACTION
DEFINITIVEAPPS AND OS
MAINFRAME PHYSICAL (x86) VIRTUAL HYPERSCALE
• DATA/TRANSACTION PROCESSING
• UNIX, IBM OS/360
• ERP, CRM, PRIDUCTIVITY, MAIL & WEB SERVER
• LINUX, WINDOWS
• ERP, CRM, PRIDUCTIVITY, MAIL & HYOERVISOR + GUEST OS
• BIG DATA, INTERNET OF THINGS, MOBILE APPS
• DATACENTER OPERATING SYSTEM (DCOS)
HYPERSCALE OPERATIONS
Container APP1
Container APP2
PaaS1 Paas2
Big Data Analytics1
Big Data Analytics2
StatefulService1
StatefulService2
Container APP (ALL)
PaaS (ALL)
Big Data Analytics(ALL)
Stateful Service(ALL)
Mesosphere DCOS
Traditional IT Approach Mesosphere’s Approach : Utility Computing
• Workload 별 자원 분리 사용• 코드 배포까지의 긴 시간 주기• 관리 어려움• 낮은 활용도
• 고성능 및 자원 격리• 쉬운 확장성과 멀티 테넌시• 결함 허용 및 고 가용성• 높은 효율로 최고의 활용도 달성• 완벽한 워크로드 이식성
HIGH UTILIZATION THROUGH ELASTIC SHARING
산업평균12-15% 사용률
전형적인 데이터센터상호 격리, 과도한 서버 용량,
낮은 사용률
DCOS 데이터 센터자동화된 스케줄러,
동일 기계에 대한 워크로드다중 처리
DCOS 다중 처리30-40% 사용률,96% 까지
4X
DC/OS ENABLE MODERN DISTRIBUTED APPS
Any Service or ContainerYour favorite services, container formats, and those yet to come
Any InfrastructureBuild apps once on DCOS, and run it anywhere
Mesosphere DCOSRuns distributed apps anywhere as simply as running apps on your laptop
Mesosphere DCOS
Container Orchestration
Security & Governance
Monitoring & Operations
User Interface
VMPhysical Private Cloud Google Amazon Azure
+ Add more
INTEGRATED PLATFORM FOR DATA AND CONTAINERS
Operations
고급 운영 및 문제 해결기능으로 가동 시간 유지
Management
직관적인 웹 대시보드 및CLI를 통해 데이터 센터
운영
Service Manager
Docker 컨테이너, 데이터 서비스 및 기존 응용 프로그램 실행
Resource Manager
Apache Mesos 분산 시스템 커널을 사용하여 데이터 센터 또는 클라우드를단일 자원 풀로 통합
Networking & Storage
동적 분산 애플리케이션을위한 네트워킹 및 저장소
관리
Security
현대적인 보안 위협에대한 노출을 줄이고
규정 준수
Multitenancy
여러 팀이 동일한클러스터를 공유하여
사용률 향상
DC/OS Universe
앱 스토어 환경으로 오픈소스 및 파트너 제품 제공
RESOURCE MANAGER
• Apache Mesos는 데이터센터를 하나의 거대한 컴퓨터로 추상화하여관리를 단순화하고 리소스 사용률을 극대화
• Apache Mesos는 Twitter, Uber 및 Yelp와 같은 세계 최대 규모의플랫폼을 지원
입증된 Apache Mesos기반의 Datacenter-Scale Resource Manager
어디에서나 DC/OS 실행 클라우드로의 앱 이식성
• 베어 메탈, 가상 (vSphere 또는OpenStack) 및 클라우드 (AWS, Azure, GCE)에서 DC / OS를 사용
• Linux 지원, Windows 지원예정
• 애플리케이션 및 DevOps 프로세스의 최소한의 변경으로애플리케이션 및 데이터 서비스를모든 클라우드로 쉽게 이전 가능
유연한확장이가능한아키텍처 강력한 리소스 관리
• 2 단계 스케줄러 아키텍처를 통해기존 및 미래의 워크로드를 동일한시스템에서 실행할 수 있으며 최대수만 대의 서버에 수평적 확장가능
• 메모리, CPU, 네트워크 및스토리지에 대한 강력한 리소스격리를 유지하면서 작업 부하를조정하고 데이터센터 리소스를공유함으로써 활용도 향상
VMPhysical Private Cloud Public Cloud
MesosphereDCOS
DC/OS Svc. Registry (DNS)
DC/OS Master
DC/OS Svc. Registry (DNS)
DC/OS Master
NETWORKING & STORATGE
• 타사 기술과의 완벽한 도구 및 통합을 통해 고도의 동적 분산애플리케이션을 위한 네트워킹 및 스토리지를 쉽게 관리
단순화된 네트워킹 및 스토리지
영구및외부볼륨 빌트인 서비스 검색
• 다시 시작할 때 복원력이 뛰어난영구 볼륨과 애플리케이션과 함께마이그레이션되는 외부 볼륨을지원(REX-Ray 플러그인 필요).
• 페일 오버, 확장 또는 업데이트를위해 작업 부하가 이동함에 따라서비스 검색은 모든 애플리케이션인스턴스에 연속적이고 실시간중단 없는 액세스를 제공
IP-per-Container 동적 분산 로드밸런싱
• 가상 네트워크 오버레이를사용하여 레거시 포트 및 IP 요구사항이 있는 기존 애플리케이션을배포
• 통합 분산 로드밸런싱은 트래픽최적화, 무중단 애플리케이션업그레이드 및 실시간 네트워크오류 탐지를 제공
Virtual IP
Service1
Virtual IP
Service2Virtual IP
Service3
Cont
aine
r
Cont
aine
r
Cont
aine
r
DC/OS Agent DC/OS Agent DC/OS Agent
Cont
aine
r
Cont
aine
r
Cont
aine
r
Cont
aine
r
Cont
aine
r
Cont
aine
r
Cont
aine
r
Cont
aine
r
Cont
aine
r
DC/OS Agent
Service 1
Service 2
Service 3
DC/OS Svc. Registry (DNS)
DC/OS Master
사내/외 DNS 서버
SECURITY
• 현대 애플리케이션의 분산 작업 부하를 보호하는 것은 어려운일이지만, DC/OS는 최신 보안 위협에 대한 노출을 줄이고 정책집행을 단순화하며 컴플라이언스를 유지하면서 현대적인 앱이니셔티브를 가속화
안전하고 규제 준수를 만족하는 플랫폼
DI & 접근관리 비밀관리
• 세분화 된 접근 제어 및 다중 ID 공급자 (LDAP, Active Directory, SAML 2.0 및 OpenID Connect)와의 통합
• 런타임시 민감한 정보를애플리케이션에 안전하게배포하면서 접근제어 및 암호화유지
클러스터전체 PKI 암호화 루트권한으로 실행되지 않는 컨테이너
• 규정 준수를 위한 공개 키 기반암호화된 제어 계층을 통해 DC/OS 구성 요소 간 안전한 통신
• 루트 사용자가 아닌 권한이 제한된컨테이너를 실행하여 권한에스컬레이션 위험을 감소
DC/OS Master
DC/OS Master
Cont
aine
r
Cont
aine
r
Cont
aine
r
DC/OS Agent DC/OS Agent DC/OS Agent
Cont
aine
r
Cont
aine
r
Cont
aine
r
Cont
aine
r
Cont
aine
r
Cont
aine
r
Cont
aine
r
Cont
aine
r
Mar
atho
n
DC/OS Agent
DC/OS Master
운영자 아키텍트 개발자
외부 사용자내부 사용자
컨테이너 사용자 위한세밀한 ACL 서비스
암호화된 비밀 저장소ACL기반의 비밀 인증 제어
사용자 및그룹 관리
DCOS 시스템 서비스 위한서비스 어카운드 관리
이벤트 로깅
Private/Public Key(PKI통신)
MULTITENANCY
• 여러 팀에서 인프라를 활용함으로써 리소스 및 작업 부하에 대한 제어, 격리 및 액세스 제어를 유지하면서 활용도 향상
단일 클러스터, 다수의 팀
세밀한접근제어 서비스 계정
컨테이너, 작업, 데이터 서비스 및 팀
간 비밀 같은 데이터센터 리소스에
대한 액세스 및 가시성을 제한
DC/OS 서비스에 대한 토큰 기반
인증을 사용하여 CI/CD 시스템 및
기타 자동화 소프트웨어와 안전하게
통합
SERVICE MANAGER
• 최신 엔터프라이즈 애플리케이션은 컨테이너 및 대형 데이터 서비스가있는 분산 시스템이며 DC / OS는 모두 탄력적으로 실행
• 개인화, 기계 학습, IoT 등과 같은 새로운 최종 사용자 서비스의 신속한개발 및 출시
컨테이너와 빅데이터를 위한 단일 플랫폼
컨테이너오케스트레이션 데이터 서비스 관리
자동 작업 부하 복구, 보안, 네트워킹,
서비스 검색, 스토리지 등을
포함하여 Docker 및 Mesos
컨테이너에 대해 컨테이너
오케스트레이션 기능을 사용
Spark, Kafka, Cassandra 및 HDFS와
같은 분산 데이터 서비스를 단일
플랫폼에서 손쉽게 배포하고
탄력적으로 실행하여 운영 및 관리를
단순화 Mesosphere DCOS
Modern Apps
머신러닝 IoTMicroservices / Web App ……
OPERATION & TROUBLESHOOTING
• 고급 운영 및 문제 해결 기능과 최신 N + 1 고 가용성 아키텍처를활용하여 최소한의 노력으로 인프라 및 애플리케이션 가동 시간 유지
유지관리를 위한 가동 시간 불필요
가동중지시간없이배치 자가 치유 인프라스트럭처
• 고급 셀프 서비스 배포 전략을사용하여 언제든지애플리케이션을 배포하고업데이트
• 구성이 필요 없는 노드 및 작업부하 장애시 작업 부하를 자동으로감지하고 복구
무중단업그레이드 로깅 및 지표 관리
• 서비스 중단이나 실행중인컨테이너 또는 데이터 워크로드마이그레이션 없이도 DC/OS를손쉽게 업그레이드
• 클러스터 및 애플리케이션의단순화된 로깅 및 지표 수집을통해 문제를 쉽게 해결하고모니터링
Zookeeper Zookeeper Zookeeper
MesosStandby Master-2
MesosActive
Master-1
MesosStandby Master-3
MesosSlave1
MesosSlave2
MesosSlave3
ZookeeperQuorum
Zookeeper Zookeeper Zookeeper
MesosStandby Master-2
MesosStandby Master-1
MesosActive
Master-3
MesosSlave1
MesosSlave2
MesosSlave3
ZookeeperQuorum
1. ZK를 통해 무작위로 살아있는 Standby 서버가 Active로 지정2. Slave들은 몇 초간의 순단 현상을 겪을 뿐 다시 정상 작동3. 서버가 복구되어 정상 작동하면 Standby Master로 지정
MANAGEMENT & MONITORING
• DC/OS를 사용하여 애플리케이션 이식성을 단순화하고 하이브리드클라우드 이니셔티브를 가속화하며 통합 운영 및 개발자 경험을 통해클라우드 종속 위험 감소
동일한 경험, 온 프레미스 & 클라우드
모든클라우드, 동일인터페이스 강력한 CLI, GUI
앱 개발자, 데이터과학자 및 인프라
운영자를 위한 단일 관리 경험으로
온 프레미스 및 클라우드에 손쉽게
애플리케이션을 배포
강력한 CLI와 사용하기 쉬운 GUI를
사용하여 앱, 서비스 및 인프라를
손쉽게 관리
UNIVERSE
• DC/OS Universe는 컨테이너 이미지 라이브러리 일뿐 아니라,Spark, Kafka, Cassandra와 같은 복잡한 서비스를 애플리케이션앱스토어와 같은 환경에서 확장, 업데이트 및 업그레이드 할 수 있는애플리케이션별 인텔리전스가 포함되어 있음
강력한 서비스, 원클릭 처리
광범위한파트너에코시스템 오프라인 UNIVERSE
DC/OS Universe에는 개방형 소스 및
엔터프라이즈 지원 오퍼링이
포함되어있어 새로운 기술을
시험하고 아이디어에서 생산으로
신속하게 이동
인터넷 액세스를 요구하지 않고
공식적으로 승인된 서비스의 내부
카탈로그를 작성하고 내부 소비를
위한 사용자 정의 서비스도 구축
가능
특징 이점
PRODUCTION PROVEN TECHNOLOGY AT SCALE
• 실 사용으로 기 입증된 Apache Mesos 및 Marathon• 분산 시스템의 세계 최고 전문가들에 의해 구축 및 개선• 실 사용 단계에서 6 년 이상 수만 노드 대상으로 테스트• 처음부터 탄력성과 확장성을 고려하여 설계
• 수년간의 버그 수정을 통해 안정되고 성숙한 기술로 업무 핵심워크로드의 다운 타임 위험 감소
• 소규모 클러스터에서 대규모 클러스터로 손쉽게 확장 가능• 오픈 소스 코어가 벤더 종속을 방지
MODERN DISTRIBUTED HIGH AVAILABILITY
• SPOF가 없는 N + 1 아키텍처• 완벽한 장애 복구 및 유지 관리를 위한 통합 된 KV 스토어, DB 및 로드 밸런싱
• 턴키 솔루션, HA에 대한 외부 종속성 없음• 에이전트 다시 시작 및 업그레이드시 작업 부하 영향 없음• 즉시 업그레이드를 위한 Erlang 기반 분산 네트워킹 스택• 마스터 및 에이전트를 위한 무중단 장애 조치 및 업그레이드
• 확장 가능한 마스터, 에이전트 및 작업 부하를 위한 최고의 가동시간
• 마스터/에이전트 장애 조치의 경우 수동 개입 없음• 최신 DC/OS 릴리스로 손쉽게 이동• 네트워크 파티셔닝 및 스플릿 브레인 시나리오에 대한 탄력성
CONTAINERS AND DATA SERVICES
• Stateful, Stateless 컨테이너 지원- 고정 컨테이너- 메소 (Mesos) 컨테이너 (예 : Java 바이너리, Go 바이너리)
• Stateful 데이터 및 분석 서비스 지원- 웹 로그 분석 및 빅데이터 (Spark, HDFS), No-SQL데이터베이스 (Cassandra)
- 검색 (Elasticsearch), 메시지 대기열 (예 : Kfaka)
• 데이터 센터 전반에서 활용도 향상• 애플리케이션을 위아래로 쉽게 확장• 모든 애플리케이션을 위한 단일 플랫폼으로 운영 단순화• 쉽게 새로운 데이터센터 서비스로 실험, 배치 용이
SERVICE DISCOVERY• DNS 기반 서비스 레지스트리 및 분산 DNS 프록시• 통합된 DCOS 서비스 디스커버리• 외부 서비스 디스커버리와의 통합
• 고 가용성 및 확장 가능한 서비스 레지스트리• 마이크로 서비스 배포를 위한 턴키 솔루션• 기존의 non-DCOS 서비스와의 통합
DC/OS FEATURES & BENEFITS
특징 이점
SERVICE AVAILABILITY WITH L4 DISTRIBUTED LB
• 빠른 수렴 분산로드 밸런서• DCOS 서비스 발견과 통합• 통합 청녹색 배치• 다양한 레이어 4 LB 알고리즘 지원
• 단일 초크 포인트가 없는 고 가용성 LB• 청록색 배포로 무중단 서비스 업그레이드 가능• 대용량의 호스트 장애에 대한 뛰어난 확장성과 허용성
STATEFUL CONTAINERS WITH VOLUMES
• 컨테이너에 대한 영구 로컬 볼륨• 공유 저장소를 사용하는 외부 볼륨• DCOS 볼륨 관리 UI
• 컨테이너와 같은 MySQL 같은 상태 보존 형 애플리케이션 실행• 기존 공유 저장 장치와 통합• 통합 볼륨 관리자로 멘지 및 문제 해결
MODERN GRAPHICAL USER INTERFACE
• 배포 및 관리를 위한 단순한 UI- 컨테이너- 작업, 예정 및 반복 작업 (Chronos)- App Universe를 통한 데이터 센터 서비스- 인프라 관리, 보안 및 액세스 제어- 모니터링 및 문제 해결
• 단순화 된 애플리케이션 이식성, 클라우드 버스팅, 벤더 종속성확보 (진정한 하이브리드 클라우드)
• 간소화된 CI/CD 통합, 여러 환경에서 관리/유지 하기 위한복잡한 스크립트 없음
POWERFUL COMMAND LINE INTERFACE(CLI)
• 컨테이너, 작업 및 패키지를 포함한 모든 작업 부하를배포하고 관리하기 위한 강력한 CLI
• 애플리케이션 및 시스템 로그 모니터링 및 문제 해결• Mac, Windows, Linux에서 실행• 기본 ssh 암호화• 통합 액세스 제어
• 어디서든 데이터 센터를 안전하게 관리• 관리자 머신에서 강력한 스크립트 작성• 강력한 변경 관리 도구 (Chef/ Puppet)를 사용하여 데이터 센터
관리 자동화
DC/OS FEATURES & BENEFITS
DC/OS IMPACT AT A MARKETING ANALYTICS FIRM
2.50
4.90
1.70
0.80
2.98
0.05
Pysical Server Cloud(AWS) Admin Time
Before With Mesosphere
Savings with Mesosphere DC/OS$Millions USD
70% Savings($1.70M)
40% Savings($1.92M)
8 admins assigned to higher value projects
500 physical servers @$5,000
167 physical servers @$5,000
m3 medium x8,000 instances @$0.07/hr
m3 2xlarge x1,000 instances @$0.34/hr
8.5 fully loaded FTEs @$2,000K/yr
0.23 fully loaded FTEs @$2,000K/yr
BENEFITS OF USING DC/OS TO RUN MESOS
검증된아키텍처
검증 된 베스트 프랙티스 솔루션을 사용하고
인프라에서 눈송이를 줄이십시오.
빠른생산
완벽한 솔루션을 구현 및 확장하며
몇 주일이 아닌 며칠 만에 생산에 들어감
애플리케이션패키징
Spark, Kafka 및 Cassandra와 같은 복잡한
기술을 단일 명령으로 배포, 운영 및
업그레이드
단순화된관리
DC / OS CLI / UI / API를 사용하여
전체 인프라를 쉽게 모니터링하고 운영
24/7 지원
Mesosphere 및 핵심 커미터로부터 최고
수준의 지원을 받고 로드맵에 반영
벤더종속탈피
DC/OS에서 모든 Mesos 프레임 워크를
실행하고, 오픈 코어 모델로 벤더 종속성 탈피
목차
Technology trends
About Mesosphere
Apache Mesos
DC/OS (Data Center Operation System)
References
PRODUCTION USERS & CUSTOMERS
Verizon
Challenges
• Verizon은 사용자가 비디오 서비스 및 모바일 응용프로그램에서 생성하는 데이터의 양과 속도를 처리 할수 있는 인프라가 필요했습니다
• Verizon은 애플리케이션, 서비스 및 대규모 데이터인프라를 구축 할 때 자동화, 확장 성 및 효율성을개선하고자 했습니다.
Mesosphere Solutions
• Mesosphere DCOS를 통해 Verizon은 데이터 센터의 IT 요구 사항을 줄이면서 신제품 및 서비스를 신속하게출시 할 수 있었습니다
• 하이브리드 클라우드 기능을 위하여 Mesosphere DCOS 선택, AWS에서 Verizon의 프라이빗 데이터 센터로 이동
Larry Rau from @Verizon with @flo Launching50,000 containers in seconds with@mesosphere #DCOS
Microsoft
Challenges
• 온 프레미스 및 Azure 상에서 작동하는 대량 생산규모의 실 서비스 수준의 네이티브 컨테이너 서비스필요
• Azure CI/CD, 앱 관리 및 자동 확장 인프라와 쉽게통합될 수 있어야 함
• Microsoft 및 Linux 친화적 기술
Mesosphere Solutions
• 여러 솔루션을 객관적으로 평가한 후에Mesos/Mesosphere가 가장 적합한 것으로 판단
• 현재 Azure Container Service의 핵심 기술로Mesosphere DCOS를 통합 작업 중
• Windows 빌드가 진행 중
Autodesk
Results
• 작년 한 해 동안 DC/OS에서 3 개 지역의 이벤트스트리밍 및 대량 데이터 처리 파이프 라인 서비스를실행 한 결과
- AWS 인스턴스의 66 % 감소
- 비용 향상 최대 57 %
- 중단 시간 없이 신규 빌드를 배치하는데40 초 소요
- 하나의 새로운 지역을 세우는데 3 분의 시간소요
- 100 % 가동 시간
- 필요한 총 자원 : DevOps 엔지니어 1명
감사합니다[email protected]+820187817428
