© IBM,2010

Обзор современных подходов IBM к построению систем обработки информацииСергей Каплун,ведущий специалист ДепартаментаКорпоративных Систем,IBM УкраинаSergey.Kaplun@ua.ibm.com

© IBM,2010

Содержание

1. Обзор подходов к построению систем обработки информации

2. Динамическая инфраструктура как модель организации обработки данных, предпосылки применения

3. Последние нововведения IBM

© IBM,2010

IBM’s 2009 Patent Total: 17 yrs of Leadership

IBM 4,914

Samsung 3,611

Microsoft 2,906

Canon 2,206

Matsushita 1,829

Toshiba 1,696

Sony 1,680

Intel 1,537

Seiko Epson 1,330

HP 1,273

SUN 562

Apple 289

EMC 250

Oracle 208

Source: IFI Patent IntelligenceIBM Austin: 880 Patents#1 IBM location for 7th year

© IBM,2010

Watson

IBM Research строит компьютерную систему, способную соревноваться с человеком в игре Jeopardy! (у нас известна как “Своя игра”).

Кодовое название “Watson” – компьютер соперничает с интеллектом человека

Поиск ответов на вопросы в игре Jeopardy! сложная задача

Широкий спектр знаний – история, литература, политика, культура и наука

Природа задаваемых вопросов требует анализа скрытого смысла, вопросы обычно ироничны, сформулированы в виде загадки, целенаправленно усложнены.

Игра основана на теории Вопросов/Ответов, это не просто традиционный поиск информации

Критично для реализации таких приложений, как:

Управление отношениями с клиентами Соответствие требованиям регулирующих органов Системы поддержки конечных пользователей

© IBM,2010

Эволюция центров обработки данных

“В истории уже все было, но народы и правительства никогда не делали выводов и не извлекали для себя уроков, которые им следовало бы извлечь из истории”. Георг Вильгельм Фридрих Гегель (1770-1831)

© IBM,2010

Законы диалектики, проявляющиеся в разных областях.РадиоэлектроникаДетекторный приемник (кристаллический полупроводник) ->

(отрицание) Электронная лампа –>

(второе отрицание) Транзистор, Микросхемы

Авиация

Воздушный винт (движитель первых летательных аппаратов) ->

(отрицание) Турбореактивный двигатель

(второе отрицание) Винтовентилятор

© IBM,2010

Парус: от “Виктории” Магеллана до ....

Космос 1

© IBM,2010

Эволюция систем электроснабжения

“The big switch:Rewriting the world, from Edison to Google” Nicholas Carr

"the best read so far about the significance of the shift to cloud computing" -Financial Times

© IBM,2010

Layer 2 Switches

SSL Appliances

Caching Appliances

Storage Fibre Switches

Storage Fibre Switches

SSL Appliances

Caching Appliances

ЦОД сегодня

FileServers

WebServers

SecurityGateway

WebSphere ApplicationServers

NetworkServers

ApplicationServers

SecurityServers

ApplicationServers

SAN

Layer 4-7 Switches

Public Internet/Intranet Clients

Routers (Layer 3 Switches)

Firewalls

© IBM,2010

Технология Типичное время доступа Человеческий м-таб

Приблиз.емкость Применение

РегистрПроцессора

100 пикосекунд (100 e-12) 0.1 сек 64 × 64 бит Часть процессора

Интегр.Кэш

L1: ~1, L2-L3: 2-10 наносекунд (10 e -9)

10 сек Часть МБ до нескольких МБ

Часть процессора

Сеть Ethernet(10 Гб/сек)

100 микросекунд (100 e -6) ~30 часов <= 10 Гб/сек Сеть

Диск ~6 миллисекунд (6 e -3) ~70 дней Сотни ГБ Сеть

Свет 1 метр в оптоволокне

~ 4000 пикосекунд (4000 e-12) ~4 сек

Память DDR3 ~10-60 наносекунд (60 e -9) ~1-5 мин Десятки – сотни ГБ

Магистраль сервера

Сеть Infiniband 8-10 микросекунд (10 e -6) ~3 часа 8 Гб/сек Магистраль/сеть

“Difficile est proprie communia dicere” Quintus Horatius Flaccus

© IBM,2010

Не слишком ли много соединений и кабелей?

Как такое можно планировать,обслуживать, обновлять, изменять, обеспечить надежность ?

© IBM,2010

Факторы, ограничивающие развитие современных вычислительных систем

David Patterson , профессор, университет Berkeley, США

The power wall -стена мощности

+

The memory wall -стена памяти

+

The ILP wall -стена параллельности

на уровне команд

= a brick wall for serial performance.

§http://www.ctwatch.org/quarterly/articles/2007/02/the-many-core-inflection-point-for-mass-market-computer-systems/2/

© IBM,2010

Закон Марка Крайдера (Mark Kryder)

Наблюдалась ежегодная тенденция удвоения емкости дисковых накопителей и соответствующим уменьшением стоимости хранения за единицу объема, однако в последнее время тенденция замедлилась. Увеличение объема хранения не сопровождалось должным увеличением скорости обращения к данным (для сравнения IBM RAMAC 350 - 5 000 000 символов, 8 800 символов/сек, 600 миллисекунд время доступа, первые винчестеры Kenneth E Haughton, Jack Harker, Chris Coolures (IBM 3340) – современные диски в 50 000 000 раз имеют большую плотность записи...

http://www.mattscomputertrends.com/Kryder%27s.htmlhttp://www.scientificamerican.com/article.cfm?id=kryders-law

http://www.computerhistory.org/collections/accession/102658029

© IBM,2010

Does IT matter?

“Коротко говоря, в настоящее время остается затруднительным, даже невозможным, прийти к заключению о влиянии ИТ на прибыльность и эффективность бизнеса. Информационные технологии стали значительной частью затрат компаний – самым значимым и неотделимым элементом практически всех современных бизнес-процессов – но компании инвестируют средства в ИТ без ясного понимания общей стратегии и полученного экономического эффекта“

http://books.google.co.uk/books?id=wrROE6SLJFEC&dq=does+it+matter+carr&printsec=frontcover&source=bn&hl=en&ei=FzFcSvPGMZHesgaC-5SUBw&sa=X&

oi=book_result&ct=result&resnum=4

Nicolas G.Carr,

”Does IT matter? Information Technology and the corrosion of competetive advantage” 2004

© IBM,2010

Сколько стоит в год сервер в распределенной системе ?

Стоимость электроснабжения $731

Стоимость занимаемой площади $987

Стоимость технического обслуживания $777

Стоимость обслуживания и поддержки соединений $213

Стоимость обслуживания дисковых накопителей $203

Стоимость сопровождения программного обеспечения $10,153

Стоимость обслуживания корпоративной сети $1024

Затраты на обслуживающий персонал и управление $20,359

Общая стоимость на сервер $34,447

Источник: Внутренние исследование IBM, 3 917 распределенных серверов в рамках проектов по консолидации

© IBM,2010 19

97

Структура затрат на содержание центров обработки

SOURCE: IDC, ‘Worldwide Server Power and Cooling Expense 2006-2010,’ Document #203598, Sept. 2006

К-во установленных физических серверов(миллионы)

Source: IDC, May 2006

Стоимость обслуживания

$0

$50

$100

$150

$200

$250

$300

1996

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

Затраты(US$B)

Затраты на новые серверы

Стоимость электроснабжения и охлаждения

0

5

10

15

20

25

30

35

40

45

50

55

60

65К-во установленныхфизических и виртуальных серверов (миллионы)

Неучтенные затраты на сопровождение

§ IDC прогнозирует, что использование виртуализации приведет к существенному увеличению количества обслуживаемых серверов (физических и виртуальных) Это не учтено в прогнозируемом росте стоимости обслуживания

© IBM,2010

Как используется электроэнергия в ЦОД?

Memory; 11%

Fans; 9%

Pr ocessor

30%

HVAC,UPS 40%

IT power

60%

Используется

20%= 3,6% всего

Простаивает 80%

+1 Вт полезного использования5 Вт для питания процессора16 Вт для питания сервера27 Вт центра обработки

0

20

40

60

80

100

Центр обработки Сервер

Server Loads

X1,7 x3 x5

P lanar; 4%P CI; 3%

Drives; 6%Standby; 2%

DC/DC losses; 10%

AC/DC losses; 25%

1 Вт электроэнергии

Ty pical Utilization Mainf rame 80 – 90%Unix 10 – 20% Wintel 5 – 12%

Коэффициент полезного действия 1/27=3.7%

Паровая машина 8-12%, современная паровая турбина 45-47 %, газотурбинная установка + регенератор 55-60%

Based on IBM Server Consolidation Engagements

http://www.expert.ru/printissues/expert/2007/09/dvigatelnaya_istoriya/

© IBM,2010

Как изменяется тепловыделение компонентов инфраструктуры в центрах обработки?

© IBM,2010

Power Density paradox

Увеличение потребляемой мощности (тепловыделения) на единицу площади, необходимой для размещения оборудования (характерно для коммуникационного оборудования, серверов – лезвий), приводит к потребности в дополнительном оборудовании для энергоснабжения и эффективного отвода тепла и дополнительной площади центра обработки для обеспечения циркуляции охлаждающего воздуха.

Пример для центра обработки (тепловыделение 100 ватт/квадратный фут)

http://www.transitionaldata.com/insights/TDS_DC_Optimization_Power_Density_Paradox_White_Paper.pdf

© IBM,2010

Scal

e U

p /

Scal

e U

p / К

онсо

лиди

рова

нная

пла

тфор

ма

Конс

олид

иров

анна

я пл

атф

орм

а

Scale Out / Scale Out / Распределенная платформаРаспределенная платформа

System ZPower Systems

SystemX3950m2(16 sockets)

ClustersPowerHAParallel SysplexHPC

BladeCenter™High DensityHigh DensityRack MountRack Mount

Enterprise SMPEnterprise SMP

PartitioningVirtualization

Servers & IO физическая интеграция

Аппаратные средства и подходы для построения инфраструктуры

© IBM,2010

T1 - время, затрачиваемое на реализацию алгоритмана одном процессоре (узле), - доля операций в алгоритме, выполняемых одним процессором (узлом), (1- ) - доля операций, выполняемых всеми процессорами (узлами) - общее время, требуемое для доставки данных для обработки.

Закон Амдаля Ускорение выполнения операций при параллельной обработке на несколькихУзлах обработки

p–число процессоров (узлов)

http://ru.w ikipedia.org/w iki/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%90%D0%BC%D0%B4%D0%B0%D0%BB%D0%B0

© IBM,2010

Обеспечение качества обслуживания и запас производительности сервера

L=La + k*σ для одного сервера

L= N * La + k * N * σ для распределенной системы из N серверов

© IBM,2010

Почему нужно менять подходы ?

85% простоиВ распределенных системах доступные вычислительные ресурсы используются всего на 15% Поставщики продуктов потребления

теряют около $40 миллиардов ежегодно (или 3.5% выручки) из-за неэффективности управления поставками.

33% потребителей прерывают отношения с поставщиками услуг из-за выявленных проблем в безопасности информационных систем.

33%

$40 000 000 000

Взрывообразный рост обрабатываемых данных приводит к 54% росту объема систем хранения ежегодно.

в 1,5 раза в год

70¢ на $170% затрат на поддержку IT инфраструктуры а не ее развитие.

Может в консерватории что-то исправить? (с) М.М.Жванецкий.

© IBM,2010

Динамическая инфраструктура - определение

Динамическая инфраструктура (Dynamic infrastructure) - модель информационных технологий, предоставляющая возможность интеллектуального, автоматического и защищенного перемещения вычислительной нагрузки в центре обработки данных.

Применение этой модели способствует повышению производительности, масштабируемости, возможности проведения работ по обслуживанию аппаратных и виртуальных систем без прерывания бизнес-операций, сокращению затрат на ИТ, помогает обеспечить требуемую непрерывность функционирования и высокую доступность данных, характерных для “облачных вычислений” (Cloud Computing)

http://en.wikipedia.org/wiki/Dynamic_Infrastructure

© IBM,2010

Динамическая инфраструктура сосредоточена на решении современных проблем

Динамическая инфраструктура

Ограничения доступных ресурсов, сложность в управлении и модернизации.

Страдает от несоответствия требованиям регулирующих органов, проблемы стандартизации

Острова вычислительных ресурсов приводят к низкому уровню использования и неэффективности оборудования

Разобщенность бизнеса и IT

Инфраструктура сегодня

§ Предоставляет встроенную прозрачность, управляемость и автоматизацию процессов обслуживания.

§ Оптимизирована для выполнения большего количества задач при меньших затратах

§ Направлена на решение проблем, связанных с ростом и разнообразием обрабатываемой информации.

§ Сокращает и устраняет риски.

§ Очень гибкая и просто адаптируемая.

© IBM,2010

Динамическая инфраструктура должна поддерживать растущие потребности:

Facilities Facilities InfrastructureInfrastructure

ProductionProductionInfrastructureInfrastructure

MobilityMobilityInfrastructureInfrastructure

TechnologyTechnologyInfrastructureInfrastructure

Communications Communications InfrastructureInfrastructure

+ + + +DYNAMIC INFRASTRUCTURE

§ Принятие обоснованных решений в рельном масштабе времени: – Системы, адаптирующиеся к изменяющимся условиям более полно

удовлетворяют потребности бизнеса.

§ Управление сервисами в условиях более оснащенного инструментами бизнеса, интегрированного с информационными технологиями :

– Интегрированный подход к управлению сервисами.

§ Изменяющийся состав хранимых и обрабатываемых данных, бурный рост объема хранимых данных:

– Новые сервисы, построенные на технологиях “облачных” вычислений.

© IBM,2010

Разумная планета увеличивает сложность задач и объемы обрабатываемых данных.

Новые инструменты создают огромные объемы данных и приложений, требующие обработки в реальном времени и прогнозирования.

Analytics with Online Transaction Processing

Network Security& Threat Management

3D On-Line Infotainment

FinancialAnalytics

MedicalImaging

Video Surveillance

AdvancedSearch

© IBM,2010

0 0 : 0 0 0 2 : 0 0 0 4 : 0 0 0 6 : 0 0 0 8 : 0 0 1 0 : 0 0 1 2 : 0 0 1 4 : 0 0 1 6 : 0 0 1 8 : 0 0 2 0 : 0 0 2 2 : 0 0 2 4 : 0 0

01:00 03:00 05:00 07:00 09:00 11:00 13:00 15:00 17:00 19:00 21:00 23:00

Про

цент

исп

ольз

ован

ия

проц

ессо

ров

Core system

Infrastructure

ERP/CRM

Web Services4

отде

льны

х се

рвер

а ил

и ф

икси

рова

нны

х ра

здел

а

• Компоненты ПО интегрированы с точки зрения реализуемой бизнес-логики, а не с точки зрения создаваемой нагрузки

• Компоненты размещаются на отдельных серверах или разделах сервера

• Серверы и программное обеспечение IBM позволяют комбинировать разнородную нагрузку, сохраняя изолированность приложений в рамках отдельных экземпляров ОС

Композитный профиль нагрузки

00

:00

01

:00

02

:00

03

:00

04

:00

05

:00

06

:00

07

:00

08

:00

09

:00

10

:00

11

:00

12

:00

13

:00

14

:00

15

:00

16

:00

17

:00

18

:00

19

:00

20

:00

21

:00

22

:00

23

:00

24

:000

20

40

60

80

100

Про

цент

исп

ольз

ован

ия

проц

ессо

ров

Core system

Infrastructure

Web Services

§Пики нагрузки со стороны компонентов ПО не совпадают во времени - композитная нагрузка носит более равномерный характер и требует избыточных вычислительных ресурсов, которые используются прикладными системами по мере потребности

ERP/CRM

© IBM,2010

Что такое виртуализация?

Термин “виртуализация” сегодня применяется в очень широком смысле

-Все то, что относится к абстрагированию от аппаратных ресурсов

В терминах маркетинга

-Подтвержденный практикой подход совместного использования разделяемых ресурсов, сокращающий стоимость, повышающий уровень использования вычислительных ресурсов и позволяющий создать инфраструктуру, динамически изменяющуюся по потребности

В технических терминах

-Отделение программного обеспечения от аппаратных средств, абстрагирование ПО от платформы, на которой оно выполняется

Происхождение термина

-Возник в связи с созданием виртуальной машины (VM), являющейся комбинацией программного и аппаратного обеспечения (разработана IBM в 60х годах прошлого века)

-Несколько сред выполнения (виртуальных машин), выполняющихся на одной физической системе, каждая из которых управляется своей операционной системой

-Virtual – латинский корень Vir (мужчина), близкое по смыслу Virtue –

соответствие жизни и поведения к моральным и этическим принципам; хорошее или замечательное качество или собственность

© IBM,2010

IBM : 43 летняя история виртуализации

IBM develops Hypervisor that would become VM on the mainframe

IBM announces first machines to do Physical Partitioning

IBM announces LPAR on the mainframe

POWER LPAR design begins

1967 1973 1987

IBM introduces LPAR in POWER4 systems with AIX / Linux

Advanced POWER Virtualization ships

200420011997

Timeline reference http://www.levenez.com/unix/history.html#01Client quote source: rku.it case study published at http://www.ibm.com/software/success/cssdb.nsf/CS/JSTS-6KXPPG?OpenDocument&Site=eserverpseries

IBMannouncesPowerVMLive partition Mobility

2008 2009/10

IBMannouncesActive memory sharingActive memory expansion

1973 1974 1978 200720031997 2008 2009

Virtual Storage is a component of the OS/VS1 system

IBM announces MSS – Mass Storage System

IBM invents RAID

IBM announces Virtual Tape Server

IBM announces SAN Volume Controller

IBM announces System Storage Productivity Center

Серверы

Системы хранения IBM announces new storage systemXIV

© IBM,2010

IBM : 43 летняя история виртуализации

AIX

POWER™Based-Server

POWERHypervisor

Linux iz/OS™

PR/SMHypervisor

Linux z/VM

z/990Server

POWER Systems: Наследование технологий System z для AIX,Linux, I

System z: “ Золотой стандарт” виртуализации, надежности и доступности

Начиная с 1988 г Начиная с 2001 г

Технология, проверенная временем

© IBM,2010

Hypervisor Firmware/Software,выполняется сервером

Hypervisor software, выполняется операционной системойIBM System z™ PR/SM and zVM™

IBM PowerVM EditionsHP vPartitionsVMware ESX ServerSun Logical Domains (T2000)

HP Integrity VMSolaris ContainersIBM AIX® V6.1 Workload Partitions

IBM S/370 SI->PP & PP->SI, Sun DomainsHP nPartitionsIBM System x 3950

Физические разделы

Adjustablepartitions

PartitionController

...

SMP Server

OS

Apps

OS

Apps

Hypervisor

SMP Server

...OS

Apps

OS

Apps

Host OS

SMP Server

Hypervisor

...OS

Apps

OS

Apps

Hardware Partitioning Hypervisor: Type 1 Hypervisor: Type 2

Какая бывает виртуализация?

“Я пришел к тебе с приветом, я прочел твои тетради: в прошлом веке неким Фетом был ты жутко обокраден”Игорь Губерман (1931-)

© IBM,2010

Не все то золото, что блестит

© IBM,2010

Непревзойденная масштабируемость, универсальность и безопасность.

IBM System z™

IBM System Storage™

IBM Power™ Systems

IBM BladeCenter® IBM System x™

Масштабируемость систем хранения для SAN и NAS.

Полная интегрирация ввода/вывода и резервирование, энергоэффективность

Центральное управление виртуальными и физическими ресурсами ЦОД .

Динамическое перераспределение и мобильность для AIX, Linux и i

Консолидация разнородных нагрузок, надежность.

IBM Systems Director

z/VM PowerVM

Виртуализация и управляемость систем IBM

X5 ArchitectureCoolBlue™

SVC

© IBM,2010

§ Пул стандартизованных строителных блоков.

§ Работа с большим количеством образов как с одним.

§ Автоматическое размещение новой нагрузки.

§ Агрегированное управление и отслеживание состояния.

§ Унифицированное обслуживание.

§ Надежное и простое включение новых устройств.

Cloud Enabled

§ Управление на основе характеристик нагрузки и уровнях сервиса.

§ Интегрированное управление виртуальных сервисов и процессов .

§ Высокая доступность.

§ Эластичное масштабирование

§ Оплата по использованию.

§ Автоматическое предоставление ресурсов.

Best Practices

§ Лучшие практики, соответствующие потребностям бизнеса.

§ Стандартизованные виртуальные строительные блоки.

§ Улучшенная управляемость.

Virtual Machine Images

§ Получение и каталогизация виртуальных образов систем, используемых в центрах обработки.

§ Стандартизация виртуальных образов строительных блоков.

§ Адаптация к требованиям .

§ Упрощенное применение.

App

OS

Image

App

OS

Image

App

OS

Image

App

OS

Image

Image Library

System Pools

Пулы виртуальных ресурсов – строительные блоки для построения инфраструктуры.

© IBM,2010

Требуемые характеристики инфраструктуры для облачных вычислений

§ Основана на открытых стандартах, сервисно-ориентированная.

§ Виртуализированная и управляемая с использованием специальных средств.

§ Состоит из стандартизованных компонентов и сопровождается стандартными техпроцессами.

§ Защищена и устойчива к изменяющимся условиям.

§ Проста в использовании, оснащена каталогом предоставляемых сервисов.

Динамическая инфраструктура IBM основа для “облачных вычислений”.

CLOUD COMPUTING

© IBM,2010

Динамическая инфраструктура – направленность в будущее

Не только обеспечение высокой доступности и качества предоставляемых сервисов, а соответствие требованиям, предъявляемым к новым сервисам и динамический доступ в реальном времени

Не только сокращение операционных затрат и сложности, а достижение высочайшего уровня производительности посредством виртуализации, оптимизации ресурсов и энергоэффективности.

Сокращение затрат

Улучшение качества сервисов

Управление рискамиНе только защита от существующих угроз, адаптация к изменяющимся условиям и требованиям регулирующих органов, а сокращение влияния новых рисков, возникающих в нашем объединенном и взаимодействующем мире.

Dynamic Infrastructure

© IBM,2010

Спасибо за внимание!

Сергей Каплун,ведущий специалист Департамента Корпоративных Систем IBM УкраинаSergey.Kaplun@ua.ibm.comКиев, ул. Глыбочицкая 4, Артем бизнес-центр

…В мире, где энтропия в целом стремится к возрастанию, существуют местные и временные островки уменьшающейся энтропии, и наличие этих островков дает возможность некоторым из нас доказывать наличие прогресса. (Норберт Винер “Кибернетика и общество”. 1950г.)

Мы плывем вверх по течению, борясь с огромным потоком дезорганизованности, который в соответствии со вторым законом термодинамики,стремится все свести к тепловой смерти - всеобщему равновесию и одинаковости. … В этом мире наша первая обязанность состоит в том, чтобы устраивать произвольные островки порядка и системы (Норберт Винер. “Я – математик”. 1950г.)