Embed Size (px)
Citation preview
Слоны в облакахработаем с Hadoop в Windows Azure
Владимир ЮневMicrosoft
Agenda
Big Data и Microsoft
Как мы поддерживаем Hadoop
Hadoop в Windows Azure как сервис по требованию
Насколько «Big Data» биг сегодня?
Image courtesy of CERN
1 PETABYTEданных в секунду получает Большой адронный коллайдер
2005 2008 20150
100020003000400050006000700080009000
130 EB
1227 EB
7910 EB
Big «Big Data»
Интернет видео – 18 Экзабайт в месяц
Мобильный трафик – 2 Экзабайта в месяц
В 2011 году Фейсбук перенес 11 Петабайт данных в свой Hadoop кластер
Пользователи Twitter создают более 1 терабайта сообщений в день
Cisco предполагает что к 2013 интернет трафик достигнет величины 667 экзабайт ( в год ), а к 2015 – превысит 1 Зеттабайт
Big unstructured data
* by Gartner
Microsoft и Big Data
4 триллиона объектов в Windows Azure
Bing скачивает 7 петабайт данных в месяц
Microsoft и Big Data
500 миллионов активных аккаунтов Microsoft Account
460 миллионов уникальных пользователей MSN в месяц
355 миллионов пользователей почты Hotmail
5.5+ миллиардов запросов к Bing в месяц
40 миллионов активных пользователей Xbox Live
14 миллиардов показов рекламы Microsoft Advertising в месяц
2-4 миллиарда писем в Office 365 ежедневно
Microsoft и Apache Hadoop
Microsoft и Apache Hadoop
SQL Server Connector for Apache Hadoopwww.microsoft.com/download/en/details.aspx?id=27584
Open source Hadoop .NET SDKhttp://hadoopsdk.codeplex.com/
Hive Add-in for Excel и Hive ODBC Driver
Microsoft HDInsight – 100% Hadoop для Windows Serverhttp://www.microsoft.com/bigdata
Windows Azure HDInsighthttp://HadoopOnAzure.com
Microsoft - Platinum Sponsor Apache Software Foundation
MicrosoftHDInsight
HDInsight на сервере и в облаке100% opensource-реализация платформы Apache Hadoop
знакомые инструменты для работы с данными (Excel, BI)
HDFS, MapReduce, Pig, Hive, Zookeeper, Mahout, …
интеграция с SQL Server, обмен данными
быстрое развертывание
инструменты управления Apache Ambari+System Center
интеграция и безопасность с Active Directory
доступ к сервису по требованию к облаке Windows Azure
АнонсPASS Summit
SQL Server 2012 Parallel Data Warehouseдвижок PolyBase для запросов между реляционными данными и данными Hadoop
Connector for Apache Hadoop для перемещения данных из SQL Server в HDFS и обратно
загрузка данных с SQL Server Integration Services
аналитика, MOLAP-кубы с SQL Server Analysis Services и визуализация с PowerPivot for Excel
интеграция с MicroStrategy, SAP Business Objects, SAS
выход в 2013 году
Могут ли слоны летать в облаках?
Hadoop cluster
Hadoop cluster
Windows Azure
Windows Azure HDInsight
Кластерпо
запросу
Кластерпо
запросу
Создание кластера
Демо Работа с Hadoop в Windows Azure
Заключение
Microsoft вкладывает силы и средства в Apache Hadoop
HDInsight – 100% Hadoop от Microsoft
Hadoop как сервис по требованию доступен в Windows Azure
Слоны могут летать в облаках!
Всем спасибо! Ваши вопросы
Владимир Юневэксперт по стратегическим технологиям, [email protected] - @XaocCPSFacebook – facebook.com/YunevBlog – blogs.msdn.com/b/vyunev
http://www.microsoft.com/bigdatahttp://HadoopOnAzure.com
WindowsAzure.comAzureHub.ru
