«Платформа Microsoft SQL Server 2012 продемонстрировала мощное развитие средств бизнес-аналитики и поддержку новейших технологий в области обработки Больших Данных»

Дэвид Мариани, технический вице-президент, Klout

Задача компании Klout состояла в том, чтобы предоставить своим клиентам и партнерам подробные результаты анализа данных из социальных сетей, объем которых исчисляется сотнями терабайт. Кроме того, требовалось повысить продуктивность бизнес-анализа. Создав решение на основе Microsoft SQL Server 2012 Enterprise и Apache Hadoop, Klout смогла обеспечить выполнение запросов почти в реальном времени. Одновременно удалось снизить затраты, повысить эффективность и точность анализа, расширить возможности внедрения новых технологий.

Потребности бизнесаKlout помогает своим клиентам анализировать сотни терабайт данных и около миллиарда сообщений, генерируемых ежедневно пользователями 15 ведущих социальных сетей, включая Facebook и LinkedIn.«Мы преобразуем необработанные данные в ценную информацию, на основе которой наши клиенты и партнеры могут принимать решения», — отмечает Дэвид Мариани, технический вице-президент компании Klout.

Предназначенные для анализа и последующей индексации данные создаются более чем 100 миллионами пользователей, к числу которых относятся и сотрудники Klout, и люди, с которыми они взаимодействуют на сайтах социальных сетей. Частные клиенты обращаются к Klout для оценки степени своего влияния на пользователей Интернета (влияние измеряется по шкале от 1 до 100), а также для участия в кампаниях, где предлагаются подарки и бесплатные услуги. Свыше 3500 партнеров Klout используют ее услуги по обработке данных с целью более глубокого

понимания потребительских тенденций, изменения спроса и роли «сарафанного радио» в рекламном бизнесе.

Для обеспечения нужного уровня анализа данных и во избежание чрезмерных затрат компания Klout использовала собственную инфраструктуру на основе платформы Apache Hadoop с открытым исходным кодом. Эта платформа обеспечивает распределенную обработку больших объемов данных, что позволило организовать отдельное хранилище для данных из каждой социальной сети. Управление запросами осуществлялось посредством настраиваемых веб-служб, каждая с собственной бизнес-логикой, которые извлекали данные из хранилищ и обрабатывали их.

Поддержка Hadoop и собственных веб-служб для бизнес-анализа отнимала у сотрудников компании немало времени. Кроме того, возможности анализа данных были ограничены. Например, для доступа к подробной информации, хранящейся в Hadoop, требовалась разработка дополнительного кода, поэтому предоставляемые пользователям данные зачастую не

Заказчик: KloutВеб-сайт: www . klout . com Размер: 70 сотрудниковСтрана или регион: СШАОтрасль: профессиональные услуги в области обработки данных

Информация о компанииКомпания Klout основана в 2007 годув Сан-Франциско, штат Калифорния, США. Занимается оценкой степени влияния пользователей в социальных сетях, помогая своим клиентам получать конкурентные преимущества путем фильтрации и анализа большого объема информации. По мнению таких изданий, как Wall Street Journal и Forbes, Klout является первопроходцем в области решений для работы с большими объемами данных.

Общие сведения о решении Повышение эффективности и

сокращение затрат путем снижения сложности и ускорения обработки запросов больших объемов данных в реальном времени.

Более эффективный анализ и предоставление конкурентных преимуществ за счет получения подробных сведений и использования возможностей настраиваемых средств бизнес-анализа (будут реализованы в ближайшее время).

Масштабируемое решение для бизнес-анализа на основе платформы Microsoft и программного обеспечения с открытым исходным кодом.

Другие примеры успешного использования решений Microsoft представлены по адресу:www.microsoft.com/casestudies

Microsoft SQL ServerИстория успеха

Компания, которая специализируется на обработке данных, использует средства бизнес-анализа Microsoft и платформу Hadoop для анализа больших объемов данных

обладали достаточным уровнем детализации. К тому же обработка запросов длилась несколько минут, а порой и часов, причем отчеты формировались только по заранее определенным шаблонам.

Компании Klout нужно было обновить инфраструктуру, чтобы повысить свою эффективность и организовать поддержку настраиваемых средств бизнес-анализа. Кроме того, инженерам требовались технологи, способные обеспечить высокий уровень доступности и масштабируемости, соответствующий современным требованиям к производительности и темпам роста объема данных.

РешениеВ 2011 году компания Klout внедрила решение для бизнес-анализа, созданное на основе платформы Microsoft SQL Server 2012 Enterprise и позволяющее управлять данными при помощи системы хранения Hive с открытым исходным кодом. «В том, что касается бизнес-анализа, наборы средств с открытым исходным кодом недостаточно эффективны, нам не удалось найти ничего подходящего, — рассказывает Мариани. — Вместо этого мы решили объединить лучшее из свободного и проприетарного инструментария и использовать платформу для бизнес-анализа компании Microsoft, дополненную Hadoop и Hive». Исходя из своего прежнего опыта работы с этой платформой, специалисты Klout понимали, что SQL Server обладает отличной совместимостью со сторонними программными решениями и способно обеспечить нужный уровень производительности для обработки больших объемов данных.

В августе 2011 года инженеры создали хранилище на основе Hive, объединяющее данные из всех сетевых хранилищ Hadoop. Кроме того, платформа SQL Server 2012 была развернута на сервере под управлением Windows Server 2008 R2 Enterprise, что позволило использовать все преимущества служб анализа Microsoft SQL Server 2012 Analysis Services. Эти возможности использовались для управления всей бизнес-логикой, обеспечивающей многомерную

интерактивную аналитическую обработку (MOLAP). Данные хранятся в многомерных кубах, что позволяет сохранить высокую детализацию и ускорить процесс анализа. Для обеспечения высокой доступности база данных реплицируется в дополнительную систему с помощью SQL Server 2012 AlwaysOn.

На момент развертывания решения платформы SQL Server 2012 и Hive еще не могли напрямую обмениваться информацией. Эту проблему удалось решить путем настройки временной реляционной базы данных на основе ПО MySQL 5.5, которая содержит все сведения, собранные за предыдущие 30 дней, и служит промежуточной ступенью для обмена информацией и ее анализа. В настоящее время инженеры Klout работают над внедрением нового драйвера ODBC в SQL Server 2012, что позволит связать Hive напрямую со службами SQL Server 2012 Analysis Services. Кроме того, для достижения большей эффективности Klout планирует внедрить в свое решение и другие средства бизнес-анализа Microsoft, например Microsoft SQL Server Power Pivot для Microsoft Excel.

ПреимуществаОжидается, что новое решение поможет повысить эффективность работы компании, снизить расходы, расширить возможности анализа и внедрить новые технологии.

Повышение эффективности и сокращение затратЗа счет использования аналитических возможностей платформы Microsoft пользователи смогут получать нужные результаты почти в реальном времени. «Благодаря применению служб SQL Server 2012 Analysis Services для создания кубов в модель MOLAP ежедневно загружается 350 миллионов строк новых данных Hive, а также анализируется 35 миллиардов строк информации, при этом среднее время обработки запроса не превышает 10 секунд», — отмечает Мариани. Преимуществами нового решения являются также простота и экономичность. «Поскольку мы используем как программное обеспечение с открытым исходным

кодом, так и коммерческие решения, нам не приходится создавать все с нуля. Мы получили в свое распоряжение набор эффективных инструментов с надежной поддержкой», — добавляет он. Теперь Klout тратит меньше времени на управление бизнес-логикой и подключениями к данным. «Создание единого хранилища данных Hive и перенос всей бизнес-логики в службы SQL Server 2012 Analysis Services позволяют нам без труда обрабатывать все данные, которые ранее были скрыты в изолированных хранилищах Hadoop», — резюмирует Мариани.

Повышение эффективности анализаПосле внедрения всех компонентов системы заказчики и сотрудники смогут использовать новую систему для бизнес-анализа с целью получения не только обобщенной информации, но и подробных данных. Это позволит более эффективно осуществлять мониторинг в социальных сетях и добиваться конкурентных преимуществ. Что же касается пользователей, то они получат полный контроль над анализом данных. «SQL Server 2012 и средства бизнес-анализа Microsoft — это эффективные инструменты для обработки больших объемов данных, — заявляет Мариани. — Мы используем службы SQL Server 2012 Analysis Services и средства бизнес-анализа Microsoft для выполнения произвольных запросов к большим объемам данных в Hadoop, при этом время реагирования составляет доли секунды».

Внедрение инноваций

Данный текст предназначен исключительно для ознакомления. КОРПОРАЦИЯ MICROSOFT НЕ ПРЕДОСТАВЛЯЕТ НИКАКИХ ГАРАНТИЙ, ЯВНЫХ ИЛИ ПОДРАЗУМЕВАЕМЫХ.

Документ опубликован в феврале 2012 г.

Компания Klout использует гибкую и масштабируемую инфраструктуру, предоставляющую широкие возможности для анализа данных. «В том, что касается бизнес-анализа, платформа Microsoft SQL Server 2012 продемонстрировала мощное развитие и поддержку новейших технологий в области обработки больших объемов данных, — делает вывод Дэвид Мариани. — Благодаря сотрудничеству с Microsoft в разработке решений на основе таких технологий, как SQL Server PowerPivot для Excel и Hadoop, мы можем предлагать нашим клиентам уникальные услуги».

Данный текст предназначен исключительно для ознакомления. КОРПОРАЦИЯ MICROSOFT НЕ ПРЕДОСТАВЛЯЕТ НИКАКИХ ГАРАНТИЙ, ЯВНЫХ ИЛИ ПОДРАЗУМЕВАЕМЫХ.

Документ опубликован в феврале 2012 г.

Программное обеспечение и службы Набор серверных продуктов Microsoft− Windows Server 2008 R2 Enterprise− Microsoft SQL Server 2012 Enterprise

Технологии− Службы анализа Microsoft SQL

Server 2012 Analysis Services