Используемые технологии: IBM Big Data

Технологии больших данных

IBM предлагает собственный набор продуктов для работы с большими данными. В отличие от свободно распространяемого ПО, эти продукты заточены под корпоративное использование, отличаются широкими возможностями интеграции, серьезным функционалом обеспечения безопасности и более удобным администрированием.

Всё вместе позволяет достигать стоимости владения, сравнимой со стоимостью для решений на свободном ПО. Выбор зависит от каждого конкретного проекта и заказчика.

 

IBM InfoSphere BigInsights — дистрибутив Hadoop от лидера на рынке коммерческого ПО.

Отличительными особенностями дистрибутива являются:

  • Полноценная реализация SQL для доступа к данным
  • BigSheets — инструмент наподобие Excel, позволяющий работать быстро и удобно с разнородными данными
  • Средства разработки на базе Eclipse с различными дополнениями, снижающими стоимость и срок разработки
  • Единая консоль управления всеми сервисами и мерами безопасности
  • Собственная реализация механизмов оптимизации нагрузки позволяет достичь большей производительности по сравнению с бесплатным вариантом
  • Возможность использовать файловую систему GPFS, аналог HDFS, которая широко используется в корпоративных системах

IBM InfoSphere Streams — аналитическая платформа, позволяющая обрабатывать поступающие данные на лету, вплоть до миллионов событий в секунду от тысяч различных источников.

Удобный интерфейс позволяет выстроить структурированную цепочку обработки всех данных, что позволяет осуществлять корреляцию и сравнение, обрезку и форматирование, оповещения и запуск других задач, реагируя в реальном времени на все сигналы.

IBM Watson Explorer — продукт для централизованного сбора и обработки информации, представляет из себя продвинутую поисковую систему для корпоративных нужд.

WE может осуществлять сбор данных с любых источников, таких как веб-сайты, архивы документов (включая PDF), базы данных, веб-сервисы. Для всех источников можно задать правила обработки данных, что позволяет связать данные из всех источников в единую картину.

Типовые сценарии использования системы:

  • Организация поиска. Поиск по ключевым словам осуществляется по всем данным, собранным системой. При этом присутствуют все продвинутые функции, к которым привыкли пользователи Яндекса или Google.
  • Единый взгляд на определенную тему. Создается представление с определенным набором данных. Например, это страница о клиенте оператора связи. При выборе клиента из поиска, на странице отображаются данные из всех источников, таких как CRM, биллинга, мониторинга сети, записи в социальной сети клиента и т.п.

Программно-аппаратные комплексы

Мы предлагаем нашим клиентам программно-аппаратные решения от IBM. Эти решения представляют собой преднастроенный набор серверного оборудования и ПО, оптимизированных под выполнение определенных задач.

Ключевые преимущества такого подхода:

  • При необходимости покупать оборудование под решение Big data покупка программного-аппаратных комплексов обходится дешевле
  • Благодаря особой настройке всех компонентов решение обладает повышенной производительностью

Перечень существующих решений:

  • PureData Systems for Transactions, решение для обработки большого числа транзакционных запросов
  • PureData Systems for Analytics, использует технологии Netezza, позволяет ускорить аналитические запросы на два-три порядка
  • PureData Systems for Operational Analytics, реализует возможности InfoSphere Streams для потоковой обработки данных
  • PureData Systems for Hadoop, пре-интегрированная платформа на базе InfoSphere BigInsights

Управление информацией

Немаловажным является возможность интеграции зарекомендовавших себя технологий IBM, таких как СУБД DB2 и решений класса Master Data Management.

Complementary Content
${loading}