Распечатать

Крупным финансам нужны «Большие Данные»

Журнал Retail Finance, №3 2013

Статья Дмитрия Красилова, директора центра решений систем управления данными «Энвижн Груп», по проблематике BigData.

15 мая 2013

Разнообразие данных, возникающих в результате огромного числа всевозможных транзакций и взаимодействий, дает основу для оценки контроля затрат, эффективности маркетинговых акций, перспектив развития продуктов, услуг и направлений деятельности финансовых организаций.

Осуществить такой анализ быстро и эффективно помогают «большие данные» (Big Data) – методы и технологии обработки гигантских объемов информации. Решения, построенные по технологии Big Data, предоставляют финансовым организациям эффективный инструмент для планирования бизнеса на основе достоверной информации о поведении клиентов и изменении рыночных тенденций. В их основе лежат инновационные разработки мировых лидеров в области управления базами данных (СУБД), получения и обработки данных: Oracle, EMC, IBM, Cloudera, Informatica, QlikView, Teradata, ПО с открытым кодом.

Как работают «большие данные»?

За счет применения облачных технологий «большие данные» отличается особой гибкостью и высокой масштабируемостью. Критичная роль в обработке и хранении большого объема данных отводится аналитическим средствам и методикам, таким как мониторинг в реальном времени, прогнозирующее моделирование, визуальные информационные панели. Основной особенностью используемых подходов является возможность обработки информационного массива целиком для получения более достоверных результатов анализа. Технологии, используемые для построения систем хранения и обработки ин формации, имеют существенные ограничения. Особенно часто сложности возникают при подготовке отчетности и анализе «больших данных» с помощью традиционных BI-инструментов. Одно из возможных решений, позволяющих эффективно хранить и обрабатывать большие объемы разнородных данных, предоставляет платформа Hadoop. В ее основе лежит парадигма MapReduce: масштабная вычислительная задача разбивается на множество одинаковых элементарных заданий, и каждый узел кластера (отдельный компьютер или виртуальная машина) оперирует небольшой порцией данных. Результаты выполнения мини-заданий «сворачиваются» – сводятся в конечный ответ на изначальную общую задачу. Быстрое выполнение этих «мозаичных» операций обеспечивает распределенная файловая система (Hadoop Distributed File System, HDFS), предназначенная для отказоустойчивого хранения «разреженных» данных.

Удобная аналитика для всех

Инструментарий Big Data предлагает богатые возможности для визуализации данных, подготовки разнообразных отчетов, понятных и удобных для изучения. В качестве примера можно рассмотреть реализацию аналитических функций с помощью QlikView – BI - инструмента компании QlikTech. QlikView обрабатывает данные в оперативной памяти (in-memory processing) – это позволяет анализировать информацию без построения многомерных OLAP-кубов и дорогостоящих хранилищ. Кроме того, решение управляет взаимосвязями между данными на уровне внутренних механизмов платформы, а не на прикладном уровне. Также QlikView имеет продуманный удобный интерфейс, благодаря которому бизнес-пользователи могут работать с системой запросов самостоятельно, не прибегая к помощи ИТ-подразделения. Инструменты аналитики подходят всем категориям сотрудников: специалистам по продажам, маркетологам, сотрудникам службы безопасности, техническим специалистам, финансистам и руководителям любого ранга.

Эффект от внедрения Big Data

«Большие данные» приходят из множества источников: традиционных корпоративных систем (информация о клиентах из CRM-систем, транзакции интернет-магазинов), АБС, кредитных бюро, систем обратной связи (сообщения клиентов на сайте компании, в социальных сетях) и т.д. За счет комплексного анализа в едином хранилище повышается эффективность использования аппаратных ресурсов, расширяется функционал информационных систем поддержки бизнеса, формируются качественно новые знания. Используя богатые возможности анализа «больших данных», компании могут находить важные взаимосвязи в поступающей информации, отслеживать тенденции на рынке и в поведении покупателей, строить прогнозы и своевременно принимать взвешенные решения. Что касается более узких задач, то решения Big Data позволяют финансовым организациям оперативно и точно оценивать кредитоспособность заявителей, отслеживать мошеннические операции, проводить эффективные маркетинговые акции и программы повышения лояльности, прогнозировать динамику клиентской базы.

Ожидаемые результаты

Задействовав технологии «больших данных», организация будет получать важную информацию буквально за несколько секунд. Это позволяет выявлять рыночные тренды на ранних этапах, оперативно реагировать на изменения в поведении клиентов и принимать эффективные экономические решения. К конкретным показателям эффективности «больших данных» можно отнести снижение затрат на удержание текущих клиентов и привлечение новых, сокращение их оттока к конкурентам. Другое важное направление – рост числа надежных заемщиков, что минимизирует потери по кредитным дефолтам. Также упрощается получение обратной связи после продаж новых продуктов и услуг. Кроме того, использование ПО с открытым исходным кодом и облачных технологий обеспечивает максимальную производительность при минимальной стоимости владения информационными системами.

Первый шаг к «большим данным» – консультация со специалистом

Команда аналитиков и разработчиков «Энвижн Груп» обладает необходимыми знаниями и навыками для реализации решений на основе технологий Big Data, а также тесно сотрудничает с передовыми производителями со ответствующих технологий: Oracle, EMC, Teradata, IBM, Cloudera, Informatica, Talend. В лаборатории компании развернуты действующие демо-стенды по обработке «больших данных», демонстрирующие функциональные возможности решений. На текущий момент активно ведутся работы в рамках проектов построения информационно-аналитических систем для крупных компаний из клиентоориентированных отраслей – телекоммуникаций, финансового сектора и розничной торговли (ритейла).