Новые технологии в розничной торговле.Big Data

Big Data — это сложные и объёмные наборы разной информации. Они представлены в «сыром виде» и требуют предварительной обработки, чтобы получить из них ценные сведения, которые могут принести пользу предприятиям и организациям.

В этой статье вы узнаете:

Что такое Big Data?

Big Data или большие данные — это структурированные или неструктурированные массивы данных большого объема. Их обрабатывают при помощи специальных автоматизированных инструментов, чтобы использовать для статистики, анализа, прогнозов и принятия решений.

«Лиза Алерт» использует Big Data, чтобы находить пропавших людей

До 2011 года анализом больших данных занимались только в рамках научных и статистических исследований. Но к началу 2012-го объемы данных выросли до огромных масштабов, и возникла потребность в их систематизации и практическом применении.

Всплеск интереса к большим данным в Google Trends

Термин Big Data появился в 2008 году. Впервые его употребил редактор журнала Nature — Клиффорд Линч. Он рассказывал про взрывной рост объемов мировой информации и отмечал, что освоить их помогут новые инструменты и более развитые технологии.

Чтобы понять Big Data, необходимо определиться с понятием и его функцией в маркетинге. В наши дни пользователи генерируют данные регулярно: когда они открывают какое-либо приложение, ищут информацию в Google, совершают покупки в интернете или просто путешествуют со смартфоном в кармане. В результате возникают огромные массивы ценной информации, которую компании собирают, анализируют и визуализируют.

Big Data буквально переводится на русский язык как «Большие данные». Этим термином определяют массивы информации, которые невозможно обработать или проанализировать при помощи традиционных методов с использованием человеческого труда и настольных компьютеров. Особенность Big Data еще и в том, что массив данных со временем продолжает экспоненциально расти, поэтому для оперативного анализа собранных материалов необходимы вычислительные мощности суперкомпьютеров. Соответственно, для обработки Big Data необходимы экономичные, инновационные методы обработки информации и предоставления выводов.

Но зачем прилагать столько усилий для систематизации и анализа Big Data? Аналитику Больших данных используют, чтобы понять привлекательность товаров и услуг, спрогнозировать спрос на рынке и реакцию на рекламную кампанию. Работа с Big Data помогает фирмам привлечь больше потенциальных клиентов и увеличить доходы, использовать ресурсы рационально и строить грамотную бизнес-стратегию.

А это значит, что аналитики, умеющие извлекать полезную информацию из больших данных, сейчас нарасхват. Научиться этому можно, даже если вы никогда не работали в IT. Например, «Факультет аналитики Big Data» от GeekBrains предлагает удобные онлайн-занятия и десяток кейсов в портфолио. Кстати, первые шесть месяцев обучения бесплатно. Успешно прошедших курс обязательно трудоустроят – это прописано в договоре.

Разница подходов

Для понимания, что такое большие данные, возьмем книгу «Война и мир» и посчитаем в ней количество слов. Можно сделать это силами одного человека, который потратит несколько суток на данную затею. А можно разобрать тома Толстого по частям, раздать их нескольким людям, которые также посчитают количество слов, а затем сложить полученные данные. Такое решение, к примеру, займет 1 день. В итоге, заметим, что big data – это второе решение нашей задачи по подсчету слов. Если измерять big data в числах, то должно быть не меньше 1 терабайта динамически изменяющихся данных в день.

Мы в RedHelper каждый день обрабатываем порядка 5 терабайт – информацию с 20 тысяч сайтов, на которых есть хотя бы несколько посетителей, т. с около 6 млн пользователей коммерческих сайтов. Что это за данные? Страницы сайтов, которые пользуются популярностью среди пользователей, паттерны их поведения, диалоги с операторами виджетов и т.

Как использовать big data от ваших виджетов? – 5 кейсов

Применение в определении клиента на сайте и прогнозирование его поведения

Благодаря решениям big data можно очень точно понять, кто является вашим клиентом, а кто нет. В принципе все сайты ограничиваются определенным меню, по которому можно вывести паттерны поведения, паттерны устройства сайтов. Кроме того, на основе данных в достаточной степени доступно определение, в какой зоне взаимодействия с клиентом есть рост, а в какой нет.

Применение сравнения облака сайтов

Создание рейтинга на основе big data позволяет сделать сайт более эффективным. Так, например, у нас 60 000 клиентов, мы можем проанализировать нужные нам параметры и предоставить информацию в сравнении одного клиента с другим в определенной отрасли, выдать рейтинг по сайтам, активности пользователей. Так как данные — это всегда цифры, с ними сложно спорить и следовательно, их можно активно использовать для успешного бизнес-процесса.

Применение в A/B-тестировании

Благодаря анализу больших данных, можно отследить, как изменения на сайте повлияли на его коммерческую успешность. К примеру, до изменения сайта было состояние А, после – Б. Если учитывать все элементы сайта и поведения на них во всем облаке, можно с достаточной степенью точности сказать, что как только поменялся заголовок, прибавилось покупателей.

Использование виджетов с функциями big data избавляют клиентов от необходимости ставить дополнительные инструменты анализа. Вместе с отчетом о работе системы, они получают информацию по изменению определенной страницы и положительном или отрицательном значении для бизнес-процесса.

Применение в выдаче чата

Многие говорят, что их чат или предложение перезвонить в течение 30 секунд бесит пользователей. Чтобы этого избежать достаточно использовать пласт больших данных о выдаче виджета. Так, мы, к примеру, проанализировали поведение людей и определили точку, когда нужно выдавать им чат, чтобы он был максимально эффективным.

Но надо понимать одну тонкость. Как только вы выявляете точку наибольшего согласия для перехода в чат, вы определяете момент, когда человек на чем-то сконцентрирован. Но в этот момент его надо не разозлить своей настойчивостью. Задача состоит в том, чтобы поймать пользователя в точках наименьшей активности, но при этом заинтересованности в продукте.

Применение в отчетах по работе виджетов и операторов контактных центров

Самый распространенный способ применения big data – отчеты о работе виджетов и операторов контактных центров. Так можно получить информацию о том, что ваш отдел онлайн-консультирования работает лучше или хуже остальных и почему. Это дает понимание, является ли ваш отдел консультирования конкурентным преимуществом или он не имеет никакого значения и следует отказаться от данных решения.

Можно использовать рейтингование на основе big data для операторов контактных центров. К примеру, посмотреть информацию об эффективности работы того или иного оператора. Так, мы выявили нетривиальный вывод, что летом общий рейтинг операторов падает. Видимо руководители уезжают в отпуска, и сотрудники начинают филонить.

Тоже самое касается звонков, благодаря собранным и проанализированным данным, по оценке операторов колл-центров, мы поняли, что оптимальное время для ответа – это 12 секунд. И уже на этот показатель ориентируются специалисты.

Благодаря решению big data в e-commerce мы ожидаем, что сайты будут гибче подстраиваться под пользователя – контент, цены будут меняться в зависимости от юзера. Анализ будет более доскональным и всеобъемлющим. Мы только в начале пути. Желание знать своего покупателя и предугадывать его желания будут усиливаться. И, конечно, благодаря анализу данных, работа многих сотрудников контактных и сервисных служб в e-commerce претерпит изменения, анализ их эффективности позволит отказаться и оптимизировать рабочую деятельность.

Big Data поможет выстроить закономерности и на их основе принимать решения о новых программах лояльности, изменении торгового пространства или способах кросс-продаж. Вот, что рассказывают практики.

Максим Морозов, представитель по продвижению решений IBM DemandTec, IBM в России и СНГ:

«Большие данные» крупной сетевой розницы и современные инструменты моделирования не только дают необходимую аналитику для принятия любых решений, связанных с работой с покупателями, будь то управление ценами, ассортиментом или промо-акциями, но и позволяют сразу оценить и измерить влияние такого решения на основные финансовые показатели компании.

На какие вопросы может ответить наука управления спросом в розничной торговле:

1) Какова ценовая чувствительность моего покупателя? Как покупатель реагирует на изменение цен? Какие ценовые сегменты можно выделить в каждой категории? На какие товары нужно держать цены ниже конкурентов? Как изменение цен на одни товары каннибализирует спрос на другие товары?

2) Насколько ваш ассортимент удовлетворяет потребности вашего покупателя? Какой должен быть баланс между «федеральным» и «локальным» ассортиментом? Как сократить ассортимент и не потерять покупателей? Какие продукты являются наиболее взаимозаменяемыми? Какие продажи можно ожидать от введения новинок?

3) Достигают ли цели ваши промо-акции? Какие промо-механики работают лучше? Какова каннибализация промо-акций внутри категории? Какой бюджет запросить у поставщика, чтобы окупить затраты на промо-акцию? Какой канал коммуникации лучше выбрать для оповещения покупателей?

4) Сколько пространства необходимо выделить внутри магазина для ваших категорий? Как найти баланс между требуемым запасом и представленностью товаров внутри магазинов? Как эффективно распорядиться пространством – увеличить представленность (количество фейсингов) или увеличить ассортимент?

Аналитика дает ответы на вопросы. «Умные машины» мгновенно превращают инсайты в рекомендации. Специалистам компании остается только соотнести эти рекомендации со своим опытом и видением покупателя. «Большие данные» превращают компании в высокочастотный уловитель потребностей своих клиентов и позволяют в режиме реального времени реагировать на изменения потребительского поведения.

Антон Чернятин, генеральный директор компании RedHelper

Мы в RedHelper каждый день обрабатываем порядка 5 терабайт информации с 20 000 сайтов, на которых есть хотя бы несколько посетителей, т. с около 6 млн пользователей коммерческих сайтов. Обработке и аналитике подвергаются страницы сайтов, которые пользуются популярностью среди пользователей, паттерны их поведения, диалоги с операторами виджетов и т.

В принципе все сайты ограничиваются определенным меню, по которому можно вывести паттерны поведения и устройства сайтов. Поэтому можно понять, в какой зоне взаимодействия с клиентом есть рост, а в какой нет в вашем интернет-магазине. К примеру, клиенты застревают на слишком сложной системе регистрации, big data помогает отследить количество непрошедших регистрацию, выявить, какой пункт их особенно смущает и они уходят. Кроме того, можно понять, какая страница сайта и в какой момент времени вызывает раздражение. Все это позволяет корректировать работу вашего онлайн-магазина, его маркетинговую политику.

Мария Левина, основатель и генеральный директор интернет-магазина дизайнерской мебели The Furnish

Будущее e-commerce компаний как в России, так и во всем мире во многом будет определяться их способностью не только собирать информацию о паттернах поведения своих посетителей и покупателей на сайте, но и умением грамотно анализировать и делать выводы из собранной информации. Интернет-магазины будут становиться все более «личными» и кастомизированными, а посетителям будет показываться то, что они купят с наибольшей вероятностью. Монстры типа Амазона копают в эту сторону уже очень давно, но в итоге прийти к этому придется всем. Тут есть много вариаций — какую скидку показывать пользователю и предлагать ли ему скидку вообще, какие показывать товары, цвета и рекомендации «похожих товаров», какая общая выкладка на странице должна быть именно для этого пользователя, чтобы его заинтересовать, и так далее. Как ведут себя люди в зависимости от пола, возраста, географии, образования — все эти факторы в идеале стоит учитывать. Также по-разному ведут себя те, кто пришел впервые, и постоянные посетители. В общем, недооценивать big data и потенциальное влияние этой информации на финанcовые результаты компании я бы не стала.

Владимир Панушкин, ГК ИМПУЛЬС-ИВЦ

Главная проблема состоит в интерпретации большого объема данных. Большие данные не имеют никакого смысла, если они не могут за пару минут и одним щелчком мыши быть представлены в виде конкретной понятной картины.

Инструменты Big Data. Мнения практиков

Как ретейлеры с помощью больших данных улучшают персонализацию по трем ключевым аспектам для покупателя — ассортимент, предложение и доставка, рассказали в Umbrella IT

Большие данные — новая нефть

В конце 1990-х годов предприниматели из разных сфер бизнеса пришли к пониманию, что данные — это ценный ресурс, который при правильном использовании способен превратиться в мощный инструмент влияния. Проблема была в том, что объем данных увеличивался в геометрической прогрессии, а существующие на тот момент способы обработки и анализа информации были недостаточно эффективны.

В 2000-х годах технологии совершили «квантовый скачок». На рынке появились масштабируемые решения, способные обрабатывать неструктурированную информацию, справляться с высокой нагрузкой, строить логические связи и переводить хаотичные данные в интерпретируемый формат, понятный человеку.

Сегодня большие данные входят в одно из девяти направлений программы «Цифровая экономика РФ», занимая верхние строчки в рейтингах и статьях расходов компаний. Самые крупные инвестиции в технологии больших данных производят компании из торгового, финансового и телекоммуникационного секторов.

По разным оценкам, текущий объем российского рынка больших данных составляет от 10 млрд до 30 млрд руб. По прогнозам Ассоциации участников рынка больших данных, к 2024 году он достигнет отметки 300 млрд руб.

Через 10–20 лет большие данные станут главным средством капитализации и будут играть в жизни общества роль, сопоставимую по значению с электроэнергетикой, утверждают аналитики.

Формулы успеха для ретейла

Современные покупатели — больше не безликая масса статистических данных, а вполне очерченные индивидуумы с уникальными характеристиками и потребностями. Они избирательны и без сожалений переключаются на бренд конкурента, если его предложение покажется привлекательнее. Именно поэтому ретейлеры используют большие данные, которые позволяют взаимодействовать с покупателями адресно и точно, ориентируясь на принцип «уникальному потребителю — уникальный сервис».

Персонализированный ассортимент и эффективное использование пространства

В большинстве случаев окончательное принятие решения «покупать или не покупать» происходит уже в магазине возле полки с товарами. По статистике Nielsen, на поиск нужного товара на полке покупатель тратит всего 15 секунд. Это значит, что для бизнеса очень важно поставить в конкретный магазин оптимальный ассортимент и правильно его презентовать. Чтобы ассортимент отвечал спросу, а выкладка способствовала продажам, необходимо изучить разные категории больших данных:

• локальную демографическую ситуацию,
• платежеспособность,
• покупательское восприятие,
• покупки по программе лояльности и многое другое.

Например, оценка частоты покупок определенной категории товаров и измерение «переключаемости» покупателя с одного товара на другой поможет сразу понять, какая позиция продается лучше, какая избыточна, и, следовательно, более рационально перераспределить денежные ресурсы и спланировать магазинное пространство.

Отдельное направление развития решений на основе больших данных — эффективное использование пространства. Именно на данные, а не на интуицию теперь опираются мерчандайзеры при выкладке товаров.

В гипермаркетах X5 Retail Group схемы выкладки товаров генерируются автоматически с учетом свойств торгового оборудования, предпочтений покупателей, данных об истории продаж отдельных категорий товаров и других факторов.

При этом правильность выкладки и количество товаров на полке отслеживается в реальном времени: технологии видеоаналитики и компьютерного зрения анализируют поступающий от камер видеопоток и выделяют события по заданным параметрам. Например, сотрудники магазина получат сигнал, что банки с консервированным горошком стоят не на своем месте или что на полках закончилась сгущенка.

Персонализация для потребителей в приоритете: согласно данным исследований компаний Edelman и Accenture, 80% покупателей с большей вероятностью купят товар, если ретейлер сделает персонализированное предложение или даст скидку; более того, 48% опрошенных без раздумий уходят к конкурентам, если товарные рекомендации не точны и не отвечают потребностям.

Чтобы соответствовать ожиданиям покупателей, ретейлеры активно внедряют ИТ-решения и аналитические инструменты, которые собирают, структурируют и анализируют данные о покупателях, помогая понять потребителя и вывести взаимодействие на личностный уровень. Один из популярных форматов среди покупателей — секция товарных рекомендаций «вам может быть интересно» и «с этим товаром покупают» — тоже формируется по результатам анализа прошлых покупок и предпочтений.

Компания Amazon генерирует такие рекомендации с помощью алгоритмов коллаборативной фильтрации (один из методов построения рекомендаций, использующий известные предпочтения группы пользователей для прогнозирования неизвестных предпочтений другого пользователя). По словам представителей компании, 30% всех продаж обязаны именно амазоновской рекомендательной системе.

Современному покупателю важно получать желаемый товар быстро, независимо от того, идет ли речь о доставке заказа из интернет-магазина или о поступлении желаемых продуктов на полки супермаркета. Но одной скорости недостаточно: сегодня быстро доставляют все. Ценен также индивидуальный подход.

У большинства крупных ретейлеров и компаний-перевозчиков транспорт оснащен множеством датчиков и RFID-меток (используются для идентификации и отслеживания товара), с которых поступают огромные объемы информации: данные о текущем местоположении, размере и весе груза, загруженности дорог, погодных условиях и даже о поведении водителя.

Анализ этих данных не только помогает в реальном времени составлять наиболее экономичный и быстрый трек маршрута, но и обеспечивает прозрачность процесса доставки для покупателей, у которых появляется возможность отслеживать перемещения своего заказа.

Современному покупателю важно получать желаемый товар как можно скорее, но и этого недостаточно, потребитель нуждается и в индивидуальном подходе

Персонализация доставки — ключевой фактор для покупателя на этапе «последней мили». Ретейлер, который на этапе принятия стратегических решений объединяет данные покупателей и логистики, сможет оперативно предложить клиенту забрать товар из пункта выдачи, куда его будет быстрее и дешевле всего доставить. Предложение получить товар в тот же день или на следующий вместе со скидкой на доставку сподвигнет клиента съездить даже на другой конец города.

Amazon, как обычно, пошел дальше конкурентов, запатентовав технологию упреждающей логистики, работающую на базе предиктивной аналитики. Суть в том, что ретейлер собирает данные:

• о прошлых покупках пользователя,
• о товарах, добавленных в корзину,
• о товарах, добавленных в вишлист,
• о движениях курсора.

Алгоритмы машинного обучения анализируют эту информацию и прогнозируют, какой товар клиент с наибольшей вероятностью купит. Затем товар отправляется более дешевой стандартной доставкой в транспортный хаб, который расположен ближе всего к пользователю.

Современный покупатель готов платить за индивидуальный подход и уникальный опыт дважды — деньгами и информацией. Обеспечивать должный уровень сервиса, учитывающий личные предпочтения покупателей, возможно только с помощью больших данных. Пока лидеры индустрии создают целые структурные подразделения для работы с проектами в сфере больших данных, представители малого и среднего бизнеса делают ставку на коробочные решения. Но цель у всех общая — выстроить точный потребительский профиль, понять потребительские боли и определить триггеры, влияющие на решение о покупке, расставить акценты в списках закупок и создать всесторонний персонализированный сервис, который будет стимулировать покупать еще и еще.

Какие есть характеристики Big Data?

• Volume — объем данных: от 150 Гб в сутки;
• Velocity — скорость накопления и обработки массивов данных. Большие данные обновляются регулярно, поэтому необходимы интеллектуальные технологии для их обработки в режиме онлайн;
• Variety — разнообразие типов данных. Данные могут быть структурированными, неструктурированными или структурированными частично. Например, в соцсетях поток данных не структурирован: это могут быть текстовые посты, фото или видео.

• Veracity — достоверность как самого набора данных, так и результатов его анализа;
• Variability — изменчивость. У потоков данных бывают свои пики и спады под влиянием сезонов или социальных явлений. Чем нестабильнее и изменчивее поток данных, тем сложнее его анализировать;
• Value — ценность или значимость. Как и любая информация, большие данные могут быть простыми или сложными для восприятия и анализа. Пример простых данных — это посты в соцсетях, сложных — банковские транзакции.

Как собирают и хранят большие данные?

Большие данные необходимы, чтобы проанализировать все значимые факторы и принять правильное решение. С помощью Big Data строят модели-симуляции, чтобы протестировать то или иное решение, идею, продукт.

Главные источники больших данных:

• интернет вещей (IoT) и подключенные к нему устройства;
• соцсети, блоги и СМИ;
• данные компаний: транзакции, заказы товаров и услуг, поездки на такси и каршеринге, профили клиентов;
• показания приборов: метеорологические станции, измерители состава воздуха и водоемов, данные со спутников;
• статистика городов и государств: данные о перемещениях, рождаемости и смертности;
• медицинские данные: анализы, заболевания, диагностические снимки.

С 2007 года в распоряжении ФБР и ЦРУ появилась PRISM — один из самых продвинутых сервисов, который собирает персональные данные обо всех пользователях соцсетей, а также сервисов Microsoft, Google, Apple, Yahoo и даже записи телефонных разговоров.

Современные вычислительные системы обеспечивают мгновенный доступ к массивам больших данных. Для их хранения используют специальные дата-центры с самыми мощными серверами.

Как выглядит современный дата-центр

Помимо традиционных, физических серверов используют облачные хранилища, «озера данных» (data lake — хранилища большого объема неструктурированных данных из одного источника) и Hadoop — фреймворк, состоящий из набора утилит для разработки и выполнения программ распределенных вычислений. Для работы с Big Data применяют передовые методы интеграции и управления, а также подготовки данных для аналитики.

Big Data Analytics — как анализируют большие данные?

Благодаря высокопроизводительным технологиям — таким, как грид-вычисления или аналитика в оперативной памяти, компании могут использовать любые объемы больших данных для анализа. Иногда Big Data сначала структурируют, отбирая только те, что нужны для анализа. Все чаще большие данные применяют для задач в рамках расширенной аналитики, включая искусственный интеллект.

Описательная аналитика (descriptive analytics) — самая распространенная. Она отвечает на вопрос «Что произошло?», анализирует данные, поступающие в реальном времени, и исторические данные. Главная цель — выяснить причины и закономерности успехов или неудач в той или иной сфере, чтобы использовать эти данные для наиболее эффективных моделей. Для описательной аналитики используют базовые математические функции. Типичный пример — социологические исследования или данные веб-статистики, которые компания получает через Google Analytics.

Антон Мироненков, управляющий директор «X5 Технологии»:

«Есть два больших класса моделей для принятия решений по ценообразованию. Первый отталкивается от рыночных цен на тот или иной товар. Данные о ценниках в других магазинах собираются, анализируются и на их основе по определенным правилам устанавливаются собственные цены.

Второй класс моделей связан с выстраиванием кривой спроса, которая отражает объемы продаж в зависимости от цены. Это более аналитическая история. В онлайне такой механизм применяется очень широко, и мы переносим эту технологию из онлайна в офлайн».

Прогнозная или предикативная аналитика (predictive analytics) — помогает спрогнозировать наиболее вероятное развитие событий на основе имеющихся данных. Для этого используют готовые шаблоны на основе каких-либо объектов или явлений с аналогичным набором характеристик. С помощью предикативной (или предиктивной, прогнозной) аналитики можно, например, просчитать обвал или изменение цен на фондовом рынке. Или оценить возможности потенциального заемщика по выплате кредита.

Предписательная аналитика (prescriptive analytics) — следующий уровень по сравнению с прогнозной. С помощью Big Data и современных технологий можно выявить проблемные точки в бизнесе или любой другой деятельности и рассчитать, при каком сценарии их можно избежать их в будущем.

Диагностическая аналитика (diagnostic analytics) — использует данные, чтобы проанализировать причины произошедшего. Это помогает выявлять аномалии и случайные связи между событиями и действиями.

Например, Amazon анализирует данные о продажах и валовой прибыли для различных продуктов, чтобы выяснить, почему они принесли меньше дохода, чем ожидалось.

• Cпециальное ПО: NoSQL, MapReduce, Hadoop, R;
• Data mining — извлечение из массивов ранее неизвестных данных с помощью большого набора техник;
• ИИ и нейросети — для построения моделей на основе Big Data, включая распознавание текста и изображений. Например, оператор лотерей «Столото» сделал большие данные основой своей стратегии в рамках Data-driven Organization. С помощью Big Data и искусственного интеллекта компания анализирует клиентский опыт и предлагает персонифицированные продукты и сервисы;
• Визуализация аналитических данных — анимированные модели или графики, созданные на основе больших данных.

Примеры визуализации данных (data-driven animation)

Как отметил в подкасте РБК Трендов менеджер по развитию IoT «Яндекс. Облака» Александр Сурков, разработчики придерживаются двух критериев сбора информации:

• Обезличивание данных делает персональную информацию пользователей в какой-то степени недоступной;
• Агрегированность данных позволяет оперировать лишь со средними показателями.

Чтобы обрабатывать большие массивы данных в режиме онлайн используют суперкомпьютеры: их мощность и вычислительные возможности многократно превосходят обычные. Подробнее — в материале «Как устроены суперкомпьютеры и что они умеют».

Big Data и Data Science — в чем разница?

Data Science или наука о данных — это сфера деятельности, которая подразумевает сбор, обработку и анализ данных, — структурированных и неструктурированных, не только больших. В ней используют методы математического и статистического анализа, а также программные решения. Data Science работает, в том числе, и с Big Data, но ее главная цель — найти в данных что-то ценное, чтобы использовать это для конкретных задач.

В каких отраслях уже используют Big Data?

• Государственное управление. Изучение и анализ больших данных помогает правительствам принимать решения в таких областях, как здравоохранение, занятость населения, экономическое регулирование, борьба с преступностью и обеспечение безопасности, реагирование на чрезвычайные ситуации;
• Промышленность. Внедрение инструментов Big Data помогает повысить прозрачность промышленных процессов и внедрять «предиктивное производство», позволяющее более точно прогнозировать спрос на продукцию и, соответственно, планировать расходование ресурсов;
• Медицина. Огромное количество данных, собираемых медицинскими учреждениями и различными электронными приспособлениями (фитнес-браслетами и т.п.) открывает принципиально новые возможности перед индустрией здравоохранения. Большие данные помогают находить новые лекарства, точнее ставить диагнозы, подбирать эффективное лечение, бороться с пандемий;
• Ретейл. Развитие сетевой и электронной торговли невозможно представить без основанных на Big Data решениях — так магазины персонализируют ассортимент и доставку;
• Интернет вещей. Big Data и интернет вещей неразрывно связаны между собой. Промышленные и бытовые приборы, подключенные к интернету вещей, собирают огромное количество данных, на основе анализа которых впоследствии регулируется работа этих приборов;
• Рынок недвижимости. Девелоперы используют технологии Big Data, чтобы собрать и проанализировать весь массив информации, а затем выдать пользователю наиболее интересные для него варианты. Уже сейчас будущий покупатель может посмотреть понравившийся дом без продавца;
• Спорт. С помощью больших данных футбольные клубы отбирают самых перспективных игроков и разрабатывают эффективную стратегию для каждого противника.

  Выпуск «Индустрии 4.0» о том, как используют Big Data в футболе

• Сельское хозяйство.

Павел Иванченко, руководитель по IoT «МегаФона»:

«IoT-решение из области так называемого точного земледелия — это когда специальные метеостанции, которые стоят в полях, с помощью сенсоров собирают данные (температура, влажность) и с помощью передающих радио-GSM-модулей отправляют их на IoT-платформу. На ней посредством алгоритмов big data происходит обработка собранной с сенсоров информации и строится высокоточный почасовой прогноз погоды. Клиент видит его в интерфейсе на компьютере, планшете или смартфоне и может оперативно принимать решения».

Подробнее — в материале «Умные» комбайны и дроны-геологи: как цифровизация меняет экономику».

Big Data в России и мире

Как большие данные помогают онлайн-кинотеатрам подбирать персональные рекомендации

Мировыми лидерами по сбору и анализу больших данных являются США и Китай. Так, в США еще при Бараке Обаме правительство запустило шесть федеральных программ по развитию больших данных на общую сумму $200 млн. Главными потребителями Big Data считаются крупные корпорации, однако их деятельность по сбору данных ограничена в некоторых штатах — например, в Калифорнии.

В Китае действует более 200 законов и правил, касающихся защиты личной информации. С 2019 года все популярные приложения для смартфонов начали проверять и блокировать, если они собирают данные о пользователях вопреки законам. В итоге данные через местные сервисы собирает государство, и многие из них недоступны извне.

С 2018 года в Евросоюзе действует GDPR — Всеобщий регламент по защите данных. Он регулирует все, что касается сбора, хранения и использования данных онлайн-пользователей. Когда закон вступил в силу год назад, он считался самой жесткой в мире системой защиты конфиденциальности людей в Интернете.

Подробнее — в материале «Цифровые войны: как искусственный интеллект и большие данные правят миром».

Big Data в бизнесе

Большие данные полезны для бизнеса в трех главных направлениях:

• Запуск продуктов и сервисов, которые точнее всего «выстрелят» по потребностям целевой аудитории;
• Анализ клиентского опыта в отношении продукта или услуги, чтобы улучшить их;
• Привлечение и удержание клиентов с помощью аналитики.

Крупные компании — такие, как Netflix, Procter & Gamble или Coca-Cola — с помощью больших данных прогнозируют потребительский спрос. 70% решений в бизнесе и госуправлении принимается на основе геоданных. Подробнее — в материале о том, как бизнес извлекает прибыль из Big Data.

Каковы проблемы и перспективы Big Data?

• Большие данные неоднородны, поэтому их сложно обрабатывать для статистических выводов. Чем больше требуется параметров для прогнозирования, тем больше ошибок накапливается при анализе;
• Для работы с большими массивами данных онлайн нужны огромные вычислительные мощности. Такие ресурсы обходятся очень дорого, и пока что доступны только большим корпорациям;
• Сбор больших данных часто связан с проблемой приватности: не все хотят, чтобы каждое их действие отслеживали и передавали третьим лицам. Герои подкаста «Что изменилось» объясняют, почему конфиденциальности в Сети больше нет, и технологическим гигантам известно о нас все;
• Большие данные используют в своих целях не только корпорации, но и политики: например, чтобы повлиять на выборы.

Плюсы и перспективы:

• Большие данные помогают решать глобальные проблемы — например, бороться с пандемией, находить лекарства от рака и предотвращать экологический кризис;
• Big Data — хороший инструмент для создания умных городов и решения проблемы транспорта;

Как Big Data и ИИ меняют наше представление о справедливости

Функции и задачи больших данных

Анализ Больших данных начинается с их сбора. Информацию получают отовсюду: с наших смартфонов, кредитных карт, программных приложений, автомобилей. Веб-сайты способны передавать огромные объемы данных. Из-за разных форматов и путей возникновения Big Data отличаются рядом характеристик:

Volume. Огромные «объемы» данных, которые организации получают из бизнес-транзакций, интеллектуальных (IoT) устройств, промышленного оборудования, социальных сетей и других источников, нужно где-то хранить. В прошлом это было проблемой, но развитие систем хранения информации облегчило ситуацию и сделало информацию доступнее.

Velocity. Чаще всего этот пункт относится к скорости прироста, с которой данные поступают в реальном времени. В более широком понимании характеристика объясняет необходимость высокоскоростной обработки из-за темпов изменения и всплесков активности.

Variety. Разнообразие больших данных проявляется в их форматах: структурированные цифры из клиентских баз, неструктурированные текстовые, видео- и аудиофайлы, а также полуструктурированная информация из нескольких источников. Если раньше данные можно было собирать только из электронных таблиц, то сегодня данные поступают в разном виде: от электронных писем до голосовых сообщений.

В России под Big Data подразумевают также технологии обработки, а в мире — лишь сам объект исследования.

Big Data характеризует большой объем структурированных и неструктурированных данных, которые ежеминутно образуется в цифровой среде. IBM утверждает, что в мире предприятия ежедневно генерируют почти 2,5 квинтиллиона байтов данных! А 90% глобальных данных получено только за последние 2 года.

Но важен не объем информации, а возможности, которые даёт её анализ. Одно из основных преимуществ Big Data — предиктивный анализ. Инструменты аналитики Больших данных прогнозируют результаты стратегических решений, что оптимизирует операционную эффективность и снижает риски компании.

Big Data объединяют релевантную и точную информацию из нескольких источников, чтобы наиболее точно описать ситуацию на рынке. Анализируя информацию из социальных сетей и поисковых запросов, компании оптимизируют стратегии цифрового маркетинга и опыт потребителей. Например, сведения о рекламных акциях всех конкурентов, позволяют руководство фирмы предложить более выгодный «персональный» подход клиенту.

Компании, правительственные учреждения, поставщики медицинских услуг, финансовые и академические учреждения — все используют возможности Больших данных для улучшения деловых перспектив и качества обслуживания клиентов. Хотя исследования показывают, что еще почти 43% коммерческих организаций до сих пор не обладают необходимыми инструментами для фильтрации нерелевантных данных, теряя потенциальную прибыль. Поэтому сегодня на рынке наметился курс на модернизацию бизнес-процессов, освоение новых технологий и внедрение Big Data.

Потенциал объединенной технологии

Блокчейн — это децентрализованная система транзакций, где каждую транзакцию проверяет каждый элемент сети. Такая система гарантирует неизменность и невозможность манипуляции данными.

Криптовалюты и другие технологии блокчейн становятся все более популярными. Только в Японии почти 50 банков вступили в партнерские отношения с Ripple, сетью блокчейнов с открытым исходным кодом и с третьей по величине рыночной капитализацией криптовалютой в мире. Для банков сотрудничество обеспечит мгновенные безрисковые транзакции по низкой цене. Интерес к подобным операциям проявляют финансовые структуры в других странах, что означает дальнейшее развитие новых технологий в банковской сфере.

Популярность технологии предвещает рост объема транзакционных данных, записанных в регистрах, в геометрической прогрессии. К 2030 году информация, содержащаяся в реестре блокчейн, составит до 20% мирового рынка Больших данных и будет генерировать до 100 миллиардов долларов годового дохода. Хранение этих «озер данных» у традиционных поставщиков облачных хранилищ (AWS или Azure) обойдется в целое состояние. Своевременно на рынке появились поставщики децентрализованных хранилищ данных, предлагающие экономию затрат до 90%. Их работа облегчает внедрение блокчейн по всему миру и гарантирует развитие сферы.

Если большие данные — это количество, то блокчейн — это качество.

Использование блокчейна открывает новый уровень аналитики Big Data. Такая информация структурирована, полноценна и безопасна, так как ее невозможно подделать из-за сетевой архитектуры. Анализируя ее, алгоритмы смогут проверять каждую транзакцию в режиме реального времени, что практически уничтожит мошенничество в цифровой сфере. Вместо анализа записей о махинациях, которые уже имели место, банки могут мгновенно выявлять рискованные или мошеннические действия и предотвращать их.

Технология блокчейн применима не только к финансовому сектору. Неизменяемые записи, контрольные журналы и уверенность в происхождении данных — всё это применимо в любых бизнес-сферах. Уже сейчас компании внедряют блокчейн при торговле продуктами питания, а с другой стороны — изучают перспективы технологии при освоении космоса. Ожидается, что будущие решения в сфере Big Data и блокчейн радикально изменят способы ведения бизнеса.

Машинное обучение

Сегодня во многих отраслях внедряют машинное обучение для автоматизации бизнес-процессов и модернизации экономической сферы. Концепция предусматривает обучение и управление искусственным интеллектом (ИИ) с помощью специальных алгоритмов. Они учат систему на основе открытых данных или полученного опыта. Со временем такое приложение способно прогнозировать развитие событий без явного программирования человеком и часов потраченных на написание кода.

Например, с помощью машинного обучения можно создать алгоритм технического анализа акций и предполагаемых цен на них. Используя регрессионный и прогнозный анализы, статистическое моделирование и анализа действий, эксперты создают программы, которые рассчитывают время выгодных покупок на фондовом рынке. Они анализируют открытые данные с бирж и предлагают наиболее вероятное развитие событий.

При работе с Большими данными машинное обучение выполняет сходную функцию: специальные программы анализируют внушительные объемы информации без вмешательства человека. Все, что требуется от оператора «научить» алгоритм отбирать полезные данные, которые нужны компании для оптимизации процессов. Благодаря этому аналитики составляют отчеты за несколько кликов мыши, высвобождая своё время и ресурсы для более продуктивных задач: обработки результатов и поиск наиболее эффективных стратегий.

В динамично развивающемся мире, где ожидания клиентов всё выше, а человеческие ресурсы всё ценнее, машинное обучение и наука о данных играют решающую роль в развитии компании. Цифровая технологизация рабочего процесса жизненно необходима для сохранения лидирующих позиций в конкурентной среде.

Большие данные в бизнесе

Всех, кто имеет дело с большими данным, можно условно разделить на несколько групп:

Датамайнеры — разработчики алгоритмов, которые помогают заказчикам извлекать ценные сведения. Среди них: Yandex Data Factory, «Алгомост», Glowbyte Consulting, CleverData и др.

Поставщики инфраструктуры — решают задачи хранения и предобработки данных. Например: IBM, Microsoft, Oracle, Sap и другие.

Системные интеграторы — компании, которые внедряют системы анализа больших данных на стороне клиента. К примеру: «Форс», «Крок» и др.

Потребители — компании, которые покупают программно-аппаратные комплексы и заказывают алгоритмы у консультантов. Это «Сбербанк», «Газпром», «МТС», «Мегафон» и другие компании из отраслей финансов, телекоммуникаций, ритейла.

Разработчики готовых сервисов — предлагают готовые решения на основе доступа к большим данным. Они открывают возможности Big Data для широкого круга пользователей.

Основные поставщики больших данных в России — поисковые системы. Они имеют доступ к массивам данных, а кроме того, обладают достаточной технологической базой для создания новых сервисов.

На рынке бизнес-аналитики с 2012 года, когда компания запустила Google BigQuery — облачный сервис для анализа Big Data в режиме реального времени. Через год его интегрировали в Google Analytics Premium — платную версию счетчика. Недавно Google представила Cloud Bigtable — масштабируемый, облачный сервис баз данных.

Большинство сервисов компании построено на анализе больших данных: поисковый алгоритм на основе нейросетей «Палех», машинный перевод, фильтрация спама, таргетинг в контекстной рекламе, предсказание пробок и погоды, распознавание речи и образов, управление беспилотными автомобилями.

Некоторое время в «Яндексе» существовало отдельное подразделение Yandex Data Factory, которое оказывало консультационные услуги крупным компаниям. Но впоследствии эта структура была внедрена в отдел поиска.

Система веб-аналитики «Рейтинг Mail. Ru» — первый проект, который начал применять технологии обработки больших данных. Сейчас Big Data используется практически во всех сервисах компании — «Таргет. Mail. Ru», «Почта Mail. Ru», «Одноклассники», «Мой Мир», «Поиск Mail. Ru» и других.

С помощью анализа больших данных Mail. Ru таргетирует рекламу, оптимизирует поиск, ускоряет работу техподдержки, фильтрует спам, изучает поведение пользователей и т.

Сначала медиахолдинг использовал большие данные только в поиске, а затем в компании появилось направление датамайнинга. «Рамблер» применяет технологии для персонализации контента, блокировки ботов и спама, обработки естественного языка.

Выгоды использования технологии в бизнесе

Повышаются шансы проекта на востребованность.

Увеличивается скорость запуска новых проектов.

Можно оценить степень удовлетворенности пользователей.

Проще найти и привлечь целевую аудиторию.

Ускоряется взаимодействие с клиентами и контрагентами.

Оптимизируются интеграции в цепи поставок.

Повышается качество клиентского сервиса, скорость взаимодействия.

Повышается лояльность текущих клиентов.

Интерес к технологиям больших данных в России растет, но у Big Data есть как драйверы, так и ограничители.

Big Data в маркетинге

Зачем нужны большие данные в маркетинге? Анализ массивов информации о компании открывает новые возможности:

Понять работу бизнеса в цифрах.

Маркетинг сможет выйти на новый уровень понимания и аналитики, что позволит снизить издержки и увеличить продажи.

Выгоды использования технологии в маркетинге

Максимальная персонализация рекламных сообщений.

Предсказание реакции потребителей на маркетинговые сообщения.

Создание точных портретов целевых потребителей.

Увеличение кросс-продаж, повторных продаж, ремаркетинга.

Поиск и определение причин популярности востребованных товаров и продуктов.

Совершенствование продуктов и услуг, повышение лояльности клиентов.

Повышение качества обслуживания.

Предупреждение мошенничества.

Снижение издержек в работе с поставщиками и клиентами.

Благодаря специальным сервисам технологии больших данных, Big Data найдется применение в любом отделе маркетинга, в том числе среднего и малого бизнеса. Вам не потребуется устанавливать и обслуживать дорогостоящее оборудование и содержать специалиста.

Сервисы Big Data

Облачный сервис для персонализации торговых предложений, встроенный в систему управления сайтом. Позволяет повысить качество управления и эффективность рекламы, увеличить средний чек, объемы продаж и конверсию за счет персональных предложений, которые создаются на основе знаний о пользователе.

Сервис по управлению закупками цифровой рекламы, который помогает эффективно участвовать в RTB-аукционах. Использует большие данные для привлечения нужных покупателей. С помощью сервиса можно настроить кросс-канальный, поисковый и товарный ретаргетинг.

Система сквозной аналитики с автоматизацией контекстной рекламы и интерактивными отчетами. Возможности: аналитика, интерактивные дашборды, коллтрекинг, автоматическое управление контекстной рекламой. Позволяет эффективно управлять рекламными бюджетами, предоставляет отчет о таких показателях, как CPA, ROI, выручка и др. Внедряется в несколько кликов, подойдет для специалистов по контекстной рекламе, маркетологов и руководителей.

Интерфейс раздела аналитики

Сервис для мультиканальной персонализации интернет-магазинов, своеобразный мерчендайзинг для e-commerce. Сервис собирает информацию об интересах пользователей, анализирует ее и помогает предугадывать желания покупателя. Crossss может перестроить контент сайта лично на каждого пользователя на основе его поведения: выстроить выкладку товаров в каталоге, создать персонализированные и таргетированные почтовые рассылки.

Раздел аналитики в сервисе

Читайте по теме

Мы отправляем полезные материалы, которые помогут вам в работе

Другие статьи

7 февраля 2022

20 мин.

Project Management Office. В чем польза и как его внедрить?

18 ноября 2019

На что обратить внимание в 2020 году

29 сентября 2020

15 мин.

Пошаговое руководство от UX-дизайнера Uplab

Создаем удобные и эффективные сайты, которые нравятся пользователям и хорошо продвигаются в поисковых системах.

Сервисный дизайн на основе аналитики, метрик и пользовательского опыта — продуктовый подход для создания привлекательных и эффективных решений.

Изучаем бизнес клиента и его конкурентов, подбираем инструменты и способы продвижения.

Увеличиваем органический трафик на сайте и снижаем затраты на привлечение клиентов.