Сегодня любая компания старается копить и использовать данные в своих бизнес-процессах, и Почта не исключение.
У Почты нет проблем с количеством данных – у нас работает более 300 IT-систем, есть база в 40 млн пользователей и каждый день происходит 11 миллионов клиентских взаимодействий. В результате мы накопили 25 петабайт различных данных, которые помогают нам проектировать сервисы, улучшать процессы внутри компании, снижать риски и находить новые способы монетизации и экономии.
В этой статье мы расскажем про то, как в Почте России устроена работа с данными, как устроены специфические почтово-логистические процессы и какую роль в них играет Big Data.
«Почта России» активно взялась за внедрение цифровых технологий. В 2020 году предприятие организовало комитет по цифровой трансформации во главе с гендиректором. В конце ноября 2020 года «Почта» привлекла свыше 7,5 млрд рублей по программе льготного кредитования Минцифры РФ, став в ней первым получателем. В интервью главному редактору ComNews Леониду Конику руководитель офиса цифровой трансформации АО «Почта России» Владимир Месропян рассказал о деталях этих кредитных соглашений и проектах, на которые будут направлены привлеченные средства, а также о других шагах по превращению «Почты» в цифровое предприятие.
Отправной точкой к нашему общению послужила новость, что в конце ноября 2020 года «Почта России» заключила со Сбером, Райффайзенбанком и Альфа-Банком три кредитных соглашения на привлечение заемных средств на общую сумму около 7,5 млрд рублей. Можно уточнить сумму и процентную ставку каждого отдельного кредита?
— Мы заключили три кредитных соглашения примерно по 2,55 млрд рублей каждое, со средней реальной ставкой 2,55%. По условиям программы субсидируется часть рыночной процентной ставки — в размере до 90% от ключевой ставки. На деле вышло, естественно, меньше 90%, но все равно условия получились очень выгодные, за что мы благодарны Минцифры России и правительству России. Заемные деньги прямо сейчас помогают нам реализовать ключевые проекты цифровой трансформации компании быстрее и эффективнее.
Попытаюсь оценить вложения государства. Понятно, что это не подарок и не субсидия, но, наверное, 10% от полученной «Почтой России» суммы — это нижняя граница того, что вкладывает бюджет, то есть 750 млн рублей — минимальная оценка реальных вложений государства в субсидированную ставку.
— Это скорее переоцененная верхняя граница, ведь мы получаем деньги по графику, определенному до 2024 года. Никто не собирался единовременно выбрать 7,6 млрд рублей. Мы получаем эти средства постепенно, и когда начинаются ежемесячные платежи, государство субсидирует разницу процентной ставки. Пока что мы привлекли по кредиту примерно 500 млн рублей. В 2021 году мы должны использовать еще по меньшей мере 1,5 млрд рублей, в следующем году — больше. Но это процесс, растянутый во времени, и поэтому государство не субсидирует соглашения в полном объеме сразу. Ваша оценка серьезно завышена, в нашем случае, думаю, эта цифра будет меньше – 5%. Возможно, еще меньше, если мы будем медленнее выбирать деньги по кредитам.
Если не секрет, почему вы выбрали три банка — один не был готов обеспечить подобную сумму? Проще же работать с одним банком, нежели с тремя — как минимум можно было оформить меньше бумаг.
— Логика есть, и она, с одной стороны, сугубо техническая, вытекающая из правил программы льготного кредитования, с другой — конкурентная и экономическая. Речь о том, что субсидируемые проекты должны быть объединены общей идеей и подходить под требования программы. Этим критериям у нас соответствовали три разных проектных кластера. По факту мы сформировали три цифровые программы. Затем по каждой программе запросили котировки у аккредитованных программой банков и выбрали партнеров, предложивших самые выгодные условия. Итого у нас получилось три банка-победителя — по одному на каждую программу.
«Почта России» первая получила подобный льготный кредит. Минцифры объявило эту программу в августе 2020 года и тогда указывало, что на подобную льготу могут претендовать как компании с госучастием, так и частные предприятия. Конечно, не вы выдавали кредит, но все-таки — не является ли это сигналом для рынка, что частному бизнесу в принципе не стоит ждать от государства помощи даже в таком виде?
— Нет. Смысл простой: импортозамещение — одно из важнейших требований программы, и среди тех, кто готовил заявки, «Почта» наиболее соответствовала всем требованиям на момент старта. Мы используем беспрецедентный объем отечественного софта и услуг российских ИТ-компаний в цифровой сфере, и поэтому нам не нужно было ничего придумывать, чтобы удовлетворить условиям программы. Мы взяли наши проекты, по большей части уже построенные на отечественных решениях, структурировали их и оказались наиболее успешными с точки зрения скорости.
Я точно знаю, что у многих компаний именно это требование вызвало большие сложности, в то время как мы органически развиваемся на российских решениях. «Почта» — крупнейший центр внедрения внутренней автоматизации учета по 1С. Многие наши системы построены на собственных разработках, созданных силами российских подрядчиков и специалистов «Почтовых технологий» — нашего филиала, который сейчас трансформировался в отдельную компанию. Так что импортозамещение стало ключевым фактором той скорости, с которой мы заключили соглашение.
Во-вторых, «Почта России» — не единственная компания, которую поддержало Министерство цифрового развития. Первая — да, но не единственная. В конце 2020 года я участвовал в стратегической сессии, посвященной развитию программы, и в ней участвовали те, кто уже после нас получили льготные кредиты. Среди них было немало частных предприятий, в том числе компании из агросектора, что лично для меня стало приятной неожиданностью. Я считаю, что мы дали толчок программе, она активно набирает обороты, и я рад, что мы первыми на практике доказали: выполнить требования возможно и механизм работает. Частные компании тоже уже пользуются этим механизмом.
По поводу финансирования важно помнить, что это все-таки заемные деньги и мы обязаны вернуть их в полном объеме и даже с процентами, пусть и льготными. Второй ключевой момент, который следует понимать, — государство не выдало нам 7,6 млрд рублей из бюджета. Это рыночные деньги, которые привлекаются через банки, а Минцифры субсидирует дельту процента относительно рыночной ставки. В этом и заключается механизм субсидирования льготной процентной ставки, который используется повсеместно — и в строительстве, и в кредитовании сельского хозяйства, фактически по всем направлениям госполитики. Заслуга Минцифры в том, что они поверили в этот инструмент в сфере ИТ, боролись за него два года, доказывали, что этот инструмент востребован и может работать, и запустили его. Такая уверенность и упорство коллег воодушевили и нас, и я рад, что мы на своем примере показали первыми, как это работает.
На какие именно проекты «Почта» потратит деньги? Они будут финансироваться только за счет кредита или в некой пропорции «свои + заемные средства»?
— Назову только ключевые. Первый проект — развитие платформы по управлению сортировочными центрами: это наша ключевая производственная инфраструктура. Второй проект — автоматизированная система, с которой работают операционисты в наших отделениях по всей стране. С ее помощью сотрудники регистрируют отправления, выдают клиентам посылки — в общем, предоставляют все офлайн-услуги. Масштаб работы этой системы велик — она обеспечивает работу одного из самых больших клиентских фронтов в мире и самого большого в России. Именно от этой системы во многом зависит, с каким настроением клиент приходит и уходит из отделения почтовой связи. Ведь офлайн-опыт никуда не уходит, для нас он так же важен сегодня, как и цифровой — более того, мы считаем одним из своих преимуществ, что у нас есть точка физического контакта потенциально с каждым гражданином нашей страны.
Наконец третий, и, пожалуй, в стратегической перспективе ключевой проект — единая аналитическая платформа «Почты России». Мы хотим оцифровать все наши исторические данные, привести их в порядок, систематизировать и гармонизировать, а затем извлечь из этого массива информации полезные сведения и рекомендации по управлению бизнесом. Для нас это не новый проект: мы уже давно развиваем свою аналитическую платформу под названием Data Cloud и в ближайшие два-три года хотим получить на ее базе уникальные бизнес-результаты.
Кредиты покрывают около 80% затрат по проектам, хотя цифры разнятся в зависимости от проекта. Не все можно оплатить кредитными деньгами, потому что часть расходов не подходит под требования программы — например, зарплаты наших внутренних разработчиков и некоторых подрядчиков.
По поводу третьего проекта, Data Cloud. Году в 2015-м, когда тема цифровой трансформации только начала набирать обороты, многие надевали розовые очки и твердили, что главное — собирать и анализировать данные, и из этой руды обязательно что-нибудь да найдется. Но все компании, которые пошли этим путем, потерпели фиаско, а успеха добились те, кто хотя бы примерно знали, что ищут. Когда вы говорите об оцифровке всех ретроспективных данных в попытке монетизировать их, есть ли у вас понимание, какие конкретно зависимости вы будете анализировать и с какой целью? Или это игра вслепую, в надежде найти хоть что-нибудь?
— Думаю, все необоснованные амбиции относительно данных остались как раз в том периоде, который вы обозначили. Сегодня у нас нет иллюзий. В первую очередь мы систематизируем ежедневно поступающие данные, чтобы создать бизнес-дашборд, где будет собрана оперативная интегрированная информация для управления компанией. Он поможет нам принимать обоснованные решения, построенные на актуальной информации. Это задача номер один, и коллеги решают ее прямо сейчас.
Вторая цель — собирать информацию о клиентах. Даже в нашей компании есть разные мнения относительно того, как строить CRM-платформу. Но в одном мы сходимся: необходимо точно знать, сколько у нас клиентов, и через какой бы канал — физический или цифровой — человек к нам ни обращался, всю информацию о нем мы должны собирать вокруг единого профиля. А дальше уже на основе этих данных строить ценные рекомендации для бизнеса — это уже задача номер три.
Поэтому мне кажется, что у нас максимально прагматичный подход. Помимо этих трех задач есть и другие, но они, как вы верно сказали, лежат в области амбиций, и я пока о них не говорю. Я считаю, что надо сначала научиться делать простые и полезные вещи, которые в передовых компаниях уже считаются стандартом, а потом уже говорить о более продвинутых вещах и монетизации данных.
У «Почты» много направлений работы — логистика, трансгран, электронная коммерция — и по каждому из них мы накапливаем массу данных, которые влияют на бизнес прямо и косвенно. Прямой финансовый эффект — это когда мы получаем миллионы рублей от того, что правильно настраиваем свои системы и обмен данными между ними, а также автоматизируем деятельность предприятия.
Косвенный эффект, который сложнее замерить, заключается в том, что платформа хранения и обработки данных помогает аналитикам из всех наших бизнес-подразделений быстрее проверять гипотезы и получать ответы на вопросы. А имея хорошую фабрику работы с данными, нам проще улучшать клиентский сервис, принимать правильные решения и в конечном счете зарабатывать больше.
Около трех лет назад Фонд развития промышленности начал давать предприятиям суперльготные кредиты под 1% на цифровую трансформацию, но выяснилось, что под это понятие попадала даже просто покупка компьютеров. Разделяете ли вы проекты в сфере компьютеризации, информатизации, автоматизации, цифровой трансформации?
— Мы разобрались в этом вопросе еще на старте работ и создали, как мне кажется, одну из наиболее продвинутых систем управления цифровой трансформацией. Я так говорю, не потому, что сам так решил, а потому, что эта система получила высокую оценку в рейтинге Минцифры России по результатам обследования пилотной группы компаний.
Мы организовали комитет по цифровой трансформации «Почты», который возглавил лично генеральный директор. Еженедельно он проводит заседания, на которых обсуждает как конкретные проекты, так и концепции и стратегии, по которым требуется не только обсуждение, но принятие решений на высоком уровне. С середины прошлого года у нас прошло 45 часов таких встреч очно и еще 30 — заочно. На заседаниях мы собрали всю цифровую повестку компании и разбили на несколько категорий: инфраструктурные проекты, цифровые проекты, цифровые продукты и сервисы.
В инфраструктурные проекты входит связь, все техническое обеспечение, электронно-вычислительные средства, вся информационная инфраструктура офисов и почтовых отделений. Цифровые проекты направлены на внутреннюю эффективность — это продвинутая автоматизация закупок, внутреннего электронного документооборота и других бэк-офисных функций компании. Наконец третья категория — цифровые продукты и сервисы, то, что должно зарабатывать. Там есть две градации — оцифровка текущих физических продуктов с планами вывода их на цифровой фронт и принципиально новые решения, которых у «Почты России» пока нет.
При этом создавать цифровые продукты и сервисы у нас можно в режиме эксперимента, когда команда наших разработчиков заявляет амбиции и получает на три-четыре месяца небольшое внутреннее финансирование. Если ребята быстро протестируют гипотезу и докажут эффективность своей бизнес-модели, дальше они уже могут претендовать на полномасштабное развертывание цифрового продукта. В прошлом году у нас пять таких проектов получили одобрение, и один из них стал в полном смысле слова успешным. И это нормально, это зачатки новой цифровой культуры. По остальным мы продолжаем эксперименты в рамках корректировки гипотез.
Так что, отвечая на ваш вопрос, — мы считаем цифровой повесткой все, что связано с внедрением электронно-вычислительной техники, разработкой ПО, автоматизацией бэк-офиса и конечными цифровыми услугами. В 2020 году мы впервые собрали все эти проекты в единый бюджетный блок — бюджет цифрового развития компании. Теперь мы можем прозрачно контролировать расходы как на инфраструктурные сделки по закупке контрольно-кассовой техники, так и на реализацию небольших продуктовых экспериментов. При этом мы четко делим проекты по категориям, предъявляя к ним разные требования, в том числе по обоснованию затрат, планированию и отчетности.
Вечная проблема внутреннего венчурного финансирования в компаниях заключается в том, что проваленный проект считается пятном на биографии менеджера. При этом известно, что в случае с венчурным капиталом обычно взлетает лишь один из десяти проектов. Как эта дилемма решается у вас? Есть ли право на ошибку в «Почте России»?
— Мы не в школе, здесь ошибок не бывает — есть только опыт. Мы пробуем новое, узнаем, как устроены интересные для нас явления. Мы бы не стали браться за проект, если бы он был нам неинтересен. И эксперимент позволяет разобрать по косточкам интересное нам решение и понять, что работает, а что нет, почему так происходит и т. Эта история не про оценки, хотя у нее есть четкие лимиты и по ресурсам, и по времени.
Но взлетел проект или нет — это довольно четкая градация.
— Конечно, мы обязательно определяем, «взлетел» ли проект и куда он «взлетел», используя для этого специальные метрики. Я как руководитель офиса цифровой трансформации компании четко фиксирую и отмечаю, что не получилось, что надо пересмотреть, даже если руководители проектов не хотят признавать ошибки и неудачи. Но мы не используем страх в качестве мотиватора. Ошибки в этой работе — это нормально. Не ошибается тот, кто ничего не делает, а мы хотим делать много и качественно. И ничего, что мы ошибаемся: у нас есть лимиты и механизмы контроля ситуации.
Когда мы принимаем решение об эксперименте, мы понимаем, что не все деньги будут потрачены со стопроцентной эффективностью. Но если вовремя признавать свои ошибки, можно продолжать работать и корректировать гипотезы. Так что «культуры страха» у нас сейчас не существует.
Следующий вопрос важен, учитывая, что «Почта» привлекает к работе не только своих разработчиков, но и внешних. С 2021 года Минцифры предложило отменить субсидии предприятиям, которые разрабатывают продукты с использованием сквозных цифровых технологий. Как вы оцениваете эту историю с позиции разработки и можно ли говорить, что она как-то отразится на «Почте» и разработчиках, с которыми вы сотрудничаете?
— Это никак не отразится на нашей внутренней разработке, потому что мы, как правило, не привлекаем на нее государственную поддержку. Это могут быть заемные средства, но прямые субсидии, бюджетное финансирование — такого у нас в планах нет.
Если вы спросите мое экспертное мнение — а я долгое время работал и в сфере науки и инноваций, и в администрации президента РФ, и в аппарате правительства, и в Аналитическом центре при правительстве РФ, — то я понял одну простую вещь. В России, к сожалению, не работают прямые меры поддержки разработчиков, научных команд, стартапов и т. Но зато эффективно показали себя меры стимулирования спроса, когда государство дает средства заказчику, чтобы он сформировал якорный или стартовый заказ и отправил его отечественному разработчику. Финансирование не уйдет впустую, потому что будет спрос, и он займет свое место в ландшафте цифровой трансформации конкретного предприятия. Так мы сразу создаем референс на внедрение, который в дальнейшем сильно поможет разработчику в распространении своего продукта и продвижении его на рынке.
Поэтому если мы говорим о поддержке, будь то прямые или косвенные субсидиарные меры, эффективнее искать и настраивать связки, взаимодействие «заказчик-разработчик». Вот это эффективно. Поэтому, на мой взгляд, Минцифры приняло правильное решение, и если оно направит весь ресурс на выстраивание правильных коопераций, стимулирование спроса и связок заказчиков с подрядчиками, это будет гораздо эффективнее для отрасли.
Кроме того, если мы говорим о поддержке разработчиков, то правительство предложило, а парламент и президент утвердили в прошлом году системные меры по налоговому маневру в ИТ. Это единственно правильный путь для развития отрасли, намного более эффективный, чем субсидии и гранты, которые, как правило, воспитывают не чемпионов, а профессиональных просителей.
Какие еще проекты «Почты» в 2020 году получили поддержку государства в рамках программы «Цифровая экономика»?
— Помимо льготных кредитов, мы инициировали много интересных проектов, которые получили государственную поддержку. Расскажу о нескольких, потому что считаю, что они значимы не только для «Почты», но и для наших подрядчиков и отрасли ИТ в целом. Надеюсь, они даже установят некие отраслевые стандарты.
Например, пользуясь льготным лизингом цифровых решений по программе «Цифровая экономика», через оператора — ПАО «ГТЛК» — мы в прошлом году взяли в лизинг отечественное серверное оборудование и СХД на сумму 2,7 млрд рублей. Это передовое российское оборудование, которое только в 2020 году включили в реестр Минпромторга России.
Сама сделка уникальна: мы первая государственная компания, которая сделала осознанный выбор в пользу российского оборудования в самом сложном и высокотехнологичном сегменте — серверов и СХД. И конечно, это стало возможно только благодаря поддержке правительства России при открытой последовательной позиции руководства «Почты». В рамках сделки новейшего российского оборудования в 2021 году только в «Почту» будет поставлено в четыре раза больше, чем продано до нас вообще — это колоссальный буст для отрасли российской радиоэлектроники.
Второй проект, о котором хочу рассказать, получил грант Российского фонда развития информационных технологий (РФРИТ) и направлен на развитие интеллектуальной системы мониторинга транспорта «Почты России». Логистическая сеть «Почты», ее качество и эффективность определяют конкурентоспособность нашего бизнеса на следующие 10 лет. Наш парк автотранспорта насчитывает до 17 тысяч машин. Внедрение онлайн-мониторинга и интеллектуальной рекомендательной платформы позволит существенно повысить скорость и качество доставки, сэкономить на ремонтах и обслуживании транспорта, увеличить его загрузку и эффективность планирования маршрутов.
Всего мы хотим потратить на проект 546 млн рублей, из них 140 млн — это грант. Подчеркиваю: более 74% финансирования — собственные средства предприятия. Мы планируем оснастить машины оборудованием, чтобы собирать данные, и на их базе строить флагманскую систему управления автопарком. В ней в режиме онлайн будет доступна как примитивная информация по пробегам и уровню топлива, так и более интеллектуальные решения — например, рекомендации по ТО, управлению запасами запчастей, интеллектуальная маршрутизация, ассистенты, даже анализ стиля вождения и рейтинг водителей. Сейчас на рынке таких решений нет, а в рамках нашего проекта они появятся уже через год.
Кроме того, я вижу другой важный эффект проекта. Когда мы оснастим свой транспортный парк датчиками и выведем все на платформу, мы еще и сможем достаточно точно и достоверно собирать информацию о качестве дорог в стране, дорожной ситуации. Ведь наши машины объезжают практически все дороги, в том числе регионального значения — по долгу нашей службы мы бываем там, куда не ездит ни один коммерсант. Уверен: такие данные будут полезны и правительству, и регионам. Есть и гуманитарная задача: мы надеемся, что внедрение позволит на 70% снизить количество ДТП с участием транспорта «Почты» на дорогах страны.
Какие данные у нас есть и для чего
Почта — это крупнейшая в России логистическая и ритейл сеть, главная особенность которой с точки зрения данных заключается в том, что каждая единица «товара» (т. письмо, посылка) принадлежит конкретному получателю. В обычном магазине, если покупателю нужен товар, ему выдают любую единицу из партии, в Почте же каждое отправление поименовано, поэтому требования к сбору и отслеживанию данных намного строже. Мы делим информацию на несколько типов:
- Digital — о том, что пользователь делает в приложении/на сайте. Анализируя её, мы можем улучшать сервисы и оценивать востребованность новых услуг;
- Логистическая — о перемещениях посылок. Эта информация показывается клиентам в мобильном приложении и на портале pochta.ru;
- Служебная (внутренняя логистика) — о внутренних процессах. Такие данные необходимы для создания полной истории перемещения посылок;
- Финансовая — о транзакциях.
Вся эта информация собирается из разных сервисов в DataCloud — едином корпоративном хранилище данных, с которым большинство систем интегрированы через корпоративную шину данных. Однако DataCloud для Почты – не просто хранилище информации, а core-система, которая является важным звеном всех ключевых бизнес-процессов компании. Она отдает данные онлайн в ЕАС (единую автоматизированную систему отделений почтовой связи), в информационную систему Сортмастер, которая автоматизирует сортировку почтовых отправлений, в систему биллинга для формирования счетов, в трекинг и в другие системы.
В Data Cloud используются открытые продукты:
- Hadoop — система для распределенных вычислений, хранения и обработки больших объемов данных;
- Cassandra — высоконагруженная нереляционная база данных для потоковой обработки данных;
- Spark — движок для распределенных вычислений, работающий на базе Hadoop;
- Hive — для формирования SQL-запросов и обработки больших наборов данных, расположенных в распределенном хранилище (Hadoop);
- Presto — высокопроизводительный инструмент для выполнения SQL-запросов в Hadoop;
- Kafka — высокопроизводительная горизонтально масштабируемая очередь (информационная шина);
- Airflow, Pentaho DI — инструменты для построения и управления ETL-процессами преобразования данных.
А также коммерческие решения:
- Vertica — реляционная СУБД для расчета и хранения витрин данных;
- Qlik Sense — BI-средство для построения аналитических панелей и дашбордов, а также инструмент Self Service BI для аналитиков;
- Форсайт — BI-средство для формирования регулярной и детализированной отчетности.
DataСloud состоит из двух технологических компонент:
- Фабрика данных — собирает данные со всех систем, обрабатывает и обогащает их. Практически все IT-системы и сервисы Почты являются либо поставщиками, либо потребителями системы. Вообще, к потребителям данных можно отнести еще и всех сотрудников и клиентов Почты;
- Лаборатория монетизации данных — внутренний инкубатор, где прогоняются идеи новых продуктов. О том, как проверяем идеи, мы расскажем чуть дальше — в разделе про «песочницу».
Какие задачи Почты решаются с помощью данных?
При отправке письма или посылки отправитель выбирает тариф, который зависит от расстояния и срока доставки. Чтобы определить сроки для разных направлений, мы разбиваем маршруты на «плечи» – минимальные отрезки логистического пути. Для каждой пары из «плеча» и тарифа устанавливаем свой контрольный срок.
Далее в дело вступают аналитики, которые с помощью инструментов и данных, собранных в Big Data, оптимизируют полученные маршруты отправлений. В Почте внедрено несколько больших систем управления магистралью (пересылкой отправлений по основным маршрутам передвижения). Из этих систем в режиме онлайн собирается информация о том, где находится конкретная посылка или письмо. Анализируя эти данные, а также уровень загрузки дорог, объема перевозимого трафика и ряд других факторов, маршруты отправлений корректируются так, чтобы получить оптимальное соотношение скорости и стоимости доставки.
С помощью Big Data мы управляем разными KPI. Это контрольные сроки, сохранность отправлений, среднее время очереди в отделении, жалобы и претензии, средний чек и так далее. Все эти показатели влияют на мотивацию и зарплату сотрудников. С помощью данных мы прогнозируем нагрузку на всю систему и на отделения, и, используя эти прогнозы, составляем графики работы сотрудников. В случае со сроками DataCloud отслеживает фактические сроки, сравнивает их с контрольными, находит отклонения и высчитывает процент выполнения KPI.
Process mining
С помощью алгоритмов машинного обучения мы умеем отслеживать отклонения во всех стандартных процессах. Работает это так: у нас есть массив данных по всем бизнес-процессам, мы знаем, как должны проходить типовые процессы и какие отклонения считать плохими. На основе этой информации мы учим алгоритмы определять проблемы по различным паттернам.
Один из примеров использования такого сценария — серая почта. Это когда в массовую отправку мимо кассы вбрасывают письма. Мы умеем отслеживать похожие на серую почту отправления по массе контейнеров и по поведению посылок на маршруте.
Но недополучать прибыль мы можем по разным причинам – это не только серая почта, анализ данных показал что причиной может быть и человеческий фактор, а именно ошибки при вводе данных, и несовершенство взаимодействия многочисленных IT систем. Проанализировав данные о приеме отправлений в отделениях почтовой связи мы смогли обнаружить источник дополнительной выручки в размере 250 млн руб. в год.
Оказалось, что при приеме отправлений они иногда оформлялись некорректно и Почта взимала не полную стоимость доставки (она зависит от маршрута и веса отправления), а существенно меньшую сумму. Собранные в Data Cloud данные позволяют отследить весь путь любого отправления, который проходит из одной информационной системы Почты в другую, сопоставить атрибуты на старте отправления и финише и отладить процесс там, где показатель качества был невелик. Благодаря этим данным, Почта не только исправила ряд ошибок, но и работает над перестройкой текущей архитектуры IT систем. Фактически благодаря данным наработкам, Почта взяла курс на создание цифрового двойника, одновременно решая текущие проблемы.
Через DataCloud мы также получаем ежедневные отчеты о разных проблемах. К примеру, из отчета мы можем увидеть, что в регионе возникли массовые замедления – например, в Сибири выпало много снега, встали все поезда и сотни посылок никуда не едут. Мы видим проблему на любом расстоянии и ищем возможные решения — поменять вид транспорта, перестроить маршруты. Так что если ваша посылка задерживается на каком-то участке маршрута, то мы знаем где, почему, и что нужно исправлять.
Ситуационное реагирование
Есть такие проблемы, на которые нужно реагировать в реальном времени — застрявшая на ленте посылка, попавшая в аварию машина и тому подобные. Для быстрого реагирования на в Почте существует автоматизированный ситуационный центр.
Здесь на мониторах у сотрудников по результатам анализа данных всплывают тикеты. Одна из типичных задач центра — зацикливание посылки, когда у отправления повреждается штрихкод. Такую проблему до появления автоматизации решали вручную – отправление начинало путешествовать между двумя сортировочными узлами и какой – нибудь сотрудник рано или поздно замечал коробку и вынимал ее из общего потока.
Теперь же мы видим такую ошибку сразу и удаленно отправляем на автоматизированную сортировочную линию команду сбросить посылку в отбраковку, где на нее приклеят новый, исправный штрихкод.
Трекинг
Мы доставляем 2 млрд посылок в год, и все их нужно отслеживать в трекинге, при этом на каждое отправление приходится по 20–30 событий. Поэтому основной массив данных приходится на информацию об отправлениях и их жизненном цикле, проще говоря – трекинг.
У каждого отправления есть жизненный цикл – начиная от операции «прием» в отделении связи и заканчивая операцией «вручение». Наблюдать за жизненным циклом отправлений нужно не только клиентам, но и самой Почте и её партнерам. В этом нам помогает распределённая СУБД Apache Cassandra.
Один из свежих примеров использования подобных данных — интеграция с китайской логистической компанией Cainiao для отслеживания посылок с AliExpress. Интеграция позволила отслеживать заказы в реальном времени, что помогло снизить долю недоставленных товаров с 10% до 3–5%, а срок доставки в крупнейшие города снизился почти в полтора раза. (Важное примечание – говоря о недоставленных товарах, мы имеем в виду не потерянные, а те, которые прибыли позже контрольного срока, который составляет 60 дней. А физически теряем мы крайне мало).
Работает все так: когда клиент оформляет покупку с доставкой через Cainiao, те присылают Почте информацию о заказе: трек-номер, логистический номер и состав вложений. Почта получает эти данные и записывает себе для отслеживания, и когда посылка едет по территории РФ и получает новые статусы, мы оповещаем китайскую службу об этих статусах, обращаясь к их API. Таким образом, Cainiao получает данные о статусах практически сразу.
При создании системы для управления трекингом в 2014 году мы ориентировались на 3 главных критерия. Она должна была:
- Быть способной обрабатывать большое количество данных.
- Быть надежной (все системы трекаются через нее).
- Выдерживать высокие нагрузки.
Мы выбрали NoSQL Data base Cassandra, так как понимали, что при высоких нагрузках обычные реляционные БД вроде Postgress или Oracle будут работать медленно, так как имеют строгие требования к записи данных. По этой причине вновь добавленные данные не сразу возвращаются на чтение. В итоге Cassandra оказалась идеальным решением.
Cassandra работает быстро благодаря тому, что в ней не требуется полное подтверждение записи. То есть в нее можно постоянно писать данные и сразу же читать их нужными системами. Технология предполагает многократное копирование данных на сервера – это обеспечивает надёжность хранения. Сейчас система работает на 31 сервере c фактором репликации 5. Это значит, что при попытке записи одной строки в основное хранилище, запись должна попасть на несколько разных серверов. Так мы защищаем данные от потерь.
С нагрузкой тоже все хорошо. Самая большая зафиксированная нагрузка на чтение — до 20 000 запросов в секунду без просадки производительности, и это даже не пик. На запись – 10 000 операций в секунду на пике. Cassandra расположена во внутреннем контуре и приспособлена для онлайн-обработки и передачи данных о логистических событиях – как во внешние системы (мобильное приложение, сайт pochta. ru), так и в наши внутренние системы.
Аналитика и управленческие решения
Данные нужны нам не только для решения оперативных задач. Мы используем их еще для того, чтобы анализировать и улучшать работу сервисов, проверять востребованность новых услуг. Решения, принятые не на основе данных, часто субъективны. Поэтому Почта перестраивает подход к исследованиям пользовательского опыта и стремимся принимать решения на основе конкретных чисел. Для этого у нас есть инфраструктура для Data Science – технологическая платформа, включенная в контур Datacloud, которая позволяет разрабатывать и применять модели искусственного интеллекта на основе информации, собранной с множества IT-систем.
Чтобы сделать работу с данными доступной для людей с самыми разными навыками, мы сделали простой и удобный инструмент — песочницу данных. С ее помощью сотрудники строят отчеты, выводят нужные показатели, создают витрины выверки счетов для работы с международными платформами, создают модели.
Раньше для работы с данными требовался IT-бэкграунд, достаточно глубокое знание SQL и подобных программ. Сейчас же достаточно либо самого базового уровня SQL, либо он вообще не нужен – в песочнице можно строить собственные отчеты в кубах (которые выглядят как сводная таблица в Excel), использовать простые фильтры или готовые формы. Сейчас платформу используют более более 200 аналитиков различных бизнес-подразделений. Только за первое полугодие 2020 года число сотрудников, работающих с платформой, увеличилось на 65%.
Песочница данных
«Песочница» представляет собой набор ресурсов, с помощью которых специалисты могут экспериментировать и изменять данные любым способом, проводить глубокий анализ, чтобы ответить на важные бизнес-вопросы.
У Почты России множество бизнес-подразделений – это блок электронной коммерции, международный блок, блок почтового бизнеса, управление сетью отделений и так далее. У каждого из них есть собственные аналитики, и именно для них и предназначена песочница. Фактически мы предоставляем self–service BI, где аналитики могут построить красивую визуализацию, проверить гипотезу, пропилотировать отчетность. Еще песочницу можно использовать как полигон для разработки моделей и их регулярного применения. С ее помощью мы проверяем гипотезы о направлениях развития существующих продуктов, о внедрении новых, о ценообразовании, прогнозируем нагрузки.
Когда в Почте появляется новая услуга, важно быстро понять, насколько она хорошо внедрена и какие показатели демонстрирует. В песочнице можно собрать нужную информацию и дать бизнес-аналитикам оценить качественные или количественные показатели внедрения. Для этого в песочницу добавляют новый источник данных и бизнес-аналитики анализируют новые данные, например, доходы/расходы в разрезе отделений или нагрузку на сотрудников и т.
До появления песочницы сотрудники добывали данные разными способами – самостоятельно скачивали их из систем-источников, работали со сводными таблицами, разворачивали свои сервера. Все это приводило к удорожанию владения данными для компании, так как одна и та же информация запрашивалась разными пользователями. Теперь трудозатраты на подготовку, хранение и запросы на систему объединены в один поток, а значит обходятся дешевле и работают быстрее.
Песочница состоит из:
- Инфраструктуры загрузки и хранения данных;
- Инструментов по работе с данными — интерфейсов, через которые люди могут пользоваться данными, средств анализа данных;
- Инструментов описания данных, необходимых для корректной интерпретации данных.
Песочница представляет собой отдельную физическую инфраструктуру, отдельную от промышленной среды. Она состоит из нескольких типов инструментов: хранения данных, анализа и построения моделей искусственного интеллекта. В песочнице накапливаются данные, отделенные от производственной базы. Пользователи могут загружать собственные данные как часть проекта на короткие периоды, даже если те не включены в официальную модель компании.
С точки зрения самих данных, песочница разделена на несколько областей:
Полная копия всех накопленных в промышленной среде данных — это «зеркало» промышленной среды со всеми ее данными, доступными для анализа без влияния на промышленный контур системы.
Область временного получения данных от источников — это отдельная область, в которой мы можем быстро получать любые данные от любых систем по специальному регламенту. Это нужно, чтобы давать аналитикам возможность как можно быстрее смотреть и пилотировать данные, понимать насколько те пригодны для работы, проверять гипотезы и строить тестовую отчетность и на ее основе принимать решение, нужны ли эти данные в промышленном контуре. Если оказывается что нужны, то запускать промышленное подключение.
И еще одна область — для построения моделей искусственного интеллекта. Это датасеты, витрины, выборки для разработки, обучения и регулярного применения моделей.
Качество и доступность данных
C помощью анализа данных мы собираемся сокращать время, которое тратим на решения о судьбе новых продуктов и услуг. Поэтому для нас важны качество, доступность и стабильность данных – ведь машина не человек, она не распознает ошибку в расчетах, если информация была собрана не по правилам.
В эпоху Agile и продуктовых подходов, когда команды часто что-то меняют в продуктах и системах, становится важно сохранять порядок в данных. Чтобы держать изменения под контролем, мы особенно внимательно следим за качеством и стандартами данных как на уровне хранилища, так и на уровне IT-систем.
Еще, чтобы данные были корректными, их нужно подробно описывать и делать прозрачными для всех. Сейчас этот процесс автоматизирован и интегрирован в процесс разработки. Каждая доработка рождает метаданные – данные о данных, в которых описано что это за информация, откуда она поступила и так далее. C помощью метаданных становится легче находить информацию и управлять ею в большом потоке.
А также мы описываем все атрибуты, включая бизнес-алгоритмы и их расчеты. По названию не всегда возможно определить, как использовать атрибут. Конечно, иногда можно догадаться по названию о смысле, но все-таки содержание не всегда очевидно. Поэтому мы закладываем в описание еще и бизнес-смысл, бизнес-алгоритмы, информацию о том, откуда данные поступили. Все это нужно, чтобы пользователь не догадывался, а получал точные и понятные результаты.
Для управления качеством мы собираем рабочие группы, на которых обсуждаем статусы качества объектов, фиксируем методики и критерии, рассматриваем влияние разных событий на качество данных. И если видим проблемы, то можем рекомендовать что-то поменять в бизнес-процессах – обновить инструкцию для работников в отделении, автоматизировать процесс, доработать систему. Так, если мы видим задержку в поступлении отчетов из IT систем регионов – то собираем группу на которой совместно находим проблему (чаще всего техническую) и предлагаем способы ее решения.
Когда данные подробно описаны и есть интерактивный пользовательский интерфейс, с помощью которого пользователи ищут нужные атрибуты и получают информацию о том, что те означают, работа с песочницей становится гораздо эффективнее.
Это лишь часть задач, которая стоит перед нашей командой по управлению данными. Количество данных в Почте растет с каждый днем, и для новых кейсов нам нужны аналитики, умеющие строить хранилища и озера данных, специалисты по качеству данных — для внедрения процессов и методологии, а также сотрудники, которые будут заниматься архитектурой и описанием данных.
Открытые вакансии Почтовых Технологий смотрите на pochta. tech