Технологии big data: о нас знают все?
В современном мире понятие big data находится на слуху, и когда люди сталкиваются с ним, то нередко представляют себе некую гигантскую базу, в которую собирается буквально все, начиная с маркеров геолокации человека в каждую конкретную минуту и заканчивая фотографиями и «лайками», оставленными им в соцсетях. Но какие процессы на самом деле применимы по отношению к этому термину? Подразумевает ли он исключительно цифровые следы, оставляемые нами? Как использовать большие данные и где они хранятся? Обо всем по порядку.
Что такое big data
Big data или большие данные — это структурированные или неструктурированные массивы данных большого объема, которые обрабатываются при помощи специальных автоматизированных алгоритмов. «Академическое определение big data, — говорит СЕО исследовательской компании SorokDva Александр Карташев, — предполагает такой объем данных, для хранения и обработки которого, не хватает одной машины, даже очень мощной».
Таким образом термин big data предполагает не только наличие самих данных, но также инструменты, подходы и методы обработки и анализа огромного количества доступной информации.
Как получать большие данные
На сегодняшний день существует три основных источника по сбору больших данных:
| Социальные | Текстовый и медийный контент из всех соцсетей, электронные письма и сообщения, данные о перемещении людей, статистика зарегистрированных смертей и рождений в различных городах и странах. |
| Машинные | Данные собираются машинами, различными датчиками, смартфонами, умными колонками, системами видеонаблюдения и т.д. Причем машины становятся все умнее с каждым годом. |
| Транзакционные | Поступают при совершении операций через банки и банкоматы, денежных переводах, покупках и поставках товаров. |
Неслучайные случайности
Несложно заметить, когда спустя какое-то время после того, как вы отправляете подруге сообщение, к примеру, о том, что было бы неплохо в этом году отдохнуть где-нибудь в Европе, в ваших социальных сетях сразу появляется реклама лучших европейских отелей, туроператоров, туристических маршрутов и так далее.
Когда вы получаете промокод на товар, подарок от какого-то бренда или скидочный купон на ваш любимый имбирный лимонад в ресторане быстрого питания, то можно подумать, что это случайно. На самом же деле есть высокая вероятность того, что вы попали в исследование данных и были выбраны лидером общественного мнения, способным влиять на решения других покупателей/пользователей, за что и были поощрены.
Задачи, которые выполняет big data
В сфере больших данных задачи направлены на обретение новых смыслов и знаний. «Цифровые следы исследуются и обрабатываются для того, чтобы получать представление о наших предпочтениях, выявлять тренды и делать прогнозы, например о возможных покупках», — говорит Вайгенд Андреас в своей книге «BIG DATA. Вся технология в одной книге» (1).
За нами следят
Применимо к понятию больших данных примеры окружают нас буквально повсюду. Автор книги «Роман с Data Science. Как монетизировать большие данные» пишет: «Никого уже не удивляет, что за каждым шагом пристально следят: будь то история запросов в браузере телефона или ваши действия в офлайне. Задержитесь на секунду у витрины спортивного магазина — и ждите его таргетированную рекламу в соцсетях с минуты на минуту. Расскажите коллеге, что натворил ваш кот, — и вот сухие корма и наполнители уже тут как тут в вашей ленте» (2).
Хотите узнать, кто из сотрудников вашей компании наиболее достоин повышения? Закажите исследование, и вы наверняка останетесь впечатлены его результатами.
Большие данные нужны везде,
где можно собрать и обработать огромные массивы информации:
- Продажи
- Перевозки
- Медицина
- Маркетинг
- Медиа
- Логистика
- Аренда недвижимости
- Автомобилестроение
- Сельское хозяйство
- Банки
И это далеко не полный список.
Большие данные в бизнесе
Большинство сфер, в которых успешно используют большие данные, можно объединить одним понятием — бизнес. Большие данные нужны бизнесу не только для статистики и аналитики, но также чтобы:
✔ оптимизировать рабочий процесс — например, завести специальную программу (чат-бот), которая заменит живого сотрудника по простым вопросам. Чат-бот распознает запрос пользователя благодаря большим данным и машинному обучению;
✔ делать прогнозы — например, предсказывать покупательский спрос на товары в зависимости от времени года;
✔ строить модели — например, модель для увеличения выручки предприятия.
Однако, как правило, речь идет не о малом бизнесе. Уровень цифровой зрелости малого бизнеса не позволяет сейчас использовать big data в этом сегменте, считают некоторые эксперты.
Big data в борьбе за безопасность
Если отойти от вопросов эффективности бизнеса, маркетинга, прибыли и продаж, то нельзя не сказать, что инструменты больших данных играют огромную роль в повседневной жизни и, в частности, стоят на страже обеспечения общественной безопасности, а также обеспечения безопасности каждого человека в отдельности.
◉ Известно, что при помощи методов больших данных решения о маршрутах экипажей ДПС могут приниматься не людьми, а искусственным интеллектом. Специально созданный алгоритм big data, учитывая график проведения различных уличных мероприятий с участием большого количества людей и т.п., способен выявлять те участки дорог и улиц, которые больше всего нуждаются в тщательном надзоре со стороны правоохранительных органов в каждый конкретный день.
◉ Не обходится без big data и работа известного поисково-спасательного отряда «Лиза Алерт». Система «МегаФон Поиск», которую сотовый оператор создал совместно с МВД и «Лизой Алерт», с помощью больших данных выявляет абонентов, которые могли находиться рядом в момент пропажи человека, и рассылает сообщения с его фотографией и приметами.
◉ Как пример можно также привести трекинг футбольных фанатов: если за какое-то время до начала матча в открытых цифровых источниках данных вы напишете, что собираетесь, скажем, «мочить» противника, то будьте готовы к тому, что при входе на стадион система безопасности благодаря алгоритмам big data установит вашу личность и не пустит на игру, посчитав слишком опасным. К слову, анализ больших данных здесь может включиться уже на этапе покупки билетов, когда сайт, реализующий свободные места, просто укажет вам на то, что свободных мест не осталось.
Будущее уже здесь
Будущее за big data — данными, которые открывают новые возможности. Современные принципы работы big data позволяют не только систематизировать информацию, но и находить в ней неочевидные причинно-следственные связи. Сейчас уже нет проблем со сбором и хранением данных, но по-прежнему существует нехватка умных алгоритмов, которые могли бы делать выводы и, что самое сложное, — давать рекомендации к действию. Разработка новых алгоритмов — это именно то, над чем продолжают работать специалисты по анализу больших данных сегодня.
Полина ХИСМАТУЛЛИНА
Изображения: Pixabay, Unsplash
Примечания:
- Вайгенд Андреас — один из ведущих экспертов по будущему big data, директор компании Social Data Lab и лектор IT-школы Калифорнийского университета в Беркли. Разрабатывал стратегию больших данных компаний Alibaba, Goldman Sachs, Lufthansa, Thomson Reuters, работал руководителем по big data компании Amazon.
- Автор книги «Роман с data science. Как монетизировать большие данные» Роман Зыков является одним из лидеров по применению искусственного интеллекта на российском рынке, занимается анализом данных.
