Что такое биг дейта

Что такое Big Data

Только ленивый не говорит о Big Data, но что это такое и как это работает — понимает вряд ли. Начнём с самого простого — терминология. Говоря по-русски, Big Data — это различные инструменты, подходы и методы обработки как структурированных, так и неструктурированных данных для того, чтобы их использовать для конкретных задач и целей.

Термин «большие данные» ввёл редактор журнала Nature Клиффорд Линч ещё в 2008 году в спецвыпуске, посвящённом взрывному росту мировых объёмов информации. Хотя, конечно, сами большие данные существовали и ранее. К категории Big Data относится большинство потоков данных свыше 100 Гб в день. Сегодня под этим простым термином скрывается всего два слова — хранение и обработка данных.

Big Data — простыми словами

В современном мире Big Data — социально-экономический феномен, который связан с тем, что появились новые технологические возможности для анализа огромного количества данных.

Для простоты понимания представьте супермаркет, в котором все товары лежат не в привычном вам порядке. Хлеб рядом с фруктами, томатная паста около замороженной пиццы, жидкость для розжига напротив стеллажа с тампонами, на котором помимо прочих стоит авокадо, тофу или грибы шиитаке. Big Data расставляют всё по своим местам и помогают вам найти ореховое молоко, узнать стоимость и срок годности, а еще — кто, кроме вас, покупает такое молоко и чем оно лучше молока коровьего.

Технология Big Data

Огромные объёмы данных обрабатываются для того, чтобы человек мог получить конкретные и нужные ему результаты для их дальнейшего эффективного применения. Фактически, Big Data — это решение проблем и альтернатива традиционным системам управления данными.

Техники и методы анализа, применимые к Big Data по McKinsey:

• Data Mining;
• Краудсорсинг;
• Смешение и интеграция данных;
• Машинное обучение;
• Искусственные нейронные сети;
• Распознавание образов;
• Прогнозная аналитика;
• Имитационное моделирование;
• Пространственный анализ;
• Статистический анализ;
• Визуализация аналитических данных

Горизонтальная масштабируемость, которая обеспечивает обработку данных — базовый принцип обработки больших данных. Данные распределены на вычислительные узлы, а обработка происходит без деградации производительности. McKinsey включил в контекст применимости также реляционные системы управления и Business Intelligence.

Технологии:

• NoSQL;
• MapReduce;
• Hadoop;
• R;
• Аппаратные решения

Для больших данных выделяют традиционные определяющие характеристики, выработанные Meta Group ещё в 2001 году, которые называются «Три V»:

1. Volume — величина физического объёма.
2. Velocity — скорость прироста и необходимости быстрой обработки данных для получения результатов.
3. Variety — возможность одновременно обрабатывать различные типы данных.

Big Data: применение и возможности

Объёмы неоднородной и быстро поступающей цифровой информации обработать традиционными инструментами невозможно. Сам анализ данных позволяет увидеть определённые и незаметные закономерности, которые не может увидеть человек. Это позволяет оптимизировать все сферы нашей жизни — от государственного управления до производства и телекоммуникаций.

Например, некоторые компании ещё несколько лет назад защищали своих клиентов от мошенничества, а забота о деньгах клиента — забота о своих собственных деньгах.

Решения на основе Big Data: «Сбербанк», «Билайн» и другие компании

У «Билайна» есть огромное количество данных об абонентах, которые они используют не только для работы с ними, но и для создания аналитических продуктов, вроде внешнего консалтинга или IPTV-аналитики. «Билайн» сегментировали базу и защитили клиентов от денежных махинаций и вирусов, использовав для хранения HDFS и Apache Spark, а для обработки данных — Rapidminer и Python.

Или вспомним «Сбербанк» с их старым кейсом под названием АС САФИ. Это система, которая анализирует фотографии для идентификации клиентов банка и предотвращает мошенничество. Система была внедрена ещё в 2014 году, в основе системы — сравнение фотографий из базы, которые попадают туда с веб-камер на стойках благодаря компьютерному зрению. Основа системы — биометрическая платформа. Благодаря этому, случаи мошенничества уменьшились в 10 раз.

Big Data в мире

По данным компании IBS, к 2003 году мир накопил 5 эксабайтов данных (1 ЭБ = 1 млрд гигабайтов). К 2008 году этот объем вырос до 0,18 зеттабайта (1 ЗБ = 1024 эксабайта), к 2011 году — до 1,76 зеттабайта, к 2013 году — до 4,4 зеттабайта. В мае 2015 года глобальное количество данных превысило 6,5 зеттабайта (подробнее).

К 2020 году, по прогнозам, человечество сформирует 40–44 зеттабайтов информации. А к 2025 году вырастет в 10 раз, говорится в докладе The Data Age 2025, который был подготовлен аналитиками компании IDC. В докладе отмечается, что большую часть данных генерировать будут сами предприятия, а не обычные потребители.

Аналитики исследования считают, что данные станут жизненно-важным активом, а безопасность — критически важным фундаментом в жизни. Также авторы работы уверены, что технология изменит экономический ландшафт, а обычный пользователь будет коммуницировать с подключёнными устройствами около 4800 раз в день.

Рынок Big Data в России

В 2017 году мировой доход на рынке Big date должен достигнуть $150,8 млрд, что на 12,4% больше, чем в прошлом году. В мировом масштабе российский рынок услуг и технологий big data ещё очень мал. В 2014 году американская компания IDC оценивала его в $340 млн. В России технологию используют в банковской сфере, энергетике, логистике, государственном секторе, телекоме и промышленности.

Что касается рынка данных, он в России только зарождается. Внутри экосистемы RTB поставщиками данных выступают владельцы программатик-платформ управления данными (DMP) и бирж данных (data exchange). Телеком-операторы в пилотном режиме делятся с банками потребительской информацией о потенциальных заёмщиках.

Обычно большие данные поступают из трёх источников:

• Интернет (соцсети, форумы, блоги, СМИ и другие сайты);
• Корпоративные архивы документов;
• Показания датчиков, приборов и других устройств.

Big Data в банках

Помимо системы, описанной выше, в стратегии «Сбербанка» на 2014–2018 гг. говорится о важности анализа супермассивов данных для качественного обслуживания клиентов, управления рисками и оптимизации затрат. Сейчас банк использует Big Data для управления рисками, борьбы с мошенничеством, сегментации и оценки кредитоспособности клиентов, управления персоналом, прогнозирования очередей в отделениях, расчёта бонусов для сотрудников и других задач.

«ВТБ24» пользуется большими данными для сегментации и управления оттоком клиентов, формирования финансовой отчётности, анализа отзывов в соцсетях и на форумах. Для этого он применяет решения Teradata, SAS Visual Analytics и SAS Marketing Optimizer.

«Альфа-Банк» за большие данные взялся в 2013 году. Банк использует технологии для анализа соцсетей и поведения пользователей сайта, оценки кредитоспособности, прогнозирования оттока клиентов, персонализации контента и вторичных продаж. Для этого он работает с платформами хранения и обработки Oracle Exadata, Oracle Big data Appliance и фреймворком Hadoop.

«Тинькофф-банк» с помощью EMC Greenplum, SAS Visual Analytics и Hadoop управляет рисками, анализирует потребности потенциальных и существующих клиентов. Большие данные задействованы также в скоринге, маркетинге и продажах.

Big Data в бизнесе

Для оптимизации расходов внедрил Big Data и «Магнитогорский металлургический комбинат», который является крупным мировым производителем стали. В конце прошлого года они внедрили сервис под названием «Снайпер», который оптимизирует расход ферросплавов и других материалов при производстве. Сервис обрабатывает данные и выдаёт рекомендации для того, чтобы сэкономить деньги на производстве стали.

Большие данные и будущее — одна из самых острых тем для обсуждения, ведь в основе коммерческой деятельности лежит информация. Идея заключается в том, чтобы «скормить» компьютеру большой объем данных и заставить его отыскивать типовые алгоритмы, которые не способен увидеть человек, или принимать решения на основе процента вероятности в том масштабе, с которым прекрасно справляется человек, но который до сих пор не был доступен для машин, или, возможно, однажды — в таком масштабе, с которым человек не справится никогда

Чтобы оптимизировать бизнес-процессы,«Сургутнефтегаз» воспользовался платформой данных и приложений «in-memory» под названием SAP HANA, которая помогает в ведение бизнеса в реальном времени. Платформа автоматизирует учёт продукции, расчёт цен, обеспечивает сотрудников информацией и экономит аппаратные ресурсы.

Big Data в маркетинге

Благодаря Big Data маркетологи получили отличный инструмент, который не только помогает в работе, но и прогнозирует результаты. Например, с помощью анализа данных можно вывести рекламу только заинтересованной в продукте аудитории, основываясь на модели RTB-аукциона.

Big Data позволяет маркетологам узнать своих потребителей и привлекать новую целевую аудиторию, оценить удовлетворённость клиентов, применять новые способы увеличения лояльности клиентов и реализовывать проекты, которые будут пользоваться спросом.

Сервис Google.Trends вам в помощь, если нужен прогноз сезонной активности спроса. Всё, что надо — сопоставить сведения с данными сайта и составить план распределения рекламного бюджета.

Big Data изменит мир?

От технологий нам не спрятаться, не скрыться. Big Data уже меняет мир, потихоньку просачиваясь в наши города, дома, квартиры и гаджеты. Как быстро технология захватит планету — сказать сложно. Одно понятно точно — держись моды или умри в отстое, как говорил Боб Келсо в сериале «Клиника».

Что такое «Big Data»?

Термин «большие данные» или «big data» начал набирать популярность с 2011 года. Сегодня его хотя бы раз слышал каждый. Проблема в том, что часто понятие используют не по определению. Поэтому давайте подробно разберемся, что это такое.

С развитием технологий количество данных стало увеличиваться в геометрической прогрессии. Традиционные инструменты перестали покрывать потребность в обработке и хранении информации. Для обработки данных, объем которых превышает сотни терабайт и постоянно увеличивается, были созданы специальные алгоритмы. Их принято называть «big data».

Сегодня информация собирается огромными объемами из разных источников: интернет, контакт-центры, мобильные устройства и т.д. Чаще всего такие данные не имеют четкой структуры и упорядоченности, поэтому человек не может использовать их для какой-либо деятельности. Для автоматизации анализа применяют технологии «big data».

Когда появились первые большие данные?

Большие данные появились в 60-70 годах прошлого столетия вместе с первыми ЦОД (центры обработки данных). В 2005 году компании начали понимать масштабы создаваемого контента пользователями интернет-сервисов (Facebook, YouTube и др.). Тогда же начала работу первая платформа, предназначенная для взаимодействия с большими наборами данных, — Hadoop. Сегодня она представляет собой большой стек технологий для обработки информации. Чуть позже популярность начала набирать NoSQL — совокупность методов для создания систем управления большими данными.

Объем генерируемой информации стал увеличиваться с появлением крупных интернет-сервисов. Пользователи загружают фотографии, просматривают контент, ставят «лайки» и т.п. Вся эта информация собирается в больших объемах для дальнейшего анализа, после которого можно вносить улучшения в работу сервисов. Например, социальные сети используют большие данные для показа пользователям релевантной рекламы (то есть той, которая соответствует их потребностям и интересам) в таргете. Это позволяет соцсетям продавать бизнесу возможность проведения точных рекламных кампаний.

Основные свойства больших данных

В самом начале статьи мы определили три основных свойства больших данных из общепринятого определения. Давайте раскроем их более подробно:

• Объем. Из названия «большие данные» становится понятно, что они содержат в себе много информации. И это действительно так: компании могут ежедневно получать десятки терабайт различных данных, некоторые — сотни петабайт. То есть «большие данные» не были бы таковыми без объема.
• Скорость. Большие данные поступают и обрабатываются из разных источников с высокой скоростью. При отсутствии этого свойства информацию уже нельзя будет назвать «big data». А еще они генерируются без остановки.
• Разнообразие. Большие данные содержат в себе информацию, относящуюся к разным типам. Это одно из главных отличий от простых данных — они всегда структурированы и могут быть сразу сохранены в базе данных.

Как с ними работают?

Большие данные несут в себе много полезной информации, на основе которой компании создают новые возможности и формируют бизнес-модели. Работа с большими данными делится на 3 этапа: интеграция, управление и анализ.

1 этап. Интеграция

На этом этапе компания интегрирует в свою работу технологии и системы, позволяющие собирать большие объемы информации из разных источников. Внедряются механизмы обработки и форматирования данных для упрощения работы аналитиков с «big data».

2 этап. Управление

Полученные данные нужно где-то хранить, этот вопрос решается до начала работы с ними. Решение принимается на основе множества критериев, главными из которых считаются предпочтения по формату и технологии обработки. Как правило, для хранения компании используют локальные хранилища, публичные или частные облачные сервисы.

3 этап. Анализ

Большие данные начинают приносить пользу после анализа. Это заключительный этап взаимодействия с ними. Для этого применяют машинное обучение, ассоциацию правил обучения, генетические алгоритмы и другие технологии. После анализа данных остается только самое ценное для бизнеса.

Примеры использования больших данных

В общих чертах с «big data» разобрались. Но остался важный вопрос — где их можно применять практически? Ответ: в любой сфере деятельности, которая оперирует необходимыми для анализа данными. Давайте рассмотрим несколько реальных примеров. Это позволит лучше понять, для чего нужны большие данные и как от них можно получить пользу.

Big Data в банках

В российской банковской сфере большие данные первым начал использовать «Сбербанк». На основе «big data» и биометрической системы в 2014 году они разработали систему идентификации личности клиента по фотографии. Принцип работы очень простой: сравнение текущего снимка с фотографией из базы, которую делают сотрудники при выдаче банковской карты. Новая система сократила случаи мошенничества в 10 раз.

Сегодня «Сбербанк» продолжает использовать большие данные в работе: сбор и анализ информации позволяет управлять рисками, бороться с мошенничеством, оценивать кредитоспособность клиентов, управлять очередями в отделениях и многое другое.

Еще один пример из российского банковского сектора — ВТБ24. Внедрять «big data» компания начала чуть позже «Сбербанка». Сегодня они используют большие данные для сегментации и управления оттоком клиентов, формирования финансовой отчетности, анализа отзывов в интернете и многого другого.

«Альфа-Банку» большие данные помогают контролировать репутацию бренда в интернете, оценивать кредитоспособность новых клиентов, персонализировать контент, управлять рисками и т.п.

Большие данные в бизнесе

Многие ошибочно полагают, что работа с большими данными актуальна только для банковского сектора и ИТ-компаний. Это опровергает пример «Магнитогорского металлургического комбината», который разработал сервис «Снайпер» для снижения расходов сырья в производстве. Технология собирает большие объемы информации, анализирует их и дает рекомендации по оптимизации расходов материалов.

«Сургутнефтегаз» использует специальную систему для отслеживания основных бизнес-процессов в режиме реального времени. Это помогает в автоматизации учета продукции, ценообразовании, обеспечении персонала нужными данными и т.п.

Big Data в маркетинге

Маркетологи используют большие данные для прогнозирования результатов рекламных кампаний. Также анализ помогает в определении наиболее заинтересованной аудитории. Яркий пример «big data» в маркетинге — Google Trends. В систему поступает огромное количество данных, а после анализа пользователь может оценить сезонность того или иного товара (работы, услуги).

Сложности при использовании

Где есть большие возможности, там поджидают и большие трудности. Это правило не обошло стороной big data.

Первая сложность, с которой сталкиваются компании, — большие данные занимают много места. Да, технологии хранения постоянно улучшаются, но при этом и объем данных неуклонно растет (в среднем в два раза каждые два года).

Приобретение огромного хранилища не решает всех проблем. От простого хранения данных толку не будет, с ними нужно работать для получения выгоды. Отсюда вытекает другая сложность — налаживание обработки получаемых больших данных.

Сейчас аналитики тратят 50-80% рабочего времени для приведения информации в приемлемый для клиента вид. Компаниям приходится нанимать больше специалистов, что увеличивает расходы.

И еще одна проблема — стремительное развитие больших данных. Регулярно появляются новые инструменты и сервисы для работы (например, Hbase). Бизнесу приходится тратить много времени и средств, чтобы «быть в тренде» и не отставать от развития.

Таким образом, big data — это совокупность технологий обработки больших объемов информации (сотни терабайтов и более) и сегодня мало кто отрицает их важность в будущем. Их популярность будет расти и распространение в бизнесе увеличиваться. Впоследствии разработают технологии по автоматизации анализа и с big data будут работать не только крупные компании, но и средние с маленькими.

Что такое big data, где они применяются и как помогают нарисовать портрет клиентов

Мы живем в информационную эпоху, когда почти все наши действия оставляют цифровой след. Это означает, что объемы информации настолько велики и разнообразны, что их нельзя обработать традиционными способами. Большие данные анализируют и используют с помощью технологий big data.

Поможем врагу с билетами на Кобзона. Собираем на Mavic для наших защитников

Редакция MC.today разобралась, что такое big data и как использовать технологии больших данных.

Что такое big data

Big data />(англ. «большие данные». – Прим. ред.) – это сложные наборы разной структурированной и неупорядоченной информации больших объемов. Массив информации в мире постоянно растет, ведь мы создаем данные, когда пользуемся интернетом, особенно интернетом вещей />(англ. internet of things, IoT – сеть физических устройств, которые автоматически обмениваются данными с компьютерными системами. – Прим. ред.) , социальными

Поэтому big data еще называют инструменты, которые позволяют обработать большие данные так, чтобы использовать их для конкретных целей и задач. То есть в зависимости от контекста для информационных технологий это понятие означает:

большие объемы цифровых данных;

Не пропустите ни одной важной новости от MC.today

Отличия от традиционной аналитики

Большие данные не просто большие, они огромные, и их объемы растут экспоненциально (геометрический рост, который означает, что чем больше величина, тем быстрее она растет. – Прим. ред.) . Поэтому инструменты традиционной аналитики, в которых используется человеческий труд и настольные компьютеры, не могут справиться с анализом и обработкой big data.

График показывает, как экспоненциальный рост (зеленая кривая) превосходит линейный (красная кривая) и кубический (синяя кривая) рост. Источник: Wikipedia

Вот главные отличия big data от традиционной аналитики.

Big data	Традиционная аналитика
Данные анализируют в реальном времени, по мере их поступления.	Данные сначала собирают, систематизируют, а потом анализируют.
Полный поток данных обрабатывают в исходном виде.	Перед тем как обработать данные, их редактируют и сортируют.
Анализируют весь массив доступных видов информации.	Данные анализируют поэтапно, по мере поступления небольших массивов информации.
Анализ заключается в поиске зависимостей и причинно-следственных связей в потоке информации. Гипотеза выдвигается после анализа.	Анализ предполагает проверку гипотезы на доступных пакетах данных.
Анализ происходит автоматически, применяют машинное обучение (англ. machine learning – сфера применения искусственного интеллекта, в которой компьютерам позволяют самостоятельно работать со статистическими данными. – Прим. ред.) .	Аналитическую работу делает человек – он ориентируется на поставленные задачи. Традиционная аналитика проверяет результаты использования данных.

Задачи и функции big data

Понятие big data закрывает три основные задачи – три V (V – заглавная буква английских слов, которые означают «объем», «скорость» и «разнообразие», – Прим. ред.) :

Volume (англ. «объем». – Прим. ред.). К 2021 году мировой объем данных должен был достигнуть 79 ЗБ . Уже в 2025 году цифра увеличится более чем вдвое, и так по нарастающей экспоненте.

Быстрому росту трафика данных способствует интернет вещей – объем информации о соединениях физического и цифрового мира в 2019 году достиг 13,6 зеттабайта. К 2025 году этот трафик данных превысит 79 зеттабайт. Поэтому первая задача big data – хранить большие объемы информации и расширять сети дата-центров, в которых информация собирается, накапливается, хранится и анализируется.

• Velocity />(англ. «скорость». – Прим. ред.). Big data учитывает, как быстро накапливаются и обрабатываются новые данные. Задача технологии – успевать за их скоростью прироста и обрабатывать их с учетом экспонентных темпов изменения и всплесков активности.
• Variety />(англ. «разнообразие». – Прим. ред.). Big data обрабатывает разные типы структурированной и неструктурированной информации: цифры и данные клиентских баз, видеоконтент, аудиофайлы, текстовые сообщения и так далее. Задача – вычленить из разных потоков определенные закономерности, которые можно использовать, например, для продвижения продуктов, услуг и товаров.

Часто big data решает еще две задачи:

Variability(англ. «изменчивость». – Прим. ред.). Потоки данных имеют пики и спады, зависят от сезонности, в них есть периодичность. Всплесками неструктурированной информации сложно управлять, поэтому и нужны мощные технологии для обработки.

Вот основные задачи и функции big data.

Задачи	Функции
Хранить большие объемы разной информации и управлять ими.	Использовать массивы необработанных данных.
Структурировать разнообразную информацию и выявлять закономерности.	Data mining />(англ. «добыча данных». – Прим. ред.) , или поиск полезных фактов при анализе больших наборов данных.
Быстрая аналитика и прогнозы в реальном времени.	Machine learning />(англ. «машинное обучение». – Прим. ред.) или настройка автоматических прогнозов на основе обнаруженных связей при анализе.

Технологии big data

К технологиям больших данных сейчас относят решения, которые позволяют обработать сверхбольшие массивы информации. Традиционно выделяют четыре технологии big data:

NoSQL />(англ. not only SQL (structured query language) – не только язык структурированных запросов. – Прим. ред.)– база данных, которая хранит и добывает информацию не по традиционному логическому подходу. В отличие от реляционных />(англ. relation – «отношение». – Прим. ред.) баз данных, здесь не строятся таблицы нормализованных наборов стандартных отношений. Технологию начали использовать еще в 1960-х годах, но популярной она стала с запуском компаний Web 2.0: Facebook, Google, Amazon. Большинство NoSQL-технологий за миллисекунды согласовывают данные по «случайному» принципу и используют низкоуровневые запросы. Часто применяют такие NoSQL-решения:

Big Data: что это такое простыми словами — характеристики технологии больших данных и методы их обработки

Если постараться дать определение простыми словами, что такое big data (биг дата или в переводе большой объем данных), то это обобщающее название для информационного потока, технологии, методов его обработки и системы анализа. Он обрабатывается путем применения программных инструментов, ставших аналогом традиционным базам и решениям Business Intelligence. Все действия направлены на структурирование и получение новых выводов.

Что это такое

IT-сфера уверенно заполняет пространство вокруг людей. Однако получаемые знания не могут уходить «вникуда», а учитывая колоссальный размер, хранилище должно быть объемным. Человечество уже давно перешло на цифровые носители, при этом все они отличаются по размеру.

Для работы с большими массивами информации нужен специальный набор инструментов и методик, чтобы с их помощью решать конкретные поставленные задачи. По сути, совокупность различных данных и инструментарий работы с ними и определяет термин Big Data.

Этот социально-экономический феномен напрямую связан с появлением масштабируемых технологий, которые позволяют работать с огромным количеством информации.

Разница используемых методик

Всего выделяют 2 основных подхода к аналитике, которые имеют кардинально разные стратегии.

Анализирование небольших инфо-блоков

Обработка всего массива информации сразу

Разработка и проверка гипотез

Поиск соотношений по всему потоку до достижения результата

Поэтапность: сбор, хранение, анализ

Аналитика в реальном времени

Готовые решения для всех направлений

Ускорьте работу сотрудников склада при помощи мобильной автоматизации. Навсегда устраните ошибки при приёмке, отгрузке, инвентаризации и перемещении товара.

Мобильность, точность и скорость пересчёта товара в торговом зале и на складе, позволят вам не потерять дни продаж во время проведения инвентаризации и при приёмке товара.

Обязательная маркировка товаров — это возможность для каждой организации на 100% исключить приёмку на свой склад контрафактного товара и отследить цепочку поставок от производителя

Скорость, точность приёмки и отгрузки товаров на складе — краеугольный камень в E-commerce бизнесе. Начни использовать современные, более эффективные мобильные инструменты.

Повысьте точность учета имущества организации, уровень контроля сохранности и перемещения каждой единицы. Мобильный учет снизит вероятность краж и естественных потерь.

Повысьте эффективность деятельности производственного предприятия за счет внедрения мобильной автоматизации для учёта товарно-материальных ценностей.

Первое в России готовое решение для учёта товара по RFID-меткам на каждом из этапов цепочки поставок.

Исключи ошибки сопоставления и считывания акцизных марок алкогольной продукции при помощи мобильных инструментов учёта.

Получение сертифицированного статуса партнёра «Клеверенс» позволит вашей компании выйти на новый уровень решения задач на предприятиях ваших клиентов..

Используй современные мобильные инструменты для проведения инвентаризации товара. Повысь скорость и точность бизнес-процесса.

История возникновения

Первое упоминание о феномене произошло в 2008 от Клаффорда Линча в статье журнала Nature. С его слов сюда можно отнести любые неоднородные знания, поступающие в размере более 150 Гб за один день.

Согласно выкладкам аналитических агентств в 2005 по всему миру оперировало более 4-5 эксабайт (4-5 млрд гигабайт). В 2010 значение выросло до 0,20 зетта-байт (1 Зб равен 1024 Эб). В это время подход «big data » рассматривался только с научно-аналитической точки зрения, но на практике не применялся. В то же время неструктурированный массив неумолимо рос. За 2 года, то есть в 2012, показатели выросли до отметки 1,8 Зб, и проблема хранения стала актуальной и произошел всплеск интереса. К началу 2015 — до 7 Зб. К развитию направления активно подключались «цифровые гиганты» — Microsoft, IBM, Oracle, EMC, а также университеты, внедряя на практике прикладные науки (инженерию, физику, социологию).

Главные цели

BigData — это поток необработанных знаний

Сохранение и оперирование

DataMaining — структурирование данных как метод определения закономерностей

Создание единой структуры на основе обнаруженных связей для достижения единого смысла

Machine learning — машинное изучение, основанное на появившихся в процессе сведениях.

Позднее появилось понятие Deep learning, работающее от искусственного интеллекта.

Анализирование и прогнозирование

Используемая технология

Обрабатывание информационного поля необходимо для предоставления пользователям конкретного результата с целью эффективного применения в будущем. То есть по итогу человек должен получить максимально полезную информацию о различных предметах или явлениях, а также взвесить положительные и отрицательные моменты для выбора дальнейшего решения. Искусственный интеллект строит приблизительную модель будущего, предлагая несколько вариантов, а затем отслеживает достигнутый результат.

Существующие аналитические агентства запускают программу-симулятор для тестирования различных идей. Она предполагает и выдает готовое решение проблемы. То есть все шаги полностью автоматизированы. Таким образом, Биг Дату можно смело назвать современной альтернативой, которая пришла на смену традиционным аналитическим методам.

• интернет (социальные сети, онлайн-магазины, статьи, форумы);
• корпоративные ресурсы — деловые архивы и активные базы;
• показатели с приборов — датчики, электронные устройства, метеоданные.

При этом, несмотря на различия, происходит объединение, интеграция, направленные в дальнейшем на извлечение, получение новых знаний.

Следует помнить о главном правиле — VVV, которое служит характеристикой больших данных:

• Volume — измерение объема в физической величине, которая занимает определенное пространство на носителе. Приставка «Биг» означает получение информационного массива в размере более 150 Гб за день.
• Velocity — регулярное обновление в режиме реального времени за счет применения интеллектуальных технологий.
• Variety — абсолютная или частичная бессистемность, разнообразие.

С течением времени упомянутые выше признаки дополнили еще двумя факторами:

• Variability — способность изменяться в зависимости от внешних обстоятельств, неуправляемые всплески и спады поступающих потоков зачастую связаны с периодичностью;
• Value — изменчивость в зависимости от сложности может затруднить функционирование искусственного интеллекта. То есть сначала требуется определение степени значимости, а после этого идет этап структуризации.

Чтобы обеспечить бесперебойность функционирования системы, необходимо одновременное включение трех основополагающих факторов:

• возможность горизонтального расширения пространства, то есть увеличение количества серверов без деградации производительности;
• устойчивость к отказу, а именно — число цифровых носителей и интеллектуальных машин для предотвращения вероятности сбоя при выходе из строя одного узла должно быть увеличено;
• локальность — выделенное место для хранения и обработки информации, способствующее экономии времени, ресурсов.

Где можно найти применение

Чем больший объем известен человеку о тех или иных предметах и явлениях, тем выше вероятность проведения точного прогноза на будущее. Даже не стоит лишний раз говорить, что наибольший спрос БигДата получила в бизнесе и маркетинге. Однако это не единственное возможное применение ее на практике. BigData активно внедряется в следующих областях:

• Медицина и охрана здоровья. Увеличение размера доступных сведений о болезнях, методах лечения и применяемых препаратах позволяет побороть такие заболевания, которые в прошлом часто становились причиной летального исхода.
• Предотвращение тяжелых последствий катастроф техногенного и природного характера. Сбор идет от множества доступных датчиков с определителем точного местоположения. Такое прогнозирование способно спасти тысячи людей.
• Правоохранительные органы используют данные для определения возможного возрастания криминальной ситуации в мире с последующим принятием профилактических мер в зависимости от ситуации.

Для автоматизации бизнеса наша компания «Клеверенс» предлагает ПО и оборудование, которые способны намного облегчить большинство рутинных задач, упростить рабочий процесс.

Методы анализа и обработки

Основы системы big data database заключаются в работе с огромным информационным полем, который постоянно дополняется сведениями с использованием следующих способов:

• глубокое анализирование с разделением на отдельные небольшие группы. Для этого применяются специализированные математические цифровые алгоритмы;
• крауд-сорсинг основан на способности принимать и направлять в переработку инфо-потоки из различных источников, число которых ограничено мощностью, но не количеством;
• сплит-тесты базируются на сравнении элементов от исходной точки до момента изменения. Это необходимо для выявления факторов, оказывающих наибольшее влияние. То есть по итогу проведения тестирования будет получен максимально точный результат;
• прогнозирование строится на внедрении новых параметров с дальнейшей проверкой поведения после поступления большого массива;
• машинное обучение с перспективой поглощения и обработки искусственным интеллектом знаний, использования их для самостоятельного обучения;
• анализирование активности в сети для разделения аудитории по интересу, месту, половозрастным признакам и другим параметрам.

Разрабатываемые решения

Биг дейта — это возможность эффективного использования полученных сведений в удобной и наглядной форме для выполнения прикладных задач. Основным источником является человек, при этом могут быть использованы самые различные средства (соцсети, СМИ и др.). Данные используются в первую очередь для проведения анализа с последующим созданием продуктов. Это могут быть консультации, товары или услуги, возможно внедрение программ оптимизации потребления ресурсов, прогнозирование. При этом важно защитить серверы от мошеннических манипуляций и угрозы вируса. Учитывая характер полученных сведений, программист сможет создать уникальные платформы и барьеры, защищающие от утечки.

Как происходило развитие в мире

Рост объема получаемой информации ежегодно растет в геометрической прогрессии. Если в 2003 году он составлял всего 5 Эб, то в 2015 этот показатель возрос до 6,5 Зб и до сих пор продолжает увеличиваться. При этом новые полученные знания можно смело назвать жизненно важным активом, а основы безопасности должны стать фундаментом. Повсеместное возрастание значимости феномена способно кардинально изменить экономическую ситуацию в мире, а незаинтересованный пользователь будет находиться в постоянном контакте с различными электроустройствами.