Великі дані

Вели́кі да́ні (англ. Big Data) в інформаційних технологіях — набори інформації (як структурованої, так і неструктурованої) настільки великих розмірів, що традиційні способи та підходи (здебільшого засновані на рішеннях класу бізнесової аналітики та системах управління базами даних) не можуть бути застосовані до них. Альтернативне визначення називає великими даними феноменальне прискорення нагромадження даних та їх ускладнення. Важливо також відзначити те, що часто під цим поняттям у різних контекстах можуть мати на увазі як дані великого об'єму, так і набір інструментів та методів (наприклад, засоби масово-паралельної обробки даних системами категорії NoSQL, алгоритмами MapReduce, чи програмними каркасами проекту Hadoop).

Зразок Big data — дані про щоденні зміни, що користувачі вносять у статті на вікіпедії

Мета та переваги

Кінцевою метою цієї обробки є отримання результатів, які легко сприймаються людиною та є ефективними в умовах безперервного росту й розподілення інформації по численних вузлах обчислювальної мережі.

Для характеристики великих даних використовують «три V»: їх обсяг (англ. volume), швидкість накопичення нових даних та їх обробки (англ. velocity) та різноманіття типів даних, які можуть оброблятися (англ. variety).

До основних переваг використання технології можна віднести:

• отримання якісно нових знань шляхом комплексного аналізу усієї інформації у єдиному аналітичному сховищі;
• розширення функціональності наявних інформаційних систем підтримки бізнесу;
• збільшення ефективності використання апаратних ресурсів серверів;
• забезпечення мінімальної вартості використання всіх видів інформації внаслідок можливості використання ПЗ з відкритим кодом і хмарних технологій.

Критика великих даних пов'язана з тим, що їх зберігання не завжди приводить до отримання вигоди, а швидкість оновлення даних і «актуальний» часовий інтервал не завжди розумно порівнянні^{[джерело?]}.

Історія

Сама по собі концепція «великих даних» не нова, вона виникла в часи мейнфреймів та пов'язаних з ними наукових комп'ютерних обчислень, оскільки наукомісткі обчислення завжди відрізнялися складністю і зазвичай нерозривно пов'язані з необхідністю обробки великих обсягів інформації^{[джерело?]}.

Авторство терміна «великі дані» належить Кліффорду Лінчу, редакторові журналу Nature, який зібрав матеріали про явище вибухового зростання обсягу та різноманітності даних та підготував у вересні 2008 року спеціальний випуск журналу, де показав феномен великих даних; термін був запропонований за аналогією з подібними в діловому англомовному середовищі метафорами «велика нафта» чи «велика руда».

Великий галас навколо цієї теми виник після того, як в червні 2011 року консалтингова компанія McKinsey випустила доповідь «Великі дані: наступний рубіж в інноваціях, конкуренції та продуктивності», в якому оцінила потенційний ринок великих даних в мільярди доларів. В тому ж році аналітична компанія Gartner відзначає великі дані як тренд номер два в інформаційно-технологічній інфраструктурі, поступаючись лише віртуалізації.

У 2012 році адміністрація президента США виділила 200 мільйонів доларів для того, щоб різні американські відомства організовували конкурси з впровадження технологій великих даних в життя. Якщо в 2009 році американські венчурні фонди вклали в галузь всього 1,1 мільярда доларів, то в 2012 — вже 4,5 мільярда доларів.

У 2015 році аналітична компанія Gartner вилучила великі дані зі своєї діаграми Gartner Hype Cycle, пояснивши це рішення тим, що ці технології перестали бути «hype» і стали нормою для корпоративного ІТ: «сьогодні всі дані — великі».

Планувалось, що у 2017 році в Україні з'явиться онлайн-курс з великих даних на платформі Prometheus, проте станом на червень 2020 року курс ще не стартував.

Приклади застосування

Серед відомих випадків застосування великих даних можна назвати перемогу Барака Обами на президентських виборах 2012 року. Аналітики виборчого штабу Обами активно використовували big data для аналізу настроїв виборців та коригування програми кандидата. Великі дані також є одним з ключових інструментів роботи Агентства національної безпеки США — у дата-центрі, що знаходиться у штаті Юта аналізуються дані, які АНБ збирає про користувачів в інтернеті.

Планування міст

Зовнішні відеофайли
	TEDxKyiv: Кіборги, що будують сучасне місто на YouTube

Соціальні мережі та геолокаційні сервіси представляють величезні обсяги інформації, аналіз якої є дуже важливим для прикладних задач містобудування, таких як проектування транспорту, аналіз суспільної думки, виявлення та координація надзвичайних ситуацій тощо.

Медицина

Медичні Великі дані допомагають запобігти розвитку хвороби на ранній стадії завдяки аналізу серцево-судинного тиску, пульсу, дихання та рівня цукру в крові.

У Великій Британії методи big data прийняті «на озброєння» Міністерством охорони здоров'я. Аналізуючи інформацію про те, які рецепти виписують медики, аналітики міністерства намагаються оцінювати потреби британців в ліках та оптимізувати доставки препаратів в різні частини країни.

У 2013 році завдяки електронній медкартці, де зберігалась уся інформація про пацієнта, вчені знайшли залежність між мозковою деградацією та цукровим діабетом.

Засоби масової інформації

Щоб зрозуміти, як медіа використовують великі дані, спочатку необхідно надати певний контекст механізму, який використовується для медіапроцесу. Нік Кулдрі та Джозеф Туроу припустили, що медіа та рекламники підходять до великих даних як до багатьох корисних точок інформації про мільйони людей. Схоже, галузь відходить від традиційного підходу до використання певних медіа-середовищ, таких як газети, журнали чи телевізійні шоу, і натомість залучає споживачів за допомогою технологій, які досягають цільових людей у оптимальний час і в оптимальних місцях. Кінцева мета полягає в тому, щоб подати або передати повідомлення або вміст, який (з точки зору статистики) відповідає мисленню споживача. Наприклад, видавничі середовища дедалі більше адаптують повідомлення (рекламу) і контент (статті), щоб вони звернулися до споживачів, які були виключно зібрані за допомогою різноманітних дій з аналізу даних.

• Орієнтація на споживачів (для реклами маркетологами)
• Збір даних
• Журналістика даних: видавці та журналісти використовують інструменти великих даних, щоб надати унікальну та інноваційну інформацію та інфографіку.

Технології

NoSQL

Серед NoSQL-рішень, що застосовуються, виділяються: MongoDB — крос-платформова документо-орієнтована система керування базами даних з підтримкою JSON та динамічних схем, Apache Cassandra — масштабована база даних, орієнтована на стійкість до відмов та HBase — масштабована розподілена база даних з підтримкою структурованого зберігання даних великого обсягу та ін.

Hadoop

Серед програмного забезпечення, що пов'язано з Hadoop, виділяють: Apache Ambari — інструмент для управління та моніторингу Hadoop кластерів, Apache Avro — система серіалізації даних, Apache Hive — інфраструктура сховища даних, яка забезпечує агрегацію даних, Apache Pig — високорівнева мова потоків даних і програмний каркас для паралельних обчислень, Apache Spark — високопродуктивний рушій для обробки даних, що зберігаються в кластері Hadoop та ін.

Віртуалізація великих даних

Віртуалізація великих даних — це спосіб збирання інформації з кількох джерел в одному шарі. Зібраний шар даних є віртуальним: на відміну від інших методів, більшість даних залишаються на місці та беруться за потреби безпосередньо з вихідних систем.

Методи і техніка аналізу великих даних

Міжнародна консалтингова компанія McKinsey, що спеціалізується на розв'язанні задач, пов'язаних зі стратегічним управлінням, виділяє 11 методів і технік аналізу, що застосовуються до великих даних.

Методи классу Data Mining

Докладніше: Добування даних

Сукупність методів виявлення у даних раніше невідомих, нетривіальних, практично корисних знань, необхідних для прийняття рішень. До таких методів, зокрема, належать: навчання асоціативним правилам (association rule learning), класифікація (розгалуження на категорії), кластерний аналіз, регресійний аналіз, виявлення і аналіз відхилень тощо.

Краудсорсинг

Докладніше: Краудсорсинг

Класифікація і збагачення даних силами широкого, неозначеного кола особистостей, що виконують цю роботу без вступу у трудові стосунки.

Змішання та інтеграція даних

Докладніше: Змішання та інтеграція даних

Набір технік, що дозволяють інтегрувати різнорідні дані з розмаїття джерел з метою проведення глибинного аналізу (наприклад, цифрова обробка сигналів, обробка природньої мови, включно з тональним аналізом).

Машинне навчання

Докладніше: Машинне навчання

Включаючи кероване і некероване навчання — використання моделей, побудованих на базі статистичного аналізу чи машинного навчання для отримання комплексних прогнозів на основі базових моделей.

Штучні нейронні мережі

Докладніше: Штучна нейронна мережа

Мережевий аналіз, оптимізація, у тому числі генетичні алгоритми (genetic algorithm — евристичні алгоритми пошуку, що використовуються для розв'язання задач оптимізації і моделювання шляхом випадкового підбору, комбінування і варіації потрібних параметрів з використанням механізмів, аналогічних натуральному відбору у природі).

Імітаційне моделювання

Докладніше: Імітаційне моделювання

Метод, що дозволяє будувати моделі, що описують процеси так, як вони би проходили у дійсності. Імітаційне моделювання можна розглядати як різновид експериментальних випробувань.

Просторовий аналіз

Докладніше: Просторовий аналіз

Клас методів, що використовують топологічну, геометричну і географічну інформацію, що вилучається із даних.

Статистичний аналіз

Докладніше: Статистичний аналіз

Аналіз часових рядів, A/B-тестування A/B testing, split testing — метод маркетингового дослідження; при його використанні контрольна група елементів порівнюється із набором тестових груп, у яких один чи кілька показників були змінені, щоб з'ясувати, які зі змін покращують цільовий показник.

Візуалізація аналітичних даних

Докладніше: Аналітичних даних

Подання інформації у вигляді малюнків, діаграм, з використанням інтерактивних можливостей і анімації, як для отримання результатів, так і для використання у якості вихідних даних для подальшого аналізу. Дуже важливий етап аналізу великих даних, що дозволяє показати найважливіші результати аналізу у найбільш зручному для сприйняття вигляді.

Див. також

• Добування даних
• Машинне навчання
• Статистика
• Соціофізика

Посилання

• Великі перспективи індустрії Big Data. Український суперкомп'ютерний інтернет-дайджест. 19 лютого 2013. Архів оригіналу за 24 жовтня 2016. Процитовано 23 жовтня 2016.
• Мельник, Антон (19 квітня 2016). Як програматик та Big Data змінюють ринок інтернет-реклами. ain.ua. Архів оригіналу за 24 жовтня 2016. Процитовано 24 жовтня 2016.
• Костюк, Дмитро (26 травня 2016). Як Vodafone та інші великі компанії використовують наші дані. Tech Today. Архів оригіналу за 24 жовтня 2016. Процитовано 24 жовтня 2016.
• Большие Данные — новая теория и практика. Открытые системы. СУБД (рос.). 20 грудня 2011. Архів оригіналу за 24 жовтня 2016. Процитовано 24 жовтня 2016.