Мережа зберігання даних

Мере́жа зберіга́ння да́них (МЗД) (англ. Storage Area Network (SAN)) — архітектурне рішення для підключення зовнішніх пристроїв зберігання даних, таких як дискові масиви, стрічкові бібліотеки, оптичні накопичувачі, до серверів таким чином, щоб операційна система розпізнала підключені ресурси як локальні.

Сітка зберігання даних

Побудова мережі SAN вирішує проблеми зниження сукупної вартості володіння системою зберігання даних, а також надає інструменти для організації надійного зберігання інформації. В простому випадку SAN складається з СХД, комутаторів і серверів, об'єднаних оптичними каналами зв'язку. Помимо дискових СХД в SAN можна підключити дискові бібліотеки, стрічкові бібліотеки, пристрої для зберігання даних на оптичних дисках (CD/DVD і другі) і так далі.

Приклад високонадійної інфраструктури, в якій сервери включені одночасно в локальну мережу (ліворуч) і в мережу зберігання даних (праворуч). Така схема забезпечує доступ до даних, що знаходяться на СХД, при виході з ладу будь-якого процесорного модуля, комутатора або шляху доступу.

МЗД (SAN) характеризується наданням так званих мережевих блокових засобів (як правило за допомогою протоколів AoE), в той час як мережеві сховища даних (NAS (англ. Network Attached Storage)) націлені на надання доступу до даних, які зберігаються на їх файловій системі за допомогою мережевої файлової системи (такої як NFS, SMB/CIFS iSCSI, або AppleTalk).

Варто також звернути увагу, що категоричний поділ типу «SAN — це тільки мережеві диски, NAS — це тільки мережева ФС» є штучним: з появою iSCSI почалося взаємне проникнення технологій з метою підвищення гнучкості і зручності їх застосування. Наприклад, а 2003 році NetApp вже надавали iSCSI на своїх NAS, а EMC і HDS — навпаки, пропонували NAS-фронтенди для своїх SAN-масивів.

Використання SAN дозволяє забезпечити:

• централізоване управління ресурсами серверів і систем зберігання даних;
• підключення нових дискових масивів і серверів без зупинки роботи всієї системи зберігання;
• використання раніше придбаного обладнання спільно з новими пристроями зберігання даних;
• оперативний і надійний доступ до накопичувачів даних, що знаходяться на великій відстані від серверів без значних втрат продуктивності;
• прискорення процесу резервного копіювання і відновлення даних — BURA.

Типи мереж

Більшість мереж зберігання даних використовує протокол SCSI для зв'язку між серверами та пристроями зберігання даних на рівні шинної топології. Оскільки протокол SCSI не призначений для формування мережевих пакетів, в мережах зберігання даних використовують низькорівневі протоколи:

• Fibre Channel Protocol (FCP), транспорт SCSI через Fibre Channel. Найчастіше використовуваний на цей час. Існує у в варіантах 1 Gbit/s, 2 Gbit/s, 4 Gbit/s, 8 Gbit/s, 10 Gbit/s, 16 Gbit/s, 20 Gbit/s.
• iSCSI, транспорт SCSI через TCP/IP.
• iSER, транспорт iSCSI через InfiniBand / RDMA.
• SRP, транспорт SCSI через InfiniBand / RDMA
• FCoE, транспортування FCP/SCSI поверх «чистого» Ethernet.
• FCIP та iFCP, інкапсуляція та передача FCP/SCSI в пакетах IP.
• HyperSCSI, транспорт SCSI через Ethernet.
• FICON транспорт через Fibre Channel (використвується лише у мейнфреймах).
• ATA over Ethernet, транспорт ATA через Ethernet.

Спільне використання пристроїв зберігання

Рушієм розвитку мереж зберігання даних став вибуховий ріст обсягу ділової інформації (такої як електронна пошта, бази даних і високонавантажені файлові сервери), які потребують високошвидкісного доступу до дискових пристроїв на блочному рівні. Раніше на підприємствах використовували «острови» високошвидкісних дискових масивів SCSI. Кожний такий масив виділявся для конкретної програми і був доступний як певна кількість «віртуальних жорстких дисків» (LUN'ів).

Мережа зберігання даних дає змогу об'єднати ці «острови» засобами високошвидкісної мережі. Також без використання технологій SCSI-транспорту неможливо організувати відмовостійкі кластери, в яких один сервер під'єднується до двох і більше дискових масивів, які розташовані на великій відстані один від одного на випадок стихійних лих.

Мережа зберігання допомагає підвищити ефективність використання ресурсів систем зберігання, оскільки дає змогу виділити будь-який ресурс будь-якому вузлу мережі.

Варто не забувати і про пристрої резервного копіювання, які також під'єднуються до мереж зберігання даних. Сьогодні існують промислові стрічкові бібліотеки (на кілька тисяч стрічок) від провідних брендів, так і low-end рішення для малого бізнесу. Мережі зберігання даних дають змогу під'єднати до одного вузла кілька стрічкових бібліотек, забезпечивши таким чином сховище даних для резервного копіювання від сотень терабайт до кількох петабайт.

Переваги

Спільне використання систем зберігання зазвичай спрощує адміністрування збільшує гнучкість системи, оскільки кабелі і дискові масиви не потрібно фізично транспортувати і перекомутовувати від одного сервера до іншого.

Ще однією перевагою є можливість завантажувати сервери безпосередньо з мережі зберігання. За такої конфігурації можна швидко і легко замінити несправний сервер, переконфігурувавши SAN таким чином, що сервер-заміна буде завантажуватися з LUN'а несправного сервера. Ця процедура може тривати з півгодини. Ідея відносно нова, але вже використовується в нових датацентрах. Додатковою перевагою є можливість на сервері зібрати RAID-дзеркало з LUN'ів, які надані серверу з двох різних дискових масивів. У цьому випадку повна відмова одного з масивів не зашкодить серверу.

Мережі зберігання також допомагають більш ефективно відновлювати працездатність сервера після відмови. В SAN може входити віддалена частина з вторинним пристроєм зберігання. У такому разі можна використовувати реплікацію, реалізовану на рівні контролерів масивів або за допомогою спеціальних апаратних засобів. Оскільки канали WAN на базі протоколу IP зустрічаються часто, то були розроблені протоколи Fibre Channel over IP (FCIP) та iSCSI з метою розширити єдину SAN засобами мереж на базі протоколу IP. Попит на такі рішення значно зріс після подій 11 вересня 2001 р. в США.

Недоліки

Всі мінуси зводяться тільки до високої вартості подібного роду рішень. Ринок СХД у цілому відстає від ринку західних розвинених країн, особливо — в широкому використанні мереж зберігання даних. Зокрема, певний вплив продовжують надавати дефіцит і висока вартість швидкісних каналів зв'язку.

Порівняння технологій обміну даними

Часом порівнюють SAN і NAS, розглядаючи насправді різницю між мережевим диском і мережевою ФС, яка полягає в тому, хто обслуговує файлову систему з даними. У випадку мережевого диска («блокового пристрою», англ. block device):

• обмін даними з ним по мережі здійснюється блоками як і з локальним SCSI- або SATA-диском;
• файлова система створюється клієнтом і зазвичай використовується виключно ним. У випадку мережевої файлової системи («ресурс з спільним/розділюваним доступом» не зберігає, а лише передає дані):
• обмін даними по мережі відбувається з використанням більш високорівневих понять «файл» і «каталог», які відповідають об'єктам підлеглої «справжньої ФС» на фізичних дисках (або логічних у разі застосування RAID, LVM);
• ця файлова система створюється і обслуговується в межах віддаленої системи, при цьому її можна одночасно використовувати на читання і запис

Топологія мережі

Однокомутаторна структура

Однокомутаторна структура

Однокомутаторна структура (англ. single-switch fabric) складається з одного комутатора Fibre Channel, сервера і системи зберігання даних. Зазвичай ця топологія є базовою для всіх стандартних рішень — інші топології створюють об'єднанням однокомутаторних комірок.

Дерево або Каскадна структура

Каскадна структура

Каскадна структура (англ. cascaded fabric) — набір комірок, комутатори яких з'єднані в дерево за допомогою міжкомутаторних сполук (англ. Inter-Switch link, ISL). Під час ініціалізації мережі комутатори вибирають «верхівку дерева» (англ. principal switch, головний комутатор) і присвоюють міжкомутаторним з'єднанням статус «upstream» (вгору) або «downstream» (вниз) залежно від того, веде це з'єднання в напрямку головного комутатора чи на периферію.

Ґратка

Ґратка

Ґратка (англ. meshed fabric) — це набір комірок, в яких комутатор комірки з'єднаний зі всіма іншими комутаторами. У разі відмови одного міжкомутаторного з'єднання зв'язність мережі не втрачається. Недоліком є надлишковість з'єднань.

Кільце

Кільце

Кільце (англ. ring fabric) — практично повторює схему топології ґратка. Серед переваг — використання меншої кількості ISL з'єднань.

Архітектура SAN

SAN є високошвидкісною мережею передачі даних, призначеної для підключення серверів до пристроїв зберігання даних. Різноманітні топології SAN (точка-точка, петля з арбітражної логікою (Arbitrated Loop) і комутація) заміняють традиційні шинні з'єднання «сервер — пристрої зберігання» і надають в порівнянні з ними велику гнучкість, продуктивність і надійність. В основі концепції SAN лежить можливість з'єднання будь-якого з серверів з будь-яким пристроєм зберігання даних, які працюють за протоколом Fibre Channel. Принцип взаємодії вузлів в SAN з топологіями точка-точка або комутацією показаний на малюнках. У SAN з топологією Arbitrated Loop передача даних здійснюється послідовно від вузла до вузла. Для того, щоб почати передачу даних передавальний пристрій ініціалізує арбітраж за право використання середовища передачі даних (звідси і назва топології — Arbitrated Loop).

Транспортну основу SAN складає протокол Fibre Channel, що використовує як мідні, так і волоконно-оптичні з'єднання пристроїв.

Компоненти SAN поділяються на:

• Host Bus Adaptors (HBA);
• Ресурси зберігання даних;
• Пристрої, що реалізують інфраструктуру SAN;
• Програмне забезпечення.

Host Bus Adapter (HBA) встановлюються в сервери і здійснюють їх взаємодію з SAN по протоколу Fibre Channel. Стек протоколів Fibre Channel реалізований всередині HBA. Найбільш відомими виробниками HBA є компанії Emulex, JNI, Qlogic і Agilent.

До ресурсів зберігання даних відносяться дискові масиви, стрічкові накопичувачі та бібліотеки з інтерфейсом Fibre Channel. Багато свої можливості ресурси зберігання реалізують тільки будучи включеними в SAN. Так дискові масиви вищого класу можуть здійснювати реплікацію даних між масивами по мережах Fibre Channel, а стрічкові бібліотеки можуть реалізовувати перенесення даних на стрічку прямо з дискових масивів з інтерфейсом Fibre Channel, минаючи мережу і сервери (Serverless backup). Найбільшу популярність на ринку придбали дискові масиви компаній EMC, Hitachi, IBM, Compaq (сімейство Storage Works, що дісталася Compaq від Digital), а з виробників стрічкових бібліотек слід згадати StorageTek, Quantum / ATL, IBM.

Пристроями, що реалізовують інфраструктуру SAN, є комутатори Fibre Channel (Fibre Channel switches, FC switches), концентратори (Fibre Channel Hub) і маршрутизатори (Fibre Channel-SCSI routers). Концентратори використовуються для об'єднання пристроїв, що працюють в режимі Fibre Channel Arbitrated Loop (FC_AL). Застосування концентраторів дозволяє підключати і відключати пристрої в петлі без зупинки системи, оскільки концентратор автоматично замикає петлю у разі відключення пристрою і автоматично розмикає петлю, якщо до нього було підключено новий пристрій. Кожна зміна петлі супроводжується складним процесом її ініціалізації. Процес ініціалізації багатоступінчастий, і до його закінчення обмін даними в петлі неможливий.

Всі сучасні SAN побудовані на комутаторах, що дозволяють реалізувати повноцінне мережеве з'єднання. Комутатори можуть не тільки з'єднувати пристрої Fibre Channel, але й розмежовувати доступ між пристроями, для чого на комутаторах створюються так звані зони. Пристрої, поміщені в різні зони, не можуть обмінюватися інформацією один з одним. Кількість портів в SAN можна збільшувати, з'єднуючи комутатори один з одним. Група пов'язаних комутаторів носить назву Fibre Channel Fabric або просто Fabric. Зв'язки між комутаторами називають Interswitch Links або скорочено ISL.

Програмне забезпечення дозволяє реалізувати резервування шляхів доступу серверів до дискових масивів і динамічний розподіл навантаження між шляхами. Для більшості дискових масивів існує простий спосіб визначити, що порти, доступні через різні контролери, відносяться до одного диску. Спеціалізоване програмне забезпечення підтримує таблицю шляхів доступу до пристроїв і забезпечує відключення шляхів в разі аварії, динамічне підключення нових шляхів і розподіл навантаження між ними. Як правило, виробники дискових масивів пропонують спеціалізоване програмне забезпечення такого типу для своїх масивів. Компанія VERITAS Software виробляє програмне забезпечення VERITAS Volume Manager, призначене для організації логічних дискових томів із фізичних дисків і забезпечує резервування шляхів доступу до дисків, а також розподіл навантаження між ними для більшості відомих дискових масивів.

Див. також

• Мережа комп'ютерна
• NAS