Сравнительные тесты raid 0 1 5 shr и ssd кэш

RAID 5

Основным недостатком уровней RAID от 2-го до 4-го является невозможность производить параллельные операции записи, так как для хранения информации о чётности используется отдельный контрольный диск. RAID 5 не имеет этого недостатка. Блоки данных и контрольные суммы циклически записываются на все диски массива, нет асимметричности конфигурации дисков. Под контрольными суммами подразумевается результат операции XOR (исключающее или). Xor

обладает особенностью, которая даёт возможность заменить любой операнд результатом, и, применив алгоритмxor , получить в результате недостающий операнд. Например:a xor b = c (гдеa ,b ,c — три диска рейд-массива), в случае еслиa откажет, мы можем получить его, поставив на его местоc и проведяxor междуc иb :c xor b = a. Это применимо вне зависимости от количества операндов:a xor b xor c xor d = e . Если отказываетc тогдаe встаёт на его место и проведяxor в результате получаемc :a xor b xor e xor d = c . Этот метод по сути обеспечивает отказоустойчивость 5 версии. Для хранения результата xor требуется всего 1 диск, размер которого равен размеру любого другого диска в raid.

Достоинства

RAID5 получил широкое распространение, в первую очередь, благодаря своей экономичности. Объём дискового массива RAID5 рассчитывается по формуле (n-1)*hddsize, где n — число дисков в массиве, а hddsize — размер наименьшего диска. Например, для массива из четырех дисков по 80 гигабайт общий объём будет (4 — 1) * 80 = 240 гигабайт. На запись информации на том RAID 5 тратятся дополнительные ресурсы и падает производительность, так как требуются дополнительные вычисления и операции записи, зато при чтении (по сравнению с отдельным винчестером) имеется выигрыш, потому что потоки данных с нескольких дисков массива могут обрабатываться параллельно.

Недостатки

Производительность RAID 5 заметно ниже, в особенности на операциях типа Random Write (записи в произвольном порядке), при которых производительность падает на 10-25% от производительности RAID 0 (или RAID 10), так как требует большего количества операций с дисками (каждая операция записи, за исключением так называемых full-stripe write-ов, сервера заменяется на контроллере RAID на четыре — две операции чтения и две операции записи). Недостатки RAID 5 проявляются при выходе из строя одного из дисков — весь том переходит в критический режим (degrade), все операции записи и чтения сопровождаются дополнительными манипуляциями, резко падает производительность. При этом уровень надежности снижается до надежности RAID-0 с соответствующим количеством дисков (то есть в n раз ниже надежности одиночного диска). Если до полного восстановления массива произойдет выход из строя, или возникнет невосстановимая ошибка чтения хотя бы на еще одном диске, то массив разрушается, и данные на нем восстановлению обычными методами не подлежат

Следует также принять во внимание, что процесс RAID Reconstruction (восстановления данных RAID за счет избыточности) после выхода из строя диска вызывает интенсивную нагрузку чтения с дисков на протяжении многих часов непрерывно, что может спровоцировать выход какого-либо из оставшихся дисков из строя в этот наименее защищенный период работы RAID, а также выявить ранее не обнаруженные сбои чтения в массивах cold data (данных, к которым не обращаются при обычной работе массива, архивные и малоактивные данные), что повышает риск сбоя при восстановлении данных

Минимальное количество используемых дисков равно трём.

RAID 5

Какой SSD выбрать для создания массива?

Учитывая особенности массивов с чередованием, наиболее логично будет выбрать какие-нибудь стабильные и испытанные SSD, от которых уж точно можно не ждать неприятных «сюрпризов» в самый неподходящий момент. Таких дисков полно. Можете зайти в «яндекс маркет» и отсортировать их по количеству отзывов. В отзывах о популярных моделях вы с большой вероятностью найдете информацию о том, как ведет себя данный диск в массиве.

Когда делаете рейд, полезно проверять состояние SSD накопителей с помощью параметров SMART, чтобы контролировать появление ошибок в прошивках и контроллерах. Хорошим вариантом будет SSD, основанный на контроллерах SF (SandForce) — эти модели опробовали много пользователей, а ошибки были исправлены на программном и аппаратном уровнях.

SSD, основанные на SF контроллерах, обладают мощным набором параметров SMART, в результате чего вы сможете получить всю необходимую информацию о его состоянии. «Бонусом» также будет наличие большого количества технологий, в том числе «RAISE» и «DuraWrite», которые продляют долговечность флеш-памяти. В общем, по надежности такие SSD будут самым лучшим вариантом.

Могу порекомендовать поискать SSD на контроллере SF-2281. При этом, фирмы-производители могут быть разные. Кто-то предпочитает Intel за их качество, а кому-то придется «по душе» более дешевый Kingston HyperX. Но учтите, что модели с объемом в 480 Гб могут оказаться медленнее тех, что имеют на борту всего 240 Гб. Всё дело в том, что для первых — используется восьмикратное чередование NAND, а это вносит некоторые задержки.

RAID 3

Все остальные типы RAID-массивов можно считать различными комбинациями двух предыдущих. В данном случае требуется минимум 3 накопителя. Все данные делятся на части меньше сектора и последовательно записываются на диски кроме одного (как в RAID 0), а на оставшийся диск записываются блоки четности (некий аналог RAID 1). С их помощью можно восстановить информацию в случае проблем с одним из дисков с данными.

Таким образом с одной стороны увеличивается скорость работы, а с другой стороны имеется информация для восстановления в случае проблем. На практике хорошо работает только последовательной работы с большими файлами и контрольный диск работает в более нагруженном режиме по сравнению с остальными. Кроме того, объем доступный пользователю равен суммарной емкости накопителей минус один.

Управление контроллером

Непосредственно из операционной системы управление контроллером производится с помощью программного обеспечения, доступного для скачивания с сайта производителя. Доступны варианты для большинства операционных систем и гипервизоров:

• Debian,
• Ubuntu,
• Red Hat Linux,
• Fedora,
• SuSE Linux,
• FreeBSD,
• Solaris,
• Microsoft Windows,
• Citrix XenServer,
• VMware ESXi.

Пользователям других дистрибутивов Linux также доступны исходные коды драйверов. Помимо драйверов и консольной утилиты ARCCONF производитель также предлагает программу с графическим интерфейсом для удобного управления контроллером — maxView Storage Manager. С помощью указанных утилит можно, не прерывая работу сервера, легко управлять логическими и физическими дисками. Также можно задействовать такой полезный функционал, как «подсветка диска». Мы уже упоминали про пятый кабель для подключения SGPIO — этот кабель подключается напрямую в бэкплейн (от англ. backplane — соединительная плата для накопителей сервера) и позволяет RAID-контроллеру полностью управлять световой индикацей каждого диска.

Следует помнить, что бэкплэйны поддерживают не только SGPIO, но и I2C. Переключение между этими режимами осуществляется чаще всего с помощью джамперов на самом бэкплэйне.

Каждому устройству, подключенному к аппаратному RAID-контроллеру Adaptec, присваивается идентификатор, состоящий из номера канала и номера физического диска. Номера каналов соответствуют номерам портов на контроллере.

Замена диска — штатная операция, впрочем, требующая однозначной идентификации. Если допустить ошибку при этой операции, можно потерять данные и прервать работу сервера. С аппаратным RAID-контроллером такая ошибка является редкостью.

Делается это очень просто:

1. Запрашивается список подключенных дисков к контроллеру: arcconf getconfig 1

2. Находится диск, требующий замены, и записываются его «координаты» (параметр Reported Channel,Device(T:L)).

3. Диск «подсвечивается» командой: arcconf identify 1 device 0 0

Контроллер даст соответствующую команду на бэкплэйн, и светодиод нужного диска начнет равномерно моргать цветом, отличающимся от стандартного рабочего. Например, на платформах Supermicro штатная работа диска — зеленый или синий цвет, а «подсвеченный» диск будет моргать красным. Перепутать диски в этом случае невозможно, что позволит избежать ошибки из-за человеческого фактора.

Настройка кэширования

Теперь пару слов о вариантах работы кэша на запись. Вариант Write Through означает, что контроллер сообщает операционной системе об успешном выполнении операции записи только после того, как данные будут фактически записаны на диски. Это повышает надежность сохранности данных, но никак не увеличивает производительность.

Чтобы достичь максимальной скорости работы, необходимо использовать вариант Write Back

. При такой схеме работы контроллер будет сообщать операционной системе об успешной IO-операции сразу после того, как данные поступят в кэш.

Настройка мониторинга

Вопрос мониторинга статуса работы оборудования и возможности оповещения стоит достаточно остро для любого системного администратора. Для того чтобы настроить «связку» из Zabbix и RAID-контроллера Adaptec рекомендуем воспользоваться перечисленными решениями. Зачастую требуется отслеживать состояние контроллера напрямую из гипервизора, например, VMware ESXi. Задача решается с помощью установки CIM-провайдера с помощью инструкции Microsemi.

Прошивка

Необходимость прошивки RAID-контроллера возникает чаще всего для исправления выявленных производителем проблем с работой устройства. Несмотря на то, что прошивки доступны для самостоятельного обновления, к этой операции следует подойти очень ответственно, особенно если процедура выполняется на «боевой» системе. Если нашему клиенту требуется сменить версию прошивки контроллера, то ему достаточно создать тикет в нашей панели управления. Системные инженеры выполнят перепрошивку RAID-контроллера до требуемой версии в указанное время и сделают это максимально корректно.

Общие понятия по видам кэш

Существует три разновидности cache на RAID контроллерах:

• read policy
• write policy
• i/o policy

Рассмотрим более детально, что из себя представляет каждая политика кэширования.

Read policy (Политика чтения)

Политика Read Ahead Policy: При ее включении контроллер начинает считывать последовательно сектора на диске, находящиеся за сектором с которого извлекается информация. При низкой фрагментации данная политика позволяет увеличить скорость чтения. Каждая операция чтения будет потреблять больше ресурсов жесткого диска, но если запросы на чтение последовательные это может существенно уменьшить количество запросов на чтение на жесткие диски и может существенно повысить производительность. Этот параметр будет работать только если  типичный размер запроса на чтения меньше, чем ширина полосы пропускания.

Политика No Read Ahead (Normal): При данном режиме контроллер не будет считывать последовательно данные, данный режим предпочтительнее когда будут производиться рандомные (случайные) чтения. Также этот режим рекомендуется при измерении последовательного чтения с помощью I/O meter под Windows.

Политика Adaptive Read Policyпо сути политика адаптивного чтения при которой контроллер запускает политику упреждающего чтения только после того, как две последние операции запрашивали доступ к последовательно идущим блокам данных. Если далее идут блоки рандомно разбросанные по дисковой подсистеме контроллер возвращается в нормальный режим работы.  Этот режим рекомендуется использовать, если нагрузка на RAID контроллере подразумевает смешанные и последовательные операции.

Write policy (Политика записи)

Политика Write-Through: Включая данную политику контроллер начинает посылает сигнал о завершении записи только тогда, когда информация упадет на физические носители, т.е. 100 процентов будет уже на жестких дисках. Обеспечивает более высокую безопасность. Данный режим не использует кэш для ускорения записи, и будет медленнее других, однако позволяет так же достичь хороших показателей при RAID 0 и RAID 10.

Политика Write-Back: Включая данный режим политика кэширования RAID контроллера начинает посылать сигнал о завершении записи только тогда, когда информация попадает в кэш контроллера, но еще не записана на дисковый массив. Обеспечивает более высокую прозводительность чем при политике write-through. Приложение продолжает работать, не дожидаясь, чтобы данные были физически записаны на жесткие диски. Но есть одно большое, но если во время работы RAID контроллера в таком режиме у вас пропадет электричество, то с 99 процентной вероятностью вы потеряете данные, для предотвращения этого есть BBU батарейки или модули защиты данных, так же советую проверить что у вашего сервера есть UPS (источник бесперебойного питания) и дублирующее подключение питания от блока питания.

Политика Write-Back with BBU Данный режим это все тот же Write-Back, но разница в том, что у нас есть батарейка BBU, которая предотвращает потерю данных при выключении электропитания.

BBU илиBattery Backup Unit (Модуль Резервной Батареи). BBU дает батарейную защиту питания для cache RAID контроллера. В случае сбоя питания, BBU поможет сохранить данные в кэше.

I/O Policy (Политика ввода/вывода)

Политика ввода/вывода определяет, будет ли RAID контроллер сохранять данные в кэше, который может уменьшить время доступа к ним при последующих запросах на чтение сделаными в те же самые блоки данных.

Политика direct IO: чтение происходит с дисков. Прямой режим I/O рекомендуется в большинстве случаев. Большинство файловых систем и множество приложений имеют свой собственный кэш и не требуют кэширования данных на уровне контроллера RAID.

Политика Cached IO: При ее включении чтение происходит с дисков, но прочитанные данные одновременно кладутся в кэш. Запросы тех же данных в последствии берутся из кэша. Этот режим может потребоваться, если приложение или файловая система не кэширует запросы чтения

Disk cache policy: это политика кэша диска. Если ее включить то на дисках будет храниться дополнительный кэш, это будет влиять на скорость записи в худшую сторону, но будут быстрее считывание, так же при включенном режиме есть риск потери данных.

RAID 6

RAID 6 — похож на RAID 5, но имеет более высокую степень надёжности — под контрольные суммы выделяется ёмкость 2-х дисков, рассчитываются 2 суммы по разным алгоритмам. Требует более мощный RAID-контроллер. Обеспечивает работоспособность после одновременного выхода из строя двух дисков — защита от кратного отказа. Для организации массива требуется минимум 4 диска. Обычно использование RAID-6 вызывает примерно 10-15% падение производительности дисковой группы, относительно RAID 5, что вызвано большим объёмом обработки для контроллера (необходимость рассчитывать вторую контрольную сумму, а также читать и перезаписывать больше дисковых блоков при записи каждого блока).

RAID 6

Аппаратный RAID: особенности использования +23

• 04.06.19 11:00

•
Darksa
•
#449312
•
Хабрахабр

•

•

5700

Серверное администрирование, Блог компании Selectel
Рекомендация: подборка платных и бесплатных курсов таргетированной рекламе — https://katalog-kursov.ru/

Организация единого дискового пространства — задача, легко решаемая с помощью аппаратного RAID-контроллера. Однако следует вначале ознакомиться с особенностями использования и управления таким контроллером. Об этом сегодня расскажем в нашей статье.
Надежность и скорость работы дисковых накопителей — вопрос, волнующий каждого системного администратора. Несмотря на заверения производителей о качестве собственных устройств — HDD и SSD продолжают выходить из строя в самое неподходящее время, теряя драгоценные данные. Технология S.M.A.R.T. в большинстве случаев дает возможность оценить «здоровье» накопителя, но это не гарантирует того, что диск будет продолжать беспроблемно работать.
Предсказать выход диска из строя со 100%-ой точностью невозможно, поэтому следует предусмотреть вариант, при котором это не станет проблемой или причиной остановки сервисов. Использование RAID-массивов решает эту задачу. Рассмотрим три основных подхода, применяющихся для этой задачи:

• Программный RAID — наименее затратный вариант, но и наименее производительный. Массив создается средствами операционной системы, вся нагрузка по обработке данных «ложится на плечи» центрального процессора.
• Интегрированный аппаратный RAID (еще его часто называют Fake-RAID) — микрочип, установленный на материнскую плату, который берет на себя часть функционала аппаратного RAID-контроллера, работая в паре с центральным процессором. Этот подход работает чуть быстрее, чем программный RAID, но надежность у такого массива оставляет желать лучшего.
• Аппаратный RAID — это отдельный контроллер с собственным процессором и кэширующей памятью, полностью забирающий на себя выполнение всех дисковых операций. Наиболее затратный, однако, самый производительный и надежный вариант для использования.

Что такое RAID 0

Думаю, немного стоит написать про то, что такое RAID. RAID — массив из нескольких физических жёстких дисков, объединённых в один виртуальный носитель. Существует большое количество различных конфигураций RAID, каждый их которых обладает как плюсами, так и минусами. Чаще всего массив из нескольких дисков используется для обеспечения отказоустойчивости путём хранения избыточных данных. Большие массивы, состоящие из множества жёстких дисков, позволяют не допустить потери данных при выходе из строя сразу нескольких физических жёстких дисков.

Самый простой вариант RAID, не обеспечивающий отказоустойчивости, это RAID 0. Его плюсом является повышенная производительность по сравнению с другими реализациями RAID. По сути, всё что делает RAID 0, так это чередует записываемые в массив данные между всеми дисками массива. На входе данные разбиваются на равные блоки и записываются параллельно на все физические диски. Подобный принцип сильно повышает скорость последовательной записи и последовательного чтения. В теории скорость последовательного чтения/записи может быть равна сумме скоростей каждого диска. Хуже обстоит ситуация со случайной записью и случайным чтением мелких файлов. Впрочем, эти скорости также увеличиваются по сравнению с единичным диском, хоть и не так сильно, как в случае с последовательными операциями чтения/записи.

Схема RAID 0 (источник)

Основные цели, которые я преследовал при создании массива были: объединение ёмкостей дисков и максимальная производительность. Лучший выбор для этого — RAID 0.

Параметры и внешний вид

Распараллеливание нагрузки и дублирование устройств является достаточно популярной темой на современных компьютерных рынках. Разработчики производят создание видеоподсистем, где есть 2-е графические карты или больше. Пользователи, которым нужна непревзойденная вычислительная техника, делают ставки на многопроцессорные рабочие станции.

Данный подход можно использовать в отношении дисковой подсистемы. Достаточно простым способом по увеличению скорости ее работы будет формирование RAID массива из двух или большего числа жестких дисков. В массивах с чередованием 0 уровня (stripe) предполагается дробление на небольшие равные части всей сохраняемой информации. Эти части распределяются по разным физическим накопителям. В теории, при обеспечении параллельного выполнения дисковых операций с несколькими накопителями одновременно, можно в несколько раз повысить рабочую скорость системы в сравнении с одним диском.

Еще несколько лет назад RAID массивы, которые состояли из механических традиционных жестких дисков, являлись обязательными атрибутами в высокопроизводительном компьютере. Затем подобные многодисковые конфигурации не выдержали конкуренции с твердотельными накопителями. SSD предложили более высокую производительность без использования подобных ухищрений.

Проверенная временем технология не утратила собственного значения. Сейчас RAID массивы собираются на основе SSD. Данной возможностью пользуются те энтузиасты, которым кажется малой скорость представленных твердотельных накопителей на рынке.

Внимание к RAID массивам вернулось из-за появления непреодолимой преграды в развитии потребительских SSD – используемый ими интерфейс. В широко распространенном интерфейсе SATA3 имеется пропускная способность, которая ограничена показателем 6 Гбит/с

Потенциал этого интерфейса современными твердотельными накопителями уже почти полностью исчерпан.

Пока только в отдаленной перспективе виден выход на переход к более скоростным интерфейсам типа PCI Express или SATA Express. Поэтому оптимальным и единственным путем к получению более высокой производительности, чем конфигурация SSD с SATA 6 Гбит/с, будет применение RAID массивов. Собирать их требуется на основе обычных твердотельных массовых накопителей. Сейчас повсеместно распространены RAID контроллеры. Их встраивают в огромнейшее количество наборов системной логики. Для сборки RAID массивов не потребуется никакое специальное оборудование, кроме нескольких SSD.

RAID 0, что это такое?

Массив RAID 0
, который еще называют «Striping»
использует от 2 до 4 жестких дисков, редко больше. Работая совместно, они повышают производительность. Таким образом, данные при таком массиве разбивается на блоки данных, а потом записываются сразу на несколько дисков.

Производительность повышается из-за того, что на один диск записывается один блок данных, на другой диск, другой блок и т. д. Думаю понятно, что 4 диска больше увеличат производительность, чем два. Если говорить о безопасности, то она страдает на всем массиве. Если один из дисков выйдет из строя, то в большинстве случаев, вся информация пропадет безвозвратно.

Дело в том, что в массиве RAID 0 информация располагается на всех дисках, то есть, байты какого-то файла, расположены на нескольких дисках. Поэтому, при выходе из строя одного диска, пропадет и какое-то количество данных, восстановление при этом невозможно.

Из этого следует, что необходимо делать постоянные на внешние носители.

Подытожим

RAID 5 нужен для ограниченного круга задач, когда гораздо большее (чем 4 диска) количество HDD собрано в огромные массивы. Для большинства юзеров рейд 1 — лучший вариант. К примеру, если есть четыре диска емкостью 3 терабайта каждый — в RAID 1 в таком случае доступно 6 терабайт объема. RAID 5 в этом случае даст больше пространства, однако, скорость доступа сильно упадет. RAID 6 даст все те же 6 терабайт, но еще меньшую скорость доступа, да еще и потребует от вас дорогого контроллера.

Добавим еще RAID дисков и вы увидите, как все поменяется. Например, возьмем восемь дисков все той же емкости (3 терабайта). В RAID 1 для записи будет доступно всего 12 терабайт пространства, половина объема будет закрыта! RAID 5 в этом примере даст 21 терабайт дискового пространства + можно будет достать данные из любого одного поврежденного винчестера. RAID 6 даст 18 терабайт и данные можно достать с любых двух дисков.

В общем, RAID — штука не дешевая, но лично я бы хотел иметь в своем распоряжении RAID первого уровня из 3х-терабайтных дисков. Есть еще более изощренные методы, вроде RAID 6 0, или «рейд из рейд массивов», но это имеет смысл при большом количестве HDD, минимум 8, 16 или 30 — согласитесь, это уже далеко выходит за рамки обычного «бытового» использования и пользуется спросом по большей части в серверах.

Вот как-то так, оставляйте комментарии, добавляйте сайт в закладки (для удобства), будет еще много интересного и полезного, и до скорых встреч на страницах блога!

Что такое RAID и зачем оно нужно?

RAID
— это дисковый массив (т.е. комплекс или, если хотите, связка) из нескольких устройств, — жестких дисков. Как я и говорил выше, этот массив служит для повышения надёжности хранения данных и/или для повышения скорости чтения/записи информации (или и то и другое).

Собственно, то чем именно занимается оная связка из дисков, т.е ускорением работы или повышением безопасности данных, — зависит от Вас, а точнее, от выбора текущей конфигурации рейда(ов). Разные типы этих конфигураций как раз и отмечаются разными номерами: 1, 2, 3, 4
и, соответственно, выполняют разные функции.

Просто, например, в случае построения 0
-вой версии (описание вариаций 0, 1, 2, 3
и пр., — читайте ниже) Вы получите ощутимый прирост производительности. Да и вообще жесткий диск нынче как раз таки узкий канал в быстродействии системы.

Что такое RAID в физическом смысле

Физически RAID
-массив представляет собой от двух
до n
-го количества жестких дисков подключенных поддерживающей возможность создания RAID
(или к соответствующему контроллеру, что реже ибо оные дороги для рядового пользователя (контроллеры обычно используются на серверах в силу повышенной надежности и производительности)), т.е. на глаз ничего внутри системника не изменяется, никаких лишних подключений или соединений дисков между собой или с чем-то еще попросту нет.

В общем в аппаратной части всё почти как всегда, а изменяется лишь программный подход, который, собственно, и задает, путем выбора типа рейда, как именно должны работать подключенные диски.

Программно же, в системе, после создания рейда, тоже не появляется никаких особенных причуд. По сути, вся разница в работе с рейдом заключается только в небольшой настройке , которая собственно организует рейд (см.ниже) и в использовании драйвера. В остальном ВСЁ совершенно тоже самое – в «Мой компьютер» те же C, D
и прочие диски, всё те же папки, файлы.. В общем и программно, на глаз, полная идентичность.

Установка массива не представляет собой ничего сложного: просто берем мат.плату, которая поддерживает технологию RAID
, берем два полностью идентичных, — это важно!
, — как по характеристикам (размеру, кэшу, интерфейсу и пр) так и по производителю и модели, диска и подключаем их к оной мат.плате. Далее просто включаем компьютер, заходим в BIOS
и выставляем параметр SATA Configuration
: RAID

После этого в процессе загрузки компьютера (как правило, до загрузки Windows
) появляется панель отображающая информацию о диска в рейде и вне него, где, собственно нужно нажать CTR-I
, чтобы настроить рейд (добавить диски в него, удалить и тд и тп). Собственно, вот и все. Дальше идет и прочие радости жизни, т.е, опять же, всё как всегда.