Для того чтобы определить требования к производительности, нужно представлять характер задач, нагружающих дисковую подсистему. Например, от файлового сервера, который хранит графику высокого разрешения и макеты печатных изданий в издательстве, потребуется высокая скорость последовательного чтения больших файлов, а скорость записи и время доступа будут не очень существенны. Для сервера корпоративной базы данных, наоборот, будет важно обеспечить малое время доступа и высокую скорость записи (обновления) данных.

После того как все пять пунктов ясны, можно принимать решение о способе реализации дисковой подсистемы и необходимости для нее того или иного RAID-массива.

Что RAID грядущий нам готовит

Различают следующие варианты организации RAID-массива:

В серверах начального уровня (серверы рабочих групп или вспомогательные серверы на уровне предприятия) RAID-массив обычно реализуют программно. Cюда же относятся и различные неинтеллектуальные RAID-контроллеры, большая часть логики которых реализована программно на уровне драйверов. Плюс такого решения – в невысокой стоимости и вполне приличной надежности (благодаря простоте), а минус – в низкой производительности как самой дисковой подсистемы, так и всего сервера из-за дополнительной нагрузки на процессор.

В серверах более высокого уровня требуется аппаратная реализация RAID-массива. При этом автономные (выполненные в виде самостоятельного конструктива) RAID-массивы являются, как правило, наиболее надежными (но и наиболее дорогими) решениями.

Свет мой, зеркальце, скажи…

Наиболее популярным и простым отказоустойчивым массивом является RAID Level 1 (часто называющийся Mirror), обеспечивающий сохранение информации (и работоспособности системы) при отказе одного жесткого диска из двух. Однако следует различать собственно зеркалирование (mirroring) и дублирование (duplexing). В первом случае диски подсоединяются к общему контроллеру, а во втором – к раздельным контроллерам (что позволяет сохранить работоспособность системы при выходе из строя не только диска, но и связанного с ним контроллера). В обоих случаях платой за надежность является потеря половины полезной емкости дискового массива.

Развитием схемы дублирования является технология кластеризации дисковых массивов, когда duplexing применяется к паре идентичных дисковых массивов со своими контроллерами.

Поскольку RAID Level 1, обеспечивая надежность, не дает сколько-нибудь существенного увеличения производительности дисковой подсистемы (а иногда даже имеет более низкую производительность, чем отдельный диск), был разработан RAID Level 10 (иногда еще называемый 0+1). Level 10 требует объединения в массив не менее четырех дисков и точно так же, как Level 1, теряет половину емкости, но он значительно быстрее.

Существует еще схема RAID Level 5, которая с практической точки зрения отличается от Level 1 только тем, что ради отказоустойчивости теряет не половину емкости массива, а лишь емкость одного диска. К сожалению, цена такой “экономии” высока: избыточную информацию, которая нужна для восстановления системы после выхода из строя любого диска, приходится рассчитывать по довольно сложному алгоритму, что создает проблемы с производительностью на операциях записи даже лучших из интеллектуальных RAID-контроллеров.

Между прочим, наиболее надежной схемой RAID, которую к тому же можно сделать за доступные деньги, является схема с двумя массивами RAID Level 0 (быстрыми, но не отказоустойчивыми) на отдельных контроллерах, которые в свою очередь объединены в программный RAID Level 1. Аналогичная идея использована Intel в фирменной технологии кластеризации RAID-контроллеров.

Для пояснения этого парадокса приведу таблицу, взятую мной из бюллетеня Storage Dimensions под названием “Отказоустойчивые системы хранения данных для непрерывно работающих сетей”. Таблица 1 показывает годовую вероятность сбоя одного диска в массиве и вероятность потери данных для четырех дисков RAID Level 0, пятидискового массива Level 5 и восьми дисков Level 10 (предполагается, что все диски однотипные и, соответственно, все три системы предоставляют одинаковую полезную емкость массива).

Хотя RAID Level 10 из-за увеличения количества дисков имеет наибольшую статистическую вероятность сбоя диска, он также имеет и значительно меньшую вероятность потери данных при сбое. Кроме того, при правильно спроектированной дублированной системе время восстановления может быть значительно короче. При выборе дисковой подсистемы вы должны четко знать, какие компоненты не продублированы. В системах RAID это могут быть контроллер шины, контроллеры RAID, блоки питания, кабели питания и шлейфы. Одно из преимуществ дублирования с раздельными дисковыми подсистемами на каждом канале (как описанная выше схема двух контроллеров + программный Level 1) – ликвидация большинства единичных мест, где могут произойти сбои.

Интерфейсы – кто кого

Современные жесткие диски используют в основном один из трех интерфейсов (экзотику типа FibreChannel пока оставим в стороне):

Кажется, что интерфейс SCSI обладает преимуществом по скорости? Увы, это только кажется. SCSI-интерфейс имеет шинную топологию, поэтому его пропускная способность делится между всеми подключенными жесткими дисками. Для случая 4-х дисков это будет означать, что каждый из них сможет рассчитывать в среднем всего на 80 Mb/s, а при большем числе дисков ситуация еще более ухудшается.

Антиподом SCSI является новейший интерфейс SATA (SerialATA). Он имеет звездообразную топологию, обеспечивая каждому жесткому диску индивидуальное соединение с контроллером, то есть в этом случае каждый диск получает 150 Mb/s вне зависимости от количества подключенных к контроллеру дисков.

Интерфейс EIDE прошел большой путь в своем развитии, однако так и не смог избавиться от некоторых врожденных недостатков (например, от потенциально проблемной схемы двух устройств Master-Slave на общей шине). С другой стороны, этих проблем можно избежать правильным конфигурированием дискового массива (например, устранением Slave-устройств), а низкая цена и доступность жестких дисков с таким интерфейсом делают его привлекательным для создания дискового массива небольшого сервера.

Попутно хочу заметить, что ни один из интерфейсов не имеет каких-либо теоретических преимуществ перед другими, с точки зрения создания дисковых массивов. Многие ошибочно полагают, что SCSI-интерфейс “более интеллектуальный”, чем SATA или EIDE. Но это не так, весь “интеллект” этого интерфейса сосредоточен в контроллере, и не существует никаких объективных причин, мешающих сделать контроллер с таким же “интеллектом” для другой шины (причем такие контроллеры существуют, и об одном из них мы ниже поговорим). Разница лишь в том, что SATA- и EIDE-интерфейсы допускают работу жестких дисков с совсем простыми, неинтеллектуальными контроллерами (благодаря чему они моментально победили конкурентов на рынке массовых рабочих станций), а для SCSI такой путь заказан by design (и SCSI в результате был выдавлен в сектор серверов и очень дорогих рабочих станций).

Аналогичная ситуация и с жесткими дисками. В то время как конструкторы EIDE-дисков выжимали минимальную себестоимость устройств, пытаясь удержаться на малорентабельном (зато очень емком) рынке “десктопных” дисков, конструкторы значительно более дорогих SCSI-дисков могли себе позволить спокойно отлаживать логику работы и повышать скорость, не слишком обращая внимание на себестоимость: “Самый быстрый диск купят за любую цену”. Именно это, а не различие в интерфейсах, определяло разницу в скоростных параметрах дисков.

Но времена меняются. Нашлась фирма, использовавшая типичные для SCSI решения в жестком диске с интерфейсом SATA. Нашлась и другая фирма, снабдившая интеллектуальный RAID-контроллер высокого класса SATA-интерфейсом. Результаты коренным образом изменили расстановку сил на рынке дисковых подсистем для серверов.

Революционеры с цифрового Запада

Не успели отзвучать фанфары по поводу великолепных характеристик нового SerialATA 10K rpm винчестера Raptor фирмы Western Digital (см. статью “Хищник нападает!” в “КОМПЬЮТЕР бизнес МАРКЕТ” № 25, 2003 г.), как подоспели очередные приятные новости.

Во-первых, Western Digital, как я и предсказывал в той статье, расширил линейку винчестеров Raptor, выпустив в дополнение к модели 36 Gb увеличенную версию емкостью 74 Gb (см. рис. 1). Во-вторых, серия Raptor была официально сертифицирована фирмой Intel для построения дисковых систем корпоративного класса на базе RAID-контроллера Intel SRCS14L “Taft” – продукта тоже по-своему революционного, знаменующего собой некоторые новые (и весьма непривычные многим) тенденции в построении серверов корпоративного (Enterprise) уровня.

Рис. 1. Western Digital Raptor 74 Gb изнутри

Хищник подрастает

Первой неожиданностью оказалось то, что новый Raptor (см. рис. 1) является не просто двухдисковой версией своего “младшего братца” – он получил от инженеров Western Digital целую россыпь инновационных технологий. Наиболее важным из нововведений является Ultra/150 Command Queuing (U150 CQ) – технология квазипараллельных очередей команд, скопированная со SCSI-устройств. Эта технология позволяет среди прочего осуществлять получение, обработку и выполнение одной команды, в то время как происходит пересылка результатов (данных) другой команды, что оптимизирует потоки данных от SATA-контроллера к винчестерам, значительно снижает потери времени на обработку команд, существенно ускоряет операции чтения, записи и позиционирования головок. По данным WD, новая технология обеспечивает прирост производительности модели Raptor в типичных многопользовательских (серверных) приложениях на 30% при сохранении лидирующего уровня производительности в однопользовательских приложениях.

Переведя это на доступный большинству язык конкретных выводов, Western Digital хочет сказать примерно следующее: “Раньше мы легко обгоняли 10K rpm SCSI-винчестеры в типичных пользовательских приложениях (таких как Business Content Creation), но несколько проигрывали в сильно нагруженных серверных паттернах. Теперь мы ликвидировали и этот разрыв, сделав WD Raptor одним из самых быстрых HDD в мире (разумеется, в группе HDD со скоростью вращения 10K rpm спорить с топовыми 15K rpm моделями “Раптору” пока еще рано)”. Насколько это так на самом деле – судить еще рано, новые модели с Ultra/150 Command Queuing пока малодоступны для тестов, но то, что инженеры WD не почивают на лаврах и быстро улучшают характеристики своего флагманского винчестера, не может нас не радовать.

Второй технологической новинкой WD, внедренной в новом 74 Gb Raptor, является технология Rotary Accelerometer Feed Forward (RAFF). Задача этой технологии – сохранение высоких характеристик HDD (особенно малого времени доступа) в условиях ударов и повышенных вибраций, и решается эта задача за счет обратной связи от датчика вибраций (акселерометра) на двигатель привода головок, который в результате создает усилие, парирующее воздействие вибраций на блок головок. Скажу прямо: из этой технологии явно “торчат уши” военных, ибо кому еще придет в голову использовать столь мощные дисковые системы в условиях постоянных ударов и тряски…

Не забыты и гражданские пользователи. Ради них новый WD Raptor получил так называемые “жидкие подшипники” (Fluid Dynamic Bearings), обеспечившие снижение уровня шума (хотя и без них Raptor был одним из самых тихих 10K rpm винчестеров в мире).

Похороны SCSI?

RAID-контроллер Intel SRCS14L Taft (см. рис. 2) пока малоизвестен в России даже среди специалистов, хотя на Западе он вызвал очень большой резонанс. Идея, которой руководствовались инженеры Intel при его разработке, очень проста: за основу был взят известный SCSI RAID-контроллер Intel SRCU31L, с него демонтирована микросхема интерфейса SCSI, а вместо нее использованы две популярные микросхемы SerialATA-интерфейса SiliconImage SATAlink. Ядро контроллера на уникальном, специально разработанном Intel для RAID-контроллеров 64-битном RISC-процессоре i80303 Zion (который предопределил в свое время технологический отрыв RAID-контроллеров Intel от конкурентов в лице Mylex и IBM и заставил такую известную фирму, как Adaptec, заняться фактическим копированием решений Intel), было оставлено неизменным, лишь увеличен с 16 до 64 Mb объем встроенной кэш-памяти.

Рис. 2. RAID-контроллер Intel SRCS14L Taft.

В результате получился интеллектуальный RAID-контроллер высокого класса, логически продолжающий линейку Enterprise SCSI RAID от Intel, но с четырьмя портами SerialATA/150, позволяющими не только использовать более доступные по цене SerialATA винчестеры, но и добиться теоретической пропускной способности каналов “контроллер-винчестеры” в 600 Mb/s. Такая ураганная скорость на PC-серверах до сих пор встречалась разве что в канале “процессор-память” да на многопортовых SCSI-320 контроллерах.

Контроллер SRCS14L поддерживает режимы RAID Level 0, 1, 4, 5 и 10, причем может создавать различные виды RAID на части объема одних и тех же физических HDD. Для RAID Level 1, 4 и 5 поддерживаются диски “горячего резерва”, также поддерживается кластеризация нескольких контроллеров. Управление несколькими контроллерами Intel (причем не только серии SRCS, но и SRCU) осуществляется из единой среды как при использовании встроенного RAID BIOS, так и из Storage Console в среде Windows.

В качестве бонуса Storage Console из среды Windows позволяет контролировать не только установленные на данном компьютере RAID-массивы, но и массивы всех компьютеров, доступных в локальной сети (что очень удобно для системного администратора). Как можно заметить на рис. 2, контроллер SRCS14L имеет Low-Profile форм-фактор специально для установки в компактные 1U rack-mount серверы. Он рассчитан на типичную для серверов корпоративного класса шину PCI 64 bit 133 MHz, однако работает и на обычной шине PCI 32 bit 33 MHz (разумеется, в этом случае вы столкнетесь с ограниченной пропускной способностью такой шины – реально по ней удастся прокачать не больше 87 Mb/s, что очень мало для нормальной работы столь мощного контроллера).

“Создание фирмой Intel RAID-контроллера корпоративного класса с интерфейсом SerialATA явилось важным сигналом для компьютерной индустрии”, – считает Ричард Рутледж, вице-президент Western Digital. – Следует ожидать значительный рост применения SerialATA в серверах и системах хранения данных, включая системы высокого уровня, и в ближайшие несколько лет SerialATA, несомненно, станет доминирующим интерфейсом”. По данным Gartner Dataquest, к 2003 году в серверах уже установлено 3.3 млн SerialATA винчестеров, и к 2007 году их число составит не менее 11.1 млн. А ведь эти цифры еще не учитывают ошеломляющего успеха модели Raptor…

Померяем?

Ну, теория теорией, а все-таки хочется пощупать технологические новинки своими руками, оценить, насколько хороши винчестеры Raptor в связке с интеллектуальным контроллером Intel. В качестве базы для тестов был выбран типичный современный SMP-сервер (см. рис. 3) следующей конфигурации.

Рис. 3. Сервер Assistant Black 3200 – вид изнутри.

Такова типичная конфигурация сравнительно недорогого универсального DualXeon сервера (между прочим, весьма популярная, продаваемая и уже работающая в реальных задачах с большими нагрузками). В нем нет HotSwap модулей для HDD и блоков питания (необходимость которых в реальных условиях России, где любой сисадмин дружит с отверткой, весьма сомнительна), зато есть мощная и надежная система охлаждения, все компоненты легко доступны для замены, не представляют из себя какой-либо экзотики и сертифицированы таким производителем, как Intel, на взаимную совместимость.

К сожалению, на момент испытаний новейшие винчестеры WD740 Raptor оказались недоступны и пришлось собрать массив из более знакомых Raptorов WD360. Я последовательно сконфигурировал эти диски в виде RAID-массивов Level 1 (2 диска), Level 5 (4 диска) и Level 10 (4 диска), а также измерил параметры одиночных дисков при работе через контроллер SRCS14L в популярном тесте Sandra (благо, этот тест дает разбивку по скоростям чтения и записи в различных паттернах и хорошо коррелирует с физическими параметрами HDD и контроллера). Все массивы и отдельные диски были сформатированы в файловую систему NTFS.

Рис. 4. Скорость чтения из кэша (контроллера и дисков), Mb/s.

Рис. 5. Скорость записи в кэш (контроллера и дисков), Mb/s.

Рис. 6. Средняя скорость последовательного чтения, Mb/s.

Рис. 7. Средняя скорость последовательной записи, Mb/s.

Рис. 8. Средняя скорость случайной (Random) записи, Mb/s.

Результаты чрезвычайно интересные и нуждаются в комментариях. Прежде всего, оговорюсь, что диаграмму для случайного чтения (Random Read) я не привел, поскольку она совершенно неинформативна – все версии RAID показали в этом режиме параметры одиночного HDD (8 Mb в секунду). Совершенно очевидно, что Intel в текущей версии Firmware контроллера SRCS14L не слишком напрягался в оптимизации случайного чтения. А вот со случайной записью дело совсем иное. В режиме RAID Level 0 результаты просто великолепны (вы уж поверьте, 40 Mb/s на RandomWrite по Сандре получить чрезвычайно сложно), да и в режиме Level 10 они вполне адекватны. Контроллер отлично справляется с записью в режиме Level 1, не допуская падения производительности по сравнению с одиночным HDD (чего можно было бы ожидать, ведь данные пишутся параллельно на два HDD). А относительно низкие цифры в Level 5 неудивительны: случайная запись всегда была для этого вида RAID большой проблемой, и лишь 64-битный RISC-процессор помогает достичь более-менее сносной скорости в 3.4 Mb/s.

На последовательной записи ситуация несколько меняется. Как обычно, Level 0 быстрее всех, Level 1 идет нога в ногу с одиночным диском, а вот дальше начинается интересное. Прежде всего, приятно радует Level 5. Он достигает почти рекордной для RAID такого типа скорости записи в 46 Mb/s (вот он, 64-битный RISC-процессор и труды Intel по оптимизации алгоритмов записи Level 5!), и одновременно огорчает Level 10, демонстрирующий худший результат (видимо, сказываются какие-то недоработки в алгоритмах – все-таки контроллер еще совсем молодой).Последовательное чтение демонстрирует более-менее ровные результаты у всех массивов, близкие к уровню одиночного диска, что крайне странно. В частности, RAID Level 0 показывает результат даже немного хуже, чем в случайном чтении, что совсем уже не лезет ни в какие ворота. Видимо, firmware контроллера очень сильно оптимизирована на многопоточную нагрузку, характерную для серверных приложений, и не пытается выжать максимум из винчестеров на синтетическом однопоточном тесте. Посмотрим, как изменится ситуация, когда Intel обновит firmware контроллера.

Скорость чтения и записи в кэш, в свою очередь, радует глаз – безумные цифры 170…202 Mb/s, ставшие возможными благодаря 64-битной шине PCI с повышенной тактовой частотой, демонстрируют то, что шина больше не является сдерживающим фактором для роста производительности RAID-массивов. А теперь самое главное: во время всех этих тестов, даже при самой интенсивной нагрузке, загрузка процессоров сервера не превышала 2%, а часто была близка к нулю. Субъективно впечатления такие, как будто с дисковым массивом вообще ничего не делают, все другие задачи просто летают – и только звук движущихся головок HDD и горение светодиодов активности на контроллере выдают, что идет серьезная работа, десятки и сотни мегабайт в секунду прокачиваются через массив и контроллер. Этот результат не просто великолепен – он потрясает. Эти маленькие цифры дорогого стоят, за ними такой труд разработчиков firmware и тщательность в реализации доступа к шине PCI, которые непрофессионалу трудно себе представить…

Жаль, что объем статьи не позволяет привести данные других тестов, например, того же Intel IOmeter. С другой стороны, странно было бы рассчитывать, что Enterprise-level контроллер Intel с винчестерами, сертифицированными Intel, покажет в тесте того же Intel низкие результаты. Ведь именно на основе результатов этого теста разработчики настраивают алгоритмы контроллера. Гораздо познавательнее было бы сравнить производительность дисковой подсистемы на контроллере SRCS14L и винчестерах WD Raptor с классической дисковой подсистемой на SCSI (например, на очень мощном контроллере SRCU42 и винчестерах IBM/Hitachi). И мы обязательно это сделаем, но уже в следующей статье.