Апгрейд серверной файлопомойки

Дополняю... OROM на сабжевой плате версии 7.5 - с IRST версии до 9 чередующееся чтение на зеркале работает, на версиях 10, 11 и 12 нет. Ну, интел так решил....

Потолок по скорости везде 150 метров на чтение. Более того, он и на RAID0 тоже 150 на чтение что на винде, что на интеле, что заставляет задуматься о каком-то узком месте в системе.

Для меня эталоном совсем программного рейда является дотхилл (почти все серверные АМД и новые десктопные), потом наверное Promise (лицензируемый) и Intel (на южниках), потом - все остальные. Из чуть более экзотичных решений можно отметить опять же Adaptec, который может программно работать на южниках от интел, амд и вообще наверное на любом SATA HBA.

Для тестов есть забавная железка - H8SGL-F. Там южный мост - факически SB700. Но он может работать как NATIVEATA/AMDATA/NATIVEAHCI/AMDAHCI/DOTHILLRAID/ADAPTECRAID и при некотором вмешательстве в BIOS как PROMISERAID. Кстати, именно эта плата послужила донором оромов для реализации дотхилла на старых десктопных АМД :-)

Это же не чередующееся чтение, это размазывание многопоточного чтения по разным дискам. Истинное чередующееся чтение, читающее данные одного потока с двух дисков делает чуть менее чем никто (бм какой-нить 3PAR).

Это словоблудие. То, что sequental read у нас теперь имеет глубину, это условность реализации. Но прирост именно в sequential read. Посмотрите сколько "потоков" в немногопоточном тесте у того же кристалдискмарка - удивитесь :-)

В любом случае, прирост скорости есть при чтении одного файла одним пользователем и измеряется он большими десятками процентов. И есть эта фича почти у всех.

И да... 3PAR - это не технология, не набор, не технологий, не продукт и даже не фирма.

3PAR - это, мать её, лейба. Понимаете? ЛЕЙБА!

И эта лейба нужна только для того, чтобы HPE 3PAR типа почти так же круто, как DELL EMC :-)

Думаете, в трипарах и исилонах какие-то волшебные технологии? В современных железяках их нет от слова совсем, контроллеры полок совершенно не интересны, а вот в момент смерти EMC (ага!) и трипара, там чего только не было.... как вам полочка ЫНТЫРПРАЙЗ уровня?

Силиконимидж 3112... на мостах PCI-PCI.... потом меднооптические конвертеры, потом FC, а потом опять SATAна дисках, через FC-SATAконвертер...

Кеш? Ну да.... поле памяти в тсоп и кучка асиков, изображающих контроллеры:


Внутри трипара эпохи "FC4G" такое же дерьмо... а потом - никаких железок, только процессоры интел, hba и софтовый контроллер.

Так ведь нет же. Третья строчка в твоём кристалмарке это хорошо демонстрирует. Остальную чушь не читал.

Вы абсолютно правы, ваши бенчи на софт райде это явно показывают.
Надо учитывать кучу хотелок.
При похожей задаче я поставил 2 Сегкйта ES 2tb и копировал от туда на монтируемое хранилище NG Pro8 с 4tb дисками Wd на 4200 оборотов под видео.
Тогдат хватало 2gb в дулекс.
Если ктото хранил саои фоточки - нахк спляжу.

ддд, перелогинься

:lol: Да он сам то походу не читалЬ ...

Чесно говоря не понял кто кого имеет и как глубоко ... :-D

Третья строчка на картинке снятой на программном виндовом зеркальном томе... при этом на копировании файла мы получаем результат чтения как в первой строчке даже на на программном виндовом зеркальном томе. Т.е. мы явно создаём реальные условия, но явно же при этом их игнорируем. В реальных задачах одного пользователя с одним файлом видим (о слава AHCI) результаты как в первой строчке... Но давайте смотреть на SEQ Q1T1, которого в общем-то в реальных задачах еще поискать, и при этом будем говорить что SEQ Q32T1 это не однопоток? А чо, давайте... Но если глубина 32 нам не нужна, то... хотел бы Вас расстроить, на Q1T1 трипар тоже будет так себе.... и исилон и вбрик и любая другая гравицапа.



Давай дальше про факерайды в вмвари фантазируй.... нечиталь :-)

[Сообщение изменено пользователем 01.09.2019 20:35]

О каких реальных задачах идёт речь? Винда при копировании читает диск в один поток с очередью 1, фар - точно так же.

[Сообщение изменено пользователем 01.09.2019 21:48]

Просто сравните в фаре фаровую функцию копирования и системную при условии что диск AHCI, а ОС - хотя бы виста... не, ну серьезно :-)

К сожалению, того программного зеркала у меня нет, но вот что есть под руками:
https://sun9-48.userapi.com/c849524/v849524136/1da... - паттерн 2GB, т.к. у контроллера много кеша. Массив - забитая примерно на три четверти пятерка - не лучший случай для теста, но чем богаты. Видим, что Q32T1 почти равен Q1T1, но больше. Считаем что CDM молодец и мы на него хотя-бы немного оглядываемся, если не доверяем.

Для копирования берем приёмник, заведомо более быстрый, чем источник и копируем один большой файл:
https://sun9-9.userapi.com/c849524/v849524136/1daf...
Каким-то чудом вышло больше чем Q1T1 в CDM. На зеркале вышло бы заметно больше, потому, что с глубиной "один" не копирует ДАЖЕ фар современный. Тот, что Рошалем без сообщества еще релизился, может и копирует.

https://sun9-24.userapi.com/c849524/v849524136/1da...
Фар начинает считать еще бодрее, но потом выравнивается где-то на 380MBps. А вот с включением системной функции копирования у фара всё очень и очень интересно! В любом случае, фар (1.70) справляется с задачей копирования быстрее windows (40 секунд против 60) и быстрее чем CDM нам рисует Q1T1.

В принципе, у меня нет задачи кого-то в чем-то убедить, но даже если опустить моменты "однозадачности и однопоточности", получается что на задачах с глубиной (что для файлопомойки на 10+ юзеров - уже не редкая задача) прирост однозначно есть.

Кстати, ребята со стальными яйцами зачем-то объединяли в массив уровня ОДИН (0+1), 18 и более дисков - http://www.team.ru/lab/raid_test.shtml

У тредстартера же, рискну предположить стоит интеловский ОЕМ 9260-4i без батареи и от того без понятной политики с RAID5/6 (разные вендоры по-разному "активируют" пятерку с шестеркой). От того, имеющийся RAID10 как минимум имеет полгига каши чтения и наверняка не отключенную кашу винтов. Так что, рискну предположить что в "первой строчке" там на чтение метров 400 (привет, гигабит!) а в третьей минимум 250 (пользуясь случаем, хочу передать гигабиту второй привет).

Кстати, вмварь позволяет очень неплохо мониторить очередь онлайн!

[Сообщение изменено пользователем 01.09.2019 23:20]

Ну и мы же еще помним о том, что речь идет про ESXi и VMFS? И про то, что рядом с VMDK файлом (на блочной файловой системе) лежит еще и vswp, по объёму равный объёму оперативки виртуалки и читаемый/писуемый достаточно произвольно...

Так что, никакого fakeraid там нет, а прирост по чтению есть. Хотя туда просится пятерка подлиннее (дисков на 6) и выделенный ссд под своп (IMHO).

С включением системной функции копирования действительно глубина очереди немного увеличивается, средняя получается в районе 1,6. Но в любом случае это меньше, чем кристалмарковские 32.

Кто "мы"? Я вообще не понимаю, к чему вы её приплетаете на протяжении всей темы.

Прочитайте первый пост, станет понятна задача. У ТС имеет место быть ESXi с VMFS5. А Вы приплетаете очередь диска в перфмоне винды (и фар!). Повторите свой тест таки на страйпе, а не на отдельном диске. AHCI не очень сложный, но не тупой. Давить очередь там, где в этом смысла нет, система не будет. Сравните что ли IOMETERом для страйпа из двух и четырех дисков глубину 1, 2 и 4, а потом запустите копирование и посмотрите к какой скорости будут цифры в ФАРе.

С одного диска скорость копирования 100, со страйпа 150, и время копирования отличается в полтора раза, но нет... CDM же рисует 100 в QtT1... вот чесслово, не смешно уже.

Про то, что имеет место быть АД (или я тоже приплетаю?) с 10+ юзерами и характер реальной нагрузки далеко не Q1T1 (хотя и с ним всё в порядке) - это тоже мимо, да? Или всё то, что Вы не можете или не хотите повторить - это приплетение?:-)

Кстати, немного не очевидно, но...
https://sun9-14.userapi.com/c857424/v857424568/5ef...
хост - adaptec 5805, драйвер - стандартный блочный скази, датасторы - отдельный диск и пятерка на 6 дисках. С глубиной как-то так. Блочная ФС. А Вы приплетаете фар, копируя с одиночного диска в /dev/null и ожидая увидеть глубину больше единицы.

Если же таки прочитать тему, а не одну фразу из моего поста, которую Вы решили прокоментировать в отрыве от контекста, всё, ну или почти всё, встанет на свои места.

У нас есть АП-ПА-РАТ-НА-Я десятка с кэшем чтения и наверняка кешем винтов на контроллере с цифромолом и драйвером. И тут уже драйвер многое решает. Только десятка у нас потому, что платы суперкапа/аккумулятора (и видимо, активации пятерки) у нас нет.
Далее, у нас есть гипервизор с продвинутой системой кеширования и блочной ФС, которая спроектирована под глубину.
Гипервизор может читать и писать чуть больше, чем видно из гостевой системы и гостевой системе он отдаёт уже несколько версий никак как не PIIX2, а более современный storage.
Над всем этим у нас есть Windows и Active Directory с тулзами и драйвером под storage адаптер... пусть даже профили не перемещаемые, но сетевая шара то монтируется каждому.

Но Вы почему-то отметили для себя что скорость чтения (последовательного, но про конкретно Q1T1 кроме Вас никто ничего не говорил!) растет ДАЖЕ на fakeraid и решили развить тему. Да, скорость последовательного чтения растет ДАЖЕ на fakeraid и Вы можете сами это увидеть копируя фаом в /dev/null с отдельного диска и со страйпа. Только фар должен быть не совсем древним и контроллер желательно иметь AHCI (для виндового программного реййда).

Говорить о том, что Q2T1 куда реальнее для датастора чем Q1T1 и проверить страйп под виндовс иометером на Q2T1 я не предлагаю, ибо это полная дичь, но ведь даже такая дичь всё поставит на свои места, ведь так?:-) В это же самое время вмварь сделала очередь 252.

P.S. Неужели для фара еще не написали нормальный плагин для копирования? Если не написали - наверняка такой есть для тотала и его можно через враппер поюзать. Или ну его, бум кактус жрать?:-) Страйпов-то всё равно нет....

[Сообщение изменено пользователем 02.09.2019 08:49]

зеркало из двух дисков:

Фотография из Фотогалереи на E1.ru


Я "приплетаю" очередь винды и фар потому, что нагрузку на диски генерирует не вмваре, а пользователи, и очередь к диску создают клиентские операционные системы и приложения (да, фар, а не вмваре). А вы несёте какую-то дичь про Active Directory с драйвером под storage adapter и про файловую систему, спроектированную под глубину)

И эта... старайтесь держать себя в руках, если я написал одно предложение - уложите свою мысль максимум в два. Потому что приходится среди словесного мусора выискивать сообщение по теме, и это не так-то просто и сделать.

Вмваре отрабатывает генерируемую нагрузку и реализует абстракцию от реального железа, такую, что фар показывает скорость аналогичную, Q32T1 в CDM, нежели Q1T1 в CDM.

Для статистики, чем зеркало подняли что очередь 0-1 и что скорость не показали?:-)

Дак даже если так - шары с бекапами недоступны рядовым пользователям. Поэтому бекап основного диска на второй - вполне имеет право на жизнь))


Фотография из Фотогалереи на E1.ru

ЗЫ по поводу темы - всё как-то отложилось на полгода минимум... :-(

В новой версии CDM "третья строчка" выпилена как класс, ибо этот показатель не нужен :-) Seq Q1T1 заменен на 4KiB Q32T1, но... сердцу не прикажешь :-)

У меня такое ощущение, что у кого-то завалялась рулетка, и его терзает соблазн устроить чемпионат по фолометрии. :-D