Когда Сервер Домино Не Получает Всю Дисковую?

@ToxoRot · Регистрация: 04.11.2007

Студворк — интернет-сервис помощи студентам

Поясню, часто мне народ жалуется, что дисковая обладает огромной скоростью типа 100mb/s а домино же упорно пишет на неё со скоростью 10mb/s и ни в какую быстрее.
Для примера приводят при работающем домино копирование одного гигового файла, который достаточно шустро копируется, но помещение его в базу происходит уже в 10 раз медленней.

Сам я с такой ситуацией ни разу не сталкивался, так что не сильно то и верю в такие слова, но что-то меня терзает.

Может конечно те админы не понимают что диск всего один и когда его "дёргают" общая скорость падает, а может ему что-то и мешает.

Но всё же интересно, было ли у кого-то из вас ситуация, когда всё вроде бы настроено ИДЕАЛЬНО а домино не юзает диски по полной?

@rymsk · 10.12.2012, 11:24

Когда-когда... Тогда когда идет random доступ к ФС... Оно в разы медленней чем потоковая запись...
Меня всегда умиляют админы, которые искренне удивляются, когда им говорят что БД нельзя располагать на шустром-прешустром сетевом диске...

@okot · 10.12.2012, 16:54

На заметку:
http://www.wissel.net/blog/d6plinks/SHWL-7RB3P5

@ToxoRot · 10.12.2012, 18:22

Сообщение от AlexeyKatyushyn

На заметку:
http://www.wissel.net/blog/d6plinks/SHWL-7RB3P5

этот боян мы уже много раз рвали

ответ нашел в своей же утилитке
sh stat platform.log*
Platform.LogicalDisk.1.AssignedName = C
Platform.LogicalDisk.1.AvgQueueLen = 0
Platform.LogicalDisk.1.AvgQueueLen.Avg = 0
Platform.LogicalDisk.1.AvgQueueLen.Peak = 0.01
Platform.LogicalDisk.1.BytesReadPerSec = 68.23
Platform.LogicalDisk.1.BytesWrittenPerSec = 20,629.63
Platform.LogicalDisk.1.PctUtil = 0.14
Platform.LogicalDisk.1.PctUtil.Avg = 0.38
Platform.LogicalDisk.1.PctUtil.Peak = 1.11
Platform.LogicalDisk.1.ReadsPerSec = 0.02
Platform.LogicalDisk.1.WritesPerSec = 2.05
Platform.LogicalDisk.TotalNumofDisks = 1
12 statistics found

@VtodSh · 10.12.2012, 18:42

Сообщение от rinsk

Когда-когда... Тогда когда идет random доступ к ФС... Оно в разы медленней чем потоковая запись...
Меня всегда умиляют админы, которые искренне удивляются, когда им говорят что БД нельзя располагать на шустром-прешустром сетевом диске...

RAID SSD пром. уровня вроде как должны в этом помочь.. или нет?

Добавлено: ToxaRat
Без сравнения эти данные лично мне ни о чём не говорят.
Расшифруй, плз, раз уж тему завёл, в чём дело было?

@ToxoRot · 10.12.2012, 19:05

Сообщение от VladSh

Без сравнения эти данные лично мне ни о чём не говорят.
Расшифруй, плз, раз уж тему завёл, в чём дело было?

Да как тебе сказать, была бы проблема у меня или был бы у меня доступ к серверу
я бы быстро раскопал проблему

а так поставили мой тюнер и вроде как проблема сама решилась, - это же со слов админов, может у них там внушение
а может расширение кеша как-то и помогло

в прошлый раз подобное было связана с глючным рейдом в стойке

@tmyky · 10.12.2012, 20:05

существуют разные типы стораджей и нек. имеют большую latency ...
каких попугаев намеряли в ФС - хуноуз, а вот как это желательно измерять http://habrahabr.ru/post/154235/
и интерпретировать - тоже важная задача

@rymsk · 11.12.2012, 09:46

Сообщение от VladSh

RAID SSD пром. уровня вроде как должны в этом помочь.. или нет?

Неких попугаев SSD несомненно добавит... а при Ram Disk будет уже некая толпа попугаев )

P.S. Хорошая ссылка на хабр

@ToxoRot · 11.12.2012, 13:15

Сообщение от lmike

существуют разные типы стораджей и нек. имеют большую latency ...
каких попугаев намеряли в ФС - хуноуз, а вот как это желательно измерять http://habrahabr.ru/post/154235/
и интерпретировать - тоже важная задача

и теперь как натянуть это на лотус?
вроде всё понятно
я так понимаю без базы по производительности каждой железки врядли что-то удастся сделать?

есть у кого идеи как организоваться "случайную запись"?

@tmyky · 11.12.2012, 13:31

сперва пусть померяют не производительность кэша ФС, а правильные попугаи дисковой подсистемы
вот когда получат циферьки - может и домину мерить не захотят

@tmyky · 11.12.2012, 13:50

вариант случайная запись - создаем большие файлы и пишем данные с поиском по разным офсетам, усредняем
но это очень грубо...
а по ссылке есть утилиты в стандартной поставке дистров, пердуляторов для винды я не знаю...
можно просто сгенерить образ системы в ВМ (с нужным набором), залить его клонезилой на отдельны HDD (да хоть юсб), загрузиться с него и тестить основной диск. Речь идет о линухе (скорее-всего - убунта)
возможные вопросы:
почему не с СиДи - нельзя поставить доп. софт
почему не с флэшки (из iso образа) - софт поставится, но также и отвалится (там squashfs) или будут особенности
почему не на нативный HDD - чтобы не лезть внутрь компа (для доп. диска), не менять конфигу дисковой подсистемы, не снести крышу текущей системе
почему в ВМ- чтобы не перезагружаться лишний раз (и не путать загрузчик)
почему не винда - уйдет куча времени и сил на создание юсабельного образа и загрузки с него

@ToxoRot · 11.12.2012, 14:17

Сообщение от lmike

вариант случайная запись - создаем большие файлы и пишем данные с поиском по разным офсетам, усредняем
но это очень грубо...

я рассматриваю только в среде лотус:
допустим берёт и в 3 ночи создаёт файлик на пару гигов и офсетом бегаем по нему взад/вперёд - померяли

как теперь доказать что ту скорость что мы померяли такая же, если делать это не в лотусе и сервер действительно имеет 100% приоритет

я к тому, что пока мы меряем если вдруг запустится сторонняя софтинка типа SQL она нам корректно померять это дело не даст

@tmyky · 11.12.2012, 14:32

вот теперь - не понял
доминой создать файл - это что будет?
ну помешает к-л задача - этого как раз и можно избежать создав тестовый диск

@ToxoRot · 11.12.2012, 15:34

Сообщение от lmike

вот теперь - не понял
доминой создать файл - это что будет?
ну помешает к-л задача - этого как раз и можно избежать создав тестовый диск

файл будет создаваться и будеть читаться-писаться

как определить что этот конкретный диск дёргает еще какая-то софтинка?
или что лотус дёргает диск не на все 100%?

@tmyky · 11.12.2012, 17:11

как определить что этот конкретный диск дёргает еще какая-то софтинка?
или что лотус дёргает диск не на все 100%?

не понял тестовый диск - это полностью сгенеренный образ (описал выше)
в образ ничего боле не включено

@ToxoRot · 11.12.2012, 19:40

Сообщение от lmike

не понял тестовый диск - это полностью сгенеренный образ (описал выше)
в образ ничего боле не включено

если ты сделаешь через образ то ты никогда не узнаешь что творится за пределами образа и на каком диске лежит весь твой образ

идём из простого, заявлено что диски имеют рандомную скорость 40Mb/s и мы хотим средствами лотуса мониторить как диск деградирует

@tmyky · 12.12.2012, 13:50

идём из простого, заявлено что диски имеют рандомную скорость 40Mb/s и мы хотим средствами лотуса мониторить как диск деградирует

а домина так умеет !? ;), ты статью с хабра читал?

Добавлено: я предложил загрузится в др. систему, с др. диска, и измерять "проблемный" строрадж, по методике...
может полученные цифры, без домины, ужЕ притупят зуд у виндоодминов, когда они поймут, что писькамерка, использованная в их "экспериментах" не даёт адекватной картины по производительности стораджа

@ToxoRot · 12.12.2012, 20:46

Сообщение от lmike

а домина так умеет !? :mellow:, ты статью с хабра читал?

Добавлено: я предложил загрузится в др. систему, с др. диска, и измерять "проблемный" строрадж, по методике...
может полученные цифры, без домины, ужЕ притупят зуд у виндоодминов, когда они поймут, что писькамерка, использованная в их "экспериментах" не даёт адекватной картины по производительности стораджа

а разве это не умение доминошки? :

sh stat platform.log*
Platform.LogicalDisk.1.AssignedName = C
Platform.LogicalDisk.1.AvgQueueLen = 0
Platform.LogicalDisk.1.AvgQueueLen.Avg = 0
Platform.LogicalDisk.1.AvgQueueLen.Peak = 0.01
Platform.LogicalDisk.1.BytesReadPerSec = 68.23
Platform.LogicalDisk.1.BytesWrittenPerSec = 20,629.63
Platform.LogicalDisk.1.PctUtil = 0.14
Platform.LogicalDisk.1.PctUtil.Avg = 0.38
Platform.LogicalDisk.1.PctUtil.Peak = 1.11
Platform.LogicalDisk.1.ReadsPerSec = 0.02
Platform.LogicalDisk.1.WritesPerSec = 2.05
Platform.LogicalDisk.TotalNumofDisks = 1
12 statistics found

@tmyky · 13.12.2012, 14:03

и что это даёт, если также нельзя померять просто общение с диском (без домины)?
попугаи будут в любом случае другими, НО претензии/амбиции одминов можно "срезать" если провести корректный тест стораджа, а не опираться на их эротически фантазии, полученные непонятным путем
повторюсь - нужно провести изначально "правильные" измерения, без домины

@ToxoRot · 13.12.2012, 17:29

Сообщение от lmike

и что это даёт, если также нельзя померять просто общение с диском (без домины)?
попугаи будут в любом случае другими, НО претензии/амбиции одминов можно "срезать" если провести корректный тест стораджа, а не опираться на их эротически фантазии, полученные непонятным путем
повторюсь - нужно провести изначально "правильные" измерения, без домины

ну смотри амин утверждает что копирование файла с одной папки в другую на поряд выше чем когда домино перекладывает этот же файл с одной БД в другую БД

@ToxoRot 0 / 0 / 0 Регистрация: 04.11.2007 Сообщений: 3,019
		1
	Когда Сервер Домино Не Получает Всю Дисковую? 03.12.2012, 11:12. Показов 15732. Ответов 20 Метки нет (Все метки) Поясню, часто мне народ жалуется, что дисковая обладает огромной скоростью типа 100mb/s а домино же упорно пишет на неё со скоростью 10mb/s и ни в какую быстрее. Для примера приводят при работающем домино копирование одного гигового файла, который достаточно шустро копируется, но помещение его в базу происходит уже в 10 раз медленней. Сам я с такой ситуацией ни разу не сталкивался, так что не сильно то и верю в такие слова, но что-то меня терзает. Может конечно те админы не понимают что диск всего один и когда его "дёргают" общая скорость падает, а может ему что-то и мешает. Но всё же интересно, было ли у кого-то из вас ситуация, когда всё вроде бы настроено ИДЕАЛЬНО а домино не юзает диски по полной? 0

@rymsk 0 / 0 / 0 Регистрация: 12.11.2009 Сообщений: 882
	10.12.2012, 11:24	2
	Когда-когда... Тогда когда идет random доступ к ФС... Оно в разы медленней чем потоковая запись... Меня всегда умиляют админы, которые искренне удивляются, когда им говорят что БД нельзя располагать на шустром-прешустром сетевом диске... 0

@okot 0 / 0 / 0 Регистрация: 12.06.2010 Сообщений: 215
	10.12.2012, 16:54	3
	На заметку: http://www.wissel.net/blog/d6plinks/SHWL-7RB3P5 0

@ToxoRot 0 / 0 / 0 Регистрация: 04.11.2007 Сообщений: 3,019
	10.12.2012, 18:22	4
	Сообщение от AlexeyKatyushyn На заметку: http://www.wissel.net/blog/d6plinks/SHWL-7RB3P5 этот боян мы уже много раз рвали ответ нашел в своей же утилитке sh stat platform.log* Platform.LogicalDisk.1.AssignedName = C Platform.LogicalDisk.1.AvgQueueLen = 0 Platform.LogicalDisk.1.AvgQueueLen.Avg = 0 Platform.LogicalDisk.1.AvgQueueLen.Peak = 0.01 Platform.LogicalDisk.1.BytesReadPerSec = 68.23 Platform.LogicalDisk.1.BytesWrittenPerSec = 20,629.63 Platform.LogicalDisk.1.PctUtil = 0.14 Platform.LogicalDisk.1.PctUtil.Avg = 0.38 Platform.LogicalDisk.1.PctUtil.Peak = 1.11 Platform.LogicalDisk.1.ReadsPerSec = 0.02 Platform.LogicalDisk.1.WritesPerSec = 2.05 Platform.LogicalDisk.TotalNumofDisks = 1 12 statistics found 0

@VtodSh 1 / 1 / 0 Регистрация: 07.12.2009 Сообщений: 1,197
	10.12.2012, 18:42	5
	Сообщение от rinsk Когда-когда... Тогда когда идет random доступ к ФС... Оно в разы медленней чем потоковая запись... Меня всегда умиляют админы, которые искренне удивляются, когда им говорят что БД нельзя располагать на шустром-прешустром сетевом диске... RAID SSD пром. уровня вроде как должны в этом помочь.. или нет? Добавлено: ToxaRat Без сравнения эти данные лично мне ни о чём не говорят. Расшифруй, плз, раз уж тему завёл, в чём дело было? 0

@ToxoRot 0 / 0 / 0 Регистрация: 04.11.2007 Сообщений: 3,019
	10.12.2012, 19:05	6
	Сообщение от VladSh Без сравнения эти данные лично мне ни о чём не говорят. Расшифруй, плз, раз уж тему завёл, в чём дело было? Да как тебе сказать, была бы проблема у меня или был бы у меня доступ к серверу я бы быстро раскопал проблему а так поставили мой тюнер и вроде как проблема сама решилась, - это же со слов админов, может у них там внушение а может расширение кеша как-то и помогло в прошлый раз подобное было связана с глючным рейдом в стойке 0

@tmyky 0 / 0 / 0 Регистрация: 23.08.2008 Сообщений: 6,252
	10.12.2012, 20:05	7
	существуют разные типы стораджей и нек. имеют большую latency ... каких попугаев намеряли в ФС - хуноуз, а вот как это желательно измерять http://habrahabr.ru/post/154235/ и интерпретировать - тоже важная задача 0

@rymsk 0 / 0 / 0 Регистрация: 12.11.2009 Сообщений: 882
	11.12.2012, 09:46	8
	Сообщение от VladSh RAID SSD пром. уровня вроде как должны в этом помочь.. или нет? Неких попугаев SSD несомненно добавит... а при Ram Disk будет уже некая толпа попугаев ) P.S. Хорошая ссылка на хабр 0

@ToxoRot 0 / 0 / 0 Регистрация: 04.11.2007 Сообщений: 3,019
	11.12.2012, 13:15	9
	Сообщение от lmike существуют разные типы стораджей и нек. имеют большую latency ... каких попугаев намеряли в ФС - хуноуз, а вот как это желательно измерять http://habrahabr.ru/post/154235/ и интерпретировать - тоже важная задача и теперь как натянуть это на лотус? вроде всё понятно я так понимаю без базы по производительности каждой железки врядли что-то удастся сделать? есть у кого идеи как организоваться "случайную запись"? 0

@tmyky 0 / 0 / 0 Регистрация: 23.08.2008 Сообщений: 6,252
	11.12.2012, 13:31	10
	сперва пусть померяют не производительность кэша ФС, а правильные попугаи дисковой подсистемы вот когда получат циферьки - может и домину мерить не захотят 0

Опции темы

@tmyky 0 / 0 / 0 Регистрация: 23.08.2008 Сообщений: 6,252
	11.12.2012, 13:50	11
	вариант случайная запись - создаем большие файлы и пишем данные с поиском по разным офсетам, усредняем но это очень грубо... а по ссылке есть утилиты в стандартной поставке дистров, пердуляторов для винды я не знаю... можно просто сгенерить образ системы в ВМ (с нужным набором), залить его клонезилой на отдельны HDD (да хоть юсб), загрузиться с него и тестить основной диск. Речь идет о линухе (скорее-всего - убунта) возможные вопросы: почему не с СиДи - нельзя поставить доп. софт почему не с флэшки (из iso образа) - софт поставится, но также и отвалится (там squashfs) или будут особенности почему не на нативный HDD - чтобы не лезть внутрь компа (для доп. диска), не менять конфигу дисковой подсистемы, не снести крышу текущей системе почему в ВМ- чтобы не перезагружаться лишний раз (и не путать загрузчик) почему не винда - уйдет куча времени и сил на создание юсабельного образа и загрузки с него 0

@ToxoRot 0 / 0 / 0 Регистрация: 04.11.2007 Сообщений: 3,019
	11.12.2012, 14:17	12
	Сообщение от lmike вариант случайная запись - создаем большие файлы и пишем данные с поиском по разным офсетам, усредняем но это очень грубо... я рассматриваю только в среде лотус: допустим берёт и в 3 ночи создаёт файлик на пару гигов и офсетом бегаем по нему взад/вперёд - померяли как теперь доказать что ту скорость что мы померяли такая же, если делать это не в лотусе и сервер действительно имеет 100% приоритет я к тому, что пока мы меряем если вдруг запустится сторонняя софтинка типа SQL она нам корректно померять это дело не даст 0

@tmyky 0 / 0 / 0 Регистрация: 23.08.2008 Сообщений: 6,252
	11.12.2012, 14:32	13
	вот теперь - не понял доминой создать файл - это что будет? ну помешает к-л задача - этого как раз и можно избежать создав тестовый диск 0

@ToxoRot 0 / 0 / 0 Регистрация: 04.11.2007 Сообщений: 3,019
	11.12.2012, 15:34	14
	Сообщение от lmike вот теперь - не понял доминой создать файл - это что будет? ну помешает к-л задача - этого как раз и можно избежать создав тестовый диск файл будет создаваться и будеть читаться-писаться как определить что этот конкретный диск дёргает еще какая-то софтинка? или что лотус дёргает диск не на все 100%? 0

@tmyky 0 / 0 / 0 Регистрация: 23.08.2008 Сообщений: 6,252
	11.12.2012, 17:11	15
	как определить что этот конкретный диск дёргает еще какая-то софтинка? или что лотус дёргает диск не на все 100%? не понял тестовый диск - это полностью сгенеренный образ (описал выше) в образ ничего боле не включено 0

@ToxoRot 0 / 0 / 0 Регистрация: 04.11.2007 Сообщений: 3,019
	11.12.2012, 19:40	16
	Сообщение от lmike не понял тестовый диск - это полностью сгенеренный образ (описал выше) в образ ничего боле не включено если ты сделаешь через образ то ты никогда не узнаешь что творится за пределами образа и на каком диске лежит весь твой образ идём из простого, заявлено что диски имеют рандомную скорость 40Mb/s и мы хотим средствами лотуса мониторить как диск деградирует 0

@tmyky 0 / 0 / 0 Регистрация: 23.08.2008 Сообщений: 6,252
	12.12.2012, 13:50	17
	идём из простого, заявлено что диски имеют рандомную скорость 40Mb/s и мы хотим средствами лотуса мониторить как диск деградирует а домина так умеет !? ;), ты статью с хабра читал? Добавлено: я предложил загрузится в др. систему, с др. диска, и измерять "проблемный" строрадж, по методике... может полученные цифры, без домины, ужЕ притупят зуд у виндоодминов, когда они поймут, что писькамерка, использованная в их "экспериментах" не даёт адекватной картины по производительности стораджа 0

@ToxoRot 0 / 0 / 0 Регистрация: 04.11.2007 Сообщений: 3,019
	12.12.2012, 20:46	18
	Сообщение от lmike а домина так умеет !? :mellow:, ты статью с хабра читал? Добавлено: я предложил загрузится в др. систему, с др. диска, и измерять "проблемный" строрадж, по методике... может полученные цифры, без домины, ужЕ притупят зуд у виндоодминов, когда они поймут, что писькамерка, использованная в их "экспериментах" не даёт адекватной картины по производительности стораджа а разве это не умение доминошки? : sh stat platform.log* Platform.LogicalDisk.1.AssignedName = C Platform.LogicalDisk.1.AvgQueueLen = 0 Platform.LogicalDisk.1.AvgQueueLen.Avg = 0 Platform.LogicalDisk.1.AvgQueueLen.Peak = 0.01 Platform.LogicalDisk.1.BytesReadPerSec = 68.23 Platform.LogicalDisk.1.BytesWrittenPerSec = 20,629.63 Platform.LogicalDisk.1.PctUtil = 0.14 Platform.LogicalDisk.1.PctUtil.Avg = 0.38 Platform.LogicalDisk.1.PctUtil.Peak = 1.11 Platform.LogicalDisk.1.ReadsPerSec = 0.02 Platform.LogicalDisk.1.WritesPerSec = 2.05 Platform.LogicalDisk.TotalNumofDisks = 1 12 statistics found 0

@tmyky 0 / 0 / 0 Регистрация: 23.08.2008 Сообщений: 6,252
	13.12.2012, 14:03	19
	и что это даёт, если также нельзя померять просто общение с диском (без домины)? попугаи будут в любом случае другими, НО претензии/амбиции одминов можно "срезать" если провести корректный тест стораджа, а не опираться на их эротически фантазии, полученные непонятным путем повторюсь - нужно провести изначально "правильные" измерения, без домины 0

@ToxoRot 0 / 0 / 0 Регистрация: 04.11.2007 Сообщений: 3,019
	13.12.2012, 17:29	20
	Сообщение от lmike и что это даёт, если также нельзя померять просто общение с диском (без домины)? попугаи будут в любом случае другими, НО претензии/амбиции одминов можно "срезать" если провести корректный тест стораджа, а не опираться на их эротически фантазии, полученные непонятным путем повторюсь - нужно провести изначально "правильные" измерения, без домины ну смотри амин утверждает что копирование файла с одной папки в другую на поряд выше чем когда домино перекладывает этот же файл с одной БД в другую БД 0