Software RAID с LVM разделами. вопросы

[shuron]

всем привет,
помогите решить проблему. Я не админ по специальности но вот взялся тут настроит Software RAID 1 на Debian lenny на базе 2.6.26-2-amd64.

Тоесть там есть mdadm который и пользую.
разбил так:
на двух платах sda и sdb есть два Raid раздела md0 и md1 соотвественно.
на md0 лежит /boot на md1 сначала LVM и в котром все остальное включая корень /.

фактически как по этому туторалу. _http://dev.jerryweb.org/raid/

И всебыло хорошо пока я не решил протестировать "вытаскивание диска".
выключил комп, и вытащил sda, не посмотрел. получилось что при старте бывший sda стал sdb. но это вроде не проблема, машина завялась. Я вставил диск и
добавил в масив. mdadm -a /dev/md0 /dev/sda вместо /dev/md0 /dev/sd1
и тем самым раздолбал все на sda как мне кажется. тоесть все разделы. Но в это только абстрактно понимаю.
Одкако с помощью sfdisk я вроде смог скопировать разделы с dev/sdb заного. и после этого вроде бы репликация заработала...
/proc/mdstat показывет сейчас [UU] на md0 и md1
но видимо sfdiskа мало... было, я не могу точно оценить, не совсем понимаю что там как во что вложено и как от дург друга точно зависит.

так вот есть странности.:

1) fdisk -l покажывает ошибки..

:~# fdisk -l

Disk /dev/sda: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          62      497983+  fd  Linux raid autodetect
/dev/sda2              63       59391   476560192+  fd  Linux raid autodetect

Disk /dev/sdb: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x0002a0ee

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1   *           1          62      497983+  fd  Linux raid autodetect
/dev/sdb2              63       59391   476560192+  fd  Linux raid autodetect

Disk /dev/md0: 509 MB, 509804544 bytes
2 heads, 4 sectors/track, 124464 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Disk identifier: 0x00000000

Disk /dev/md0 doesn't contain a valid partition table

Disk /dev/md1: 487.9 GB, 487997571072 bytes
2 heads, 4 sectors/track, 119140032 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Disk identifier: 0x00000000

Disk /dev/md1 doesn't contain a valid partition table

Disk /dev/dm-0: 2046 MB, 2046820352 bytes
255 heads, 63 sectors/track, 248 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/dm-0 doesn't contain a valid partition table

Disk /dev/dm-1: 20.0 GB, 20006830080 bytes
255 heads, 63 sectors/track, 2432 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/dm-1 doesn't contain a valid partition table

Disk /dev/dm-2: 56.5 GB, 56593743872 bytes
255 heads, 63 sectors/track, 6880 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/dm-2 doesn't contain a valid partition table

Disk /dev/dm-3: 409.3 GB, 409347293184 bytes
255 heads, 63 sectors/track, 49766 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/dm-3 doesn't contain a valid partition table

Я думаю как-то не воcтановились на одном из дисков partion tables.
у меня не хватат знаний на эту тему во так с наскока.
подскажите так ли это? и как решить проблему???

Видимо это может быть причиной вторйо проблемы
2)
Со второго диска теперь не стратовать. Я добавил в груб конфигнурацию c (hd1,0)

<pre>fallback  1
# is there after installation
title           Debian GNU/Linux, kernel 2.6.18-6-686 Raid (hd0)
root            (hd0,0)
kernel          /boot/vmlinuz-2.6.18-6-686 root=/dev/md0 ro
initrd          /boot/initrd.img-2.6.18-6-686
 
# manually created
<pre>
<pre>title           Debian GNU/Linux, kernel 2.6.18-6-686 Raid (hd1)
root            (hd1,0)
kernel          /boot/vmlinuz-2.6.18-6-686 root=/dev/md0 ro
initrd          /boot/initrd.img-2.6.18-6-686</pre>

и так делал

grub> root (hd0,0)
grub> setup (hd0)
setup (hd0)
grub> root (hd1,0)
grub> setup (hd1)

но со второй не тартует. Ошибку могу скинуть завтра помотрев.

Буду рад любым мыслям и советам на тему!!


добавлено через 33 минуты
А вот ещё инетресно..
наткнулся.. на примеры

:~# file -s /dev/sda
/dev/sda: x86 boot sector; GRand Unified Bootloader, stage1 version 0x3, stage2 address 0x2000, stage2 segment 0x200; partition 1: ID=0xfd, active, starthead 1, startsector 63, 995967 sectors; partition 2: ID=0xfd, starthead 0, startsector 996030, 953120385 sectors
:~# file -s /dev/sdb
/dev/sdb: x86 boot sector; partition 1: ID=0xfd, active, starthead 1, startsector 63, 995967 sectors; partition 2: ID=0xfd, starthead 0, startsector 996030, 953120385 sectors

Тоесть не подействовал
root (hd1,0)
grub> setup (hd1)
?????

[Hubbitus]

Что-то какая-то каша из разделов... Может просто все пересоздать?

И еще не понятно:

Сообщение от shuron

И всебыло хорошо пока я не решил протестировать "вытаскивание диска".
выключил комп, и вытащил sda, не посмотрел. получилось что при старте бывший sda стал sdb.

С какой радости поменялось? Оно что, не на том же месте шлейфа осталось разве?

[shuron]

Сообщение от Hubbitus

Что-то какая-то каша из разделов... Может просто все пересоздать?

можно подумать если подскаже как сделать это на работчей и сполюемой каждодневно системе.
простои вечером на пару часов вожможны.

Сообщение от Hubbitus

И еще не понятно:
С какой радости поменялось? Оно что, не на том же месте шлейфа осталось разве?

Да я сам не совсем врубился.
Хотя мен показалось логично. если вставлен лишь один диск то он будет называться /dev/sda


Впринципе разделы вроде не причем.
Накопал в интернете, что то, что ругаетсай fdisk на raid это нормально.
Остается тогда только одна проблема...
как стартонуть с со второго диска... почему не работает?
а хотелось бы что-бы работало.. иначе если грохнется один диск то не стартануть систему если грохнется не тот что надо..

добавлено через 14 минут
Вот записал, что при старте говорит. когда конфигуразию загрузки с выбираю

Booting 'Debian GNU/Linux, kernel 2.6.26-2-amd64 (hd1)'

root( hd1,0)

filesystem type is ext2fs, partion type 0xfd
kernel /vmlinuz-2.6.2-2-amd64 root/dev/mapper/vg00-root ro
[Linux-bzImage, setup 0x3000, size=0x1a9830]
initrd initrd.img-2.6-26-2-amd-64

Error 15: File not found

Press any key to continue...

не на ходит
что именно и главное почему???

[Hubbitus]

Сообщение от shuron

можно подумать если подскаже как сделать это на работчей и сполюемой каждодневно системе.
простои вечером на пару часов вожможны.

Думаю как-то так: http://www.howtoforge.com/replacing_..._a_raid1_array

[shuron]

ты видимо не понял чтомне нужно.
Replacing A Failed Hard Drive In A Software RAID1 Array
мне ничего не даст.

cat /proc/mdstat

показывает что с RAIDOM все ок

[Hubbitus]

Очень даже понял
Суть в том что с одним винтом все в порядке и с него все грузится - со вторым вроде как нет. Считаем его сбойным, и меняем как бы на него же, затем выполняем все операции указанные в статье по полной репликации на него данных. И всё, получаем массив в консистентном состоянии.

[shuron]

Спасибо,
но высетаки не поняли.
Именно так я все и сделал после того как в первый раз сделал не совсем верно...

теперь если вы заметите...я уже упоминал что с самим раидом как мне кажетсй апроблем нет
все распознаетсй аи работает...
это как у меня.

server1:~# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid5] [raid4] [raid6] [raid10]
md0 : active raid1 sda1[0] sdb1[1]
      24418688 blocks [2/2] [UU]

md1 : active raid1 sda2[0] sdb2[1]
      24418688 blocks [2/2] [UU]

далее. Я привел выше, что глучат партиции типа
/dev/dm-0

[code]
Disk /dev/dm-0: 2046 MB, 2046820352 bytes
255 heads, 63 sectors/track, 248 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/dm-0 doesn't contain a valid partition table

[code]

это не партиции рэйда а LVM поставленного на партиции..
так же с остальными.
Тоесть если и есть проблемы, то видимо "выше" рейда.
Хотя на деабиан-форуме я прочитал, что это фигня, fdisk так показвает на рэйдах, верить ему не стоит.
Тоесть это не проблема больше, покрайней мере пока меня не ткнут носом в обратное..

А проблема в том что не стартуется... со второй конфигурации груба...

Конфигурацию груба я привел тоже. и действия выполнениые над ним.
Странно.. кажется что груб не прописан в начальные сектора платы.
Хотя не знаку что можно сказать по этомуй результату..

:~# file -s /dev/sda
/dev/sda: x86 boot sector; GRand Unified Bootloader, stage1 version 0x3, stage2 address 0x2000, stage2 segment 0x200; partition 1: ID=0xfd, active, starthead 1, startsector 63, 995967 sectors; partition 2: ID=0xfd, starthead 0, startsector 996030, 953120385 sectors
:~# file -s /dev/sdb
/dev/sdb: x86 boot sector; partition 1: ID=0xfd, active, starthead 1, startsector 63, 995967 sectors; partition 2: ID=0xfd, starthead 0, startsector 996030, 953120385 sectors

[Hubbitus]

grub-install пробовали?

[shuron]

нет.
иду читать что за штука

[shuron]

Интереcно что баггит вызов.
grub-install --root-directory=/boot /dev/sdb
причина вот моыехт в этом.


http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=513216
Как уынать когда энто в stable ветку войдет?

Но видимо проблема в том что на второй винт в МБР не пишется груб.. ни инсталл скриптом (из-за бага?)
ни в ручную...
Хотя вроде и не пишет о траблах..

grub> root (hd1,0)
Filesystem type is ext2fs, partition type 0xfd
grub> setup (hd1)
setup (hd1)
Checking if "/boot/grub/stage1" exists... no
Checking if "/grub/stage1" exists... yes
Checking if "/grub/stage2" exists... yes
Checking if "/grub/e2fs_stage1_5" exists... yes
Running "embed /grub/e2fs_stage1_5 (hd1)"...  17 sectors are embedded.
succeeded
Running "install /grub/stage1 (hd1) (hd1)1+17 p (hd1,0)/grub/stage2 /grub/menu.lst"... succeeded

Ничего не понимаю ;((((

[Hubbitus]

А точно "--root-directory=/boot"? На сколько я вижу grub находит файлы в /grub:

Сообщение от shuron

Checking if "/boot/grub/stage1" exists... no
Checking if "/grub/stage1" exists... yes
Checking if "/grub/stage2" exists... yes
Checking if "/grub/e2fs_stage1_5" exists... yes

[shuron]

Я сам мне поймук но каталога /grub прост нет.
Есть /root зато.

сли задать /grub или /root/grub то сразу говорит файл или папка не найдены

добавлено через 5 минут
/# grub-install --root-directory=/boot /dev/sdb
grub-probe: error: unknown filesystem

добавлено через 33 минуты
Короче вот что происходит.

server1:/# grub-install --root-directory=/boot /dev/sdb
grub-probe: error: unknown filesystem
Installation finished. No error reported.
This is the contents of the device map /boot/boot/grub/device.map.
Check if this is correct or not. If any of the lines is incorrect,
fix it and re-run the script `grub-install'.

он как-то парится похоже с /boot почемуто два раза берет.
Или баг или несправлятеся стем что это RAID партиция.

[hell.d]

Ehhhh,

kak eto sdelat korrektno:
1. Raskladka razdelow sda:
part 1: 100mb ext3, montirowat pozje kak /boot
part 2: linux raid
2. Raskladka razdelow sdb:
part 1: 100mb ext3, klon /boot s sda
part 2: linux raid

Kak prawilno stawit grub:
1. Pered zapisju mbr montirowat perwij razdel nujnogo winta kak /boot.
2. grub-install eto horosho, no est i drugie metodi, naprimer:
- zapustit grub
- ukazat root: root(hd0,0) ili root(hd1,0)
- pnut setup(hd0) ili setup(hd1)

Chto wajno pomnit: partition w 100mb s yadrami i.t.d. doljen bit sinhronizirowan. Na moment installyacii gruba /boot doljen bit montirowan na etom winte. GRUB2 podderjiwaet LVM i MD. Na bumage. Na praktike est problemi.

Wajno ne zabiwat o tom, chto adressacija hd0 i hd0 swyazana s BIOS'om. Potomu pri otsutstwii odnogo iz wintow nachinaetsya raduga. W GRUB2 dlya takih sluchaew wweli metki (labels).

[shuron]

Спасибо за ответ.
Это из разряда "как надо было", я уже натыкался на подобные предложения.
Да, видимо не делать RAID для бута имеет большой смысл из-за долбаности GRUBa.

Ну что ж а как же мне теперь без жизненно опасных операций на продуктивной системе из md0 сделать два раза по ext3.?
А главное как их потом держать в одинаковом состоянии? Ручками? впринипе /boot сам по сбе не изменится толькоелси я с ядрмаи конфигурациями возиться буду?

Я первый раз в жизни за это взялся..
простите сыкотно..

Но если знать, что делать а главное, что это даст результат то рискну!

подозреваю нужно сделать след.
1)отмонтировать sdb1 из md0
(справлюс с помошью manа)
2) помениять партицию на ext3.
(нужна помошь)
3) отформатировать как подобается
(нужна помошь)
4) скопировать все как подобается с md0 на новый sdb1
Если хватит копирования с cp -a ... навероне справлюсь
5) навроне теперь надо сломать md0 совсем
как правильно? думаю нарою как
6) клонировать новый sdb1 на sda1
(как это сделать?)
7) теперь прописать mbr на sda и sdb
Сбольшой надеждой опять могу попробовать

root(hd0,0) ili root(hd1,0)
- setup(hd0) ili setup(hd1)

Но как писал выше это не рабоатет сейчас с sdb
8) остается видимо на обоих партициях настроитьправильно тартовое меню груба?

Примерно так? очень надеюсь на помошь.
Не забыл ли я что?
Читал что люди чтото с init.rd делают.
надо ли? как правильно?

Всем спасибо!

[hell.d]

Kak-to mnogo bukw. Esli nujno snyat raid, to:
1. Ubrat wtoroi tom iz raid.
2. Steret metki.
3. fdiskom pomenyat tip razdela.
4. Perezagruzitsya ili wigruzit moduli md.

[shuron]

Ну емае.
так я не решусь.
не надо совсем снять Раид. Только md0. md1 не трогать.
И я бы хотел на уровне комманд для чайников.