Centos KVM + Freebsd 9.3

VirtualBox, QEMU, ESX/ESXi и прочия
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
andryu
мл. сержант
Сообщения: 86
Зарегистрирован: 2008-07-31 15:55:40
Откуда: Riga

Centos KVM + Freebsd 9.3

Непрочитанное сообщение andryu » 2017-02-27 23:50:48

Доброе время суток.
Стоит на сервере Freebsd 9.3, надо переставить на Centos. Чтобы высвободить сервер решил временно Freebsd перенести на виртуалку. Системные разделы dump/restore перенёс а пользовательские данные(сайты, посты, базы) rsync-ом решил скопировать. И тут такое началось...
Скорость переноса данных то 10кб, то пару мб. I/O на kvm сервере 100% постоянно, freebsd(которая на впс) тормозит неподетски, по ssh не зайти по 5 минут. Вобщем полтора дня мучал впс, пока всё не перенеслось.
Опытным путём определил, что такие тормоза только если ОС Freebsd, на Centos-ах копирование идёт на максимальной скорости(100мб свитч, около 11Мб скорость копирования) нагрузка по I/O вменяемая, тормозов не наблюдается.
Что в Freebsd надо подкрутить, чтоб она на KVM нормально с фс работала, какую недельку надо будет сервер перенастраивать.
Рассмотрю любые предложения :)

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

guest
проходил мимо

Centos KVM + Freebsd 9.3

Непрочитанное сообщение guest » 2017-03-01 12:55:05

andryu писал(а):Доброе время суток.
Стоит на сервере Freebsd 9.3, надо переставить на Centos. Чтобы высвободить сервер решил временно Freebsd перенести на виртуалку. Системные разделы dump/restore перенёс а пользовательские данные(сайты, посты, базы) rsync-ом решил скопировать. И тут такое началось...
Скорость переноса данных то 10кб, то пару мб. I/O на kvm сервере 100% постоянно, freebsd(которая на впс) тормозит неподетски, по ssh не зайти по 5 минут. Вобщем полтора дня мучал впс, пока всё не перенеслось.
Опытным путём определил, что такие тормоза только если ОС Freebsd, на Centos-ах копирование идёт на максимальной скорости(100мб свитч, около 11Мб скорость копирования) нагрузка по I/O вменяемая, тормозов не наблюдается.
Что в Freebsd надо подкрутить, чтоб она на KVM нормально с фс работала, какую недельку надо будет сервер перенастраивать.
Рассмотрю любые предложения :)
Предложение главное: уметь изучать и думать.

- ни в одной системе виртуализации не рекомендуют переносить ВМ c hardware или с другой системы
виртуализации на отличную от нее, путем переноса корневой FS с ядром и драйверами
- рекомендация везде проста, перенос с hardware или отличной системы виртуализации:
a) создайте машину
b) установите систему
c) переносите данные (как нравится, rsync, tar, cpio, pax ...), данные, а не ядро с драйверами
- никому не известно как реализован сетевой стек на VPS
- для Linux с systemd, ну очень не рекомендуют перносить копированием FS или клонированием, даже
на реальном hardware

Идем далее, в VPS - один сетевой стек и что там используется ..? эмуляция сетевой карты + бридж с реальной
сетевой картой? эмуляция какой карты?
Что на хост сервере? В KVM эиуляция какой сетевой карты или virtio? и тд и тп...

Хотите высечь проблему:
- запустите копирование с VPS/FreeBSD на хост с KVM и посмотрите результат
- используете rsync через ssh, уменьшите компрессию или отключите

Вот тогда, методом исключения, установите причину, зачастую, она в выборе эмулятора сетевой карты,
точнее в реализации и реализованных возможностей.

FS - что подкрутить, Вы хоть словом упомянули что у Вас в какчестве стораджа?
Локальный диск? LVM? NFS? iSCSI?

Документацию хоть изучали по KVM? Лабы с тестами проводили на своем хостовом KVM сервере?

Аватара пользователя
andryu
мл. сержант
Сообщения: 86
Зарегистрирован: 2008-07-31 15:55:40
Откуда: Riga

Centos KVM + Freebsd 9.3

Непрочитанное сообщение andryu » 2017-03-01 14:05:03

- ни в одной системе виртуализации не рекомендуют переносить ВМ c hardware или с другой системы
виртуализации на отличную от нее, путем переноса корневой FS с ядром и драйверами
- рекомендация везде проста, перенос с hardware или отличной системы виртуализации:
Дома пробовал на VMware - такой перенос корректно работал, никаких тормозов и дома у меня далеко не серверное железо с раидом. Но смысл понятен.
FS - что подкрутить, Вы хоть словом упомянули что у Вас в какчестве стораджа?
Локальный диск? LVM? NFS? iSCSI?
LVM на RAID10 из 4 hdd.
Копировал без компрессии
Копирование с Freebsd сервера на хост KVM - никаких тормозов
Копирование с Freebsd сервера на установленную на впс Freebsd - тормоза
Копирование с Freebsd сервера на копированную на впс Freebsd - тормоза
Копирование с Freebsd сервера на установленную на впс Centos - никаких тормозов
Тормоза проявляются как 100% нагруженная по I/O фс всего KVM сервера(хотя поток данных маленький).
Идем далее, в VPS - один сетевой стек и что там используется ..? эмуляция сетевой карты + бридж с реальной
сетевой картой? эмуляция какой карты?
Что на хост сервере? В KVM эиуляция какой сетевой карты или virtio? и тд и тп...
на KVM - бридж с эмуляцией. На впсках виртуальные сетевые карты.
На установленной Freebsd re, на склонированной em(возможно каким-то образом с сервера осталась, т.к. там em)
Документацию хоть изучали по KVM? Лабы с тестами проводили на своем хостовом KVM сервере?
На всех системах делал тест скорости фс с помощью dd. Везде летает, кроме впс с Freebsd.
По KVM не особо силён. В интернетах похожей на мою ситуацию не нашёл. Куда копать не понятно. Так что сильно не пинайте, если что-то совсем неправильное говорю.
Хотите высечь проблему:
- запустите копирование с VPS/FreeBSD на хост с KVM и посмотрите результат
- используете rsync через ssh, уменьшите компрессию или отключите

Вот тогда, методом исключения, установите причину, зачастую, она в выборе эмулятора сетевой карты,
точнее в реализации и реализованных возможностей.
Так что если простое копирование/запись файла в раздел вызывает такую же нагрузку по I/O, то сетевухи тут не при чём..

Аватара пользователя
Neus
капитан
Сообщения: 1920
Зарегистрирован: 2008-09-08 21:59:56

Centos KVM + Freebsd 9.3

Непрочитанное сообщение Neus » 2017-03-01 14:33:20

andryu,
Эх...
dmesg и pciconf -lv давай с тормозилки
Physics is mathematics with the constraint of reality.

Engineering is physics with the constraint of money.

guest
проходил мимо

Centos KVM + Freebsd 9.3

Непрочитанное сообщение guest » 2017-03-01 15:13:14

andryu писал(а):Так что если простое копирование/запись файла в раздел вызывает такую же нагрузку по I/O, то сетевухи тут не при чём..
запросто причем

Вы сами же ответили, проблема в VPS, какая - неизвестно, как и что в ней отдается под ВМ FreeBSD - неизвестно:
- эмулятор сети
- виртуальный носитель

Посему, по VPS сказать нечего, ибо троянский конь.

Про KVM, хост под CentOS, используется локальное хранилище с LVM, лучший вариант в этом случае,
отдавать lvm'ные тома под ВМ, а не городить qcow2. (Это ответ на то что лучше для FS и I/O виртуальных
машин и поять же для IO на хост машине)

При создании ВМ под KVM, если есть возможность в качестве сетевого iface использовать virtio - лучший вариант,
если FreeBSD 9.x, то эмуляция Intel сетевых карт, em - десктопные, igb - серверные, лучше igb)

Так как с переносом Вы заткнулись, и в FreeBSD 9.2 нет специфического софта, то очень рекомендую, как
минимум перейти на 10.3 (наличие virtio) или лучше на 11.0 - это раз, поддержка 9.2-RELEASE закончилась, это два.
То что нужно сейчас или вчера - это понятно...
С другой стороны, быстрей перенести и запустить, а далее можно будет создать вторую виртуалку с 11.0
и уже спокойно все настроить и перейти со старой 9.2 на новую... Вариант более быстрый для продакшн.

Ну а Ваша проблема - очевидна, VPS и настройки ее под FreeBSD - xавно, отсюда и проблемы.

Сливать можно не только по ssh или rsync, но и netcat'ом - однозначно будет быстрей, но проблема VPS
все одно останется, imho.

ps. Что Вам скажут по VPS - ее хозяева? Стек там наверняка разделяется на кучу клиентов?

Аватара пользователя
andryu
мл. сержант
Сообщения: 86
Зарегистрирован: 2008-07-31 15:55:40
Откуда: Riga

Centos KVM + Freebsd 9.3

Непрочитанное сообщение andryu » 2017-03-01 16:24:18

Neus писал(а):andryu,
Эх...
dmesg и pciconf -lv давай с тормозилки
dmesg

Код: Выделить всё

Copyright (c) 1992-2014 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 9.3-RELEASE-p49 #0: Fri Oct 21 21:01:08 UTC 2016
    root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC amd64
gcc version 4.2.1 20070831 patched [FreeBSD]
CPU: QEMU Virtual CPU version (cpu64-rhel6) (2660.01-MHz K8-class CPU)
  Origin = "GenuineIntel"  Id = 0x6d3  Family = 0x6  Model = 0xd  Stepping = 3
  Features=0x783fbfd<FPU,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,MMX,FXSR,SSE,SSE2>
  Features2=0x80002001<SSE3,CX16,HV>
  AMD Features=0x20100800<SYSCALL,NX,LM>
  AMD Features2=0x1<LAHF>
real memory  = 8388608000 (8000 MB)
avail memory = 8047607808 (7674 MB)
Event timer "LAPIC" quality 400
ACPI APIC Table: <BOCHS  BXPCAPIC>
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
FreeBSD/SMP: 4 package(s) x 1 core(s)
 cpu0 (BSP): APIC ID:  0
 cpu1 (AP): APIC ID:  1
 cpu2 (AP): APIC ID:  2
 cpu3 (AP): APIC ID:  3
ioapic0 <Version 1.1> irqs 0-23 on motherboard
kbd1 at kbdmux0
acpi0: <BOCHS BXPCRSDT> on motherboard
acpi0: Power Button (fixed)
cpu0: <ACPI CPU> on acpi0
cpu1: <ACPI CPU> on acpi0
cpu2: <ACPI CPU> on acpi0
cpu3: <ACPI CPU> on acpi0
atrtc0: <AT realtime clock> port 0x70-0x71,0x72-0x77 irq 8 on acpi0
Event timer "RTC" frequency 32768 Hz quality 0
Timecounter "ACPI-fast" frequency 3579545 Hz quality 900
acpi_timer0: <24-bit timer at 3.579545MHz> port 0xb008-0xb00b on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
isab0: <PCI-ISA bridge> at device 1.0 on pci0
isa0: <ISA bus> on isab0
atapci0: <Intel PIIX3 WDMA2 controller> port 0x1f0-0x1f7,0x3f6,0x170-0x177,0x376,0xc000-0xc00f at device 1.1 on pci0
ata0: <ATA channel> at channel 0 on atapci0
ata1: <ATA channel> at channel 1 on atapci0
uhci0: <Intel 82371SB (PIIX3) USB controller> port 0xc020-0xc03f irq 11 at device 1.2 on pci0
usbus0: controller did not stop
usbus0 on uhci0
pci0: <bridge> at device 1.3 (no driver attached)
vgapci0: <VGA-compatible display> mem 0xf0000000-0xf1ffffff,0xf2000000-0xf2000fff at device 2.0 on pci0
vgapci0: Boot video device
em0: <Intel(R) PRO/1000 Legacy Network Connection 1.0.6> port 0xc040-0xc07f mem 0xf2020000-0xf203ffff irq 11 at device 3.0 on pci0
em0: Ethernet address: 52:54:00:b0:fe:b5
virtio_pci0: <VirtIO PCI Balloon adapter> port 0xc080-0xc09f irq 11 at device 4.0 on pci0
vtballoon0: <VirtIO Balloon Adapter> on virtio_pci0
virtio_pci0: host features: 0x71000002 <EventIdx,RingIndirect,NotifyOnEmpty,StatsVq>
virtio_pci0: negotiated features: 0
atkbdc0: <Keyboard controller (i8042)> port 0x60,0x64 irq 1 on acpi0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
psm0: <PS/2 Mouse> irq 12 on atkbdc0
psm0: [GIANT-LOCKED]
psm0: model IntelliMouse Explorer, device ID 4
fdc0: <floppy drive controller> port 0x3f2-0x3f5,0x3f7 irq 6 drq 2 on acpi0
fdc0: does not respond
device_attach: fdc0 attach returned 6
uart0: <Non-standard ns8250 class UART with FIFOs> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
orm0: <ISA Option ROM> at iomem 0xc9000-0xc97ff on isa0
sc0: <System console> at flags 0x100 on isa0
sc0: VGA <16 virtual consoles, flags=0x300>
vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
attimer0: <AT timer> at port 0x40 on isa0
Timecounter "i8254" frequency 1193182 Hz quality 0
Event timer "i8254" frequency 1193182 Hz quality 100
fdc0: No FDOUT register!
ppc0: cannot reserve I/O port range
Timecounters tick every 10.000 msec
usbus0: 12Mbps Full Speed USB v1.0
ugen0.1: <Intel> at usbus0
uhub0: <Intel UHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus0
cd0 at ata0 bus 0 scbus0 target 1 lun 0
cd0: <QEMU QEMU DVD-ROM 0.12> Removable CD-ROM SCSI-0 device
cd0: Serial Number QM00002
cd0: 16.700MB/s transfers (WDMA2, ATAPI 12bytes, PIO 65534bytes)
cd0: cd present [297324 x 2048 byte records]
ada0 at ata0 bus 0 scbus0 target 0 lun 0
ada0: <QEMU HARDDISK 0.12.1> ATA-7 device
ada0: Serial Number QM00001
ada0: 16.700MB/s transfers (WDMA2, PIO 8192bytes)
ada0: 300000MB (614400000 512 byte sectors: 16H 63S/T 16383C)
ada0: Previously was known as ad0
SMP: AP CPU #1 Launched!
SMP: AP CPU #2 Launched!
SMP: AP CPU #3 Launched!
uhub0: 2 ports with 2 removable, self powered
Root mount waiting for: usbus0
ugen0.2: <QEMU 0.12.1> at usbus0
uhid0: <QEMU 0.12.1 QEMU USB Tablet, class 0/0, rev 2.00/0.00, addr 2> on usbus0
Trying to mount root from ufs:/dev/ad0p2 [rw]...
ipfw2 (+ipv6) initialized, divert loadable, nat loadable, default to deny, logging disabled

Код: Выделить всё

pciconf -lv
hostb0@pci0:0:0:0:      class=0x060000 card=0x11001af4 chip=0x12378086 rev=0x02 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '440FX - 82441FX PMC [Natoma]'
    class      = bridge
    subclass   = HOST-PCI
isab0@pci0:0:1:0:       class=0x060100 card=0x11001af4 chip=0x70008086 rev=0x00 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371SB PIIX3 ISA [Natoma/Triton II]'
    class      = bridge
    subclass   = PCI-ISA
atapci0@pci0:0:1:1:     class=0x010180 card=0x11001af4 chip=0x70108086 rev=0x00 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371SB PIIX3 IDE [Natoma/Triton II]'
    class      = mass storage
    subclass   = ATA
uhci0@pci0:0:1:2:       class=0x0c0300 card=0x11001af4 chip=0x70208086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371SB PIIX3 USB [Natoma/Triton II]'
    class      = serial bus
    subclass   = USB
none0@pci0:0:1:3:       class=0x068000 card=0x11001af4 chip=0x71138086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371AB/EB/MB PIIX4 ACPI'
    class      = bridge
vgapci0@pci0:0:2:0:     class=0x030000 card=0x11001af4 chip=0x00b81013 rev=0x00 hdr=0x00
    vendor     = 'Cirrus Logic'
    device     = 'GD 5446'
    class      = display
    subclass   = VGA
em0@pci0:0:3:0: class=0x020000 card=0x11001af4 chip=0x100e8086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82540EM Gigabit Ethernet Controller'
    class      = network
    subclass   = ethernet
virtio_pci0@pci0:0:4:0: class=0x050000 card=0x00051af4 chip=0x10021af4 rev=0x00 hdr=0x00
    vendor     = 'Red Hat, Inc'
    device     = 'Virtio memory balloon'
    class      = memory
    subclass   = RAM
Так как с переносом Вы заткнулись, и в FreeBSD 9.2 нет специфического софта, то очень рекомендую, как
минимум перейти на 10.3 (наличие virtio) или лучше на 11.0 - это раз, поддержка 9.2-RELEASE закончилась, это два.
То что нужно сейчас или вчера - это понятно...
С другой стороны, быстрей перенести и запустить, а далее можно будет создать вторую виртуалку с 11.0
и уже спокойно все настроить и перейти со старой 9.2 на новую... Вариант более быстрый для продакшн.

Ну а Ваша проблема - очевидна, VPS и настройки ее под FreeBSD - xавно, отсюда и проблемы.
Есть специфичный софт который работает под Freebsd 9, надо чтобы он поработал пока я на сервере не настрою всё на Centose. Если уж менять ос и настраивать всё по новой, то хотелось бы это сделать один раз, а не сначала на впс - чтоб туда перенести данные с сервера, а потом на сервере - чтоб вернуть данные с впс.
Хотел как легче, видно придётся два раза перенос делать

Отправлено спустя 20 минут 9 секунд:
undefined писал(а): запросто причем

Вы сами же ответили, проблема в VPS, какая - неизвестно, как и что в ней отдается под ВМ FreeBSD - неизвестно:
- эмулятор сети
- виртуальный носитель

Посему, по VPS сказать нечего, ибо троянский конь.
Поменял для впс Модель эмулируемого сетевого устройства с e1000 virtio, подвисания всё равно имеют место быть при копировании, но кажется что не так страшно, но iotop всё равно частенько под 100% нагрузку с этой виртуалки показывает.

Отправлено спустя 35 секунд:
undefined писал(а): запросто причем

Вы сами же ответили, проблема в VPS, какая - неизвестно, как и что в ней отдается под ВМ FreeBSD - неизвестно:
- эмулятор сети
- виртуальный носитель

Посему, по VPS сказать нечего, ибо троянский конь.
Поменял для впс Модель эмулируемого сетевого устройства с e1000 на virtio, подвисания всё равно имеют место быть при копировании, но кажется что не так страшно, но iotop всё равно частенько под 100% нагрузку с этой виртуалки показывает.

guest
проходил мимо

Centos KVM + Freebsd 9.3

Непрочитанное сообщение guest » 2017-03-01 16:53:05

andryu писал(а):
Neus писал(а):andryu,
Эх...
dmesg и pciconf -lv давай с тормозилки
dmesg

Код: Выделить всё

Copyright (c) 1992-2014 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 9.3-RELEASE-p49 #0: Fri Oct 21 21:01:08 UTC 2016
    root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC amd64
gcc version 4.2.1 20070831 patched [FreeBSD]
CPU: QEMU Virtual CPU version (cpu64-rhel6) (2660.01-MHz K8-class CPU)
  Origin = "GenuineIntel"  Id = 0x6d3  Family = 0x6  Model = 0xd  Stepping = 3
  Features=0x783fbfd<FPU,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,MMX,FXSR,SSE,SSE2>
  Features2=0x80002001<SSE3,CX16,HV>
  AMD Features=0x20100800<SYSCALL,NX,LM>
  AMD Features2=0x1<LAHF>
real memory  = 8388608000 (8000 MB)
avail memory = 8047607808 (7674 MB)
Event timer "LAPIC" quality 400
ACPI APIC Table: <BOCHS  BXPCAPIC>
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
FreeBSD/SMP: 4 package(s) x 1 core(s)
 cpu0 (BSP): APIC ID:  0
 cpu1 (AP): APIC ID:  1
 cpu2 (AP): APIC ID:  2
 cpu3 (AP): APIC ID:  3
ioapic0 <Version 1.1> irqs 0-23 on motherboard
kbd1 at kbdmux0
acpi0: <BOCHS BXPCRSDT> on motherboard
acpi0: Power Button (fixed)
cpu0: <ACPI CPU> on acpi0
cpu1: <ACPI CPU> on acpi0
cpu2: <ACPI CPU> on acpi0
cpu3: <ACPI CPU> on acpi0
atrtc0: <AT realtime clock> port 0x70-0x71,0x72-0x77 irq 8 on acpi0
Event timer "RTC" frequency 32768 Hz quality 0
Timecounter "ACPI-fast" frequency 3579545 Hz quality 900
acpi_timer0: <24-bit timer at 3.579545MHz> port 0xb008-0xb00b on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
isab0: <PCI-ISA bridge> at device 1.0 on pci0
isa0: <ISA bus> on isab0
atapci0: <Intel PIIX3 WDMA2 controller> port 0x1f0-0x1f7,0x3f6,0x170-0x177,0x376,0xc000-0xc00f at device 1.1 on pci0
ata0: <ATA channel> at channel 0 on atapci0
ata1: <ATA channel> at channel 1 on atapci0
uhci0: <Intel 82371SB (PIIX3) USB controller> port 0xc020-0xc03f irq 11 at device 1.2 on pci0
usbus0: controller did not stop
usbus0 on uhci0
pci0: <bridge> at device 1.3 (no driver attached)
vgapci0: <VGA-compatible display> mem 0xf0000000-0xf1ffffff,0xf2000000-0xf2000fff at device 2.0 on pci0
vgapci0: Boot video device
em0: <Intel(R) PRO/1000 Legacy Network Connection 1.0.6> port 0xc040-0xc07f mem 0xf2020000-0xf203ffff irq 11 at device 3.0 on pci0
em0: Ethernet address: 52:54:00:b0:fe:b5
virtio_pci0: <VirtIO PCI Balloon adapter> port 0xc080-0xc09f irq 11 at device 4.0 on pci0
vtballoon0: <VirtIO Balloon Adapter> on virtio_pci0
virtio_pci0: host features: 0x71000002 <EventIdx,RingIndirect,NotifyOnEmpty,StatsVq>
virtio_pci0: negotiated features: 0
atkbdc0: <Keyboard controller (i8042)> port 0x60,0x64 irq 1 on acpi0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
psm0: <PS/2 Mouse> irq 12 on atkbdc0
psm0: [GIANT-LOCKED]
psm0: model IntelliMouse Explorer, device ID 4
fdc0: <floppy drive controller> port 0x3f2-0x3f5,0x3f7 irq 6 drq 2 on acpi0
fdc0: does not respond
device_attach: fdc0 attach returned 6
uart0: <Non-standard ns8250 class UART with FIFOs> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
orm0: <ISA Option ROM> at iomem 0xc9000-0xc97ff on isa0
sc0: <System console> at flags 0x100 on isa0
sc0: VGA <16 virtual consoles, flags=0x300>
vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
attimer0: <AT timer> at port 0x40 on isa0
Timecounter "i8254" frequency 1193182 Hz quality 0
Event timer "i8254" frequency 1193182 Hz quality 100
fdc0: No FDOUT register!
ppc0: cannot reserve I/O port range
Timecounters tick every 10.000 msec
usbus0: 12Mbps Full Speed USB v1.0
ugen0.1: <Intel> at usbus0
uhub0: <Intel UHCI root HUB, class 9/0, rev 1.00/1.00, addr 1> on usbus0
cd0 at ata0 bus 0 scbus0 target 1 lun 0
cd0: <QEMU QEMU DVD-ROM 0.12> Removable CD-ROM SCSI-0 device
cd0: Serial Number QM00002
cd0: 16.700MB/s transfers (WDMA2, ATAPI 12bytes, PIO 65534bytes)
cd0: cd present [297324 x 2048 byte records]
ada0 at ata0 bus 0 scbus0 target 0 lun 0
ada0: <QEMU HARDDISK 0.12.1> ATA-7 device
ada0: Serial Number QM00001
ada0: 16.700MB/s transfers (WDMA2, PIO 8192bytes)
ada0: 300000MB (614400000 512 byte sectors: 16H 63S/T 16383C)
ada0: Previously was known as ad0
SMP: AP CPU #1 Launched!
SMP: AP CPU #2 Launched!
SMP: AP CPU #3 Launched!
uhub0: 2 ports with 2 removable, self powered
Root mount waiting for: usbus0
ugen0.2: <QEMU 0.12.1> at usbus0
uhid0: <QEMU 0.12.1 QEMU USB Tablet, class 0/0, rev 2.00/0.00, addr 2> on usbus0
Trying to mount root from ufs:/dev/ad0p2 [rw]...
ipfw2 (+ipv6) initialized, divert loadable, nat loadable, default to deny, logging disabled

Код: Выделить всё

pciconf -lv
hostb0@pci0:0:0:0:      class=0x060000 card=0x11001af4 chip=0x12378086 rev=0x02 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '440FX - 82441FX PMC [Natoma]'
    class      = bridge
    subclass   = HOST-PCI
isab0@pci0:0:1:0:       class=0x060100 card=0x11001af4 chip=0x70008086 rev=0x00 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371SB PIIX3 ISA [Natoma/Triton II]'
    class      = bridge
    subclass   = PCI-ISA
atapci0@pci0:0:1:1:     class=0x010180 card=0x11001af4 chip=0x70108086 rev=0x00 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371SB PIIX3 IDE [Natoma/Triton II]'
    class      = mass storage
    subclass   = ATA
uhci0@pci0:0:1:2:       class=0x0c0300 card=0x11001af4 chip=0x70208086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371SB PIIX3 USB [Natoma/Triton II]'
    class      = serial bus
    subclass   = USB
none0@pci0:0:1:3:       class=0x068000 card=0x11001af4 chip=0x71138086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82371AB/EB/MB PIIX4 ACPI'
    class      = bridge
vgapci0@pci0:0:2:0:     class=0x030000 card=0x11001af4 chip=0x00b81013 rev=0x00 hdr=0x00
    vendor     = 'Cirrus Logic'
    device     = 'GD 5446'
    class      = display
    subclass   = VGA
em0@pci0:0:3:0: class=0x020000 card=0x11001af4 chip=0x100e8086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = '82540EM Gigabit Ethernet Controller'
    class      = network
    subclass   = ethernet
virtio_pci0@pci0:0:4:0: class=0x050000 card=0x00051af4 chip=0x10021af4 rev=0x00 hdr=0x00
    vendor     = 'Red Hat, Inc'
    device     = 'Virtio memory balloon'
    class      = memory
    subclass   = RAM
Так как с переносом Вы заткнулись, и в FreeBSD 9.2 нет специфического софта, то очень рекомендую, как
минимум перейти на 10.3 (наличие virtio) или лучше на 11.0 - это раз, поддержка 9.2-RELEASE закончилась, это два.
То что нужно сейчас или вчера - это понятно...
С другой стороны, быстрей перенести и запустить, а далее можно будет создать вторую виртуалку с 11.0
и уже спокойно все настроить и перейти со старой 9.2 на новую... Вариант более быстрый для продакшн.

Ну а Ваша проблема - очевидна, VPS и настройки ее под FreeBSD - xавно, отсюда и проблемы.
Есть специфичный софт который работает под Freebsd 9, надо чтобы он поработал пока я на сервере не настрою всё на Centose. Если уж менять ос и настраивать всё по новой, то хотелось бы это сделать один раз, а не сначала на впс - чтоб туда перенести данные с сервера, а потом на сервере - чтоб вернуть данные с впс.
Хотел как легче, видно придётся два раза перенос делать
понято

dmesg с VPS или откуда?

В нем ничего криминального, кроме:
- использование virtio balloon в 9.3 (не знаю как там реально оно работает?), забъем на это, не оно
- а вот это

ada0 at ata0 bus 0 scbus0 target 0 lun 0
ada0: <QEMU HARDDISK 0.12.1> ATA-7 device
ada0: Serial Number QM00001
ada0: 16.700MB/s transfers (WDMA2, PIO 8192bytes)
^^^-^^^^^^^^^^^^^^^^^^^^^^^^^^^^- режим WDMA2, примерный transfer rate 16.7/MB/s, как CD через PIO

ada0: 300000MB (614400000 512 byte sectors: 16H 63S/T 16383C)

представляете какой IO overhead?

Аватара пользователя
Neus
капитан
Сообщения: 1920
Зарегистрирован: 2008-09-08 21:59:56

Centos KVM + Freebsd 9.3

Непрочитанное сообщение Neus » 2017-03-01 23:12:45

https://svnweb.freebsd.org/base/releng/ ... iew=markup

Код: Выделить всё

# VirtIO support
device          virtio          # Generic VirtIO bus (required)
device          virtio_pci      # VirtIO PCI Interface
device          vtnet           # VirtIO Ethernet device
device          virtio_blk      # VirtIO Block device
device          virtio_scsi     # VirtIO SCSI device
device          virtio_balloon  # VirtIO Memory Balloon device
Переключи ещё диск на virtio.
Physics is mathematics with the constraint of reality.

Engineering is physics with the constraint of money.

Аватара пользователя
andryu
мл. сержант
Сообщения: 86
Зарегистрирован: 2008-07-31 15:55:40
Откуда: Riga

Centos KVM + Freebsd 9.3

Непрочитанное сообщение andryu » 2017-03-02 11:54:47

undefined писал(а): dmesg с VPS или откуда?
Да с впс с Freebsd проблемной.
undefined писал(а): В нем ничего криминального, кроме:
- использование virtio balloon в 9.3 (не знаю как там реально оно работает?), забъем на это, не оно
- а вот это

ada0 at ata0 bus 0 scbus0 target 0 lun 0
ada0: <QEMU HARDDISK 0.12.1> ATA-7 device
ada0: Serial Number QM00001
ada0: 16.700MB/s transfers (WDMA2, PIO 8192bytes)
^^^-^^^^^^^^^^^^^^^^^^^^^^^^^^^^- режим WDMA2, примерный transfer rate 16.7/MB/s, как CD через PIO

ada0: 300000MB (614400000 512 byte sectors: 16H 63S/T 16383C)

представляете какой IO overhead?
Neus писал(а): Переключи ещё диск на virtio.
Для Freebsd почему-то автоматом IDE для диска выбиралось, На Сентосах сразу virtio.

Поменял диск на virtio, вывод iotop с хостового kvm в картинке - во время работы rsync на впске сFreebsd
iotop.PNG

guest
проходил мимо

Centos KVM + Freebsd 9.3

Непрочитанное сообщение guest » 2017-03-02 12:48:28

andryu писал(а): Для Freebsd почему-то автоматом IDE для диска выбиралось, На Сентосах сразу virtio.
да это не страшно, PIIX и PIIIX (если не ошибаюсь в описании чипсета), отлично эмулируются и соответственно,
работают с PATA.
Но почему такой оверхед IO, это только от KVM+QEMU зависит, и вероятно от того что в qcow...
Поменял диск на virtio, вывод iotop с хостового kvm в картинке - во время работы rsync на впске сFreebsd
iotop.PNG
virtio в 9.3R может быть вполне не очень стабилен, но проблема точно в VPS.

Я бы попробовал так: создал второй VHDD в VPS с FreeBSD, на него слил бы tar/cpio (можно rsync но затем tgz),
во время этих операций, посмотрел бы IO в VPS'ке, затем слил бы этот большой архив на хост VPS'ки и
после этого уже гнал бы на новую гостевую FreeBSD под KVM+QEMU.

Другой вариант, все тоже самое, но на новом VHDD (Virtual HDD), создал бы UFS2 без SUJ (без softupdates и journal),
newfs /dev/adaX (где X номер диска), слил бы туда как все описал, а потом на хост, но через nbd или libguestfs-tools
попробовал смонтировать в хост-vps qcow-образ, но не помню, UFS2 поддерживается? Если нет,
то вместо UFS2, на втором диске можно создать ext2-fs.

Увы, в FreeBSD в базовой системе не поддерживается ext2, нужно ставить из пакетов или портов.
Тогда через nbd или libguestfs-tools точно можно ее смонтировать и стащить архив в хост-vps, а далее
делов на 5 копеек.

ps. Сочуствую по поводу VPS. Может старая версия и старое ядро? У меня с FreeBSD 9.x под KVM+QEMU проблем
нет, по привычке проверяю работоспособность KVM+QEMU с установки на нее FreeBSD, затем Windoze, ну и уж
потом Linux.

Аватара пользователя
andryu
мл. сержант
Сообщения: 86
Зарегистрирован: 2008-07-31 15:55:40
Откуда: Riga

Centos KVM + Freebsd 9.3

Непрочитанное сообщение andryu » 2017-03-04 20:47:57

ps. Сочуствую по поводу VPS. Может старая версия и старое ядро? У меня с FreeBSD 9.x под KVM+QEMU проблем
нет, по привычке проверяю работоспособность KVM+QEMU с установки на нее FreeBSD, затем Windoze, ну и уж
потом Linux.
Да вроде последние на момент прекращения поддержки, не понятно почему такие тормоза.
Пока решил, потестирую ещё сайтами а не rsync-ом, если терпимо будет, то на выходные можно оставить на время переезда, чтоб нагрузки особой не было.
Спасибо за советы!

ыть
проходил мимо

Centos KVM + Freebsd 9.3

Непрочитанное сообщение ыть » 2017-03-12 18:33:45

andryu писал(а): Рассмотрю любые предложения :)
1. квм - говно унылое.. если переносить - хен или бых..
2. если переносить - фрю на фрю-11 в режиме pvh, центос - говно унылое, нахерникомуненужное...