Další z řady brain dumpů o aktuálním dění. Nebude to ani tak o rockové hudbě, i kdy trošku Strašlivé Tísně (Dire Straits) přece jen obsahuje. Na produkci se nám stala taková zlá nepěkná věc, aneb fuck you VMware.
Asi není tajemstvím, že používáme VMware vSphere 5. Teď už to tajemství není určitě :-). VMware je dost standardní a používané, není problém dodávat zákazníkům hotové virtuální stroje, které stačí spustit. Trocha nastavení sítě a firewallu a už to jede i z Internetu. Naši zákazníci si to pochvalují a pro nás je to snadnější, než rozjíždět naše aplikace v cizím prostředí na serveru klienta. Klidně si to mohou spusti na free (zatím) Playeru, to dobře funguje. Spousta zákazníků má také dostatečně novou verzi ESX, tedy není problém ani cesta opačná, tedy rozjetí jejich hotového image na našem hostingu. Live migrace guesta umožňuje odstavit ESX HW, live migrace storage se také hodí v případě, že je nutno udělat údržbu file serveru. Všechno je velmi pěkné a velmi funkční. A časem také velmi drahé.
Pro správu vSphere clusteru potřebujete Windows. A to hned dvojím způsobem. Jednak na klientu. On sice existuje jakýsi pokus udělat HTML verzi vSphere VMware klienta, ale ten v Iceweasel (pro nedebianisty Firefox) spíše nefunguje. O dalších prohlížečích ani nemluvím. Nakonec skončíte na Windows. Licence pro klienta, tedy něco jako Windows 7. Ve VirtualBoxu. Ještě že ten je od Oracle zdarma.
Co je horší, pro řízení clusteru potřebujete: Buď Windows Server + ostré velké MSSQL 2008. Nebo vcapp + Oracle. Vyberte si. A právě vcapp nás pěkně vypeklo a mě neskutečně dožralo. vcapp je vlastně jen openSUSE s nainstalovanými službami pro řízení clusteru. VMware Inventory, vSphere Client, VMotion apod. Funguje (pokud to funguje) to velmi dobře a na rozdíl od Windows Server je to velmi rychlé. Free verze má embeded IBM DB2. Jenže.
Free verze funguje (a opravdu funguje, do limitu si nelze stěžovat) jen pro 50 guestů (virtuálek). Aby toho nebylo málo, tak stejně jako MySQL o tomto faktu kompletně mlčí. Máme mnohem více než 50 VM. A na hostingu začalo strašit. Asi po překročení počtu 50. Různé VM dostávaly stejné MAC adresy (!), přestávaly fungovat různé věci (jako třeba zálohování opět velmi drahým Veeam Backup), nebojte se, zálohujeme ještě druhým způsobem, až najednou se nedalo na cluster připojit. Hodně „pomůže“, když potom naleznete oficiální troubleshoting, kde (a jedině kde) lze najít zmíněné soft limity. Věci fungují i nad tyto limity, jenže blbě a hlavně se to vůbec nedozvíte. Potom už je pozdě.
that’s the way you do it
Teď jsme ve stavu, kdy jediná možná cesta pro záchranu vSphere clusteru je v další koupi. V koupi produktu, který nepotřebujeme. A hlavně nikde nemáme jistotu, že to bude koupě poslední (u free vcapp se také nedozvíte, že přestane fungovat). Buď je to licence za Windows Server + MSSQL (aneb cesta, jak donutit linuxový hosting platit zbytečně Microsoftu), nebo je to licence za Oracle DB (stejný shit). Takže po zakoupení dost drahé licence za vSphere 5 je jedinou cestou, jak ji skutečně používat, nákup dalšího software. Aneb peníze za nic.
get your chicks for free
Netřeba říkat, že kdybychom tohle věděli už při přípravě nového hostingu, určitě bychom nákup VMware zvážili a nejspíše neschválili. Nemohu se ubránit pocitu rukojmí v rukou vmware. Nechali nás postavit cluster, nechali nás vybudovat celou okolní infrastrukturu, která stála strašné peníze. Teď si přišli pro výpalné. Ostatní (MS a Oracle) také chtějí svůj podíl. Buď zaplatíme, nebo celá současná investice propadne. Udělali to chytře. VM fungují, na jednotlivá ESX clusteru se dostaneme, takže to stále máme v rukou. Můžeme dělat co chceme. Jen nefungují migrace (vem je čert) a nefunguje zálohování. A právě tohle může být cesta, jak vedení donutit co nejrychleji koupit další zbytečné licence. V takové chvíli nikdo nebude uvažovat na migraci na jiný tip virtualizátoru.
Snad tohle někomu pomůže se rozhodnout.
Jestli se ptáte, co bych doporučil, moje volba je dneska jednoznačně KVM. Kdekoliv je Linux, je i KVM, virtuálku lze rozjet na zelené louce jedním příkazem. Vše máte v rukou, od kompletního síťování, po storage. KVM umí, díky virtio paravirtualizaci, velmi rychlé IO. Až vSphere 5 jej dohnala. Postavit storage pro KVM lze nad kdečím. Obyčejný systém souborů (s BTRFS snapshoty můžete získat zcela neobyčejné možnosti), iSCSI, FC, NFS. Jasně, nemá to klikátko (není třeba, v krizové situaci stejně oceníte rychlou konzoli s možností zjistit úplně všechno, než lesklé grafy) a zatím to neumí migrace. Jsou experimental. Příští rok budou stable. Na KVM nakonec rozjedete i vmware guesty. Umí mnoho diskových formátů, včetně vmdk. Neplatíte licence. Btw. licence kolem vmware nás stáli tolik, jako velmi výkonný HW. Pro KVM bychom tak mohli koupit další server a pro naše zákazníky tak získat výkon navíc. Nebo prostě ušetřit náklady pro budoucí rozvoj.