[Netzwerk] ESXi Server

[Borgal]

Hallo Leute,

ich stelle mir gerade ein System zusammen, aber durch die ganzen Berichte die ich gelesen habe bin ich jetzt etwas unsicher.
Da hier schon einige einen ESXi auch als VDR Server betreiben, wäre es super wenn noch einmal jemand vor meiner Bestellung drüber schauen könnte.

Als Hardware habe ich folgendes angedacht:

Board: Supermicro X9SCA-F
CPU: Intel Xeon E3-1230 v2
RAM: Kingston KVR1333D3E9SK2/16G
HBA: IBM ServeRAID M1015 – umpatchen auf IT
Netzteil: Corsair Enthusiast Series RM450
HDD: 4x Hitatchi Deskstar IDK 0S03665
SSD: hier bin ich noch offen
Gehäuse: Sharkoon Rebel 9

Also Hypervisor möchte ich gern ESXi 5.5-U1 einsetzten.

Folgende VM’s sollen auf dem System laufen:

yaVDR headless Server
FreeNAS
Ubuntu für EIBD
Windows 7
möglicherweise noch ab und zu eine Testumgebung


Der ESXi soll von einem USB Stick gestartet werden.
Lege ich die VM’s auf 2 HDD im Raid1 oder lieber mit 2 SSD?
Wäre ein großer Unterschied erkenntlich?
Oder würde auch eine HDD/SSD reichen, wenn ein Backup der VM’s vorliegt.
Diese Laufwerke würden auf dem Onboard Controller laufen.


Soweit ich das verstanden habe kann ich den Controller nur dem Host oder einer VM zuteilen, daher habe ich den IBM ServeRAID eingeplant.
An dem IBM sollen dann die 4 Hitatchi im RaidZ laufen (FreeNAS).

An den yaVDR möchte ich gern 4 DVB-S2 Karten durchleiten (2x TT-1600 / 1xTechnisat Sky Star HD2 / TeVii 470) Karten sind vorhanden.
Aufnahmen sollen auf dem RaidZ liegen.

Win7 soll später über Remotedesktop bedient werden.

Was haltet ihr davon?


Danke und Gruß
Borgal

[ElLitschi]

Nicht viel

Sorry, ich sag's mal so frei weg. Nicht viel.

Teile der Ausstattung sind gut, nur frag ich mich, warum Du da so extremst Dich durschwurschelschd ;-)

Hab selbst Virtualisierung komplett in Firma und Privat laufen. Kenn mich also "etwas" aus.

Also, ich beginne mal:

Board:

Haut hin, Supermicro hab ich in der Firma, würd ich mir privat auch holen. Kannste normal nix verkehrt machen, aber...

...CPU E3-1230 v2

Wechsel da lieber zu zu was anderem, und gleich auf'n anderen Sockel.

Wenn Du "Dampfgeil" bist, schau mal bei Alternate, da bekommste schon vernünftige Westmere EP's.

Würde nicht mehr auf ältere Sockel gehen.

Aber ist ja Geschmackssache.

Kingston Ram:

Das ist ok. Bauen was stabiles.

Allerdings in Verbindung mit VM's und dem Mainboard, schau lieber, dass Du was bekommst, wo Du mehr Speicher reinstecken kannst. Ich hab grad 96GB, und mir geht so langsam der Platz aus.

HBA....IBM ServeRaid

Würd ich nicht nehmen. Greif da lieber zu Adaptec. Hol Dir nen SAS Controler, das bisschen mehr Geld macht sich bei Umbauten bezahlt.

Hol Dir einen, mit einem Ausgang, wo Du später noch ein externes Gehäuse dabeimachen kannst für Erweiterungsplatten.

Z.B. Adaptec 6445, Kostenpunkt um die 450 Euro.

Gehäuse, mmmmh....Sharkoon...neee... auch Netzteil, neee

Mach lieber in 19 Zoll. Is von Vorteil!

Zu der Hardware stell ich Dir mal was zusammen, bei LS.

ESXi als Hypervisor, oke, würde heute zu VSphere greifen, aber ich hab alles unter Hyper-V 2012 laufen. Da bleib ich vorerst.

ABER NICHT VOM USB STICK!

UND AUCH NICHT VON SSD!

Als Raid System konfiguriere entweder ein Raid 5 oder Raid 6. Ich persönlich habe immer gern etwas Ausfallsicherheit. Wenn's Dir auch so geht, greife zu Raid 6 mit 6 Platten. Eine Hotspare reicht.

Was das mit dem Controler mit der Zuweisung von Host oder VM angeht, so arbeitest Du eh mit Virtuellen Datenträgern. Arbeite gleich in Kontingenten.

Bei Servern und Virtualisierungen musst Du die Denkensweise von Windows XP etc. mal ganz beiseite schieben.

Mach Dir den Virtualisierungsunterbau auf 2 Platten die Du im Mirror Betrieb laufen lässt. (Raid 1). Mach die Festplatten direkt mit dem Mainboardcontroler. Wenns der zulässt, mach noch eine Dazu, die Du als HotSpare laufen lässt ( Bei Intel geht das).

Richte erst einmal Deinen Unterbau ein, und mach nen Stresstest.

Dann mach den Unterbau für die Virtualisierung auf das eben erwähnte Raid 5 oder Raid 6. So sind Betriebssystem und Virtualisierung sauber getrennt.

Noch einmal für's Gewissen. SSD's sind nix, für produktive Umgebungen im 24/7 Betrieb in einem Server. Ausserdem schaufeln die SAS Controler mit 4 und mehr Platten mehr, als ein gestripptes Raid (Raid 0).

Vor allem, lass die Finger von Software-Raid Lösungen. Auch unter Linux. Ist ne Spielerei für Gamer, aber nicht im Produktiven Einsatz. Zumal dabei auch Prozessorlast hoch geht, was nicht sein soll.

Im Rebuild dauert es Wochen bis da alles wieder am Platz ist.

FREENAS...brauchste nicht, wenn Du Windows Server einsetzt. Ausserdem ist das nur ne Spiellösung.

Es sei denn, Du machst iSCSI. Dann ist das was anderes.

DVB - S Karten...lass das Sein. Nimm gleich ne Digital Devices Cine S2 als NetRack version. Dann kannste Dir den ganzen Kram sparen. Funzt auch ohne Server. Als Server setze ich hier DVB Logic ein.

Ander VDR Lösungen sind unzuverlässig.

WIN7 per Remotedesktop. Klar geht. Und noch vieles andere mehr.

Wenn Du Fragen hast, beantworte ich Sie Dir gern.

[ElLitschi]

Nachtrag

Im Übrigen....ESXi geht zwar vom USB STick, aber nicht ratsam. Vor allem Bedenke: Bei der kleinen Lösung nur 1 CPU und 32GB Ram. Das wird ENG!

[DavidB]

Normaler Weise halte ich mich bei solchen Diskussionen raus, aber hierzu muss ich meine Meinung doch mal abgeben. :-)

HBA....IBM ServeRaid

Würd ich nicht nehmen. Greif da lieber zu Adaptec. Hol Dir nen SAS Controler, das bisschen mehr Geld macht sich bei Umbauten bezahlt.

Warum? Der M1015 ist der Standard bei kleineren IBMs. Gefühlt wird der in 75% der Server ausgeliefert. Ist zuverlässig und speichert die Konfig auf den Platten, so dass Du auch bei einem Controller-Ausfall keinen Stress hast. In meinen Augen für den Heimgebrauch ausreichend und relativ genünstig zu haben. Preis-Leistung ist top. Außerdem soll ja - so wie ich das verstanden habe - sowieso ZFS mit den Platten am M1015 genutzt werden.

Hol Dir einen, mit einem Ausgang, wo Du später noch ein externes Gehäuse dabeimachen kannst für Erweiterungsplatten.

Das sollte man in meinen Augen gut abwägen. Wenn man nie zu einem externen Shelf greifen wird, sind die 4 Ports die dann verloren gehen intern besser aufgehoben. Meiner Erfahrung nach sind Controller mit externem Ausgang auch deutlich teurer.

Gehäuse, mmmmh....Sharkoon...neee... auch Netzteil, neee

Mach lieber in 19 Zoll. Is von Vorteil!

Kommt natürlich auf die Gegebenheiten an. Wenn Du einen tiefes Rack hast würde ich auch zu 19 Zoll tendieren. Bedenke aber, dass die meisten Rackgehäuse besonders auf die Abwärme ausgerichtet sind. Die Lüfter sind in der Regel lauter.
Wenn es günstig sein soll: ich finde die Gehäuse von Chenbro sind bezahlbar und die Verarbeitung ist in Ordnung.

ABER NICHT VOM USB STICK!

UND AUCH NICHT VON SSD!

Warum nicht? ESX auf USB ist bei vielen Installationen Standard. Natürlich nicht auf einem MediaMarkt-USB-Stick, da sollte man sich was in Industrie-Qualität raussuchen. Hat Supermicro nicht genau dafür die internen USB-Ports rausgebracht? Wir haben mit Sicherheit schon mehr als 100 ESX auf USB in Betrieb genommen. Ich habe noch nie einen Nachteil oder Ausfall erlebt.

Was das mit dem Controler mit der Zuweisung von Host oder VM angeht, so arbeitest Du eh mit Virtuellen Datenträgern. Arbeite gleich in Kontingenten.

Wenn ich den TE richtig verstanden habe, möchte er den Raid-Controller direkt in eine VM durchschleifen und dort dann ZFS einsetzen.
@Borgal: Das Durschleifen eines Raid-Controllers hab ich bisher noch nicht gemacht, wollte ich aber schon immer mal testen. Bevor Du Dein Setup darauf basierend planst, würde ich das eventuell erst noch mal im VMware-Forum posten. Da findet sich sicher jemand, der dazu was sagen kann. Denk daran, dass die CPU dafür VTd unterstützen muss.

Noch einmal für's Gewissen. SSD's sind nix, für produktive Umgebungen im 24/7 Betrieb in einem Server. Ausserdem schaufeln die SAS Controler mit 4 und mehr Platten mehr, als ein gestripptes Raid (Raid 0).

Auch hier wieder: Warum? ;-) Wenn man mit den Nachteilen von SSDs leben kann, ist das eine sehr gute Option. Im Heimbereich kann es alleine schon wegen dem Stromverbrauch sinnvoll sein 2 SSDs mehreren SAS-Festplatten vorzuziehen. Und in "produktiven Umgebungen im 24/7 Betrieb" sind SSDs bei entsprechenden Anforderungen schon lange Standard. Mehr als die Hälfte unserer Kundenprojekte basieren inzwischen auf SSD.

Vor allem, lass die Finger von Software-Raid Lösungen. Auch unter Linux. Ist ne Spielerei für Gamer, aber nicht im Produktiven Einsatz.

Und hier kommen wir zu dem Punkt, der mich mich dazu bewegt hat zu antworten. Sorry ElLitschi, aber das ist quatsch. ;-)

Software-Raid hat enorme Vorteile. Als Faustregel gilt: Paritäten in Hardware-Raid, Striping im Software-Raid. Der Hintergrund ist, dass der Kernel beim Software-Raid die IOs anders schedulen kann, weil er die Speicherbereiche eben nicht als 1 großen Pool sieht. Das bringt erhebliche Performance-Vorteile. Meine Jungs können darüber stundenlang referieren, ich belasse es hier mal bei der kurzen Aussage. Fakt ist: Software-Raid hat sich im High-Performance-Bereich durchgesetzt. Auch die großen Hersteller haben da geschwenkt. Warum also nicht auch zu Hause einsetzen, da kostengünstig? Mit Spielerei für Gamer hat das schon lange nichts mehr zu tun. ZFS hat einen berechtigten Platz im Storage-Umfeld und wird höchstens noch von BTRFS abgelöst, wenn es irgendwann mal stable ist.

Zumal dabei auch Prozessorlast hoch geht, was nicht sein soll.

Aber genau das ist doch gewünscht. :-) Ja, die Prozessorlast KANN dabei hoch gehen. Ressourcen sind im Raid-Controller nun mal begrenzt, da ist es doch ein Vorteil, dass die CPU mitarbeitet. Zumal das auch nur der Fall ist, während es zu hohen Datendurchsätzen kommt. Im Heimbereich wird man davon - außer bei einem Rebuild, wenn man Parität im Software-Raid nutzt - garnix merken.

FREENAS...brauchste nicht, wenn Du Windows Server einsetzt. Ausserdem ist das nur ne Spiellösung.

FreeNas ist durchaus was ordentliches. Die ZFS-Integration ist gut und stabil.
@Borgal: Eventuell wäre openMediaVault noch eine Option. Ich glaube zwar, dass ZFS noch nicht integriert ist, da ZFS-On-Linux aber seit Anfang letzten Jahres stable ist, wird das sicher nicht mehr lange dauern.

DVB - S Karten...lass das Sein. Nimm gleich ne Digital Devices Cine S2 als NetRack version. Dann kannste Dir den ganzen Kram sparen. Funzt auch ohne Server. Als Server setze ich hier DVB Logic ein.

Ander VDR Lösungen sind unzuverlässig.

Naja, um ehrlich zu sein sehe ich auch das etwas anders. Ich habe schon ewig ein TVHeadEnd mit einigen DVB-S und DVB-C-Karten laufen und nutze es in Verbindung mit XBMC. Den Aufbau hab ich hier im Forum irgendwann mal beschrieben, ich hab aber grade den Link nicht parat. Absolut stabil ohne jede Einschränkung an mehreren Clients. Der WAF ist auf 100% - und der ist bei mir sehr kritisch. Und kostengünstiger geht es wohl nicht.

Fazit: Mir ist bewusst, dass solche Diskussionen dem TE nur wenig helfen, allerdings finde ich die oben genannten Punkte an Deinem Setup in Ordnung. Wenn Du Lust und Zeit hast, würde ich dazu raten die Komponenten nach und nach zu kaufen und das Setup einfach mal durchzuspielen. Wenn Du mit einem Punkt nicht zufrieden bist, gehen die Komponenten zurück oder in die Bucht. Ich musste bestimmt 4 oder 5 TV-Karten testen, bis ich eine gefunden habe mit der ich voll zufrieden war.

Zur CPU kann ich wenig sagen. Das ist nicht mein Fachgebiet, da hab ich keine Ahnung, was aktuell ist. Aber mit dem Rest Deiner Aufstellung kann man in meinen Augen ein ordentliches Setup aufbauen.

Viele Grüße,

David

[Gast]

Nutze einen 1 HE Server Supermicro , als Board X10SLM+-4LNF mit einem Xenon 1265VL3 Hashwell, super ! ESXI selber läuft auf dem internen USB 3.0 Steckplatz mit USB Stick
Das Board selber hat noch 4 Netzwerkkarten plus eine für IPMI2.0....
Yavdr etc ohne Probleme. Als TV karte verwende ich die DD Octopus mit Quad Tuner.

wo ist das Problem mit USB Sticks mit ESXI? Ich habe schon viele eingerichtet, davon war noch keiner kaputt, außerdem sollte er kaputt gehen, dann gibts einen neuen.....Bei Raid setze ich gern auf 3Ware, Areca etc...

Bitte kein Raid5 für das Betriebsystem selber!

[pcnico]

Kleiner Tipp... Am besten an die HCL von VMware halten, das muss nicht teuer sein...

z.B. HP ML310, den gibts schon ab 300€+, der kann auch mit normalen 24x7 SATA Platten betrieben werden... iLO usw. sind bei sowas nicht zu unterschätzen....


ESXi vom USB Stick kann man machen.... DU wirst den Unterschied nicht merken...

[yachti]

ABER NICHT VOM USB STICK!

Den ESX Hypervisor vom USB Stick zu booten ist gang und gebe und entspricht den Stand der Technik.
Wir sind VMware Enterprise Partner und liefern keine Hosts mehr mit Festplatten aus.
Mein privater Host läuft auch mit USB Stick und vSphere 5.5
Als Storage habe ich ein iSCSI thecus 5550 im Raid5 mit Hotspare und 24/7 1TB Festplatten

[janosch242]

Den ESX Hypervisor vom USB Stick zu booten ist gang und gebe und entspricht den Stand der Technik.
Wir sind VMware Enterprise Partner und liefern keine Hosts mehr mit Festplatten aus.

Full ack. Wir sind zwar nur "VMware Partner" aber bei uns das gleiche.
Wenn beim Kunden SAN vorhanden, keine Platten in den Server.
Bei Dell kann man sich anstatt nem USB-Stick den ESX auf eine
SD-Karte machen. Ist aber geschackssache.

Gruß

Janosch

[mosjka1]

Die vom ElLitschi vorgeschlagene Alternativlösung ist viel zu übetrieben, für einen Privatgebrauch! Ich habe ESXi genau so, wie der Threadersteller aufgeführt hat, laufen und bin seit Jahren damit vollsten zufrieden.

Meine Settings:
ESXi5.5U1: SM X9SCL-F || Xeon E3-1230 || Kingston ECC 16GB DDR3-1333 || IBM M1015 (IT) per passthrough an OI/ZFS || 4x 2TB 5K3000 || Seasonic SS-300TFX

Ansonsten, wühl dich mal hier rum: ESX / ESXi - Hilfethread

[ITler]

Wenn ich mir die Anforderungen vom TE anschaue halte ich die meisten Vorschläge hier für etwas übertrieben.

Mir wäre der Strom für eine solche Kiste zu teuer um ehrlich zu sein. Gerade für Homeserver gibt es mittlerweile recht schöne Microserver die zwar nicht so brachial Leistung haben dafür den Geldbeutel schonen

[tuxedo]

Vor allem, lass die Finger von Software-Raid Lösungen. Auch unter Linux. Ist ne Spielerei für Gamer, aber nicht im Produktiven Einsatz. Zumal dabei auch Prozessorlast hoch geht, was nicht sein soll.

Im Rebuild dauert es Wochen bis da alles wieder am Platz ist.

Ich will nicht sagen dass du keine Ahnung hast, aber irgend sowas in der Art...


Betreibe seit nun 8 Jahren ein Software-Raid unter Debian Linux. Mirror. Zuerst mit 2x250GB IDE, aktuell mit 2x1TB SATA.

Das ganze läuft auf einem Sapphire Pure White Fusion Mini-ITX Mainboard mit AMD E350 CPU und 4GB RAM.
Ich hab noch 4 VMs mit Virtualbox darauf, wovon bis zu 2 Stück gleichzeitig laufen (brauche nicht immer alle VMs gleichzeitig für meinen Anwendungsfall).

Wenn man berücksichtigt dass da nur ein E350 drin werkelt, dann rennt die Kiste ganz ordentlich mit 2x Win7 64bit als VM Guest.

Software-Raid .. Ich würde privat nie was anderes nehmen. Die Kosten rechnen sich IMHO nicht.

Mit dem 2x1TB Mirror Software RAID schaffe ich, je nach Filegröße, zwischen 50 und 100mb/sek über's Netzwerk. Ich schnitt werd' ich wohl bei >60MB/sek liegen. Die CPU Last ist dabei wirklich zu vernachlässigen. Auch beim Schreiben auf das RAID juckt das die CPU nicht wirklich.

Auch zwei Plattenausfälle (einen simuliert, ein echter) hab ich hinter mir. Downtime = 0. Die Platten stecken im SATA Wechselrahmen und das Mainboard beherrscht, wie so viele, Hotplug. Defekte Platte raus, neue rein. 3 Befehle auf der Konsole ausgeführt (alte Platte aus dem Raid enfernen, neue platte partitionieren, neue Platte ins Raid hängen) und schon synt das ganze wieder. Wie lange der Rebuild bei 1TB gedauert hat weiß ich nicht mehr genau. Aber es dauerte nur wenige Stunden, wenn überhaupt.

Der Vorteil des Software RAID: Ich bin HW unabhängig. Heute AMD CPU, morgen dann ARM.. Völlig wurscht. Hauptsache irgend ein Linux und die Platten irgendwie als Device im Linux vorhanden.

Aber gut, jedem das seine. Irgendwer muss die kommerziellen Hersteller ja unterstützen. Ich bleib da eben im Open Source Bereich ...

[Borgal]

Ich habe das noch einmal aufgemalt wie ich das verstanden habe.
Da ich ja den extra Controller nur zum durchreichen und nicht für ein HW-Raid benötige. Ist es möglich hier auch auch ein etwas günstigeres Modell einzusetzen?

Danke und Gruß
Borgal

[ctr]

Bedenke dass Du beim Onboard HBA vermutlich (vorher checken!) kein (Soft/Fake)RAID an den ESXi durchreichen kannst. Ich denke SSD sind an dieser Stelle "Perlen vor die Säue" geworfen, in diesem Einsatzscenario sehe ich keine große I/O Aktivität auf dem vmfs, da der "richtige" Betrieb auf dem FreeNAS abgeht. Dann lieber (wegen Ausfallsicherheit) noch ein Hardware-RAID1 für das vmfs mit HDDs anstatt SSDs.

Bist Du optimistisch, dass das mit dem durchreichen der PCIe Geräte so einwandfrei geht? Ich habe das auch mal eine zeitlang gemacht (habe an dem PCI-Passthrough Code in Xen mitgearbeitet), für Storage Controller ist das auch keine gute Sache, aber mit Multimedia-Devices hatten wir immer Schwierigkeiten, weil es nicht nur eine Frage der HW sondern evtl auch des Treibers ist, ob es auch sauber funktioniert... Ich habe es seinerzeit nicht geschafft DVB-Karten (das waren aber noch mantis Karten) sauber in Guests durchzureichen, trotz VTd usw. Als alternative schonmal über sowas wie SAT>IP (OctopusNet) für DVB-S nachgedacht?

[Janosch25786]

Jeder, der ein RAID Zuhause betreiben will, sollte sich dringend einmal mit ZFS beschäftigen. ZFS ist für mich die Perfektion eines Dateisystems und es gibt meiner Meinung nach kaum etwas Vergleichbares, was Migration von weiteren Festplatten, Datenkontrolle, Weiterverwendbarkeit in einem anderen Rechner, etc. anbelangt.

Hier mal alle Informationen zusammengefasst. Der erste Absatz reicht eigentlich schon, um die Vorteile zu erkennen.

http://de.wikipedia.org/wiki/ZFS_(Dateisystem)

Und wer hier noch von Gamer- oder Billiglösung spricht, hat entweder ein eingeschränktes Blickfeld oder will sich nicht mit Alternativen beschäftigen.

Läuft bei mir seit knapp zwei Jahren auf einem N54L Microserver mit 16GB Ram absolut störungsfrei.

[ctr]

Verstehe jetzt nicht genau was Dein Einwand soll, Borgal hat bereits beschrieben, dass er RAIDZ (also ZFS) im FreeNAS nutzen will, der ESXi braucht aber trotzdem noch ein Storage für die vmdks.
Man kann zwar auch den in einer VM bereitgestellten Speicher wieder von ESXi ansprechen (per NFS oder iSCSI), aber da beißt sich zumindestens bei so einem kleinen Setup die Katze in den Schwanz. (VMWare selbst hat dafür eine Virtual Storage Appliance und es gibt auch noch einige Anbieter auf dem Markt. Mir erschließt sich der Sinn allerdings noch nicht so richtig außer für Test-Setups)

Hatte ich letzten Post ganz vergessen zu schreiben: ESXi vom USB macht zwar grundsätzlich Sinn, vor allem im Enterprise-Umfelf, die Idee dahinter ist aber dass man gar keinen lokalen Storagen hat, sondern eine SAN oder NAS Architektur wo die vmdks liegen. Wenn Du sowieso lokalen Storage für ein vmfs hast (die zwei SSD in Deiner Zeichnung oder wie von mir angeregt zwei HDDs in einem HW-RAID1), dann erübrigt sich eigentlich der Grund für den USB-Stick...