Archief - server

Hallo allemaal,

Graag zou ik mijn 2 pc's leeg make (dan bedoel ik de hard drives)
en willen over brengen naar 1 pc.
Zo kan ik mezelf voorzien van redundantie, ik ben aan het denken aan unraid.

Waarom unraid en geen gewone raid opstelling?
Mijn harde schijven zijn variërend van grootte en met unraid geeft dit geen probleem.
Ook toevoegen van harde schijven is geen probleem.
Als er hardware stuk valt ook allemaal geen probleem.
Als er 2 schijven stukvallen ben ik wel de 2 schijven kwijt, maar met raid ben je heel de array kwijt.
Nadeel van unraid is wel dat dit vrij traag schrijft (aangezien de parity softwarematig wordt berekend),
maar dit is op te lossen met een caching-drive.

case: lian li pc-d8000
moederbord: asrock h77 pro4-m (en bp3sata bijbestellen => hd's worden dan hotswapable)
hd-controller: 3x supermicro aoc-sas2lp-mv8
cpu: intel celeron g540 ?????
ram: corsair 4 gb ddr3-1333
voeding: hier ben ik nog niet uit, hoeveel watt heb ik nodig om 25hd's te kunnen voorzien van stroom??)

Laat weten wat je van deze opstelling denkt of suggesties hebt??

Groeten,
Filip

Hallo Filip,

De hardware die ik gebruik in mijn file server zijn;
- Intel Pentium G620 (2.6 GHz Dual Core Sandy Bridge Processor)
- 8 GB RAM
- Gigabyte GA-H67M-D2-B3 (6 sata poorten)
- Antec EarthWatts 380Watt Bronze PSU.

Ik draai 3x1.5 TB WD Green Drives in RAID5 voor Multimedia
2x 500 GB in RAID1 voor documenten/afbeeldingen/muziek enz. (heel belangrijke dingen)
en nog een 1 TB schijf, voor ... junk.

Merk op dat mijn mobo wel hardware raid ondersteunt, maar ik dit ZEKER NIET gebruik!
Ik gebruik als OS linux, en dan specifiek FreeNAS.
Waarom? Omdat het zoveel kan en het enorm stabiel is en voor ZFS.

Je draait best je schijven wél in RAID, meerbepaald RAID 5 of "RAIDZ" in ZFS termen.
Waarom?
- ZFS is een filesystem dat "van 0 af aan" ontwikkeld is, en dat, bijvoorbeeld op een RAID1 array, de intelligentie heeft om te zeggen "Deze file op schijf A is corrupt en de file op schijf B is nog in orde; ik geef je die van schijf B".
Uiteraard wordt er dan een soort "Alert" getriggerd in FreeNAS, die je via de webGUI laat weten dat er een probleem is met een bepaalde schijf.
- Ten tweede is het bij ZFS geen enkel probleem om de grootte van je array uit te breiden.
Ik heb bvb 3x1.5 TB voor multimedia. Maar, er gaat een moment komen waarop die vol gaat staan.
Bij hardware RAID zou je alle data, op een of andere manier, van de schijven moeten halen, de array verwijderen en een nieuwe array starten, met je nieuwe schijven.
Bij ZFS daarentegen, hoef je enkel stap voor stap elke schijf te verwisselen met een grotere.
Bijvoorbeeld: een 1.5 TB schijf vervangen door één van 3 Tb, laten rebuilden. Wanneer dat gedaan is de tweede, enzovoort.
Bij de laatste schijf zal FreeNAS zonder problemen de array capacity uitbreiden.
Ook zal je array onder ZFS nog herkenbaar zijn voor andere systemen met ZFS aan boord. Als je moederbord bij hardware raid de geest geeft, is de kans groot dat je je array nooit meer terugziet.
ZFS kan simpel zeggen "Ok, deze schijf, deze en deze vormen een array" en je array zal zonder problemen worden geïmporteerd.

Als je geïnteresseerd bent in FreeNAS en vooral alle functies en alles wat het kan, zal ik je nog wat meer uitleg geven.

Bij jou zou dit willen betekenen, dat je ondanks je verschillende groottes van hdd's, toch een raid 5 array kan maken. Als de kleinste crasht, kan je deze simpelweg vervangen door een grotere en wordt je array groter.

Daarbij, een "guideline" is dat je voor elke Terrabyte aan storage je hebt, je één gig ram toevoegt aan de pc, zodat ZFS optimaal kan functioneren.
Waarom neem je beter een Pentium G620 ipv een Celeron? Omdat je rekening moet houden dat wanneer je bvb een raid5 array rebuild, je wat processor kracht nodig hebt om de berekeningen te maken. Uiteraard, die celeron krijgt dat ook wel bolgewerkt, maar de Pentium zal sneller zijn. EN je moet er rekening mee houden dat je array, op dat moment, zich in kritieke toestand bevindt.

Laat me iets weten als je meer info wilt.

Bedankt voor de uitleg over zfs. Ik heb wel nog eenpaar vraagjes.
Wat als er bvb 2 drives crashen?
Ben je dan ook heel de array kwijt?
En wat als ik een array heb met een paar drives van 3tb, en ik steek er een drive bij van 2tb, wordt elke drive dan ook volledig benut?
Het wegschrijven naar de schijven, tegen welke snelheid gaat dit?

Groetjes, filip

Hé, ik ga proberen vraag per vraag te antwoorden;

- Als 2 schijven crashen, ben je in RAID5 of "RAIDZ" (in ZFS termen) alles kwijt.
ECHTER, er is ook RAID6 of "RAIDZ2", waarbij je wel degelijk twéé schijven tegelijk kan verliezen.
- Als je een array maakt van allemaal 3TB schijven, en daar ééntje in toevoegt van 2TB, dan wordt je array kleiner en wordt elke schijf "gelimiteerd" tot 2TB, totdat je de kleinste verplaatst door een grotere. Dan wordt je array mee groter.
Vervang je die 2TB schijf met een van 3TB, dan worden alle stijven helemaal benut.
(Maar: Als je genoeg schijven hebt, kan je beter die 2TB schijf er uit laten. Anders geeft die schijf geen meerwaarde.)
- Het wegschrijven naar de schijven gaat, bij mij toch, net zo goed al bij hardware RAID o.i.d.
ZFS is daar dan uiteindelijk ook voor gemaakt! En daarbij komt dat je bij RAID5/6 moet schrijven naar meerdere drives en moet lezen van meerdere drives, dus je bandbreedte naar de schijven toe is heel hoog.

*EDIT:
Je kan misschien ook eens nadenken over je soorten RAID arrays die je wil gebruiken.
Bvb je documenten, muziek en afbeeldingen, zoals ik, op een RAID1 array zetten (waarbij dus alles dubbel staat). En je films, series, ... op een RAID5 array (of RAID6) waarbij het eventuele verlies van data niet zo erg is.

Nu eerlijk gezegd, als je er in slaagt om een RAID6 array te verliezen... proficiat ;-)

Mag ik je ook aanraden om GEEN NAS aan te kopen. Je weet wel, zo'n bakje waar je nog maar gewoon de schijven moet insteken en dan via ethernet aan je netwerk koppelt...
Doe dat alstublieft niet, daar zijn zoveel problemen mee. Je leest en schrijft traag, kan slechts beperkte instellingen aanpassen... FreeNAS kan zoveel meer en het is 'zijn geld' -voor de hardware uiteraard, FreeNAS zelf is gratis- meer dan waard!

Bedankt voor de info.

Ik denk wel dat ik bij unraid ga blijven.
Hier zijn de schijven allemaal allemaal apart te lezen, dus ik kan hier bvb meerdere schijven verliezen en toch niet alles kwijt zijn.
Als ik morgen in een setup van allemaal 3tb schijven, eentje toevoeg van 1tb, wordt elke schijf toch volledig benut (wat bij mij wel het geval is).
De snelheid is trager maar dit op te lossen met een caching schijf.

En als het me lukt ga in unraid nog aan virtualizatie doen (notmaal moet dit mogelijk zijn).
En over die nas, ben ik sowieso niet van plan, deze kosten veel te veel als je bv 4 of meerdere schijven hebt.

Wat is de capaciteit van al die schijven?

2 van 1, 1 van 1.5, 2 van 3 en dan nog 5 van 2

Als ik je een goede raad mag geven, blijf dan van unRAID af. Ik heb het zelf ook allemaal gehad, en als je OS crasht, zijn die schijven een grote puinhoop, en is het moeilijk je data er af te halen... niet te vergeten dat je unRAID niet kan detecteren, je kan die schijven niet meer als het ware allemaal importeren. Je zal eerst alles er vanaf moeten halen, voordat je verder kan.

FreeNAS laat je toe een backup te maken van de configuratie en die op te slaan op je PC. Indien je OS/de usb stick waar FreeNAS op draait crasht, kan je gewoon opnieuw installeren op een andere stick, je upload via de webpagina de config file terug in en voila... alles werkt weer. En ZFS heeft uiteraard de intelligentie om je array's zonder problemen opnieuw te importeren.

Je zou je schijven, bijvoorbeeld, zo kunnen opstellen;
1 TB + 1TB + 1.5 TB in RAID5
2x 3 TB in RAID 1 (voor hele belangrijke dingen zoals documenten, familiefoto's, muziek, ...)
En die 5 van 2 in RAID 5 of eventueel in RAID6 (dan kan je 2 schijven verliezen)

Uiteraard kan je hier nog wat mee spelen, je kan bvb ook die 2x 1TB en 1.5 TB in RAID 1 zetten, zodat je data over 3 schijven verspreid is.
Over die 500 GB die je verliest... wel ja, dat zal het wel niet maken zeker.

*EDIT: en voor virtualisatie: wat wil je doen?
FreeNAS heeft een zogenaamde "Jail" ingebouwd. Dat is dus gewoon een linux distro die virtueel draait binnen FreeNAS. Ik heb het zelf ook, en er zijn plugins gemaakt, die je gewoon in de configpagina moet uploaden, en FreeNAS draait die dan in die virtuele linux distro.
Zo heb ik onder andere Transmission (torrent cliënt), Firefly en MiniDLNA draaiende.

Freenas ziet er inderdaad wel goed uit als ik uw beschrijving lees. Nu nog eerst aan de praat krijgen op virtualbox om is te testen. En rest me nog volgende vraag: hoe zwaar moet de voeding zijn om tot 25drives te kunnen ondersteunen?

Ok, laat maar iets weten hoe het gaat.
Tip; maak een apparte schijf aan voor je OS. In de praktijk pak je best ook een USB stick om van te booten.
(2GB is genoeg.)

Die voeding... wel. Het stroomverbruik van die 25 drives, zal al bij al nog wel meevallen.
MAAR het is de "piek power" waar je aan moet denken. HDD's vragen de eerste seconden dat ze werken (wanneer de motoren de platen in beweging moet brengen) veel stroom van je PSU.

Ik zou zeker gaan voor een 750 Watt Unit.
Ik zal straks eens een goeie posten.

*EDIT: Deze zou die 25 HDD's perfect moeten kunnen draaien: http://www.alternate.be/html/product/Antec/EA_750_GREEN/956006/?

Bedankt hé.

Diene freenas ziet er precies wel goed uit, alleen een schijf toevoegen in raidz lukt ni echt
en dit is precies wat ik nodig heb...

of doe ik iets mis?

soepkieke zei:

Bedankt hé.

Diene freenas ziet er precies wel goed uit, alleen een schijf toevoegen in raidz lukt ni echt
en dit is precies wat ik nodig heb...

of doe ik iets mis?

Klik om te vergroten...

Geen probleem!

Wat bedoel je? een array maken?

Als ik een raidz-config heb van 3schijven, daar nadien 1 aan toevoegen. Dit gaat niet precies, hij wil deze schijf dan stripen.

Euhm... neen ik denk niet dat dat gaat.
Tenzij je de hele array wist.

Maar denk er aan: soms is het beter alle bestaande schijven te vervangen naar grotere modellen, dan altijd maar schijven bij te voegen. Dat geld zal je terugkrijgen langs je energiefactuur.
Wat je wel kan is een array van 5x 2TB disks upgraden naar 5x 3 TB door ze AFZONDERLIJK (één voor één) te vervangen en te laten rebuilden.
De 2TB schijven kan je dan weer gebruiken voor een andere array te upgraden ...

*EDIT: btw, kheb gisteren op kapaza een zo'n raid controller voor 25 schijven gespot! Misschien interessant voor jou? (De man deed hem weg omdat hij overgeschakeld was naar zo'n pre-fab NAS )

Na wat te proberen me allerlei systemen denk ik om voor unraid toch te gaan. Rest mij nu nog enkel volgende keuze: voor virtueel gaan of niet. Virtueel heeft als voordeel dat ik nog andere os'en kan installeren en zo mijn mogelijkheden onbeperkt zijn, maar als nadeel dat de schijven in unraid niet rechtstreeks kunnen aangestuurd worden en dus vanuit unraid niet in slaapstand kunnen komen. Of er moet iemand een oplossing hiervoor kennen?

Misschien een andere vorm van virtualisatie die ik nog niet ken, waar de harde schijven wel rechtstreeks worden aangestuurd door het guest-systeem.

Gebruik voor je file server NOOIT een virtueel systeem.

Bij unraid is het al vrij moeilijk om je data ooit nog heel er uit te krijgen, maak het zeker niet nog moeilijker door virtualisatie te gebruiken.

Een fileserver draai je best op zijn eigen hardware.

Ik denk toch dat ik dit virtueel ga dien in esxi of dergelijke. Mijn raid kaart door pci-passtrough doorgeven.

Ritzzzll zei:

Gebruik voor je file server NOOIT een virtueel systeem.

Bij unraid is het al vrij moeilijk om je data ooit nog heel er uit te krijgen, maak het zeker niet nog moeilijker door virtualisatie te gebruiken.

Een fileserver draai je best op zijn eigen hardware.

Klik om te vergroten...

Of je doet het goed
ESXi op een degelijk hardware platform, RAID controller met cache etc.
En natuurlijk maak je dan dagelijks backups van de VM's.