Phobos X

[marsboer]

WD Red fremstår som et meget bra alternativ. Jeg liker dårlig at de er grønne og sannsynligvis parkerer lesehodet jevnlig (har ikke sjekket dette), siden jeg er veldig komfortabel med alltid-på 7200 rpm disker, men ellers er de jo det eneste fornuftige valget til denne typen bruk for hjemmebrukere inntil videre.

WD Red 3TB har også hatt sine dårlige runder, spesielt i fjor høst i følge utenlandske forum, og jeg har hørt om et par som har fått raskt feil på helt nye disker kjøpt nå nylig, men det er i hverfall en stor fordel at de er laget for små RAID (8 disker er egentlig over spec for RED så vidt jeg har skjønt) og 24/7 drift.

Når det koster dobbelt så mye for en skikkelig enterprise variant som for WD Red 3TB så kan man jo i prinsippet kjøre dobbelt så mange disker og øke redundansen uansett

 

[marsboer]

Jeg står vel uansett i et veiskille nå. Jeg trenger mere plass enn det 8x2TB i RAID6 kan tilby, men klarer ikke å bestemme meg for veien videre.

- Det mest økonomiske er å bytte ut alle 8 med f.eks 4TB disker, men da får jeg samme problem om et par års tid, hvor jeg igjen må bytte med litt større disker (da må resten av filserverplatformen uansett byttes snart).
- Det nest mest økonomiske men definitivt mest fleksible er å kjøpe en ny filserver med plass til 8-12 disker slik at jeg kan bruke ordinære og rimelige desktop-chassis og kjøre denne parallellt med den jeg har. Litt administrativ overhead og litt høyere strømforbruk, men helt ny platform. Minus for ikke å være rackmonterbart (jeg har i hvertfall ikke funnet noen rimelige rack-chassis med plass til 8-10 disker)
- Den cleaneste løsningen er å kjøpe et 24-diskers Supermicro-chassis og en ekstra HBA, men da snakker vi en kostnad på omlag 17k uten å ha kjøpt en eneste disk. Fordelen er at jeg kan utvide i det uendelige så lenge platformen er relevant (5 år bør chassiset holde. Hovedkort og CPU kan uansett byttes underveis).

Forrige gang endte jeg opp med to filservere siden dette var den mest økonomiske måten å oppnå høy lagringskapasitet på uten å ta en drøy initiell investering, men jeg ble aldri helt komfortabel med dette administrativt sett. Fordelen er imdidlertid at jeg kan benytte to filservere til å implementere redundans på en del tjenester.

Jeg har veldig lyst til å gå for Supermicro-chassiset, men GB-prisen er skyhøy i forhold til alternativene, i hvertfall når jeg ikke nødvendigvis har behov for å fylle opp hele chassiset.

 

[marsboer]

Jeg er i en prosess for å eliminere alle fysiske medier som tilhører forrige generasjon og sentralisere alt sammen i egnede tapsfrie containerformat. Musikken har alltid eksistert i tapsfri form i nettverket mitt, og DVDene ble alle rippet i 2008. Rundt 2010 begynte jeg også å legge inn Blu-ray i ISO-form men upålitelig programvare og et absurd lagringsbehov gjorde at jeg etterhvert bestemte meg for å vente med blu-ray inntil videre.

Nå har jeg etterhvert endelig akseptert at ISO har langt flere ulemper enn fordeler, diskstørrelsene har kommet opp i 4TB og jeg har nå satt i gang remuxing av blu-ray samlingen til tapsfrie .mkv filer med HD-lydsporene ferdig dekodet til FLAC slik at jeg ikke møter på den typiske problematikken med manglende støtte for DTS HD Master i avspillerprogramvaren. Dette har gjort HTPC-livet langt enklere og mer pålitelig, og jeg sparer mye diskplass, selv om hver film krever sitt fremdeles (mellom 15 og 35GB er normalt). Med dette er jeg kvitt alle medier som tilhører forrige generasjon. Blu-ray 3D kommer jeg nok ikke til å legge inn med det første siden avspilling av 3D-film ikke er helt uproblematisk fra HTPC enda, uten at jeg har testet dette på grunn av manglende 3D støtte i den nå 5 år gamle LCDen min (som skal pensjoneres umiddelbart etter at jeg flytter inn i eget hus igjen til sommeren).

Litt småpirk er det med ripping av konsert Blu-rayene siden jeg må legge til låttitlene i kapitlene for enkel navigering når jeg på sikt kvitter meg med de fysiske platene, men utover det har dette gått svært fort. Den lille samlingen min var unnagjort på to uker med relativt intensiv ripping og remuxing med 2 maskiner med blu-ray drev i sving samtidig.

Men filserveren SKRIKER om mer plass nå.

Bare sjekk utviklingen:

Alternativt i prosent:

Etter at jeg satte to maskiner i drift samtidig har diskplassen på filserveren blitt spist opp med 500 GB data om dagen

 

[quench]

Hei!
Interessant tråd du har
Angående harddisker, så har jeg prøvd litt forskjellige opp igjennom tidene. WD Greentech var desidert de verste - hjalp litt med å slå av parking av lesehoder med WD sitt eget verktøy wdidle, men de falt ut av RAID som fluer. Dette var dog med hw-RAID-kontroller, HP Smart Array P800. Min erfaring er at sw-RAID med mdadm i Linux holdt mye bedre, og taklet delay med oppspinning av disker på en mye bedre måte enn hw-RAID-kontrolleren. Uansett, WD sine RE-disker ftw.

Kan jeg spørre hvilke programvare du bruker til lagring av DVD-er og BD-er på filserver?
Jeg har brukt abcde for å lage en digital kopi av CD-ene mine i henholdsvis mp3 og flac, men det er på høy tid at jeg gjør det med filmsamlingen og da det til tider går hardt ut over det fysiske media når ungene skal finne filmer.

 

[marsboer]

Jeg har hatt som primærformål å bevare både lyd og bilde tapsfritt på både DVD og Blu-ray når jeg rippet. Ergo har jeg ikke reenkodet noe som helst. For å løse dette har jeg valgt følgende tilnærming:

MKV og DVD
For DVD-ripping til tapsfri mkv har jeg benyttet programmet "MakeMKV". Dette programmet er foreløpig gratis, men er tenkt å bli et lisensiert program på sikt. Dette gjør at du må laste ned en ny versjon av programmet hver 30. dag for å få en ny lisens. Det er bare en spesiell måte å sørge for at det ikke finnes en masse gratisversjoner ute idet utvikleren bestemmer seg for å ta betalt. Programmet fjerner selv kopibeskyttelse på platene så man er ikke avhengig av annen programvare.

MKV og blu-ray
Siden DVD-rippingen er en engangssak og jeg uansett ikke kjøper nye DVDer så kan jeg fint leve med å oppdatere hver 30. dag. For blu-ray blir dette litt tungvindt, og jeg ønsker også å transkode DTS HD Master og Dolby True HD til tapsfrie FLAC-varianter slik at man får glede av den tapsfrie HD-lyden i alle avspillere, til og med i Windows Media Player. Selv om MakeMKV håndterer blu-ray benytter jeg derfor et annet program som gir meg det jeg trenger. Programmet heter eac3to og er på en måte standarden for å rippe blu-ray til mkv i dag.

eac3to er et kommandolinjeverktøy, men er enkelt i bruk når man har skjønt prinsippet. Programmet henter ut kapitler, video, lydspor og undertekster fra blu-ray-plater, mkv og m2ts filer (med flere). Disse filene merger jeg sammen til en samlet mkv med "MKVmerge" som er en del av MKVtoolNix-pakken. Det eneste jeg gjør med filene i MKVmerge er å markere språk på lyd- og subtitlespor for enklere bruk i etterkant.

Det finnes så vidt jeg vet bare én egnet DTS HD Master dekoder, og den medfølger i Arcsofts programvarepakke. Jeg har hentet ut codecene fra Arcsoft slik at jeg slipper å ha hele Arcsoft Total Media Theater installert. Det er også viktig at man benytter v1.1.0.0 og ikke den nyeste v1.1.0.8 av DTS-codecene siden de senere variantene har problemer med 6.1 spor. For True HD benytter eac3to ffdshows dekoder, noe som fungerer greit. eac3to konverterer automatisk til flac om du vil det.

eac3to har ikke innebygget fjerning av kopibeskyttelse så man må ha f.eks AnyDVD HD til å fjerne kopibeskyttelsen på platene først.

Utfordringer
Når man bryter opp filmene i sine enkeltkomponenter med eac3to så kommer man stadig over elendige utgivelser. Det hender derfor at man på enkelte utgivelser kun får listet opp hovedfilmen med stereo-spor om man leser av playlistene, eller at det man tror er hovedfilmen i praksis er hovedfilmen med diverse "making of" og interaktivt tull inni filmen. Det beste er å verifisere avspillingslengden på playlistene eac3to lister ut. Jeg hadde imidlertid to filmer i samlingen min hvor jeg måtte peke direkte på .m2ts filen på blu-ray plata for å få selve hovedfilmen med surroundspor og subtitles. I begge disse tilfellene fikke jeg kun listet opp filmen med stereospor. Vanligvis er de første undertekstene som listes opp undertekstene til hovedfilmen, men av og til har filmen kommentar-undertekstene først. Dette var heldigvis tilfelle på kun en av filmene mine.

Det er derfor viktig å skumme raskt gjennom filmen etter at den er konvertert til mkv for å sjekke om du fikk riktige subtitles og om filmen ikke innholder blu-ray ekstramateriale i selve filmen.

Musikk-DVD og blu-ray
For konsertutgivelser finner jeg det nyttig å ta kapitlene hentet ut fra plata og kjøre dem gjennom chapter editoren som er inkludert i MKVmerge og manuelt gi kapitlene navn etter låttitler osv i henhold til tracklisten i coveret. Dette gjør at man enkelt kan navigere på utgivelsen og finne ut hva slags låt som spiller uten at man trenger coveret i fremtiden.

ISO/mapper
Dersom du kun ønsker ISO-varianter av DVD og blu-ray plata. Dvs 1:1 kopier av alt, inklusive menyer og tilsvarende, så trenger du kun AnyDVD HD. Programmet kan rippe til ISO eller alternativt hente ut filene til en mappe bare med et høyreklikk. Det var dette jeg gjorde før både med blu-ray og DVD, men ISO-avspilling har blitt mer og mer ustabilt og upålitelig i diverse HTPC-programvare, ikke omvendt. Jeg bestemte meg derfor for å gjøre om alt til mkv-filer med kun hovedfilmen og eventuelt ekstramaterialet i de få tilfellene der dette var spesielt interessant for flere gjennomseeinger. Dette har gjort HTPC-livet mye enklere, og det fungerer hver eneste gang, der hvor man med ISO-filer til stadighet traff på lunefull oppførsel på grunn av en del dårlige valg tatt under mastringen av utgivelsen.

 

[quench]

Takk for godt og utfyllende svar!

Kompilerte nettopp MakeMKV på laptopen og prøvde å kjøre ut en digital kopi, men fikk feilmelding om at sonen i firmware på DVD-spilleren var feil. Funky, men OK. Får prøve igjen på stasjonær-PC'en.

 

[marsboer]

Takk for godt og utfyllende svar!

Kompilerte nettopp MakeMKV på laptopen og prøvde å kjøre ut en digital kopi, men fikk feilmelding om at sonen i firmware på DVD-spilleren var feil. Funky, men OK. Får prøve igjen på stasjonær-PC'en.

Finn DVD-spilleren din i Device Manager, høyreklikk på properties og velg DVD region. Gitt at du har en sone 2 film bør dette fungere (Jeg har anydvd til bruk for slike filmer, som fjerner all slik problematikk).

EDIT: Kompilerte... vel, da benytter du kanskje Linux, ikke Windows? Det er mulig det dukker opp en del annen problematikk da.

 

[Antonsen]

Serverløsning

Hei

Jeg sniker med litt inn i tråden din da det virker som du har vanvittig kunnskap om temaet. Ser du er inne på plassmangel på serveren din. Vel, min begynner også bli full - spesielt nå som jeg i likhet med deg ripper blu-ray for full hals. Jeg har dog en ekstrem enkel løsning, en ferdig nas fra netgear som jeg har fire disker i. readynasnv+

Det absolutt enkleste er å kjøpe en tilsvarende, f.eks readynas4pro for 3995 på mpx, for så å kjøpe fire disker til den og kjøre parallelt. Fungerer helt sikker helt greit.

Men det tøffeste, og helt sikkert billigste er å kjøre en slik løsning som nå begynner å bli for liten for deg - og i den forbindelse lurer jeg på om : https://wiki.proikt.com/index.php/Debian-basert_Squeezebox_server#Introduksjon fortsatt er aktuell og om dette oppsettet

er slik du ville anbefale å gjøre det den dag i dag, økonomi tatt i betrakning.

mvh,

 

[marsboer]

Det å bygge en ny 8-disker filserver er så vidt jeg kan se nesten alltid det mest økonomiske valget om man vil ha betydelig mer diskplass. Jeg vil imidlertid ikke anbefale veien om rack-kabinett med harddisk hot-swap bays slik som jeg hadde der dersom økonomi er førstepri. Da ville jeg heller gått for den løsnigen jeg valgte i min nåværende filserver med samme interne system, men med et stillegående kabinett som har plass til mange interne disker (Fractal Design R3 f.eks.).

Men, om du faktisk anslår at du trenger 10+ disker på sikt, så ville jeg fremdeles styrt unna en "hjemmemekka" 19" rackløsning med 3. parts bays. Det blir mye ryddigere, mer pålitelig og nesten rimeligere totalt sett om man går for en ordentlig løsning med en gang. Dersom du vil ha f.eks 24-disker i rack-form og vil ha et økonomialternativ så pleier man å gå for enten Norco (da tror jeg du må få det fra USA) eller Xcase (disse er visste greiere å få tilsendt direkte). Da får man alt integrert og kan benytte smartere SAS-kabling internt (6 SFF-8087 kabler i stedet for 24 x S-ATA).

Buy 4u 19" Rackmount cases online at X-Case uk.

Norco/X-case variantene koster omlag 4-6000 inkl moms og frakt og tar 24 disker. Disse må man imidlertid regne med å koste på litt ekstra på for å få en optimal løsning. Viftene som medfølger kan gjerne ikke styres av hovedkortet og må byttes for å senke hylingen, kvaliteten er ikke like god som enterprise-løsninger og man må koste egen strømforsyning der hvor man får med redundante server-varianter ferdig integrert i løsningen om man går opp til ordentlige serverleverandører. Det blir likevel noe billigere totalt sett.

Den løsningen jeg endte opp med nå, siden jeg har svært bra intern hardware fra før (Quad Core Xeon, 16GB ECC, Supermicro-hovedkort med innebygget SAS kontroller) var å gjøre det jeg burde ha gjort da jeg sto ved samme korsvei for omlag 2 år siden og valgte en mer økonomisk variant (og dermed havnet i det samme uføret igjen bare et par år senere), nemlig anskaffe matchende Supermicro-chassis og en 16-porters HBA. Støyen skal visstnok ikke være så ille på varianten jeg valgte, siden den har litt mer effektive strømforsyninger og siden jeg har et Supermicrohovedkort beregnet for å faktisk kontrollere alle viftene ned til et mer passelig nivå (Hovedkortet har 5 vifte-headers). Jeg ville ikke gått denne veien om jeg ikke hadde hatt et skikkelig Supermicro-hovedkort.

Disse her er dermed på vei fra Nextron:

Supermicro | Products | Chassis | 4U | SC846BA-R920B


og 16 ekstra høyhastighets HBA porter:

LSI SAS 9201-16i


I tillegg sper jeg på RAIDet mitt med 3 ekstra WD RE 2TB disker slik at det blir på 10 disker i RAID6 + hot spare. Ved neste korsvei blir det et nytt parallellt RAID med 4TB disker, men disse koster for mye nå siden jeg da må starte på nytt med redunans og hele pakka.

 

[marsboer]

Her er forøvrig en anbefaling for den som "begynner på nytt" som virkelig utløste siklefaktoren hos meg. Dette er først og fremst aktuelt for de som er opptatt av å ha Server NICs for å få best mulig ytelse, ECC-minne som nærmest må anses som obligatorisk i en filserver på alt unntatt virkelig økonomiklasse og kompatibilitet med det aller meste, inklusive ESXi.

Her får du intet mindre enn 14 S-ATA porter og 2! 10gbit NICs med egen managementport (IPMI) som kan benyttes for å styre PCen selv om maskinen ikke er påslått (starte den, restarte, gå inn i BIOS osv)

Supermicro | Products | Motherboards | Xeon? Boards | X9SRH-7TF

Hos meg er gigabit-nettverket en konstant flaskehals som irriterer mer og mer, spesielt ved blu-ray ripping og mkv-konvertering hvor ting rett og slett tar lang tid. Men 10gbit koster alt for mye å komme i gang med for privatpersoner. Men på dette hovedkortet får man dette til mer eller mindre samme pris som et med 1 gbit/s. Prisen blir så vidt jeg har sett rundt 5k. Dette er omtrent gratis i forhold til å kjøpe server NICs og kontrollere i tillegg til et desktop-hovedkort. IPMI, ekstra pålitelighet og ECC er bare ekstra bonus

 

[quench]

Supermicro har mye bra utstyr for en rimelig penge! 2x 10 Gbit, etc. som du nevner er jo ekstremt nice.
Kjipe med 10 Gbit er jo at switchene koster skjorta og, og dermed blir det ofte 1-til-1 kobling mellom f.eks. arbeidsstasjon og server, uten å gå via switch, for å få 10 Gbit.

Et alternativ for kjapp 1-til-1 kobling er jo også Infiniband - eksempelvis Ace Options Norway / HP IB 4X DDR PCI-E Dual Port H (HP IB 4X DDR PCI-E Dual Port H (409376-B21)) som gir 2x 16 Gbit porter til ~1.350,- eks. mva.

Angående lagring, så er jeg veldig betatt av ZFS fra Solaris/Illumos/OpenIndinana som det også nå er støtte for i BSD-verdenen. Snapshot, deduplisering, L2-cache mot SSD på både les- og skriv, etc. er meget nice. MEd ferdige distribusjoner som Home?|?NAS4Free - The Free Network Attached Storage Project gjør jo også at det er brukbart for "Ola Nordmann"

Btw, MakeMKV funket meget bra på stasjonær-PC'en min, så var nok noe fjas med firmware på DVD-rom i laptop som skapte trøbbel. Kjører Linux ja, siden du lurte på det.

 

[marsboer]

Jeg hadde virkelig vurdert ZFS hvis dette filsystemet var tilgjengelig i native form på Linux (ZFS on Linux er ikke aktuelt for min del). Nå går jeg og sikler på btrfs som virkelig nærmer seg noe, men som trenger ett år eller to til. Den store bakdelen med ZFS til mitt bruk er manglende fleksibilitet ved senere utvidelse av RAID-løsningene og akkurat på dette punktet virker btrfs mye mer egnet. Jeg kommer nok til å drøye til jeg kan lure inn en grei versjon av btrfs heller enn å gå over til ZFS.

ZFS betyr i dag at man enten må kjøre BSD eller Solaris for en fullverdig implementasjon og ingen er aktuelle for min del på denne serveren. Årsaken er at denne serveren gjør svært mye rart utover å tjene som en dedikert filserver. Jeg kunne derfor ikke klart meg med f.eks en ferdgi-NAS for å gjøre jobben.

Målet på sikt er å kjøpe en eller to ferdige 1U servere uten annet enn en liten SSD, og kjøre ESXi på disse. En greit speccet enkelt-CPU 1U-server for denne typen bruk til hjemmebehov koster faktisk ikke mer enn rundt 8k ferdig fra f.eks Nextron, og da har man serverkvalitet, dvs Supermicro, på hele pakken. Disse skal benytte NFS/iSCSI (har ikke helt bestemt meg) fra filserveren og filserveren skal være en helt dedikert filserver. Dette kan ikke gjennomføres i dag fordi racket står et sted hvor støy er en faktor, men til sommeren flytter jeg inn i nykjøpt hus som har en egen isolert utebod som egner seg perfekt for serverracket.

Når serveren blir en helt dedikert filserver uten et lass med øvrige tjenester står jeg friere til å tenke kun på filsystem/lagring og står friere i valg av OS (selv om jeg ikke akkurat ser for meg en fremtid uten Linux på filserveren)

I kernel 3.9 er det imidlertid verdt å merke seg at dm-cache, dvs SSD-caching for block devices, er inkludert i kernelen. Nå kan man med andre ord legge på SSD-caching på f.eks mdadm-volum. Jeg har ikke testet dette enda, men SSD til overs har jeg, så dette skjer en dag jeg har fått satt meg inn i virkemåten.

 

[quench]

haha, satt å tenkte på at jeg måtte nevne dm-cache i 3.9, men you beat me to it.

Virker som vi diller med mye det samme. Jeg kjører ESXi 5.1 på 2x 1U HP Proliant DL360-servere med 1x Quad core. Siden det også er Hyperthreading aktivert kommer det opp som 8 vCPU. Jeg bruker NFS av den enkle grunn at jeg liker å kunne browse vmdk-filene native på Linux-filserveren min. Med iSCSI må det vel opprettes LUN enten i form av å dele en hel device eller en stor "blob-fil" oppå eksisterende filsystem, som så formaters med VMFS. Skal vel teoretisk være mindre overhead på iSCSI, men jeg synes fleksibiliteten med NFS veier opp for det.

Men hvorfor SSD i VMware hostene? Local cache elns.? Jeg bruker en minnepinne på hovedkortet som jeg har installert ESXi på. Funker fint, men gir jo ikke redundans. Dog siden det ikke er noe data lagret så gjør det ikke så mye om minnepinnene tar kvelden. Dog kunne det vært fordelaktig med hw-raid1 på noen små sata/sas-disker hvis man ønsker å minimere risiko for OS disk-failure.

NFS går på Management NIC i ESXi, så fordel å skille ut LAN-trafikk på eget fysisk NIC i vSwitch her for å unngå "krangel". Dog hvis du kjører mobo med 2x 10 Gbit setter du vel et NIC på iSCSI/FS og et på LAN uansett? Eventuell vMotion kan være på eget VLAN ved siden av LAN-trafikk.

Fordel med virtualisering er jo at du kan kjøre hvis mange virtuelle Linux-maskiner du orker her med ønskede tjenester, og kjøre "clean" iSCSI/NFS-filserver på fysisk lagringsserver. Dermed bør jo ikke OS på lagringsserver ha så mye å si lenger...? Btw, en unevnt stor fordel med ZFS er jo at siden man (selvsagt) kjører software-raidz så vil ZFS kunne oppdagene defekter på disk, selv om disken i seg selv ikke feiler. Ved hw-raid vil hw-raidkontroller ikke kunne gjenkjenne eventuelle korrupt data som bli formidlet, såfremt disk ellers rapporterer "OK". Det blir da "bad block" i OS, og ingen autofiks fra raid-kontroller sin side ved å lese korrekt data fra redundant datasett. Med raidz vil ZFS selv finne ut av dette ved å sjekke checksummer av blocks, og hente frem korrekt data fra redundante blokker (PS: dette er vel cirka samme som Microsoft har kommet med i nye ReFS introdusert i Win2012 nå..?)

Greit å kunne ha rackskap en plass det står usjenert. Pass dog på at det ikke blir for varmt. Jeg har mitt rack i en bod i kjelleren hvor støy ikke betyr noe. Fungerer fint som "vedlikeholdsovn".. :-D

 

[marsboer]

SSD for ESX'ene er ikke av noen spesiell årsak. Det er bare for å ha noe flash-minne å legge ESX på som er fleksibelt nok til å kjøre f.eks Linux KVM eller noe openstack greier om jeg skulle finne på å bruke dette i stedet (jeg brukte Linux KVM forrige gang jeg hadde virtuelle primærservere siden jeg ikke kunne kjøre ESXi med software RAID). En liten SSD koster så lite at det etter min mening ikke er noen grunn til å gå for tregere flash eller USB-enheter (hver sin smak her )

Jeg heller også mot NFS. Liker ikke management overheaden på iSCSI. Problemet med NFS er imidlertid at skriveytelsen er horribel når man ikke har en RAID-kontroller med cache og batteribackup. Årsaken er at NFS som default kjører sync, dvs at alle skriveoperasjoner kun anses som vellykket idet den har truffet det endelige ikke-volatile mediet. På en RAID-kontroller vil dette si cachen, så alt fungerer tilsynelatende kjapt, men på software RAID fremstår dette veldig tregt.

Dette er selvsagt lett å omgå. Det er bare å endre til async, og plutselig caches all skriving til RAM og skriveytelsen blir kjempebra. Det er bare det at dette kan få fatale konsekvenser dersom strømmen går og virtuelle maskiner kjører. Det spiller ikke så mye rolle med ordinær fildeling siden det sannsynligvis pågår svært lite skriving akkurat da, men VMer skriver jo mye oftere.

Men det er forskjellige meninger om hvor farlig dette er. Samba-utviklerne har satt samba til å operere asynkront som standard, fordi skriveytelsen blir så dårlig at det veier klart opp for den lille sannsynligheten for datatap, mens NFS-utviklerne mener den lille sannsynligheten for datatap er en klar grunn til å kjøre NFS synkront, til tross for dårlig ytelse.

Når man blander VMer inn i bildet har man slik jeg ser det ikke så mye valg annet enn å kjøre sync om man ikke liker å leve farlig. Alternativt vil jo en UPS med automatisk shutdown av server være et greit alternativ til hjemmebruk.

Hva gjør du, quench? Siden du kjører NFS mener jeg?

 

[quench]

Jeg kjører async. Eneste gangene jeg har hatt problemer er hvis filserver går ned, men ESXi-host ikke går ned, og så kommer filserver opp igjen etter X minutter. Det fører til at virtuelle maskinen plutselig ikke har harddisk lenger og får skrivefeil. Når filserver da blir tilgjengelig igjen, så vil virtuelle maskiner begynne å skrive til harddiskfilene sine (vmdk) og skape massiv korrupsjon. Løsning på dette er at hvis filserver går ned, så bør man bare ta "power off" på virtuelle maskiner, og kjøre "power on" igjen etter filserver har kommet opp igjen. Jeg har derfor med vilje ikke oppstart av nfsserver-tjenestene ved boot, slik at hvis den av en eller annen grunn skulle reboote e.l., så vil det ikke automatisk komme opp igjen.

Det jeg dog merker er at I/O-kø kan bli stor når jeg kjører 10+ virtuelle maskiner, som alle kjør endel. Er vel spesielt SQL-servere som forårsaker mest I/O, men merker at det er flaskehalsen. Blir derfor veldig interessant med dm-cache. Håper og tror det vil hjelpe mye.

Btw, i VMware ESXi 5.1 finnes også en "Host Cache Configuration" for å legge til SSD. Jeg har dog ikke lest om det, så vet ikke hvilke features dette har, men navnet så interssant ut iallefall!

 

[marsboer]

Btw, i VMware ESXi 5.1 finnes også en "Host Cache Configuration" for å legge til SSD. Jeg har dog ikke lest om det, så vet ikke hvilke features dette har, men navnet så interssant ut iallefall!

Dette høres kult ut men er egentlig kjedelig. Det er snakk om å bruke en SSD som temp-disk i stedet for å måtte swappe til disk dersom man går tom for minne og kjører massiv overcommitment på minne på serveren. Jeg er av den åpenbare oppfatningen at dersom dette skjer så er riktig prosedyre å handle mer RAM, ikke swappe til SSD, men det er mulig det har en funskjon i systemer som opplever veldig variabel belastning, dvs at det ikke lønner seg å ha 512GB RAM i serveren siden normalbehovet 95% av tiden er 128GB.

 

[emotikon]

Ny jobb?

Stilling ledig: Marsboer - TV 2 Nyhetene

Vis vedlegget 195762

Det stoppet opp for Hendrik Christian Andersen også.....

Ellers er det mye godt lese i denne tråden din. Jeg er nærmest blank men prøver å fange opp noen råd her.

 

[Antonsen]

Takk for godt svar lengre opp her Det er mye her som går langt over hodet mitt, men er absolutt - som emotikon sier, mye å lære her.

Jeg syns absolutt den løsningen du skisserte over her med Xcase hdd-bays så interessant ut, og rimelig.

Dumt spørsmål kanskje, men når det kommer til selve hardware'n - kan man i praksis bruke en vanlig laptop med ett grensesnitt till xcase-n eller er det ikke noe god ide? Ellers, er den konfigurasjonen som jeg kopierte fra den gamle tråden din fortsatt brukbar? Lenge siden jeg skrudde på pc-er, så har falt litt av lasset.

Forøvrig er mitt kommende bruk primært avspilling av MKV samt mulighet for spilling av FLAC. Har squeezebox per nå, men vurderer å gå over til ett annet system (htpc eller kanskje gjennom BD751 cambridgen).

Langt frem i tid denne byggingen av ny server løsning, men skal etterhvert bli i det kommende utehuskinoen min, så støy blir heller ikke ett tema der.

Beklager kupping av tråden

 

[marsboer]

Alle seriøse lagringsløsninger som denne typen kabinetter retter seg mot (12-72 disker i hot swap bays i ett chassis) baserer seg på SAS. SAS er server-varianten av S-ATA og støtter en rekke festlige ting som expandere (se på dette som en slags switch) som gjør at du med en enkelte kontrollerport og kabel kan koble på f.eks 24 disker.

SAS-grensesnitt finner du ikke på noen laptop. Det finnes imidlertid noen eksterne e-sata-løsninger som sikkert kan henges på en laptop med tilsvarende port, men dette blir en løsning som ikke akkurat fremstår robust og pålitelig, samtidig som den ikke skalerer.

 

[Antonsen]

Nettopp. da har jeg lært litt. Regnet egentlig med at ikke en laptop var noen god løsning, men det beste er å spørre. Da har jeg fått forklart hva SAS er også, så da kan jeg kanskje ikke bruke mine gamle seagate 2tb s-ata disker... Mer å ta hensyn til mtp det økonomiske

 

[marsboer]

Nettopp. da har jeg lært litt. Regnet egentlig med at ikke en laptop var noen god løsning, men det beste er å spørre. Da har jeg fått forklart hva SAS er også, så da kan jeg kanskje ikke bruke mine gamle seagate 2tb s-ata disker... Mer å ta hensyn til mtp det økonomiske

Joda. Det fine med SAS er at man kan benytte S-ATA disker. Det er dette de aller fleste hjemmebrukere med hang til kontrollere og lagringsløsninger gjør, fordi SAS-disker koster skjorta. Man kan imidlertid ikke benytte SAS-disker på S-ATA porter.

 

[Antonsen]

Herlig Syns prisene jeg så på MPX var relativt avskrekkende. Er mye å lære her skjønner jeg.

 

[marsboer]

Da kan filserveren endelig puste igjen!

24 hotswap pluss plass til 2 stk interne SSD-disker
Bestykningen på disksiden er 1 stk Intel X25-M 160GB SSD for OS og 11 stk WD RE 2TB i linux md RAID6.

Nå som jeg oppgraderer kapasiteten hjemme måtte det også gjøres noe med backupserveren jeg har offsite. 8x2TB 5900rpm i RAID6 blir byttet ut med 7x4TB 7200rpm i RAID6 for å ta høyde for den økte kapasiteten. Effektiv kapasitet etter redundans blir da 18TB hjemme og 20TB for backup offsite.

De 9 5900rpm 2TB diskene jeg har til overs vet jeg ikke helt hva jeg skal gjøre med enda. Mulig jeg skal sette 8 av dem inn i filserveren hos foreldrene mine slik at jeg har to offsite backuper, men da kun av det viktigste på denne.

 

[marsboer]

Neste på ønskelista: High-speed 10 Gigabit Copper switching for small to mid-sized organizations

 

[Distinctive]

Ser du går mot strømmen og kjører mye industrielle COTS produkter, marsboer.
Har du bruk for all denne kapasiteten eller er det overkill?
Streaming av hirez er normalt 5-10 MB/s. Trenger du virkelig 10 gig nettverk?
Merk at spørsmålsstillingen ikke antyder at det du gjør er fånyttes og som ikke kan forsvares - jeg er bare nysgjerrig.

 

[marsboer]

Jeg går egentlig ikke mot strømmen. Serverprodukter er det eneste som gir mening når man passerer et visst skaleringspunkt og samtidig ønsker høy integritet og minst mulig driftsmessige problemer. Hvorfor går f.eks bedrifter for slike løsninger i stedet for sammenrasket desktopmaskinvare? Bedrifter ønsker ikke å kaste penger ut vinduet de heller.

Alle mine servere begynte sine liv som desktop-maskiner med desktop-hovedkort og integrerte SATA-porter, med innstikkskort for ordentlige nettverkskort og RAID. Men etterhvert passerte jeg et punkt hvor det var et langt bedre valg, både økonomisk og driftsmessig, å kjøpe tilpasset serverhardware i stedet med all funksjonalitet på plass i en helhetlig og velfungerende kombinasjon. 24 diskbays er definitivt overkill for min del. Jeg trengte funksjonelt sett ca 16. Problemet var bare at et 16 porters rackmonterbart supermicro-chassis koster omtrent like mye som et 24 porters, og samtidig tok ikke 16 porteren fullhøyde innstikkskort noe som var en forutsetning.

Jeg sto ved samme veiskille for omlag to og et halvt år siden. Jeg hadde en filserver med 15 disker som var full (med 1TB og 1.5TB disker). Den ordentlige og langsiktige løsningen, men også den dyreste i penger der og da, var å kjøpe et slikt 24-porters Supermicro chassis. Den løsningen jeg endte opp med, som var rimeligere der og da, var faktisk å kjøpe en filserver nr 2 i stedet, med plass til 8 harddisker. Dessverre ble dette omtrent det samme som å pisse i buksa for å holde seg varm. Etter bare et par år sto jeg i det samme uføret og bestemte meg nå for å gjøre det jeg burde gjort den gang, nemlig å anskaffe den ideelle løsningen. Igjen ville det her og nå vært rimeligere å kjøpt enda en filserver i stedet for et slikt chassis, men det ville også vært en kortsiktig løsning, og driftsmessig er det uryddig.

Når det gjelder det ytelsesmessige, dvs ønsket om 10 gbit/s nettverks, så er dette definitivt ikke noe som kommer som en konsekvens av lydstreaming. Lydavspilling og musikklagring er bare en fotnote i dette systemet og HTPCen i stereoanlegget samt andre lydkomponenter ellers i huset klarer seg veldig fint med eksisterende kablet og trådløst nett.

Det eneste stedet jeg får en reell gevinst med 10 gbit/s er mellom arbeidsstasjonen jeg benytter i det daglige og filserveren. Her vil det være mye å hente på å øke båndbredden. Jeg ønsker imidlertid ikke å ha et dedikert 10 gbit/s nett mellom disse to siden dette kompliserer nettverksoppsettet og gjør arkitekturen uryddig. I praksis trenger jeg derfor en switch med minst 2 10gbit/s porter, og aller helst 3 eller 4, for å få den arkitekturen jeg ideellt sett ønsker hvor disse maskinene er integrert i det øvrige nettverket. Siden 10 gbit/s ikke er et funksjonelt krav, bare et tidsbesparende et, så gidder jeg imidlertid ikke å investere flere titalls-tusen i dette, men nå ser jeg at dette faktisk kan være oppnåelig for en betalbar penge. Jeg føler imidlertid at det er veldig dyrt fremdeles.

 

[marsboer]

Man kan kanskje lure på hvorfor jeg går for 7200rpm i backupserveren også. Denne serveren er 100% dedikert for backup og er i praksis basert utelukkende på desktop-maskinvare, bortsett fra et 8-porters LSI HBA-kort og et Intel NIC som erstatning for hovedkortvarianten. Backupserveren min har litt andre krav enn filserveren hjemme. Hjemme er fokuset maksimal pålitelighet, høy ytelse og minst mulig påvirkning dersom noe skulle skje. Backupserveren må være pålitelig, ha god nok ytelse og helst være billigst mulig. Dette påvirker diskkonfigurasjonen.

Hjemme ønsker jeg ideellt sett mange raske mindre disker med lav feilrate. Dette gir høyere ytelse, og kortere rebuild-tid med dertil mindre fare for datatap. Dessverre blir 10000 rpm disker både for smått og alt for dyrt så per nå går det i 7200rpm 2TB WD RE disker. Disse er laget for 24/7 drift og tåler i motsetning til mine forrige ikke-enterprise disker juling over tid.

I backupserveren ønsker jeg størst mulig disker og helst billigst mulig. WD Red er egentlig et nesten ideellt valg med sin 24/7 merkelapp og en viss RAID toleranse, men dessverre finnes ikke disse i 4TB varianter. I tillegg er disse diskene grønne, noe som ikke er ideellt i backupserveren min. Valget falt i stedet på et for meg ubeskrevet blad, nemlig Hitachi Deskstar 7K4000 til litt over 1500,-, over 1000,- billigere enn f.eks WD RE 4TB. Disse har et meget godt rykte i utenlandske lagringsforum fordi det i praksis ikke virker å være noe faktisk skille utover garanti og oppgitt MTBF på disse og Ultrastar som er enterprise-varianten. Det vil si at de egner seg for RAID og har f.eks TLER uten forkrøplinger maskinvare- og firmwaremessig slik som WD og Seagate driver med for å tvinge hjemmebrukere med 24/7 RAID-løsninger over på enterprisevarianter. I tillegg er diskene 7200rpm.

Sistnevnte er et poeng i akkurat mitt tilfelle fordi jeg har laget meg en backupløsning som faktisk verifiserer backupene basert på md5-checksum per fil. Med mine nåværende 5900rpms disker i RAID6 tar det ca 6 timer å verifisere omlag 5TB med backup den ene dagen i uken serveren gjør dette. Nå vil imidlertid backupen øke til minst 12TB, så det begynner faktisk å ta problematisk lang tid å verifisere backupen. Jeg ønsker derfor å ha det beste utgangspunktet jeg kan ha uten å drive opp prisen voldsomt slik jeg til en viss grad kan rettferdiggjøre hjemme.

Nå har jeg imidlertid veldig dårlig erfaring med de forrige ikke-enterprisediskene jeg kjøpte for 24/7 RAID-bruk, så vi får håpe Hitachi-diskene fungerer som forventet. Mange timer med kontinuerlig max-belastning uke etter uke viser seg å få frem det verste i uegnede disker.

Backupserveren begynner imidlertid å dra på årene når det gjelder minne, CPU og hovedkort. Det er nå en 5 år gammel E8400 dual core Intel CPU med bare 2GB RAM som sitter der, men jeg nærmest klør etter å gå over på en Xeon-basert platform med ECC minne innen ikke alt for lenge. Denne serveren er virkelig offsite for meg, og er praktisk sett bare tilgjengelig for meg via kontaktpersoner en 3-4 ganger i året. Her er det derfor viktig med driftssikkerhet.

 

[Distinctive]

Hva blir det neste,
Direct Attached SAN m/de-dup og snapshot?
Har du sett på virtualisering?

 

[marsboer]

For ca ett år siden var alle serverroller virtualisert i nettverket mitt, med unntak av gateway (dvs fw/routing). Når jeg flyttet og måtte rigge hele løsningen ned og opp igjen så fant jeg ut at dette var en dårlig løsning for mitt bruk. For at jeg i det hele tatt skulle få nett så måtte jeg ha firewall og filserver kjørende, samt selve virtualiseringsserveren hvor to VMene måtte gå. Helt horribelt. Det var da jeg innså at i praksis trengte jeg masse infrastruktur bare for å understøtte infrastrukturen i seg selv, og da har man kommet ut på ville veier med mindre man ser for seg en heftig fremtidig skalering som vil rettferdiggjøre en slik fleksibilitet.

Jeg ønsker imidlertid å introdusere virtualisering igjen, men da kun for å separere en del tjenester og eksperimentering, ikke for å levere kjernetjenestene som trengs for at internett og ordinær filaksess skal fungere.

Snapshot kommer definitivt så fort btrfs blir noenlunde stable. Jeg gleder meg til jeg kan erstatte mdadm/ext4 med btrfs. Ikke fordi førstnevnte fungerer dårlig, men fordi btrfs har sårt tiltrengt funksjonalitet som f.eks COW-snapshots, smartere RAID og aller viktigst, intern checksumming av alle data.

 

[marsboer]

En annen faktor som må tas med i beregningen er at jeg faktisk jobber med dette og derfor har stor interesse for fagfeltet. Dette medfører imidlertid også at jeg da har sett og erfart en rekke problemer som løses ved å gjøre ting "skikkelig". Eksempler som er meget relevante for mine prioriteringer er:

- Jeg har opplevd å få et korrupt software RAID5 på grunn av minne med feil på. Mdadm klarte etter mye om og men å kjøre RAIDet sammen igjen, men det satte en støkk i meg. Dette medfører at jeg nå anser ECC-minne som en nødvendighet i filservere, spesielt med software RAID. Mesteparten av RAMen der ute fungerer veldig bra, men konsekvensene er store dersom den faktisk ikke gjør det. Heldigvis fikk jeg tilslutt kernel panics slik at jeg ble klar over feilene før det hadde gått lang tid.

- Jeg har opplevd at arrays blir trege og faktisk også faller ut ved svært høy belastning dersom man benytter S-ATA-disker på en expanderbasert SAS-løsning. Dette gjelder spesielt ved sync av cache til disk. Dette gjør at jeg skyr expandere som pesten til alt annet enn mindre viktige løsninger med rene SAS-disker (noe som prismessig er helt utelukket til hjemmebruk). Dette er årsaken til at jeg kjører 24 dedikerte SAS HBA-porter i stedet for en rimeligere expanderbasert løsning.

- 5 av 8 disker av "grønn" type fra Seagate har nå blitt RMAet på grunn av feil over de siste par årene. Disse er heller ikke spesifisert for 24/7 eller for å håndtere vibrasjonene i RAID-løsninger. Dette har medført at jeg utelukkende går for disker som faktisk er spesifisert for denne typen bruk heretter, selv om det koster mer.

- Det ovennenvte har ved 2! anledninger medført at den fulle redundansen ved RAID6 har blitt benyttet. Det vil si at hele to av åtte disker har vært defekte samtidig. Årsaken er at det tar minst et par uker før jeg har fått RMAet en disk og fått tilsendt en ny og jeg tar meg ikke råd til å ha cold spares liggende (selv om jeg til slutt måtte gjøre nettopp dette på Seagate diskene på grunn av den enorme feilraten). Redundans er virkelig gull ved slike datamengder!

- Jeg har, senest for kun en ukes tid siden, klart å ved en brukerfeil gjøre filsystemet på filserveren delvis korrupt. Årsaken var en endret standardstørrelse i LVM som gjorde at startsektoren ble feilplassert ved utvidelse av partisjonen til tross for at jeg har gjort operasjonen flere ganger før og i tillegg har dokumentert den. Jeg klarte å gjennopprette filsystemet til slutt men flere hundre filer viste seg å være korrupte når jeg kjørte en read only checksumvalidering mot backupen. Dette medførte at jeg tok den sikre veien og begynte på nytt med 10.5TB med data! Som om jeg ikke var fanatisk nok når det gjelder backup fra før så ble det nå klinkende klart at jeg også skal ta backup av alle de rippede blu-ray filmene mine. Jeg hadde backup av alt unntatt blu-ray filmer, siden disse tok mye plass og jeg faktisk hadde dem fysisk. Nå må jeg faktisk gjennomgå flere uker med effektiv ripping med to maskiner i drift for å få disse inn igjen. Aldri mer! Jeg koster gladelig på noen 4TB disker til backupserveren fremfor å kaste bort uker av mitt liv som heller kunne blitt brukt til å ta en øl i sola eller leke med barna for å rippe på nytt. Heretter skal det tas backup av ALT som ikke er temporære data. I tillegg viste det seg også at checksums er gull og ikke bare en teoretisk fordel. Filsystemet så helt OK ut etter at jeg fikk det opp igjen, men det var altså sporadiske korrupte filer jeg aldri hadde kunnet detektere at var korrupte innen rimelig tid uten et velegnet backupsystem.

 

[authentic]

Litt av ett oppsett, må ørlig innrømme at jeg har falt ut av terminologien for lenge siden men skjønner at dette er oppsett for viderekommende. Min lille NAS boks blir likssom litt ToysArus iforhold. Vet hvem som for pm når jeg skal begynne å bygge ett seriøst oppsett..-

 

[Antonsen]

Sniker inn noen flere spørsmål i tråden din, håper det er greit.

Hvis jeg feks skulle gå til innkjøp av denne, 24 bay Hotswap rackmount chassis norco RPC-4224 , hva trenger jeg da itillegg av hardware? Hovedmål med serveren er å kunne streame blu-rays og musikk rundt i huset, samt lagring av bilder etc. Ha ett raid system. Enten ved hjelp av din guide eller f.eks zfs.

Setter stor pris på forslag til komponenter, gjerne noe som kan skaffes i norge.

Jeg har 4stk seagate barracuda 2tb disker fra før, kanskje en fordel å fortsette å bruke samme disker/størrelse?