Utfordringer med for store datamengder

[TGB]

Har 75 disker distribuert på flere Synology enheter. Disker dør som kjent etterhvert, har et par gamle RAID 6 sett med 12 x 4TB disker, som i praksis betyr 40TB med data. Har prosessen å fjerne RAID 6 settene med mange og små disker til færre med større disker (typisk RAID 6 sett på 6 x 10TGB, 6 x12TB eller 6x16TB). Utfordringen nå er selvsagt at det tar ukevis å flytte disse filene mellom 2 enheter. Online backup gjøres kun på kritiske data; finnes vel ingen cloud løsninger som aksepterer i området 500TB med data uten at det koster 200.000+ i året? Dessuten de få variantene som kan håndtere denne datamengden har en løsning som medfører at det vil ta flere år å gjenopprette sikkerhetskopi. Har jo fortsatt de fysiske disc'ene lagret - men de kommer aldri til å bli plukket frem om lagringssystemet sier natta.

En løsning er selvsagt å gå for 10Gbit-nettverk (har nå kun 1 Gigabit nettverk). De fleste enhetene mine har støtte for 10Gbit nettverk.

Så utfordringen er:
Når NAS-alarmen går pga korrupt disk, hvordan håndterer folk dette? Naturligvis setter jeg inn en ny disk (for å erstatte den som er ødelagt og rekonstruerer RAID-settet), men etterhvert så ønsker man å omstrukturere tidligere valg gjort. Det er her utfordringen med å flytte disse datamengdene kommer inn når datamengden bare blir større og større.

Utfordringen er i utgangspunktet størst for film. Musikk har jeg duplisert på 3 enheter (1 står vanligvis på annen lokasjon også).

Edit:
Har brukt opp snart 10 DVD/Blu-ray drev i rippeprosessen over de siste 15+ årene.
Naturligvis håper jeg streaming-tjenestene skal bli på nivå med blu-ray eller UHD-bluray så kan jeg skalere ned denne galskapen. Bruker både Netflix, Amazon, HBO og Disney+, selv om disse begynner å bli bedre så er det fortsatt et godt stykke igjen til fysisk media relatert bitrate for video og ikke minst lydkvalitet.

 

[gwikse]

10GB nettverk med Raidsett som har SSD cache er nok veien å gå.

 

[bengt]

Hadde samme problem, dog bare 50+ TB på Synology nas. Lagret alt i skyen, men innså at restore fra skyen ville tatt et par måneder Kjøpte meg Qnap med 12x12TB disker og 4x1TB ssd. Caching av film ble meningsløst fordi det sjelden streames samme film til flere steamere. Bare hvis samme film streames repeterende vil det ha noen hensikt. Derfor bruker jeg ssd-ene til tiering hvor et volum med de mest brukte filene ligger. 10Gb nettverk installert, men min Synology har ikke 10Gb kort så nytten kommer ikke før Synology er byttet til mer moderne nas.

 

[weld77]

Galskap er vel det sentrale ordet her.. .

Jeg har egentlig aldri skjønt hvorfor noen gidder å bruke masse tid og en middels formue og vedlikeholde en liten serverfarm for å rippe og lagre tonnevis av filmer, spesielt når man uansett har diskene tilgjengelig i fysisk format. Hvor mange ganger ser man egentlig en film?

Nuvel.

Noe av det billigste som finnes på lagring av store mengder data man ikke trenger å aksessere raskt er vel Amazon Glacier Deep Archive, der koster det om jeg regner korrekt 500 dollar / måneden for å lagre 500 TB. prisen pr GB pr måned er 0.00099 dollar. Imidlertid vil det koste rundt 25.000 dollar å hente ut absolutt alt i transfer fees, men det er vel neppe særlig aktuelt noen gang. Å sende data inn tror jeg ikke koster noe. Det vil uansett ta vinter og votter å laste opp alt sammen til en skytjeneste. Med 1GB/s netthastighet skulle det vel ta 47 døgn eller noe slikt.

Jeg har fotoarkivet mitt på en skytjeneste (tidligere CrashPlan, nå iDrive) og basert på de to av sorten jeg har brukt er overføringshastighetene rimelig dårlige, men siden arkivet ikke er større enn enn 2-300 GB så har det ikke allverdens å si og haster gjør det jo ikke uansett siden det kun er en off-site sikkerhetskopi.

 

[TGB]

Galskap er vi alle enig om at det er, men når man skal finne film å se på er det ekstremt praktisk å kunne navigere rundt i kodi for å finne noe. Før NAS ble introdusert så kikket man bare på filmer når de ble kjøpt, aldri igjen. Har kjøpt store mengder film, men har også fått donert ekstremt store mengder fra venner og bekjente som har gått fullstendig over til streaming (måtte faktisk leie lagringsplass for filmer, CD, SACD, DVD og emballasje til alt utstyret (høyttalere er komplisert å selge når de blir over en viss størrelse uten emballasje). Dessuten, disse mengdene med film er ikke mulig å stable i stua (ikke plass).

Så for å oppsummere, mange filmer blir sett mange ganger - andre filmer har jeg ikke sett en eneste gang Men en vakker dag

Edit:
Akkurat nå har jo priser på disker gått brutalt opp også. Havner fort på 7000-8000 pr disk. Med nåværende verdi så er faktisk lagringsystemet dyrere enn 32 kanals Trinnov Altitude32 prosessor.

 

[weld77]

Når du sier å "omstrukturere tidligere valg", mener du da i praksis å migrere til større disker etter hvert som det blir tilgjengelig til en grei pris eller er det noe annet du tenker på?

Og har du sjekket hva nettverksytelsen (og lese/skriveytelsen) din mellom enhetene faktisk er? Om du skal flytte 50 TB mellom to enheter så skulle det, om du får makset ut nettverkslinkens teoretiske kapasitet ta 8 sekund / GB, 8000 sekund / TB og f.eks 400.000 sekund for 50 TB. 400.000 sekund er 4.5 døgn. Det er ganske lenge, men ukesvis er det jo ikke. Det skal ganske lite til før en link faller til 100 Mbit / s og da vil det ta sin tid.

 

[TGB]

Som i eksempelet nevnt; 12 x 4TB disker, omstrukturert til 6 x 16TB. Dette må gjøres via kopi; man får ikke migrert et eksisterende RAID set på en god måte. Så her setter jeg opp et nytt 6 x 16TB (RAID6) sett. Kopierer over innhold fra 12 x 4TB (RAID6), når kopiering er gjort så fjerner jeg det gamle 12 x 4TB Raid6 settet som igjen frigjør plass til 12 nye disker som jeg kan bruke til 2 nye RAID6-sett á 6 x 16TB (som er det jeg går mot nå). Tidligere har disse blitt erstattet av 6 x 12TB og 6 x10TB. På den måten får man redusert antall disker pr RAID6-sett og frigjort plass. Alle disse prosessene medfører kopiering (enten via nettverk, eller internt over SATA på NAS).

Denne omstrukturering pleier å bli initiert når flertallet av diskene i et RAID6-sett begynner å passere 5 år. Bruker i hovedtrekk enterprise disker eller NAS-spesifikke disker laget for å stå på 24/7 i minst 5 år.

 

[weld77]

Man kan vel migrere en og en disk til større disker i et RAID-array men det tar lang tid og er vel svært sårbart for diskfeil mens prosessen pågår også. Nå er det en stund siden jeg drev med Linux-admin her hjemme, men mener bestemt dette er en mulighet. Men det er kanskje tiden det tar og risken du sikert til med "ikke en god måte" ?

 

[TGB]

Det er mulig å migrere en og en disk til en større, så utvide størrelsen - ulempen med denne varianten er risiko for at noe går galt (veldig tidkrevende også). Jeg tror forøvrig ikke det er mulig å redusere antall disker i et RAID6 sett på denne måten. Jeg har noen relativt store RAID6-sett på 12 disker. Dette er egentlig ikke optimalt uansett, derfor jeg beveger meg mot RAID6 sett på 6 disker.

RAID6 settene med 12 disker har fungerte veldig bra, joda - disker dør med jevne mellomrom, men så lenge man ikke har overdrevet varme på "server-rommet" så holder de fint i 5+ år normalt sett (alltid enkelte disker som dør før tiden). Jeg ønsker av naturlige årsaker ikke RAID6 sett med 12 x 16TB disker, det blir. rimelig ville datamengder å flytte på når det blir nødvendig.

Også et lite tips til de som vurderer at RAID5 er nok; jeg har hatt 2 disker ryke samtidig (på samme RAID6-sett, ikke unormalt at dette oppstår når man bytte en disk for å rekonstruere). I ettertid ekstremt glad for at jeg gikk for RAID6.

Kjører også schedulert dataskrubbing hver 3. måned (gjorde dette hver måned før, men det ble litt i overkant). God måte å vite at alt fungerer som det skal. Validering av disker (den enkelte) gjøres også hyppig (også dette automatisk) via SMART.

 

[Balle Clorin]

Uffamei Høres ut som du har dataservere som hobby ikke Hifi?
Eller der dette en småbedrifts data?
Jeg Har ikke noe å bidra med ..

Jeg bare glad jeg ikke har slike problemer. Film ser jeg på kino eller TV eller Netflix og en film ser jeg aldri igjen. .- så jeg kjøper derfor ikke filmer heller. Musikk derimot høres flere ganger , har backup i skyen hos Telia, dvs Jotta men bare et noen få TB så jeg slipper lett unna….
Den eneste gangen meg måtte gjenopprette data var backupdisken korrupt. Så da gav jeg opp data og lot Telia/Jotta gjøre jobben for meg

 

[H.R]

hva med å bare gå all in og skaffe deg noe som denne? Så slipper du sikkert å tenke på dette på noen år

Supermicro 4U JBOD (Dual Expander) 44 x 3.5"

nextron.no

 

[Antonsen]

Av nysgjerrighet- hvilket OS benytter dere? Jeg har 24 disker, men etter en kræsj tidligere forsvant mesteparten av filmene. Musikken og bildene har jeg lagret flere steder så de ble ikke borte. Tenkte å begynne ripping på nytt, installerte truenas som jeh syns virker veldig bra - men uansett hva jeg gjør klarer ikke kodi å finne den... så vurderer å teste noe annet.

Filmer sees flere ganger, hvertfall de virkelige gode og streaming er for dårlig.

 

[weld77]

Jeg har filserver med Ubuntu. Har dog ikke musikk på den (bruker bare Spotify til det).

 

[TGB]

Av nysgjerrighet- hvilket OS benytter dere? Jeg har 24 disker, men etter en kræsj tidligere forsvant mesteparten av filmene. Musikken og bildene har jeg lagret flere steder så de ble ikke borte. Tenkte å begynne ripping på nytt, installerte truenas som jeh syns virker veldig bra - men uansett hva jeg gjør klarer ikke kodi å finne den... så vurderer å teste noe annet.

Filmer sees flere ganger, hvertfall de virkelige gode og streaming er for dårlig.

Kjører standard Synology DSM (Linux-basert). Synology kan dette, jeg har ingen planer om å prøve å vedlikeholde noe på egenhånd. Grensesnittet til Synology DSM er genialt og alt er tenkt på.

 

[TGB]

hva med å bare gå all in og skaffe deg noe som denne? Så slipper du sikkert å tenke på dette på noen år

Supermicro 4U JBOD (Dual Expander) 44 x 3.5"

nextron.no

Vel 44 disker holder ikke for meg. Jeg har allerede 75 disker Synology og andre har tilsvarende. Kjører nå 75 disker distribuert over 3 system (det ene tar 15 disker, den neste tar 36 og det siste har 24 men kan utvides til 36).

 

[MrSpock]

75 disker

Har drøyet med å rippe filmer - har musikk og musikkvideoer rippet på pc som har 18TB - har det samme i backup discer,

Skapene og hyllene er stappfulle med filmer - handler det meste nå for tiden digitalt. Har ikke helt bestemt meg for hva jeg skal gjøre fremover - nas og disker ser ut til å koste mye penger og streaming blir stadig bedre...

 

[H.R]

Er jo bare å gå opp i størrelse til denne

Supermicro 4U JBOD (Dual Expander) 90 x 3.5"

nextron.no

Så kan du fylle de med 18tb disker og kjøre parallelt med eksisterende systemer inntil du har kopiert over

 

[TGB]

Er jo bare å gå opp i størrelse til denne

Supermicro 4U JBOD (Dual Expander) 90 x 3.5"

nextron.no

Så kan du fylle de med 18tb disker og kjøre parallelt med eksisterende systemer inntil du har kopiert over

Jeg har ikke et uendelig budsjett. Basert på erfaring så ønsker jeg heller ikke å bytte produsent; veldig happy med Synology (de har også rack-utgaver).

 

[Antonsen]

Kjører standard Synology DSM (Linux-basert). Synology kan dette, jeg har ingen planer om å prøve å vedlikeholde noe på egenhånd. Grensesnittet til Synology DSM er genialt og alt er tenkt på.

Noe ala denne - bare større? Blir fort for dyrt for meg.

Har egentlig kabinett for alle 24 diskene, det jeg kunne tenkte meg var ett OS som fungerte enkelt og greit -uten å måte kjøpe mye hardware.Kan godt betale for ett OS, så lenge det er en fornuftig pris.

 

[weld77]

Det er vel omtrent ikke mulig å betale for OS om dagen, Linux som er hva som brukes på alt av slike dingser og på hundrevis av millioner av servere i verden er gratis.

 

[Antonsen]

Sant nok. Har prøvd OpenMediaVault en stund, virket greit, men syns det var litt tungvint. Nas4Free er det jeg har best erfaring med, men såvidt jeg leser meg til er det "utdaterte". Noe linux uten GUI er helt dødfødt for meg. Har en linux maskin som kjører Roon, og det tok sin tid for meg å installere og starte programmet for å si det forsiktig

Hva med Unraid? Leser litt positivt om det.

Nå skal ikke jeg kuppe tråden til TGB - så bare si ifra hvis mine spørsmål forstyrrer

 

[TGB]

Ingen problem å diskutere her

Ref andre alternativer, brukervennligheten og stabiliteten til Synology er noe jeg verdsetter høyt.

Akkurat ferdig med å flytte over 36TB med data. Skal dra ut 12 disker (få redusert mengden). Venter egentlig bare på at harddiskprisene skal gå tilbake til normalen igjen så repeterer jeg prosessen. Med nåværende pris på 16TB på opp over 8000,-/disk så avventer jeg situasjonen litt

 

[TGB]

Veldig billige Seagate EXOS18 18TB og Seagate EXOS16 16TB om dagen (faktisk ned mot historisk billig).

Seagate Exos X18 ST18000NM000J 256MB 18TB – Sammenlign priser på Klarna

Finn laveste pris på Seagate Exos X18 ST18000NM000J 256MB 18TB hos Klarna

prisguiden.no

Seagate Exos X16 ST16000NM001G 16TB – Sammenlign priser på Klarna

Finn laveste pris på Seagate Exos X16 ST16000NM001G 16TB hos Klarna

prisguiden.no

 

[janghell]

Har også noen Synology enheter med "noen" disker i....
Synology sine DX bokser (utvidelse) er ganske så geniale. Da får man ihvertfall høyere fart enn 1Gbit når man skal migrere ett raid sett.

DX1215II | Synology Inc.

Plug-and-play storage expansion for Synology DiskStation

www.synology.com

"Noen" burde lage en software slik at vi kunne dele alle filmene vi har i en Blu-Ray/UHD film-dele-ring. Så slapp alle å ha lagring til de samme filmene. Men det er nok ikke helt lovlig.....
Eller streaming leverandørene kan begynne å levere ordentlig kvalitet til de som vil ha.

 

[TGB]

Deling mellom venner er faktisk ikke ulovlig i Norge

Ulempen med streaming er selvsagt at man aldri har garanti for om innholdet er tilgjengelig fortsatt. Rettigheter endres (samme problem på Spotify/Tidal/Qobuz også). Jeg håper at Netflix vil bane vei her og få UHD blu-ray kvalitet på både lyd og bilde innen de neste årene - men markedet er nok litt for snevert dessverre. Netflix har pushet frem Atmos og UHD i det minste... bitratene er ikke så helt ille heller; så akseptabelt men ikke godt nok fortsatt

 

[TGB]

Bestilte 7 x 18TB og 1 x 16TB. Målet er å ha 1x16TB + 1x18TB tilgjengelig ved behov (når noe ryker); samt sette opp et nytt 6 x 18TB RAID6 set. Dette blir det første RAID6 settet med 18TB disker.

Når jeg satte opp det forrige RAID6 settet med 16TB disker så ble det bare kjøpt 6 disker, siden de kostet nesten 7000,- pr disk akkurat da!

 

[komfort]

Jeg har ikke et uendelig budsjett. Basert på erfaring så ønsker jeg heller ikke å bytte produsent; veldig happy med Synology (de har også rack-utgaver).

Du må bare ta mer risiko

 

[TGB]

Du må bare ta mer risiko

Jeg er litt pysete når det gjelder lagring... men systemet jeg har nå har fungert veldig bra - det er alltid en viss mengde disker som ryker hvert år selvsagt (naturlig). Bruker denne muligheten til å oppgradere til større disker. Størst hodebry når disk ryker og jeg ikke har noen erstatning tilgjengelig; samt markedet er støvsugt for disse diskene (det har skjedd et par ganger).

Prøver også etter beste evne å distribuere oppgraderinger over tid. Det er en tikkende bombe om man har 60 disker som er satt opp på samme dato; blir fort ekstremt dyrt ved neste runde (normalt etter 5-6 år). Ikke minst, det gjør en sårbar for produksjonsfeil (som også kan skje).

 

[bengt]

Exos 18TB til 4k er jo et røverkjøp!

 

[morbid]

Hva er vitsen med raid 6 på så liten pool? sjansen for at 2 disker ryker omtrent samtidig i en pool med bare 6 disker er jo ganske liten. Ellers ville jeg sett på ZFS istedenfor tradisjonell raid, performance og fleksibilitet er mye mye bedre.