Ubuntu server

[Bjørn.H]

Er det noen som bruker Ubuntu server til å lagre musikken sin på, eventuelt også bilder, film og annet? -noen som kan si noe om hvor godt det funker?

 

[mteinum]

Er det noen som bruker Ubuntu server til å lagre musikken sin på, eventuelt også bilder, film og annet? -noen som kan si noe om hvor godt det funker?

Jeg bruker Ubuntu server. Utenom strømbrudd og flytting, så har oppetiden vært 100% siden '07

Kjører da kun squeezebox server på denne. Kopierer over ny musikk med rsync.

 

[united]

Ikke helt, men bruker Ubuntu 10.04. Med Gui.

På en selvbygget pc med 3 x 1,5 TB i Raid0.
Som musikkserver, med Samba og squezeboxserver.
Betjener 3 SB Receiver og en 1 SB Touch, samt fjernkontroller.

Ripping tagging mm på windowslaptoper og 100% oppetid siden 2009.
Putty, WinScp o.l til forefallende vedlikehold.

Selv om jeg også har skjerm og tastatur tilkoblet, har bare ikke giddet ta de bort.

 

[Ludo]

3 x 1,5 TB i Raid0.

Spenstig med RAID0 ;D

 

[united]

Jeg skiller mellom raid og backup ja ;D

 

[Bjørn.H]

Aha. Har fantasert litt om WHS, men synes at Linux tilbudet fra Ubuntu virker mer attraktivt. Har dere gode forslag til oppsett for å kunne lagre bilder, dokumenter, musikk og kanskje noen filmer? -da tenker jeg på software.

 

[Rhesus]

Hva slags klienter hadde du tenkt å bruke?

 

[Bjørn.H]

squeezebox server bla.

 

[Ludo]

Aha. Har fantasert litt om WHS, men synes at Linux tilbudet fra Ubuntu virker mer attraktivt. Har dere gode forslag til oppsett for å kunne lagre bilder, dokumenter, musikk og kanskje noen filmer? -da tenker jeg på software.

Om du skal ha det kun til lagringsplass samt kjøre Squeezeserver så kan du installere Ubuntu Server 11.04, legge til Samba og vips så har du en lagringsplass som er tilgjengelig på nettverket.

 

[nb]

Aha. Har fantasert litt om WHS, men synes at Linux tilbudet fra Ubuntu virker mer attraktivt. Har dere gode forslag til oppsett for å kunne lagre bilder, dokumenter, musikk og kanskje noen filmer? -da tenker jeg på software.

Nerdepotensialet til Ubuntu er betydelig større og en full Linux-installasjon gir nok også en del flere muligheter enn en WHS. Om dette er relevant for deg må du nesten vurdere selv - Marsboer kan sikkert snakke om mulighetene et par ukers tid om du putter på nok penger

Kjører selv Ubuntu med Samba. Stabilt som fjell, installerte serveren for et par års tid siden og har egentlig ikke rørt den siden.

Som nevnt av annen taler trenger du egentlig bare Samba for å få filserverfunksonalitet. Om du vil ha software-basert RAID er det også støttet i Ubuntu. Husk på at en meget stor andel av verdens nettsider o.l. kjører på Linux-baserte servere så programvaren støtter nok fint å være server hjemme hos deg også.

Om du er fullstendig noob på Linux så er det en liten kneik å komme over, i Unix-verdenen er mye mer basert på kommandolinje selv om det finnes GUI for det aller meste. Når man først har lært seg hvordan det funker er det svært kraftig og svært effektiv måte å arbeide på. Du finner et lass av howtos og hjelp på nettet, ellers får du sikkert hjelp her på forumet også siden en del har Linux-servere stående. Den lokale eksperten er som kjent marsboer, men siden du allerede er IT-kompetent så får du nok til det meste selv.

Marsboer har skrevet en serveroppsettguide som ligger ett eller annet sted uten at jeg husker hvor i farten.

 

[Bjørn.H]

Samba, det er tingen.

-RAID 5, er det en enkel sak å sette opp?

 

[Rhesus]

squeezebox server bla.

Da er squeezeboxen klienten.
Siden du vil serve filmer og filer, så ser jeg for meg at du har flere klienter en squeezebox. Er det PC'er med windows? Mac? Har du noen andre nettverksavspillere, som f.eks. Apple TV som du skal vise film på eller noe.

 

[nb]

-RAID 5, er det en enkel sak å sette opp?

Ja, veldig enkelt

 

[Godmode]

Kjører også ubuntu server på en gammel Pentium 4 som tidligere har vært desktop pc. Er vel rimelig sjeldent jeg rører denne ja. Jeg bruker den til squeezebox server da jeg ikke var noe fristet av å måtte forholde meg til de "spesial" versjonene som man må installere på Qnap NAS. Har bare mountet opp musikk mappene fra nas'et på ubuntu serveren.

For å gjøre livet litt lettere for deg selv kan du installere Webmin på serveren. Da slipper du å google linux kommandoer hver gang du skal gjøre noe på serveren. Webmin gir deg et enkelt web grensesnitt for å gjøre alle vanlige admin oppgaver. Kan spare deg for anselige timer med frustrasjon om du ikke er helt på hjemmebane med kommandolinjen. Du kan selvsagt administrere som vanlig via kommandolinje, men det kan som sagt være et kjekt tillegg.
http://www.webmin.com/deb.html

NB, under installasjonen så pass på å installere både openSSH, LAMP stacken(Apache, MySQL, PHP) samt samba. LAMP trenger du for å kunne bruke den til squeezebox senere, og openSSH trenger du for å kunne få ssh tilgang etter at du har satt serveren i et kott.

 

[Bjørn.H]

squeezebox server bla.

Da er squeezeboxen klienten.
Siden du vil serve filmer og filer, så ser jeg for meg at du har flere klienter en squeezebox. Er det PC'er med windows? Mac? Har du noen andre nettverksavspillere, som f.eks. Apple TV som du skal vise film på eller noe.

Regner med å sette opp en server (Ubuntu) og koble opp 3 Win7 (64bit) PC'er opp mot denne, samt at en media-PC er påtenkt men ikke pri. Jeg har begynt å få en del bilder på min maskin og dokumenter jeg gjerne skulle få backet opp trygt og godt, samt med en media PC kunne se filmer. I alle fall etter hvert. Abonnerer også på Spotify, så den skal være med, men trngs det vel kun klienter på PC'ene til.

 

[Bjørn.H]

-RAID 5, er det en enkel sak å sette opp?

Ja, veldig enkelt

In short: how-to?

Et annet spørsmål: 3Tb disker -er disse bare å smække inn i serveren?

 

[Rhesus]

squeezebox server bla.

Da er squeezeboxen klienten.
Siden du vil serve filmer og filer, så ser jeg for meg at du har flere klienter en squeezebox. Er det PC'er med windows? Mac? Har du noen andre nettverksavspillere, som f.eks. Apple TV som du skal vise film på eller noe.

Regner med å sette opp en server (Ubuntu) og koble opp 3 Win7 (64bit) PC'er opp mot denne, samt at en media-PC er påtenkt men ikke pri. Jeg har begynt å få en del bilder på min maskin og dokumenter jeg gjerne skulle få backet opp trygt og godt, samt med en media PC kunne se filmer. I alle fall etter hvert. Abonnerer også på Spotify, så den skal være med, men trngs det vel kun klienter på PC'ene til.

Da deler du filer og filmer med samba, enkelt og greit.
Squeezecenter installeres meget enkelt med et par enkle kommandoer på ubuntu.

Jeg bruker ikke raid, men kunne sikkert gjort det. Jeg gjør sammenslåing av disker med LVM2. Det finnes også fine grafiske verktøy for dette, om du foretrekker. Det finnes mange grensesnitt, webmin er nevnt. Jeg bruker kun ssh, men det fordrer litt kjennskap til linux. Det er også mange 'oppskrifter' på nett, disse er nesten utelukkende basert på kommandoer i terminalvindu, så her kan du bruke ssh.
Putty er en fin windows ssh klient.

Om du foretrekker grafisk grensesnitt, kan du bruke tightvncserver, og dra opp skjermbildet fra en windows PC, med VNC klient.
Det kan være kjekt om du vil stue bort serveren, eventuelt administrere litt fra et annet sted.

 

[nb]

In short: how-to?

Søk på "mdadm howto" eller lignende. Nøyaktig hvordan kommandolinen skal se ut avhenger av hvor mange disker du har, hvilken type raid du skal ha osv, men det gjøres med en enkel kommandolinje og god tid (tar ganske lang tid å bygge arrayet på store disker)

 

[ayaboh]

Om du foretrekker grafisk grensesnitt, kan du bruke tightvncserver, og dra opp skjermbildet fra en windows PC, med VNC klient.
Det kan være kjekt om du vil stue bort serveren, eventuelt administrere litt fra et annet sted.

Noen som har prøvd NX i stedet for VNC? Har stor sans for denne løsningen, både med hensyn til hastighet og kvalitet. NX-Server er gratis for Linux. Klienter er gratis for alle OS.

http://www.nomachine.com/

 

[Ludo]

Å sette opp et RAID-array første gang vil kunne se ut som dette, her har jeg 6 disker i RAID10:

mdadm --create /dev/md0 --chunk=256 --level=10 --raid-devices=6 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1

I ditt tilfelle vil et RAID5-array med tre disker vil kunne se slik ut (husk at stasjonene muligens vil se annerledes ut hos deg):

mdadm --create /dev/md0 --chunk=64 --level=5 --raid-devices=3 /dev/sda1 /dev/sdb1 /dev/sdc1

evt bare med diskene i kommandolinjen:

mdadm --create /dev/md0 --chunk=64 --level=5 --raid-devices=3 /dev/sda /dev/sdb /dev/sdc

Deretter setter man opp config-fila til mdadm på følgende måte:

mdadm --detail --scan >> /etc/mdadm/mdadm.conf

Etter at dette er gjort må man formattere array'et med et filsystem, f.eks. EXT4:

mkfs.ext4 /dev/md0

Merk at dette kan ta noe tid...

Du må mounte det nye volumet slik at det blir synlig og tilgjengelig med tilstrekkelige rettigheter:

mkdir /raid
mount /dev/md0 /raid
chmod -R 0777 /raid

Deretter må du sette opp Samba slik at den nye mappen /raid blir synlig og tilgjengelig på nettverket, du kan legge til følgende i /etc/samba/smb.conf :

[raid]
    comment = first raid-array from storage01
    path = /raid
    browseable = yes
    read only = no
    guest ok = yes
    guest account = nobody
    guest only = yes

Deretter kan du gå til

security = user

og fjern ; slik at feltet ikke lenger er kommentert ut
Rett under dette kan du legge til

map to guest = bad user

Deretter restarter du Samba-tjenesten ved å skrive

service smbd restart

Nå kan du gå til en Windows-maskin, trykke på Win+R og skrive \\ip-til-server\raid

Forhåpentligvis skal du få tilgang til nettverkssharet ditt som ligger på Linux-serveren - lykke til

 

[united]

Om du foretrekker grafisk grensesnitt, kan du bruke tightvncserver, og dra opp skjermbildet fra en windows PC, med VNC klient.
Det kan være kjekt om du vil stue bort serveren, eventuelt administrere litt fra et annet sted.

Noen som har prøvd NX i stedet for VNC? Har stor sans for denne løsningen, både med hensyn til hastighet og kvalitet. NX-Server er gratis for Linux. Klienter er gratis for alle OS.

http://www.nomachine.com/

Jeg har prøvd NX. Virket veldig bra.
Men jeg gjorde noe på serveren som gjorde at NX ikke virket lengre, skjønte aldri hvorfor, men på den tida hadde jeg det meste satt opp, så savnet ikke NX nok til å finne ut av det.

 

[united]

Flott how-to Ludo.

Er det ikke sånn at du kan få satt opp raid også under selve installasjonen av ubuntu?
Iallefall er det kraftige verktøy som følger med installasjons-CD'n. Husker ikke nøyaktig hvilke.

Forøvrig ville jeg sjekket/forsikret meg litt ekstra mht 3TB disker. Det er ikke all hardware som takler så store disker ennå.

Og hva skal du kjøre OS-et på?
Jeg ville valgt ssd.

Det som er så fint med Ubuntu, er at det er så mange som driver med det og som kan hjelpe.
Man kan få hjelp i det norske og det engelsktalende ubuntuforumet, forutenom diverse hififorum som her. Slimforum, for eksempel.
Og så er det publisert en mengde guider og how-to's på nettet.

 

[Bjørn.H]

Hva vil være å foretrekke, RAID 5 eller RAID 10?

 

[Ludo]

RAID5 gir vel mest lagringsplass og holder lenge til en storage-server. Dersom du har planer om å kjøre virtuelle maskiner på den eller gjøre andre litt mer krevende ting kan RAID10 være løsningen.

Noen eksempler:

Du har 4 disker på 1TB og kan kjøre disse med følgende oppsett:

RAID0 - gir 4TB - alle data blir spredt utover samtlige disker - galskap med mindre du har skikkelig backup! Gir høy ytelse!
RAID5 - gir 3TB - alle data blir spredt utover samtlige disker, men én disk kan ta kvelden uten at du mister data. Trygt, men langt fra samme ytelse som RAID0.
RAID10- gir 2TB - alle data blir spredt utover to av diskene samtidig som de to andre speiler disse dataene. Høy ytelse og god sikkerhet!

RAID1 bruker to disker hvorav den ene speiler den andre - du får med andre ord 50% kapasitet av total diskplass.

Jeg tror at du kan kjøre fint med RAID5 - da kan én disk ta kvelden uten at du mister data. Du trenger minimum 3 disker for dette.
Alternativt kan du kjøre med RAID6 - samme som RAID5, men ytterligere én disk kan ta kvelden - minimum 4 disker.

RAID5 med 3 stk (som er minimum for RAID5) 1TB disker gir 2TB - én disk kan ryke uten å miste data.
RAID6 med 4 stk (som er minimum for RAID6) 1TB disker gir 2TB - to disker kan ryke uten å miste data.

Håper jeg har gjort meg forstått nå

 

[marsboer]

Hva vil være å foretrekke, RAID 5 eller RAID 10?

Det kommer an på antall disker og størrelsen på disse. Jo større disker jo mer redundans trenger du siden sannsynligheten for unrecoverable read errors øker drastisk med disse, samtidig som rebuild-tiden øker betydelig. Under rebuild er diskene under sterkt press og risikoen er større enn vanlig for at nok en disk feiler.

Jeg har nettopp opplevd det usannsynlige å miste 2 av 8 2TB disker. Den andre røk mens den første erstatningsdisken fremdeles lå på posten. Jeg kjører imidleritid RAID6 så dette gikk bra.
På 2TB disker bør man opp i RAID6 kanskje allerede ved en 5-6 disker. På 3TB ved rundt 4-5. RAID10 er det bare å holde seg unna på denne typen hjemmeserver. Da må du alltid skalere dobbelt, samtidig som minimumsredundansen din kun er 1 disk fremdeles, men potensielt halvparten av diskene. Med RAID6 kan du miste 2 vilkårlige disker.

Så svaret er egentlig RAID6 med mindre du ikke ser for deg å skalere utover 4 disker i fremtiden heller.

 

[Bjørn.H]

RAID 6 gir altså i likhet med RAID 1 "halvparten" av lagringsplassen. Støttes RAID 6 av Ubuntu? -noen år siden sist jeg drev med Ubuntu så noe har vel skjedd siden da.

 

[Ludo]

RAID6 gir deg like mye lagringskapasitet som alle diskene tilsammen minus to disker

 

[Class]

Støttes RAID 6 av Ubuntu?

De fleste Linux distribusjoner bruker MDADM for RAID funksjonalitet, også Ubuntu, så ja.

 

[marsboer]

RAID 6 gir altså i likhet med RAID 1 "halvparten" av lagringsplassen. Støttes RAID 6 av Ubuntu? -noen år siden sist jeg drev med Ubuntu så noe har vel skjedd siden da.

Eksempel med f.eks 6 disker:

RAID0 (striping) - lagring tilsvarende alle 6 disker
RAID1 (speiling) - lagring tilsvarende 3 disker, med 3 disker som eksakte kopier. Redundansen er i verste fall 1disk, i beste fall 3 disker (avhengig av om disken som ryker er i samme diskpar eller ei"
RAID10 - RAID1 diskpar som igjen er RAIDet sammen i RAID0. Gir samme plass og redundans som RAID1
RAID5 - lagring tilsvarende 5 disker med 1 disk for paritet. Redundansen er på 1 vilkårlig disk
RAID6 - lagring tilsvarende 4 disker med 2 disker for paritet. Redundansen er på 2 vilkårlige disker

 

[marsboer]

Støttes RAID 6 av Ubuntu?

Ja, det gjør det. Jeg selv kjører både min primære filserver og backupfilserveren på kontoret med Debian og software RAID6 via mdadm. Ytelsen er nesten på høyde med gode hardware RAID6-løsninger gitt at man øker mengden RAM som kan benyttes for kalkulering og behandling av RAID-striper.
Jeg foretrekker Debian foran Ubuntu server, men Ubuntu er basert på Debian og støtter selvsagt de samme tingene.

For å booste ytelsen dramatisk på mdadm RAID5/RAID6 er du nødt til å øke stripe cache med dagens prosessorer. Dette dreier seg ikke om et simpelt cache-triks som gir en generell ytelsesøkning kun i en kort periode til cachen er full, men om en kontinuerlig økt ytelse. Slik jeg har oppfattet dokumentasjonen legges alle stripes det skal kalkuleres paritet på i stripe_cache før CPUen får jobbe med dem. Om du øker cachen fra 256 (standard) til 8192 har CPUen mye mer data å jobbe med om gangen, noe dagens raske og multithreadede CPUer nyter godt av.

På min primære filserver økte ytelsen fra knapt 130MB/s skriving til omlag 400-450MB/s kontinuerlig skriving, noe som er helt på høyde med min hardware RAID6 kontroller. På backupfilserveren min har jeg kun fem disker så her gikk ytelsen fra omlag 110MB/s til rett under 200MB/s.

Legg til følgende over exit 0 i /etc/rc.local på et Debian-basert system:
echo 8192 > /sys/block/md0/md/stripe_cache_size

8192 vil si at man bruker 8192 x 4k (block size) x antall disker i bytes RAM på stripe cache. Så se an verdien her opp mot mengden RAM du har. Med mine 8 disker brukes da totalt 256MB RAM som stripe_cache mot standard meget konservative 8MB. På nett anbefales ofte den dobbelte mengden cache, men dette gir konsekvent ingen økning eller dårligere ytelse hos meg samtidig som RAM-bruken dobles. 8192 er også raskest på min backupserver med 5x1TB disker.

De andre tweaksene på nett kan du ignorere i dagens Debian-baserte Linux-distroer. Filsystemene og verktøyene håndterer dette bra selv. De fleste kjappe tweaks man finner online er av typen "pisse i buksa for å holde seg varm" som gir en positiv effekt i en enkelt testcase, men som gir negative effekter på andre viktige områder som gjerne ikke belyses.

 

[ayaboh]

Så svaret er egentlig RAID6 med mindre du ikke ser for deg å skalere utover 4 disker i fremtiden heller.

Det er også mulig å gå ned litt på lagringskapasiteten pr. disk og holde seg til RAID5 på 4 disker, men satse på enterprise-klasse disker. Disse diskene er beregnet for 24/7 drift og har som regel høy ytelse og MTBF som er minst dobbelt så lang som vanlig forbruksdisker. Disse diskene tåler også en høyere driftstemperatur og har i tillegg gjerne 5 års garanti. Prisen for en 1Gb enterprise-disk er fremdeles under 1K.

 

[Class]

Enterprise disker er som regel fysisk identisk vanlige desktop-disker, forskjellen ligger i FW optimalisering for "server" laster, RAID mm.

Jeg har enda til gode å se skikkelig dokumentasjon på at enterprise disker er mer holdbare, selv om jeg bruker å kjøpe dem selv.

 

[united]

Støttes RAID 6 av Ubuntu?

Ja, det gjør det. Jeg selv kjører både min primære filserver og backupfilserveren på kontoret med Debian og software RAID6 via mdadm. Ytelsen er nesten på høyde med gode hardware RAID6-løsninger gitt at man øker mengden RAM som kan benyttes for kalkulering og behandling av RAID-striper.
Jeg foretrekker Debian foran Ubuntu server, men Ubuntu er basert på Debian og støtter selvsagt de samme tingene.

For å booste ytelsen dramatisk på mdadm RAID5/RAID6 er du nødt til å øke stripe cache med dagens prosessorer. Dette dreier seg ikke om et simpelt cache-triks som gir en generell ytelsesøkning kun i en kort periode til cachen er full, men om en kontinuerlig økt ytelse. Slik jeg har oppfattet dokumentasjonen legges alle stripes det skal kalkuleres paritet på i stripe_cache før CPUen får jobbe med dem. Om du øker cachen fra 256 (standard) til 8192 har CPUen mye mer data å jobbe med om gangen, noe dagens raske og multithreadede CPUer nyter godt av.

På min primære filserver økte ytelsen fra knapt 130MB/s skriving til omlag 400-450MB/s kontinuerlig skriving, noe som er helt på høyde med min hardware RAID6 kontroller. På backupfilserveren min har jeg kun fem disker så her gikk ytelsen fra omlag 110MB/s til rett under 200MB/s.

Legg til følgende over exit 0 i /etc/rc.local på et Debian-basert system:
echo 8192 > /sys/block/md0/md/stripe_cache_size

8192 vil si at man bruker 8192 x 4k (block size) x antall disker i bytes RAM på stripe cache. Så se an verdien her opp mot mengden RAM du har. Med mine 8 disker brukes da totalt 256MB RAM som stripe_cache mot standard meget konservative 8MB. På nett anbefales ofte den dobbelte mengden cache, men dette gir konsekvent ingen økning eller dårligere ytelse hos meg samtidig som RAM-bruken dobles. 8192 er også raskest på min backupserver med 5x1TB disker.

De andre tweaksene på nett kan du ignorere i dagens Debian-baserte Linux-distroer. Filsystemene og verktøyene håndterer dette bra selv. De fleste kjappe tweaks man finner online er av typen "pisse i buksa for å holde seg varm" som gir en positiv effekt i en enkelt testcase, men som gir negative effekter på andre viktige områder som gjerne ikke belyses.

Det der skal jeg prøve, takk for tipset!