Backuplösning

[nire]

Har nu beställt ny dator och får på så sätt en över som jag skulle vilja ha som filserver för säkerhetskopiering.
Operativsystemet kommer vara Ubuntu Server på filservern och Vista på klientdatorn.

Problemet är att filerna som kommer säkerhetskopieras är stora, samtidigt som de kommer ändras varje dag. Mycket bandbredd kommer då behövas samtidigt som nya datorn kommer vara trådlöst kopplad till nätverket. (< 54mbit).
Möjligheten att ha allt lagrat på servern och sedan mounta en nätverksenhet finns inte heller.

Jag har därför suttit och letat efter backupprogram som dels komprimerar, sen även använder sig av diff-algoritmer. Hade inte Vista använts hade det inte varit något problem, men nu finns inte rsync till Vista. Jag antar att ett backupprogram på klient-datorn är det bästa alternativet, men jag har svårt att hitta ett bra. Det ska vara gratis och gärna open-source.

Jag hittade http://sourceforge.net/projects/diffsync/ som hade funkat perfekt bara det hade stött Linux. Tyvärr är det också bara i pre-alpha-stadiet.

Sen skulle jag vilja ha tips på billiga (~ < 600 kr) Sata-RAID-kort till servern som funkar bra med linux också.

Några tips på kort/program och hur ser era egna lösningar ut?

[nire]

Verkar vara ont om lite billigare Raid-kort.. hur bra fungerar mjukvaruraid och vad finns det för nackdelar med det?

[tmot]

Hej
Det låter som ett projekt som fler och fler är intresserade av framöver. Själv kör jag Ubuntu Server med OpenSSH och Samba. Mina WinXP-maskiner kör sedan varje natt ett backupjobb med hjälp av WinSCP (som man kan styra via skript).

När du säger att filerna är stora, hur stora är dom? Spelar det nån roll om det tar en stund?

Mvh
Mattias

[andol]

Vad säges om den här aproachen?

* Vistaklienten delar ut aktuella foldrar.

* Då det ska till att backupas så gör Ubuntuservern en (temporär) sambamontering.

* Ubuntuservern kör rsync mellan sambamontering och backupdestinationen.

För själva rsyncandet kan det vara trevligt att använda sig av rsnapshot. På så vis fås lite struktur och versionshanstering på backuperna.

[nire]

När du säger att filerna är stora, hur stora är dom? Spelar det nån roll om det tar en stund?

Det är mestadels email. Med Outlook Express sparas ju alla mappar som enskilda filer och eftersom emailen inte rensats på flera år så har det hunnit bli en del.. jag skulle gissa på att det börjar närma sig en GB.

Nu kommer jag ju passa på att byta ut Outlook Express när det ska in en ny dator så då kommer kanske mailen lagras på ett annat sätt så det kanske löser sig. Vanliga Outlook lagrar varje mail som en egen fil vet jag.

Jag vill att programmet själv ska upptäcka när en ändring gjorts och då kommer ju backupen köras medan datorn används. Därför vill jag att det ska märkas så lite som möjligt.

Vad säges om den här aproachen?

* Vistaklienten delar ut aktuella foldrar.

* Då det ska till att backupas så gör Ubuntuservern en (temporär) sambamontering.

* Ubuntuservern kör rsync mellan sambamontering och backupdestinationen.

För själva rsyncandet kan det vara trevligt att använda sig av rsnapshot. På så vis fås lite struktur och versionshanstering på backuperna.

Då blir väl Ubuntu-datorn tvungen att kopiera över alla filer ändå just för att kunna jämföra och se vad som skiljer?

[andol]

Vad säges om den här aproachen?

* Vistaklienten delar ut aktuella foldrar.

* Då det ska till att backupas så gör Ubuntuservern en (temporär) sambamontering.

* Ubuntuservern kör rsync mellan sambamontering och backupdestinationen.

För själva rsyncandet kan det vara trevligt att använda sig av rsnapshot. På så vis fås lite struktur och versionshanstering på backuperna.

Då blir väl Ubuntu-datorn tvungen att kopiera över alla filer ändå just för att kunna jämföra och se vad som skiljer?

Nej, det ska inte behövas.

[nire]

Jag får testa då. Fungerar det så är det en bra lösning då man slipper lite av belastningen på Vistadatorn
Finns det någon funktion i cron (antar att det är det som kommer användas?) som gör att Ubuntuservern försöker göra backup igen efter en viss tid om scriptet inte körs klart? Att scriptet körs igen efter 30 min eller liknande om Vistadatorn inte är kontaktbar m.m.?

Själv kör jag Ubuntu Server med OpenSSH och Samba. Mina WinXP-maskiner kör sedan varje natt ett backupjobb med hjälp av WinSCP (som man kan styra via skript)

Tittade på http://winscp.net/eng/docs/task_synchronize och det verkar ha de funktioner jag är ute efter. Vet du om den överför skillnaden mellan nya och gamla versioner av en fil och sedan uppdaterar den gamla eller om den ersätter den gamla med den nya bara?

If you make your changes locally and immediately upload the changed files to remote directory, you can make this much easier by making WinSCP watch for changes you make and automatically reflecting them on the remote directory using the function Keep Remote Directory Up To Date.

Det gillar jag. 

[andol]

Rätt övertygad om att (vixie-)cron inte implementerar någon dylik funktionalitet. Däremot är det förstås inte omöjligt att någon har skrivit ihop en wrapper som till exempel tittar på exit-coden. Annars går det du vill att utföra med några raders bashmagi.

[tmot]

Jag vet inte hur WinSCP löser själva synkroniseringen, men om du frågar i WinSCPs forum så får du säkert ett bra svar.

Mitt upplägg är alltså att jag kör en batfil varje natt. Filen innehåller bara texten:

"C:\Program\WinSCP\WinSCP.exe" /script=winscript.txt

I scriptfilen winscript.txt (som ligger i samma katalog) står det helt enkelt.

open Myusername:Mypassword@192.168.1.100
synchronize remote "C:\Documents and Settings\Mattias\Mina dokument" "/home/mattias/backup"
exit

Detta funkar iaf bra för mig och några till i familjen som kör mot samma server.

Även om du har en stor fil på, låt oss säga, 10 GB så tar det knappt en timme att synka den via 30Mbit/s. Vad som är "lång tid" är förstås ett relativt begrepp. Snyggast hade det ju varit om bara skillnaderna i filerna skickades över.

http://winscp.net/eng/docs/task_keep_up_to_date

Lycka till med ditt projekt.
/Mattias

[maths57]

Finns det någon funktion i cron (antar att det är det som kommer användas?) som gör att Ubuntuservern försöker göra backup igen efter en viss tid om scriptet inte körs klart? Att scriptet körs igen efter 30 min eller liknande om Vistadatorn inte är kontaktbar m.m.?

Cron är tänkt att köras på en serverdator som är igång 24/7. Om datorn inte är på så körs inte de instruktioner som finns i cron. Men jag har läst någonstans att Ubuntu har ett annat system för det, ett som kör om datorn är igång. Det är t ex så Uppdateraren funkar. Den körs regelbundet - när datorn är påslagen. Jag kan bara inte komma på vad det heter. Någon annan som gör det?

[andol]

Frågan är om jag inte ska ta tillfället i akt och skriva några ord om synkronisering och säkerhetskopiering. Kanske rör det sig om sådant som redan är självklart för de flesta, men det här är ju ett område där man per definition gärna vill vara på den säkra sidan.

Att (bara) synkronisera sina filer till en annan dator är bra, men inte riktigt fullständigt som backuplösning sett. Antag till exempel att några av ens filer på orginalkällan trasas sönder av någon anledning, utan att man märker det omgående. Då är även ens säkerhetskopia på dessa filer förstörda efter en synkronisering.

Sålunda vill man ha någon form av versionshantering på sina säkerhetskopior. De flesta fullständiga backuplösningar har någon form av hantering för detta. Själv gillar jag personligen att köra med snapshots, vilket förövrigt gör sig väldigt bra tillsammans med rsync. Kör man inte ett filsystem som hanterar snapshots på ett smidigt sätt (typ ZFS) så finns det en del trevliga lösningar baserade på hårda länkar.

[maths57]

Jag har faktiskt sett en beskrivning av hur någon kör hela sin hemkatalog med versionshanteringssystemet Subversion. Det skulle säkert funka med /etc också.

[andol]

Jag har faktiskt sett en beskrivning av hur någon kör hela sin hemkatalog med versionshanteringssystemet Subversion. Det skulle säkert funka med /etc också.

Tja, själv har jag min dokumentmapp i Subversion. Det handlar dock mer om att kunna ha den distribuerad på spridda lokaliteter än att jag aktivt versionshantera mina skrifter.

Att versionshantera /etc är däremot klart nice. Däremot är inte just Subversion helt optimalt för just det ändamålet, då vissa filer därunder är i behov av specifika permissions. Är man däremot lagd åt git så finns ju alltid etckeeper.

[nire]

Cron är tänkt att köras på en serverdator som är igång 24/7. Om datorn inte är på så körs inte de instruktioner som finns i cron.

Jo servern kommer stå igång 24/7. Det jag är ute efter är något sätt att få scriptet att köras igen om det inte kan köras för att klienten som servern försöker ansluta till inte är igång.

Att (bara) synkronisera sina filer till en annan dator är bra, men inte riktigt fullständigt som backuplösning sett. Antag till exempel att några av ens filer på orginalkällan trasas sönder av någon anledning, utan att man märker det omgående. Då är även ens säkerhetskopia på dessa filer förstörda efter en synkronisering.

Det är ju mycket riktigt.
Just nu lutar det mot en mjukvaru-raid 1 enligt
http://advosys.ca/viewpoints/2007/04/se ... tu-server/

Därefter kommer OpenSSH att installeras och varje dator får en användare på servern och då också en hemmapp för backup.

Backup görs med hjälp av WinSCP med inställningen att synca så fort en fil ändras.

På servern körs sedan ett cronscript för backup på backupen med lämpligt intervall. Just den biten har jag inte riktigt klart för mig än.
Du (andol) nämner rsnapshot men hur fungerar det?

[andol]

Du (andol) nämner rsnapshot men hur fungerar det?

I korthet gör rsnapshot följande

1) Rsync:ar från ett antal fördefinierade mappar. Dessa kan antingen ligga lokalt eller nås remote genom ssh.

2) Skapar snapshots baserade på hårda baserade och roterar dessa enligt fördefinierade regler. Till exempel kan du ha daily.0, daily.1, daily.2, daily.3, daily.4, daily.5, daily.6, weekly.0, weekly.1, weekly.2, weekly.3 och så vidare. Då varje snapshotsträd bygger på hårda länkar kostar det bara nytt utrymme när en fil är ny eller har ändrats.

Involverar sålunda en del av det skriptande du annars skulle fått göra :-)

I övrigt måste jag säga att det låter som om du har en rätt så genomtänkt backuplösning. Möjligtvis att det kan bli lite mycket med att låta WinSCP synka så fort en fil uppdaterats, men det lär ju ge sig.

[nire]

Jag kom och tänka på en till sak nu.. Blir det inte onödig belastning på processorn att köra med WinSCP eftersom det krypteras genom en SSH-tunnel?
Jag har ju inget behov av att skicka det krypterat genom mitt egna nätverk. Så jag tittade på några andra program som syncar till en vanlig nätverkshårddisk och jag måste då säga att av de gratisprogram som finns så är de flesta riktigt dåliga..
Men till slut hittade jag GK Backup http://www.drkrupp.se/info_backup.html som verkar vara väldigt trevligt.
Jag testkör det nu och det funkar bra.

Möjligtvis att det kan bli lite mycket med att låta WinSCP synka så fort en fil uppdaterats, men det lär ju ge sig.

Jo, förmodligen. 1 gång/dag räcker ju långt egentligen. Annars tror jag att jag fått till det mesta nu. Man får tacka för alla tips. 

[andol]

Jag kom och tänka på en till sak nu.. Blir det inte onödig belastning på processorn att köra med WinSCP eftersom det krypteras genom en SSH-tunnel?

Antagligen inte. Med dagens kraftfulla processorer får man kopierar rätt ordentliga mängder data innan det blir ett problem. Ska du då dessutom bara kopiera nya och ändrade filer torde det med andra ord vara rätt lugnt.

Fast visst, nu när jag häromdagen fick för mig att rsynca femhundra gigabyte virtuell disk genom en gigabitlänk, ja då var det ändå rätt skönt att kunna göra det okrypterat :-)