Ladda ner många filer från en sajt

[Ainigma]

:Jag vet att man kan använda wget för att ladda ner en hel webbsida med

Kod: Markera allt

wget -r -m example.com

Men hur gör jag om jag vill från en webbsida bara hämta en viss sorts filer, t.ex. bara pdf filer eller filer som innehåller vissa ord?

[Osprey]

Generellt sett så kan du använda ftp för att ladda hem olika saker från en sajt, men det förutsätter förstås att den sajten har det som ett alternativ. Det kommando du använder då är normalt "mget", men det där med att bara ladda hem filer som innehåller vissa ord finns inte med automatiskt, utan det får du nog skriva ett eget kommando för isåfall... ganska lätt iofs, om man bara vet vad man gör... men du måste dessutom ha rättighet och möjlighet att installera det på sajten...

Men som sagt, detta förutsätter att sajten kör ftp, vilket de normalt sett inte gör och enda alternativet då är en plugin i t.ex firefox. Ett exempel på en sådan som ger dig vissa möjligheter att bestämma vad du ska ladda hem, är "DownThemAll!"...

[Ainigma]

Ok men låt säga att jag villa "dammsuga" ner vissa av pdf filerna på denna sajt http://www.globalgrey.co.uk/
utan att behöva gå in och göra det "manuellt" utan genom ett kommando i terminalen vilket kommando skriver jag då?

[johanre]

I stora drag:

Kod: Markera allt

wget -r -A pdf http://www.minsajt.com

[Ainigma]

Testade den men resultatet blev bara att den hämtade ner en mappar med en index.html fil varje mapp, ingen pdf.

[johanre]

OK, men jag ser att sidan du försöker ladda ner ifrån kräver medlemsskap / inloggning och då får du lägga på (om det nu fungerar):

Kod: Markera allt

wget  --user=<ditt användarnamn> --password=<ditt lösenord> -r -A pdf http://www.minsajt.com

[Ainigma]

Nej jag har inget medlemskap men det kan inte vara det som är problemet. För det är flera pdf:er som jag kan tanka ner manuellt utan att vara medlem och det är bara dem jag är ute efter. De allra flesta är tillgängliga utan medlemskap.

[johanre]

Har testat med fem olika böcker och alla krävde medlemsskap, men har du några exempel på URL:er som inte kräver medlemsskap så testar jag gärna.

[Ainigma]

Klicka på t.ex. http://www.globalgrey.co.uk/category/bo ... apocrypha/

klicka sedan på ikonen för boken och sedan på PDF. Så kan du i princip göra på alla böcker som det står Free på vid bokikonen.

[Nemo]

Hej!
Länkarna till böckerna pekar inte direkt på själva PDF:en utan är istället en fråga eller anrop till servern att ta fram den PDF du vill ha. Av den anledningen fungerar det inte.

Själva URL:en för en bok ser ut enligt nedan
http://www.globalgrey.co.uk/?s2member_f ... nfirmation

Som du ser är det ingen direktlänk till PDF filen, vilket gör att du får det inte att fungera. Har du en sida med PDF:er samt direktlänkar till dessa borde det fungera på det sätt du är ute efter.

[Ainigma]

Ok jag förstår, det förklarar ju saken. Och det går inte att göra något kommando som går förbi det på något sätt?

[Nemo]

Inte vad jag känner till, men mina kunskaper i Terminalen är ganska begränsad. Kanske någon mer mer kunskap i Terminalen än mig själv har något tips att komma med.

[Ainigma]

Ok tack i alla fall. Ja kanske kan någon annan hjälpa till. Jag bör påpeka att det inte hjälper att använda webbspindeln HTTRACK i alla fall.

[globalgrey]

Hi,

Apologies for this being in English. I can't speak Swedish. I own and run the website www.globalgrey.co.uk, and found this forum thread via my stats.

I understand you're trying to get all the free PDF's from my site. Can I ask, are you trying to actually hack into my site or is this just some Ubuntu command?

I've had someone trying to hack my site in the past week (not you), so I am a bit paranoid

If all you want is the free PDFs, send me email and I can sort something out for you (maybe create a directory for you to access).

Aisha

[Ainigma]

Dear Aisha

No one is trying to hack into your site. It is just a discussion about how to use ubuntu commands to download and webcrawl various sites that have free PDFs Your site was just an example. However I am interested in downloading your free PDFs so if you can do such a directory that would be great.

[globalgrey]

Hi,

Thanks for replying, and thanks for reassuring me

Let me sort this out tomorrow, and I'll let you know here when it's done. I'll sort all the free PDFs and put them into a directory for you. Probably be in the morning. I would do it now, but I'm on my way out.

Thanks again, and hopefully you'll still visit the site