Hur "bygger" jag en sökspindel?

[ubot]

Jag är intresserad efter ett sätt att "scanna av" Internet i jakt på en viss typ av information, ungefär som Google gör, men mer specialiserat. Jag vet att det går att dumpa koden från en webbsida och sedan mha ett script filtrera ut saker osv. Finns det något mer effektivt sätt att söka igenom Internet? Jag vill tex leta upp allting som har skrivits om "svininfluensan" och sedan kanske samla in alla länkar som finns på samma sida som en artikel om "svininfluensan". Jag är helt enkelt på jakt efter en bra sökrobot som klarar av att söka efter en viss typ av info på Nätet.

[Rune.K]

Om du inte är ute efter att skriva en sökmotor själv...

Då antar jag att du är ute en Metasearch typ dogpile eller mamma
Länkar > http://searchenginewatch.com/links/ och http://searchenginewatch.com/2156241

Min favorit-Metasearch sedan länge är http://www.dogpile.com
Kolla http://www.dogpile.com/dogpile/ws/resul ... ceUrl=true där jag sökte på "ubot ubuntu sverige"

Du ubot, har ett nick som är svårt att söka på...

[ubot]

Om du inte är ute efter att skriva en sökmotor själv...

Då antar jag att du är ute en Metasearch typ dogpile eller mamma
Länkar > http://searchenginewatch.com/links/ och http://searchenginewatch.com/2156241

Min favorit-Metasearch sedan länge är http://www.dogpile.com
Kolla http://www.dogpile.com/dogpile/ws/resul ... ceUrl=true där jag sökte på "ubot ubuntu sverige"

Du ubot, har ett nick som är svårt att söka på...

Nja, jag är ute efter ett alternativ till: lynx -source http://example.com/webbsida.html | grep "http.*", typ. Dvs ett sätt att söka igenom Internet efter en viss information, ungefär som Googles sökspindlar förmodligen gör då dom springer runt på Nätet och letar efter information. Jag är inte ute efter en sökmotor, utan ett sätt att skrap webbsidor på en viss sorts information, typ alla länkar eller allt som står i webbsidans footer eller så. Tja, alltså, en sökspindel som är bra på att hitta en viss sorts information.

[Rune.K]

Nja, jag är ute efter ett alternativ till: lynx -source http://example.com/webbsida.html | grep "http.*", typ. Dvs ett sätt att söka igenom Internet efter en viss information, ungefär som Googles sökspindlar förmodligen gör då dom springer runt på Nätet och letar efter information. Jag är inte ute efter en sökmotor, utan ett sätt att skrap webbsidor på en viss sorts information, typ alla länkar eller allt som står i webbsidans footer eller så. Tja, alltså, en sökspindel som är bra på att hitta en viss sorts information.

Då måste jag erkänna att jag inte hjälpa dej...
Om det är inte någon här som har någon idé, så föreslår jag att du postar din fråga på linuxportalen.