Forum för Ubuntus svenska gemenskap
https://ubuntu-se.servebbs.org/
Så här kan du göra lite snabbt:ubot skrev:Jag har försökt med curl, lynx -source, grep, sed, awk mm för att hämta titeln på en webbsida, men det var knepigare än jag trodde. Hur gör jag för att se vilken titel en webbisa med en speciell URL har, dvs informationen som finns mellan title-taggarna i webbsidans kod?
Kod: Markera allt
lynx --source dindoman.se | grep "<title>" | sed -e 's|.*<title>||' -e 's|</title>.*||'Hm, ok, tackar. Men fungerar koden verkligen om title-taggarna ligger på två olika rader. Ibland så är inte <title> och </title> på samma rad.micke_nordin skrev:Så här kan du göra lite snabbt:ubot skrev:Jag har försökt med curl, lynx -source, grep, sed, awk mm för att hämta titeln på en webbsida, men det var knepigare än jag trodde. Hur gör jag för att se vilken titel en webbisa med en speciell URL har, dvs informationen som finns mellan title-taggarna i webbsidans kod?dindoman.se byter du naturligtvis ut mot (en variabel med) sökvägen till den sida du vill kolla titeln på.Kod: Markera allt
lynx --source dindoman.se | grep "<title>" | sed -e 's|.*<title>||' -e 's|</title>.*||'
/Micke
Ja, den funkar så länge <title> och innehållet i taggen står på samma rad, </title> kan dock stå på en annan rad. Om du vill ha en riktig parser kan du titta påubot skrev:
Hm, ok, tackar. Men fungerar koden verkligen om title-taggarna ligger på två olika rader. Ibland så är inte <title> och </title> på samma rad.
xmlstarlet som jag tror kan parsa html på riktigt.ubot skrev: Hm, ok, tackar. Men fungerar koden verkligen om title-taggarna ligger på två olika rader. Ibland så är inte <title> och </title> på samma rad.
Kod: Markera allt
#!/usr/bin/perl -w
use strict;
print "Get title v0.1\n";
my $url = "http://google.com";
print "url=$url\n";
my $tmp_page_html = "tmp.page.html";
my $page_str = "";
system("wget", "-q", $url, "-O$tmp_page_html");
if(-e $tmp_page_html)
{
open FILE, $tmp_page_html or die( "Can\'t open file $tmp_page_html \n");
my $i = 0;
while (my $line = <FILE>)
{
$page_str .= $line;
}
close FILE;
unlink $tmp_page_html;
}
if($page_str =~ /<title>(.*)<\/title>/is)
{
print "Title: ".$&."\n";
print "Title: ".$1."\n";
}
1;
Om man titta på Aftonbladets sida så ser man att deras titel-tagg ser ut såhär:micke_nordin skrev:Ja, den funkar så länge <title> och innehållet i taggen står på samma rad, </title> kan dock stå på en annan rad. Om du vill ha en riktig parser kan du titta påubot skrev:
Hm, ok, tackar. Men fungerar koden verkligen om title-taggarna ligger på två olika rader. Ibland så är inte <title> och </title> på samma rad.
/Micke
Kod: Markera allt
<title>
Aftonbladet: Sveriges nyhetsportal </title>
Kod: Markera allt
xargs: unmatched single quote; by default quotes are special to xargs unless you use the -0 optionÖhhh, läste du mitt svar?ubot skrev:Om man titta på Aftonbladets sida så ser man att deras titel-tagg ser ut såhär:
Dvs då fungerar inte ditt förslag. Nej, det håller inte. Jag behöver en metod som är mer säker. Får kolla på xml starlet.Kod: Markera allt
<title> Aftonbladet: Sveriges nyhetsportal </title>
Kod: Markera allt
Get title v0.1
url=http://www.aftonbladet.se/
Title: <title>
Aftonbladet: Sveriges nyhetsportal </title>
Title:
Aftonbladet: Sveriges nyhetsportal
Öh, på dig själv gubbe.jsiei97 skrev:ubot skrev: Hm, ok, tackar. Men fungerar koden verkligen om title-taggarna ligger på två olika rader. Ibland så är inte <title> och </title> på samma rad.
Man kan ju ta fram perl och lite regexp för att lösa problemet också
http://xkcd.com/208/
Kod: Markera allt
#!/usr/bin/perl -w use strict; print "Get title v0.1\n"; my $url = "http://google.com"; print "url=$url\n"; my $tmp_page_html = "tmp.page.html"; my $page_str = ""; system("wget", "-q", $url, "-O$tmp_page_html"); if(-e $tmp_page_html) { open FILE, $tmp_page_html or die( "Can\'t open file $tmp_page_html \n"); my $i = 0; while (my $line = <FILE>) { $page_str .= $line; } close FILE; unlink $tmp_page_html; } if($page_str =~ /<title>(.*)<\/title>/is) { print "Title: ".$&."\n"; print "Title: ".$1."\n"; } 1;
Nej, jag filar fortfarande på min andra lösning. Det fungerar säkert med din metod, men jag vill ju få det att fungera med grep/sed eller awk. Tycker det är irriterande att det inte går så. Det hade varit bra med ett php-kod också, då har jag möjlighet att baka in koden i en php-fil som jag redan har. Jag har hittat en här koden, men det Terminalen klagar på:Kod: Markera allt
Fatal error: Call to undefined function getTextBetweenTags() in...Kod: Markera allt
<?php
$html = '<body>
<h1>Heading</h1>
<a href="http://phpro.org">PHPRO.ORG</a>
<p>paragraph here</p>
<p>Paragraph with a <a href="http://phpro.org">LINK TO PHPRO.ORG</a></p>
<p>This is a broken paragraph
</body>';
$content = getTextBetweenTags('a', $html);
foreach( $content as $item )
{
echo $item.'<br />';
}
?>xmlstarlet är väl bara för xml, inte html, eller?micke_nordin skrev:Ja, den funkar så länge <title> och innehållet i taggen står på samma rad, </title> kan dock stå på en annan rad. Om du vill ha en riktig parser kan du titta påubot skrev:
Hm, ok, tackar. Men fungerar koden verkligen om title-taggarna ligger på två olika rader. Ibland så är inte <title> och </title> på samma rad.
/Micke
Lycka till.ubot skrev: Öh, på dig själv gubbe.
Kolla dokumentationen. För html kör du med flaggan --html eller -Hubot skrev: xmlstarlet är väl bara för xml, inte html, eller?
Nej, men jag vill helst ha något bash-kommando, php eller kanske xmlstarlet. Din lösning är säkert bra, men först vill jag testa med programspråk som jag har lite kläm på och inte blanda in Pearl.jsiei97 skrev:Lycka till.ubot skrev: Öh, på dig själv gubbe.
Ja du har inte lagt in funktionen getTextBetweenTags i din kod. Om du gör så här så funkar det:ubot skrev: Finns det något enkelt sätt att få php-koden att fungera utan error?
Kod: Markera allt
<?php
function getTextBetweenTags($tag, $html)
{
$pattern = "/<$tag?.*>(.*?)<\/$tag>/";
preg_match_all($pattern, $html, $matches);
return $matches[1];
}
$html = '<body>
<h1>Heading</h1>
<a href="http://phpro.org">PHPRO.ORG</a>
<p>paragraph here</p>
<p>Paragraph with a <a href="http://phpro.org">LINK TO PHPRO.ORG</a></p>
<p>This is a broken paragraph
</body>';
$content = getTextBetweenTags('a', $html);
foreach( $content as $item )
{
echo $item.'<br />';
}
?>
Ok, as simple as that alltså.micke_nordin skrev:Ja du har inte lagt in funktionen getTextBetweenTags i din kod. Om du gör så här så funkar det:ubot skrev: Finns det något enkelt sätt att få php-koden att fungera utan error?/MickeKod: Markera allt
<?php function getTextBetweenTags($tag, $html) { $pattern = "/<$tag?.*>(.*?)<\/$tag>/"; preg_match_all($pattern, $html, $matches); return $matches[1]; } $html = '<body> <h1>Heading</h1> <a href="http://phpro.org">PHPRO.ORG</a> <p>paragraph here</p> <p>Paragraph with a <a href="http://phpro.org">LINK TO PHPRO.ORG</a></p> <p>This is a broken paragraph </body>'; $content = getTextBetweenTags('a', $html); foreach( $content as $item ) { echo $item.'<br />'; } ?>
Jag ska göra ett försök. Tack.Kod: Markera allt
<?php
function getTextBetweenTags($tag, $html)
{
$pattern = "/<$tag?.*>(.*?)<\/$tag>/";
preg_match_all($pattern, $html, $matches);
return $matches[1];
}
$html = file_get_contents($_ENV['var']);
$content = getTextBetweenTags('title', $html);
foreach( $content as $item )
{
echo $item;
}
?>Ok, jag har varit inne på det förut, men utan att riktigt lyckas. Jag får göra ett försök. Det kanske fungerar med \\r och [/b], inte bara med \\n. Vad betyder \\r\\n[/b] egentligen? Och varför två (\)? Förut hade jag bara ett (\)-tecken?Lars skrev:Kör resultatet genom tr -d \\r\\n för att få allt på en rad.