Logstash

[uppsalanet]

Någon här som har erfarenhet av logstash redis och elasticsearch med kibana gui?

Försöker förstå den skalar mot min nuvarande centrala syslog-ng setup som loggar ~20000 rader/sekund via udp från ~600 maskiner.

Hittar inte så mycket information om hur den kan klustras och failover etc. Hur mycket mer disk den kommer att behöva. Läste på något forum att elasticsearch har en faktor 10 i volym efter indexering av loggfilerna.

/Fredrik

[johanre]

Har själv precis börjat titta på dem (läs igår) så jag har inget att bidra gällande produkterna specifikt. Däremot så körde jag på min tidigare arbetsplats Splunk. Och, ja, mängden loggdata förändras ju inte i sig, däremot behöver du bra prestanda i CPU och I/O för att kunna göra någon givande analys av logginfon.

Kluster och failover har jag inte kommit till än men syftet här är ju primärt logganalys, redundansen i loggdata fixar man via backup, tänker jag. Hur ser du på det?

[uppsalanet]

Jag har tittat på splunk och tycker att deras prissättning är galen.
Kan även nämna att vi tittar på syslog-ng och deras SSB (The syslog-ng Store Box™ (SSB) is a high-reliability log management appliance that builds on the strengths of syslog-ng Premium Edition).
Jag har en SSB installerad och har svårt att förstå vad den ska ge för mervärde, ett gui att söka i för Windows anv?!.

Logstash parsar loggrader och verkar göra det riktigt bra, samt att elasticsearch indexerar det på ett bra sätt. Om man sedan lägger kibana "ovanpå" så har man en ganska komplett analysverktyg.

När man tittar runt på logstash och elasticsearch så är det en faktor 10 mer disk som behövs jämfört med att som traditionellt skriva ner en flatfil som sedan packas.

Det jag inte greppar riktigt och jag har frågat runt på #logstash är:
*Jag hittar inga tester (rekommendationer) cpu, disk etc.
*Backup möjligheter, idag är det enkelt att rotera och tara en fil för att sedan skicka den till backup.
*Lagring, är det elasticsearch eller redis som ska lagra datan?

Hittar ingen bra teknisk dokumentation samt några "best practice" skulle vara fint att läsa om.

//Fredrik

[uppsalanet]

Kanske man ska göra så här...
man låter klienterna (win, linux, unix...) logga till:
syslog-ng (udp, tcp ssl) -->
Skickar vidare det som ska analyseras (apache dns dhcp..) till logstach.

Då låter man beprovad teknik hantera core data samt rotering och backup och sedan skickar man vissa loggar till analys (logstash)?
Vad tror du?

/Fredrik

[johanre]

Kanske man ska göra så här...
man låter klienterna (win, linux, unix...) logga till:
syslog-ng (udp, tcp ssl) -->
Skickar vidare det som ska analyseras (apache dns dhcp..) till logstach.

Då låter man beprovad teknik hantera core data samt rotering och backup och sedan skickar man vissa loggar till analys (logstash)?
Vad tror du?

Absolut, det är definitivt en möjlighet. Mycket handlar ju om vilka faror man ser och vad man vill prioritera. Med det tillvägagångssättet kan du ju alltid följa upp sysloggarna för en klient som eventuellt har orsakat problem på en av dina servrar. Skulle det däremot visa sig vara ett återkommande problem får du kanske fundera på att dra in klientloggarna i logstash också?

På Splunk installationen jag jobbade med, drog vi in loggar för ~4000 servrar. Vi hade en server med 16 kärnor, 64GB RAM, lokal disklösning. Det räckte inte, när något större problem spökade i nätet kunde den gå på knäna ändå.

[uppsalanet]

Absolut, det är definitivt en möjlighet. Mycket handlar ju om vilka faror man ser och vad man vill prioritera. Med det tillvägagångssättet kan du ju alltid följa upp sysloggarna för en klient som eventuellt har orsakat problem på en av dina servrar. Skulle det däremot visa sig vara ett återkommande problem får du kanske fundera på att dra in klientloggarna i logstash också?

I mitt fall är vi skyldiga att spara och ta hand om loggar (myndighet). Logstash kanske är lite ungt (2010) för att kliva på till 100%. Lösningen vi har i dag är stabil, syslog-ng, men tillåter inte vidare analys för att proaktivt hantera loggarna. Klart att det går att knöla med script som letar efter vissa mönster i loggarna, men det är att backa in i framtiden ala 1987.

Kommer nog sikta på en syslog-ng med failover och sedan skicka viss data för analys till Logstash-Elastic-Kibana.

@Johan jag ska absolut göra en djupdykning, återkommer :-) Kommer du på något smart så får du gärna höra av dig.

//Fredrik

[uppsalanet]

Nu har jag installerat och testat med riktig data för att se hur det skalar.

Så här satte jag upp det:
Maskin #1 - syslog-ng som central syslog på den lägger jag en Logstash som parsar och skickar vidare till redis "message queue".
Maskin #2 - redis "message queue".
Maskin #3 - Logstash som hämtar från redis och skickar det vidare till elasticsearch. Kibana ligger som ett GUI över elasticsearch.

Fungerar riktigt bra, lätt att skala med fler noder både redis och elasticsearch.

EKL (elasticsearch Kibana Logstash) driftas idag av företaget Elasticsearch dom säljer support av olika grad, har pratat med dom och verkar proffsiga och kompetenta.

Ni hitta deb och rmp på deras hemsida om man vill installera.
/Fredrik

[johanre]

Snyggt, Fredrik, riktigt bra! Skall pilla med detta när jag får tid...(famous last words )