Kommando för att radera dubletter i text

[Ainigma]

Vet något ett bra kommando för att radera dubletter av ord, epostadresser etc i en textfil?

[johanre]

Hhhmm, det beror lite på vad du vill åstadkomma och hur innehållet i texten ser ut.... Men, om du t.ex. har en lista med ord i en fil kallad "textfil" skulle du kunna:

Kod: Markera allt

cat textfil | uniq | sort 

Det ger dig endast unikt förekommande ord i textfilen, och dessutom alfanumeriskt sorterade. Vill du dessutom ha resultatet sparat i en annan fil kan du:

Kod: Markera allt

cat textfil | uniq | sort  > resultatfil 

Det här var bara lite grundläggande exempel, det finns såklart tonvis med varianter.

[Ainigma]

Nej det funkade inte. Epostlistan har fortfarande dubletterna kvar. Är osäker på om och vad kommandona gjorde.

[johanre]

Som sagt, mitt exempel utgick från en lista. Du måste vara lite mer beskrivande gällande innehållet i texten annars blir det svårt att lösa.

Sent from my Redmi 3 using Tapatalk

[Ainigma]

Kommandot ser ut att ta bort vissa dubletter men inte andra. T.e.x i textfilen ser har bl a. dessa adresser på rad:

QQQ@hotmail.se
....
....
....
zzzz.www@Yry.se
.....
.....

och resultatfilen har bara en av dessa vilket är som det ska. Med hos andra dubletter är det ingen skillnad. Tex. så har resultatfilen detta:

YYY.KKK@TTT.se
.....
.....

vilket inte borde vara fallet.

[a_jonsson]

Kommandot ser ut att ta bort vissa dubletter men inte andra.

uniq tar bara bort intill varandra liggande dubbletter. Pröva med att ändra ordningen till

Kod: Markera allt

cat textfil | sort | uniq 

så att sorteringen utförs först.

(möjligen även med flaggan -i efter uniq för att även ta bort dubbletter oavsett skiftläge)

[Ainigma]

Ja det blev bättre! Tack så mycket.

[JoWa]

Är det bra att posta dessa (eller andra) e-postadresser här?

[Ainigma]

Epostadresserna är offentliga adresser till organisationer så det ska väl inte vara ett problem.

[JoWa]

De tar nog med glädje emot mer spam.

[Ainigma]

Förstår piken fast den var fin . . tror dock inte att spamprogram hittar epostadresserna lättare här än på de webbsidor där epostadresser ursprungligen hämtats så jag vidhåller att det inte borde vara ett problem. Men om admin tror att det kan bli ett problem eller att det är olämpligt så får han/hon gärna ta bort tråden. Jag har ju fått mitt problem löst så det spelar ju ingen roll för mig om det tas bort. Såvitt jag förstår så kan inte jag ta bort inlägget.

[JoWa]

Du kan redigera dina inlägg.

[Ainigma]

aha, var det så enkelt . . det är alltså redigera knappen vid varje inlägg . . , okej då fixar jag det.