Listen, die bereinigt werden, sind meist heikel
E-Mail-Adressen einer Kampagne, Bestellnummern, aus einem CRM exportierte Kundenkennungen. Genau die Daten, die man nicht in eine beliebige Webseite einfügen sollte. Hier läuft der Vorgang in deinem Tab, die Liste verlässt dein Gerät also nicht.
Die Reihenfolge bleibt erhalten
Von jeder wiederholten Zeile bleibt das erste Vorkommen, spätere entfallen. Nichts wird alphabetisch sortiert und die Abfolge bleibt unangetastet, denn in einer exportierten Liste bedeutet die Reihenfolge meist etwas.
Warum manches Duplikat stehen bleibt
Der Vergleich ist exakt, Zeichen für Zeichen. Ein Leerzeichen am Ende, ein anderer Großbuchstabe oder ein Windows-Wagenrücklauf machen aus zwei optisch gleichen Zeilen zwei verschiedene. Bei Verdacht normalisiere den Text zuerst mit dem Groß- und Kleinschreibungswandler.