Textbereiniger Online – Duplikate und Leerzeichen entfernen

Die meisten Online-Tools zum Entfernen doppelter Zeilen erfüllen genau eine Funktion. Dieses Tool vereint die fünf Bereinigungsvorgänge, die Sie tatsächlich benötigen – Duplikate entfernen, Leerzeilen entfernen, Leerzeichen kürzen, Leerzeichen zusammenfassen und sortieren – in einem einzigen Durchgang mit Kontrollkästchen, sodass unübersichtliche Listen und eingefügte Daten mit einem einzigen Klick bereinigt werden können, anstatt fünf verschiedene Tools nutzen zu müssen.

Was ist dieses Tool?

Eingefügte Listen – aus Tabellenkalkulationen, E-Mail-Exporten, Protokolldateien oder gescrapten Daten – weisen regelmäßig dieselben fünf Probleme auf: doppelte Einträge, Leerzeilen, uneinheitliche Leerzeichen am Anfang oder Ende von Zeilen, doppelte Leerzeichen an Stellen, an denen nur ein Leerzeichen stehen sollte, sowie eine willkürliche Reihenfolge. Um alle fünf Probleme zu beheben, muss man in der Regel zwischen verschiedenen Spezialtools hin- und herwechseln.

Dieses Tool führt alle fünf Schritte als einen einzigen Vorgang mit Kontrollkästchen in der Reihenfolge aus, auf die es tatsächlich ankommt (Leerzeichen vor der Deduplizierung entfernen und zusammenfassen, damit „foo “ und „foo“ korrekt als dieselbe Zeile erkannt werden).

Warum sollte man es nutzen?

Fünf echte Bereinigungsvorgänge in einem Durchgang – nicht nur Datendeduplizierung.
Kontrollkästchen – Deaktivieren Sie alle Schritte, die Sie nicht ausführen möchten.
Die Operationen werden in der Reihenfolge ausgeführt, die zu korrekten Ergebnissen führt (Leerzeichen werden vor der Duplikatsbereinigung normalisiert).
Zeigt genau an, wie viele Zeilen entfernt wurden.
Lokal und privat – der Text verlässt Ihren Browser zu keinem Zeitpunkt.

Anleitung

Fügen Sie Ihren Text oder Ihre Liste in das Eingabefeld ein.
Wählen Sie die gewünschten Funktionen aus (alle Funktionen außer der Sortierung sind standardmäßig aktiviert).
Klicken Sie auf „Clean“ – das Ergebnis wird unten mit der Anzahl der entfernten Zeilen angezeigt.
Kopieren Sie das bereinigte Ergebnis.

Beispiel

Eingabe

apple 
banana

apple
  banana  
cherry

Ausgabe

apple
banana
cherry

Leerzeichen werden zunächst normalisiert, sodass „apple “ und „apple“ als Duplikate erkannt und zusammengeführt werden – ein häufiger Fehler bei einfacheren Tools.

Häufige Verwendungszwecke

Eine aus einer Tabellenkalkulation oder einem CRM-System exportierte Liste vor dem erneuten Import auf Duplikate prüfen.
Bereinigung einer aus mehreren Quellen zusammengeführten E-Mail-Liste durch Entfernen doppelter Adressen.
Aufbereiten der Logdatei-Ausgabe – Entfernen von Leerzeilen und doppelten Einträgen vor der Analyse.
Erstellung einer Liste mit Suchbegriffen oder URLs für SEO-Tools, jeweils ein Eintrag pro Zeile.

Warum die Reihenfolge der Rechenoperationen das Ergebnis verändert

Werden diese fünf Vorgänge in der falschen Reihenfolge ausgeführt, führt dies zu subtil falschen Ergebnissen. Aus diesem Grund legt dieses Tool die Reihenfolge fest, anstatt die Schritte in beliebiger Kombination ausführen zu lassen. Das deutlichste Beispiel: Würde die Duplikatsbereinigung vor dem Entfernen von Leerzeichen erfolgen, würden „apple“ und „apple “ (mit einem abschließenden Leerzeichen) als zwei verschiedene Zeilen behandelt und beide beibehalten, wodurch der gesamte Sinn der Duplikatsbereinigung stillschweigend zunichte gemacht würde. Wird das Entfernen und Zusammenführen von Leerzeichen zuerst ausgeführt, liegt jede Zeile bereits in ihrer endgültigen, kanonischen Form vor, bevor das Tool auf Duplikate prüft. So werden Zeilen, die inhaltlich identisch sind – unabhängig von vereinzelten Leerzeichen, die beim Kopieren und Einfügen übernommen wurden –, korrekt als solche erkannt. Die gleiche Logik gilt für das Entfernen von Leerzeilen vor der Deduplizierung: Eine Ansammlung von Leerzeilen aus verschiedenen Quellen würde andernfalls auf eine Weise miteinander verglichen werden, die für den eigentlichen Inhalt irrelevant ist.

Häufig gestellte Fragen

In welcher Reihenfolge werden die Operationen angewendet?

Bereinigen → Leerzeichen zusammenführen → Leerzeilen entfernen → Duplikate entfernen → sortieren. Die Reihenfolge ist entscheidend: Durch die Normalisierung der Leerzeichen vor dem Entfernen von Duplikaten werden Zeilen, die sich nur durch vereinzelte Leerzeichen unterscheiden, korrekt als Duplikate behandelt.

Wird bei der Deduplizierung zwischen Groß- und Kleinschreibung unterschieden?

Ja – „Apple“ und „apple“ werden als unterschiedliche Zeilen behandelt. Dadurch wird vermieden, dass tatsächlich unterschiedliche Einträge versehentlich zusammengeführt werden; wenn Sie eine Groß-/Kleinschreibung ignorierende Suche wünschen, schreiben Sie Ihren Text zunächst in Kleinbuchstaben.

Was wird bei der Sortierung von chinesischem Text verwendet?

Alphabetische Sortierung nach Pinyin, sodass chinesische Einträge so sortiert werden, wie sie in einer Telefonkontaktliste erscheinen würden, und nicht nach dem reinen Zeichencode.

Wird das auch bei einer sehr großen Liste funktionieren?

Ja – die Verarbeitung erfolgt in Ihrem Browser, wobei die einzige Größenbeschränkung die Speicherkapazität Ihres Geräts ist, die weit über die üblichen Größen von Tabellenkalkulations-Exporten hinausgeht.

Werden meine Daten irgendwo hochgeladen?

Nein. Alle fünf Funktionen werden als lokales JavaScript in Ihrem Browser ausgeführt. Es werden keine Daten an einen Server gesendet, sodass die Verwendung bei exportierten Kundenlisten oder anderen sensiblen Daten unbedenklich ist.

Ist das dasselbe wie ein „Duplikatszeilen-Entferner“?

Ja – das Entfernen doppelter Zeilen ist eine der fünf hier verfügbaren Funktionen (neben dem Kürzen, dem Zusammenführen von Leerzeichen, dem Entfernen von Leerzeichen und dem Sortieren). Aktivieren Sie nur „Duplikate entfernen“, wenn Sie nur diese Funktion benötigen; die anderen vier sind optional.

Text-Reiniger online