CodeKitHubČo je tento nástroj?
Vložené zoznamy — z tabuliek, exportov e-mailov, log súborov, extrahovaných dát — pravidelne obsahujú tých istých päť problémov: duplicitné záznamy, prázdne riadky, nekonzistentné úvodné/koncové medzery, dvojité medzery tam, kde má byť jedna, a žiadne konkrétne poradie. Vyriešenie všetkých piatich zvyčajne znamená prepínanie medzi samostatnými jednoúčelovými nástrojmi.
Tento nástroj vykoná všetkých päť ako jednu operáciu so zaškrtávacími políčkami, v poradí, na ktorom skutočne záleží (orezanie a zlúčenie medzier pred odstránením duplicít, aby boli „foo “ a „foo“ správne rozpoznané ako rovnaký riadok).
Prečo ho používať?
- Päť skutočných čistiacich operácií v jednom kroku, nielen odstránenie duplicít.
- Ovládanie zaškrtávacími políčkami — vypnite ktorýkoľvek krok, ktorý nechcete.
- Operácie sa vykonávajú v poradí, ktoré prináša správne výsledky (medzery normalizované pred odstránením duplicít).
- Zobrazuje presne, koľko riadkov bolo odstránených.
- Lokálne a súkromné — text nikdy neopustí váš prehliadač.
Ako sa používa
- Vložte svoj text alebo zoznam do vstupného poľa.
- Zaškrtnite operácie, ktoré chcete (všetky okrem zoradenia sú predvolene zapnuté).
- Kliknite na „Vyčistiť“ — výsledok sa zobrazí nižšie s počtom odstránených riadkov.
- Skopírujte vyčistený výsledok.
Príklad
Vstup
apple
banana
apple
banana
cherryVýstup
apple
banana
cherryMedzery sa najskôr normalizujú, takže „apple “ a „apple“ sú rozpoznané ako duplicity a zlúčené — bežný nedostatok jednoduchších nástrojov.
Bežné použitia
- Odstránenie duplicít zo zoznamu exportovaného z tabuľky alebo CRM pred jeho opätovným importom.
- Vyčistenie e-mailového zoznamu zlúčeného z viacerých zdrojov, odstránenie opakujúcich sa adries.
- Usporiadanie výstupu z log súboru — odstránenie prázdnych riadkov a duplicitných záznamov pred analýzou.
- Príprava zoznamu kľúčových slov alebo URL adries pre SEO nástroje, jeden čistý záznam na riadok.
Prečo poradie operácií mení výsledok
Spustenie týchto piatich operácií v nesprávnom poradí prináša jemne nesprávne výsledky, preto tento nástroj fixuje sekvenciu namiesto toho, aby nechal kroky bežať v ľubovoľnej kombinácii. Najjasnejší príklad: ak by odstránenie duplicít bežalo pred orezaním medzier, „apple“ a „apple “ (s koncovou medzerou) by boli považované za dva odlišné riadky a oba by zostali zachované, čo by ticho poprelo celý zmysel odstránenia duplicít. Spustenie orezania a zlúčenia ako prvé znamená, že každý riadok je vo svojej finálnej, kanonickej forme predtým, než nástroj skontroluje duplicity, takže riadky, ktoré sú vecne rovnaké — bez ohľadu na náhodné medzery zachytené pri kopírovaní — sú správne rozpoznané ako také. Rovnaká logika platí pre odstránenie prázdnych riadkov pred odstránením duplicít: nahromadenie prázdnych riadkov z rôznych zdrojov by sa inak porovnávalo spôsobmi, na ktorých pri skutočnom obsahu vôbec nezáleží.
Časté otázky
V akom poradí sa operácie vykonávajú?
Orezanie → zlúčenie medzier → odstránenie prázdnych riadkov → odstránenie duplicít → zoradenie. Na tomto poradí záleží: normalizácia medzier pred odstránením duplicít znamená, že riadky líšiace sa iba náhodnými medzerami sú správne rozpoznané ako duplicity.
Rozlišuje odstránenie duplicít veľké a malé písmená?
Áno — „Apple“ a „apple“ sú považované za odlišné riadky. Tým sa zabráni náhodnému zlúčeniu skutočne odlišných záznamov; ak potrebujete porovnávanie bez ohľadu na veľkosť písmen, najskôr prevedte text na malé písmená.
Čo sa použije na zoradenie čínskeho textu?
Abecedné poradie založené na pinyine, takže čínske záznamy sa zoraďujú tak, ako by boli v zozname kontaktov v telefóne, nie podľa surového kódu znaku.
Zvládne toto veľmi veľký zoznam?
Áno — spracovanie prebieha vo vašom prehliadači bez obmedzenia veľkosti, okrem toho, čo dokáže pojať pamäť vášho zariadenia, čo výrazne presahuje typické veľkosti exportov z tabuliek.
Nahrávajú sa moje dáta niekam?
Nie. Všetkých päť operácií beží ako lokálny JavaScript vo vašom prehliadači. Nič sa neodosiela na server, takže je to bezpečné použiť aj na exportované zoznamy zákazníkov alebo iné citlivé dáta.
Je toto to isté ako „odstraňovač duplicitných riadkov“?
Áno — odstránenie duplicitných riadkov je jednou z piatich operácií tu (spolu s orezaním, zlúčením medzier, odstránením prázdnych riadkov a zoradením). Zaškrtnite iba „Odstrániť duplicity“, ak je to všetko, čo potrebujete; ostatné štyri sú voliteľné.