CodeKitHubMis see tööriist on?
Kleebitud loendid — tabelitest, e-posti eksportidest, logifailidest, kraabitud andmetest — kannavad sageli endaga kaasas samu viit probleemi: korduvad kirjed, tühjad read, ebaühtlased algus-/lõputühikud, kaks tühikut seal, kus peaks olema üks, ja mingit kindlat järjekorda pole. Kõigi viie parandamine tähendab tavaliselt hüppamist erinevate ühe-funktsiooniliste tööriistade vahel.
See tööriist käivitab kõik viis ühe toiminguna märkeruutudega, järjekorras, mis tegelikult loeb (tühikute kärpimine ja kokkusurumine enne duplikaatide eemaldamist, nii et "foo " ja "foo" tunnistatakse õigesti samaks reaks).
Miks seda kasutada?
- Viis reaalset puhastustoimingut ühes käigus, mitte ainult duplikaatide eemaldamine.
- Märkeruutude kontroll — lülita välja mistahes samm, mida sa ei vaja.
- Toimingud käivad õiget tulemust andvas järjekorras (tühikud normaliseeritakse enne duplikaatide eemaldamist).
- Näitab täpselt, mitu rida eemaldati.
- Kohalik ja privaatne — tekst ei lahku kunagi sinu brauserist.
Kuidas kasutada
- Kleebi oma tekst või loend sisestuskasti.
- Märgi soovitud toimingud (kõik peale sorteerimise on vaikimisi sisse lülitatud).
- Klõpsa "Puhasta" — tulemus ilmub alla koos eemaldatud ridade arvuga.
- Kopeeri puhastatud tulemus.
Näide
Sisend
apple
banana
apple
banana
cherryTulemus
apple
banana
cherryTühikud normaliseeritakse esmalt, nii et "apple " ja "apple" tunnistatakse duplikaatideks ja ühendatakse — levinud viga lihtsamates tööriistades.
Levinud kasutusalad
- Tabelist või CRM-ist eksporditud loendi duplikaatide eemaldamine enne selle taasimportimist.
- Mitmest allikast liidetud e-posti nimekirja korrastamine, korduvate aadresside eemaldamine.
- Logifaili väljundi korrastamine — tühjade ridade ja korduvate kirjete eemaldamine enne analüüsi.
- Märksõna- või URL-nimekirja ettevalmistamine SEO tööriistadele, üks puhas kirje rea kohta.
Miks toimingute järjekord tulemust muudab
Nende viie toimingu vales järjekorras käivitamine annab peenelt vale tulemuse, mistõttu see tööriist fikseerib järjekorra, selle asemel et lasta sammudel käia mistahes kombinatsioonis. Kõige selgem näide: kui duplikaatide eemaldamine käiks enne tühikute kärpimist, käsitletaks "apple" ja "apple " (lõputühikuga) kahe erineva reana ja mõlemad säiliksid, tühistades vaikselt kogu duplikaatide eemaldamise mõtte. Kärpimise ja kokkusurumise käivitamine esimesena tähendab, et iga rida on oma lõplikus, kanoonilises kujus enne, kui tööriist duplikaate kontrollib, nii et sisuliselt samad read — sõltumata kopeerimisel-kleepimisel tekkinud juhuslikest tühikutest — tunnistatakse õigesti samaks. Sama loogika kehtib ka tühjade ridade eemaldamise kohta enne duplikaatide eemaldamist: erinevatest allikatest kogunenud tühjad read võrreldaks muidu omavahel viisidel, mis tegeliku sisu jaoks ebaolulised on.
Korduma kippuvad küsimused
Millises järjekorras toimingud rakenduvad?
Kärpimine → tühikute kokkusurumine → tühjade ridade eemaldamine → duplikaatide eemaldamine → sorteerimine. See järjekord on oluline: tühikute normaliseerimine enne duplikaatide eemaldamist tähendab, et read, mis erinevad ainult juhuslike tühikute poolest, tunnistatakse õigesti duplikaatideks.
Kas duplikaatide eemaldamine on tähesuurtaset eristav?
Jah — "Apple" ja "apple" käsitletakse erinevate ridadena. See väldib kogemata erinevate kirjete ühendamist; kui vajad tähesuurtaset mitteeristavat sobitamist, muuda oma tekst esmalt väiketähtedeks.
Mida kasutatakse hiina teksti sorteerimiseks?
Pinyinipõhist tähestikulist järjekorda, nii et hiina kirjed sorteeritakse samamoodi nagu telefoni kontaktide nimekirjas, mitte toore märgikoodi järgi.
Kas see töötab ka väga suure loendiga?
Jah — töötlus toimub sinu brauseris ilma suurusepiiranguta, mida vaid sinu seadme mälu piirab, mis on kaugelt üle tavapäraste tabeliekspordi suuruste.
Kas mu andmed laaditakse kuhugi üles?
Ei. Kõik viis toimingut käivad kohaliku JavaScriptina sinu brauseris. Midagi ei saadeta serverisse, seega on see ohutu kasutamiseks eksporditud kliendinimekirjadel või muudel tundlikel andmetel.
Kas see on sama, mis "korduvate ridade eemaldaja"?
Jah — korduvate ridade eemaldamine on üks siinsest viiest toimingust (koos kärpimise, tühikute kokkusurumise, tühjade ridade eemaldamise ja sorteerimisega). Märgi ainult "Eemalda duplikaadid", kui just seda vajad; ülejäänud neli on valikulised.