オンラインテキストクリーナー

ネット上の重複行削除ツールの多くは、たった1つの機能しか備えていません。このツールは、実際に必要な5つの整理機能――重複削除、空白行の削除、空白文字の削除、スペースの圧縮、並び替え――を、チェックボックス付きの1回の処理に統合しています。そのため、乱雑なリストや貼り付けたデータも、5つの別々のツールを使う代わりに、ワンクリックで修正できます。

このツールとは？

スプレッドシート、メールのエクスポートデータ、ログファイル、スクレイピングしたデータなどから貼り付けられたリストには、常に以下の5つの問題が見られます。それは、重複するエントリ、空白行、先頭や末尾のスペースの不統一、1つあるべきところに2つのスペースが入っていること、そして特定の順序がないことです。これら5つの問題をすべて修正するには、通常、それぞれ単一の目的を持つ別々のツールを切り替えて作業することになります。

このツールは、チェックボックスを使用してこれら5つの処理を1つの操作として実行し、実際に重要な順序で処理を行います（重複排除の前にスペースのトリミングと圧縮を行うため、「foo 」と「foo」が正しく同じ行として認識されます）。

なぜこれを使うのか？

単なる重複排除にとどまらず、1回の処理で5つの本格的なクリーンアップ操作を実行します。
チェックボックスコントロール — 不要な手順はすべてオフにしてください。
演算は、正しい結果が得られる順序で実行されます（重複排除の前に空白が正規化されます）。
削除された行数が正確に表示されます。
ローカルかつプライベート — テキストはブラウザの外に出ることはありません。

使い方

テキストやリストを入力ボックスに貼り付けてください。
必要な操作にチェックを入れてください（ソートを除くすべての操作は、デフォルトで有効になっています）。
「クリーンにする」をクリックすると、削除された行数が表示された結果が以下に表示されます。
クリーンアップされた結果をコピーします。

例

入力

apple 
banana

apple
  banana  
cherry

出力

apple
banana
cherry

まず空白が正規化されるため、「apple 」と「apple」は重複として認識され、統合されます。これは、より単純なツールではよく見られる見落としです。

一般的な用途

スプレッドシートやCRMからエクスポートしたリストを、再インポートする前に重複データを削除する。
複数のソースから統合されたメーリングリストを整理し、重複するアドレスを削除する。
ログファイルの出力を整理する — 分析の前に、空白行や重複するエントリを削除する。
SEOツール用のキーワードまたはURLリストを作成します。1行につき1つの項目を明記してください。

なぜ操作順序によって結果が変わるのか

これら5つの処理を間違った順序で実行すると、わずかに誤った結果が生じてしまいます。そのため、このツールでは、処理を任意の組み合わせで実行させるのではなく、順序を正しく整えるようになっています。最もわかりやすい例を挙げると、重複排除が空白の削除よりも先に実行された場合、「apple」と「apple 」（末尾にスペースがあるもの）は2つの異なる行として扱われ、両方とも保持されてしまいます。これにより、重複排除を行う本来の目的が、何の警告もなく無意味なものになってしまいます。まず「トリムと折りたたみ」を実行することで、ツールが重複をチェックする前にすべての行が最終的な正規形式になるため、コピー＆ペーストによって混入した余分な空白に関係なく、実質的に同じ行は正しくそのように認識されます。同じ論理は、重複排除の前に空白行の削除を行う場合にも当てはまります。そうしないと、異なるソースからの空白行が蓄積され、実際のコンテンツとは無関係な形で互いに比較されてしまうことになります。

よくある質問

演算はどのような順序で適用されるのでしょうか？

トリム → スペースの圧縮 → 空白行の削除 → 重複の削除 → ソート。この順序は重要です。重複の削除の前に空白を正規化することで、余分なスペースの違いだけで異なる行が、正しく重複として扱われるようになります。

重複排除処理では大文字と小文字が区別されますか？

はい。「Apple」と「apple」は別々の行として扱われます。これにより、本来異なるエントリが誤って統合されるのを防ぐことができます。大文字と小文字を区別しない一致が必要な場合は、まずテキストを小文字に変換してください。

中国語のテキストのソートには何が使用されますか？

ピンインに基づくアルファベット順のため、中国語の項目は、文字コードそのものによる順序ではなく、携帯電話の連絡先リストと同じような順序で並べ替えられます。

これは、非常に大規模なリストにも対応できますか？

はい。処理はブラウザ内で行われ、デバイスのメモリ容量を超える限り、サイズ制限はありません。これは、一般的なスプレッドシートのエクスポートサイズをはるかに上回るものです。

私のデータはどこかにアップロードされていますか？

いいえ。5つの操作はすべて、お使いのブラウザ上でローカルのJavaScriptとして実行されます。サーバーへ送信されるデータは一切ないため、エクスポートされた顧客リストやその他の機密データに対しても安心してご利用いただけます。

これは「重複行削除機能」と同じものですか？

はい。重複行の削除は、ここにある5つの操作のうちの1つです（トリミング、スペースの圧縮、空白の削除、ソートと並んで）。必要なのが「重複行の削除」だけなら、その項目にのみチェックを入れてください。他の4つは任意です。