ファイルから重複する行を削除する方法


方法1: sortとuniqコマンドを使用する方法

sort input.txt | uniq > output.txt

この方法では、まずsortコマンドを使用してファイルをソートし、次にuniqコマンドを使用して重複行を削除します。最終結果はoutput.txtに保存されます。

方法2: awkを使用する方法

awk '!seen[$0]++' input.txt > output.txt

この方法では、awkコマンドを使用して重複行を削除します。seenという連想配列を使用し、各行をキーとして重複チェックを行います。最終結果はoutput.txtに保存されます。

方法3: Perlを使用する方法

perl -ne 'print unless $seen{$_}++' input.txt > output.txt

この方法では、perlコマンドを使用して重複行を削除します。seenというハッシュを使用し、各行をキーとして重複チェックを行います。最終結果はoutput.txtに保存されます。

これらの方法を使用すると、ファイルから重複する行を簡単に削除できます。必要に応じて、上記のコード例を参考にして、自分の要件に合わせた方法を選択してください。