linux コマンド uniq ファイル内の重複行チェック

バイオインフォ道場、くまぞうです。

ソート済みのファイルから重複しない行を抽出します。ソートしていないファイルでは「uniq」処理できません。「sort」実行後に「uniq」処理するのを習慣化した方が良いと思います。

構文

uniq [オプション] [ファイル…]

主なオプション

• -d
  重複した行のみを表示します。
• -u
  重複していない行のみを表示します。

実行例

• ファイル１：data/uniq_test.txt

  aaa 123
  aaa 123
  bbb 123
  ccc 123
  

• uniq（重複なしのみ表示）

  $ uniq uniq_test.txt
  aaa 123
  bbb 123
  ccc 123
  

• uniq（重複ありのみ表示）

  $ uniq -D uniq_test.txt
  aaa 123
  aaa 123
  

• ファイルがソートされていない場合：data/uniq_test2.txt

  aaa 123
  bbb 123
  ccc 123
  aaa 123
  

• uniq（ソートされてないファイルでは、計算がうまく出来ません）

  $ uniq uniq_test2.txt
  aaa 123
  bbb 123
  ccc 123
  aaa 123
  

• uniq実行前にソートする

  $ sort uniq_test2.txt | uniq
  aaa 123
  bbb 123
  ccc 123
  

[amazonjs asin=”4797382384″ locale=”JP” title=”Linuxコマンドブック ビギナーズ 第4版 (コマンドブックシリーズ)”]