linux コマンド uniq ファイル内の重複行チェック

バイオインフォ道場、くまぞうです。

ソート済みのファイルから重複しない行を抽出します。ソートしていないファイルでは「uniq」処理できません。「sort」実行後に「uniq」処理するのを習慣化した方が良いと思います。

スポンサーリンク



構文

uniq [オプション] [ファイル…]

主なオプション

  • -d
    重複した行のみを表示します。
  • -u
    重複していない行のみを表示します。

実行例

  • ファイル1:data/uniq_test.txt
    aaa 123
    aaa 123
    bbb 123
    ccc 123
    
  • uniq(重複なしのみ表示)
    $ uniq uniq_test.txt
    aaa 123
    bbb 123
    ccc 123
    
  • uniq(重複ありのみ表示)
    $ uniq -D uniq_test.txt
    aaa 123
    aaa 123
    
  • ファイルがソートされていない場合:data/uniq_test2.txt
    aaa 123
    bbb 123
    ccc 123
    aaa 123
    
  • uniq(ソートされてないファイルでは、計算がうまく出来ません)
    $ uniq uniq_test2.txt
    aaa 123
    bbb 123
    ccc 123
    aaa 123
    
  • uniq実行前にソートする
    $ sort uniq_test2.txt | uniq
    aaa 123
    bbb 123
    ccc 123
    
スポンサーリンク



コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です