linux コマンド uniq ファイル内の重複行チェック

バイオインフォ道場、くまぞうです。

ソート済みのファイルから重複しない行を抽出します。ソートしていないファイルでは「uniq」処理できません。「sort」実行後に「uniq」処理するのを習慣化した方が良いと思います。

スポンサーリンク



構文

uniq [オプション] [ファイル…]

主なオプション

  • -d
    重複した行のみを表示します。
  • -u
    重複していない行のみを表示します。

実行例

  • ファイル1:data/uniq_test.txt
    aaa 123
    aaa 123
    bbb 123
    ccc 123
    
  • uniq(重複なしのみ表示)
    $ uniq uniq_test.txt
    aaa 123
    bbb 123
    ccc 123
    
  • uniq(重複ありのみ表示)
    $ uniq -D uniq_test.txt
    aaa 123
    aaa 123
    
  • ファイルがソートされていない場合:data/uniq_test2.txt
    aaa 123
    bbb 123
    ccc 123
    aaa 123
    
  • uniq(ソートされてないファイルでは、計算がうまく出来ません)
    $ uniq uniq_test2.txt
    aaa 123
    bbb 123
    ccc 123
    aaa 123
    
  • uniq実行前にソートする
    $ sort uniq_test2.txt | uniq
    aaa 123
    bbb 123
    ccc 123
    

[amazonjs asin=”4797382384″ locale=”JP” title=”Linuxコマンドブック ビギナーズ 第4版 (コマンドブックシリーズ)”]

スポンサーリンク




ランキング


おすすめ記事

ピックアップ記事

  1. tidyverse – distinct関数でデータフレームの重複行を削除 dplyrパッケージ

    tidyverseでデータフレームの重複行の削除を行う場合、dplyrパッケージのdistinct…
  2. R subset関数 データフレームやmatrixからの条件指定による行・列の抽出

    R の subset関数は、データフレームやマトリックスから条件にマッチした部分集合を取り出します…

人気記事

  1. R データ型 - 文字列・ベクター・データフレーム・マトリックス など-, R言語, スクリプト

    R subset関数 データフレームやmatrixからの条件指定による行・列の抽出
    R の subset関数は、データフレームやマトリックスか…
  2. Excel, その他, 統計

    z-score 計算方法 エクセル(Excel) 編
    統計処理で、大きく変化しているなどの判断基準にも使われる値…
  3. IGV, 解析ツール

    IGV 使い方 インストール〜便利な使い方まで | リファレンス・マッピングデータ・アノテーションを読み込んで表示しよう
    IGV(Integrative Genomics View…

おすすめ記事

  1. awk, bash 文字列操作, シェルスクリプト

    bash 部分文字列・置換・長さ・連結・分割の文字列処理
    bashのよく使う文字列処理、部分文字列・置換・連結・長さ…
  2. bash 応用, シェルスクリプト

    シェル スクリプト ファイル存在チェック・空のファイルチェック
    bashでスクリプトを作成するときに、よく使うのがファイル…
  3. R言語, グラフ

    R 使い方 軸・ラベルの調整(向き・サイズ・色など) グラフの描き方
    Rによるplot(グラフ)の描画は、手軽で大変便利です。た…