bash パイプ 複数コマンド 組み合わせ

複数のコマンドを連続で処理すると、解析作業が効率的に進むときがあります。コマンドの出力結果をソートしたり、さらに絞り込みを行ったりするだけで、分り易い結果になることは良くあることかもしれません。そんなちょっとしたテクニックでは、パイプ(|)を使います。コマンドの結果出力(標準出力)を、次のコマンドへ直接渡すことができます。1つ1つのコマンドを使っても色々なことができますが、パイプを使って複数のコマンドを組み合わせることで、とても便利に使えるようになります。

パイプの使い方

基本的な使い方

あるコマンドを実行し、その結果を次のコマンドで処理したいときにパイプを使います。例えば、コマンドの結果を、ソートしたり・絞り込みしたり・カウントしたり・置換や列の並び替えを行う機会は良くあります。複数のコマンドを組み合わせると色々なことが出来るようになります。

$ command1 | command2 ... | ...

こんなときはどうする?

ファイル内に同じ行が何個あるかを調べるには?

ファイルをsortコマンドでソート後、uniqコマンドの-cオプションでカウントします。

$ cat aaa.txt
Hello A
Hello B
Hello C
Hello C
Hello B
Hello B

$ sort aaa.txt | uniq -c
1 Hello A
3 Hello B
2 Hello C

ファイル内でキーワードに合致した行の前後を調べて、更にログに記録するには?

ファイルの検索を行うにはgrepコマンドを使います。尚、該当行の前後にも注目したいときは、-Aや-Bなどのオプションを使うと便利です。該当行の存在を目視しつつ、ファイルに保存したければteeコマンドがオススメです。

$ seq 1 20 | grep 10 -A1 -B1 | tee log.txt
9
10
11

$ cat log.txt
9
10
11

ファイル比較のためのsort・grep等の中間ファイルが面倒。簡単にできない?

ファイルの比較にはdiffコマンドを使います。また、同時に良く使われるのがgrepsortコマンドです。しかし、これらをうまく活かすには一時ファイルを自ら準備する必要があります。このような場合に便利なのがプロセス置換です。パイプ機能と組合せて使うことが多いので、簡単な例を紹介します。プロセス置換とは、内部的な一時ファイルまたは名前付きパイプなどを利用し、それをコマンドの引数として渡す仕組みです。

aaa.txtとbbb.txt、2つのファイルは「A」を含む行について、ソートして比較すれば同じ。実際に、ソートして、絞り込みを行ったファイルを比較します。今回は、プロセス置換<(...)を使うことで、中間ファイルを省略してみようと思います。

$ cat aaa.txt
Hello AA
Hello AB
Hello AC
Hello BB

$ cat bbb.txt
Hello AC
Hello AB
Hello AA
Hello BB

$ diff <( grep A aaa.txt | sort ) <( grep A bbb.txt | sort )
$ ## 相違なしで、相違点の表示は無し

関連記事1

bash 算術計算 書き方
bash リダイレクションによる上書き禁止
bash 配列の使い方|サンプルでわかる最低限の知識
シェルスクリプト bash 最新版の利用
bash 部分文字列・置換・長さ・連結・分割の文字列処理
linux コマンド プロセス置換 無駄な一時ファイルを作らない
バックグラウンド実行とフォアグラウンド実行 -プログラムの色んな実行方法-

関連記事2

xargs 引数を上手に使う | find と xargs でファイルのリネームやコピーをひと工夫
パス名からファイル名を取得する方法
不要なファイルを探す ファイル名・ファイルサイズ・ファイル更新日時
ファイル名を一括変更 Windowsエクスプローラーとシェルスクリプト
シェルスクリプト 引数の与え方とチェック方法
シェルスクリプト | ファイル存在チェック・空ファイルチェック
シェルスクリプト 関数 スクリプトの書き方
シェルスクリプト select メニューを作る スクリプトの書き方
シェルスクリプト Hello World スクリプトの書き方

 



カテゴリー

今週よく読まれている記事

  1. 学会・会議で英語が絶望的にできなくて困るケース | オンライン開催で「英語力のなさ」を痛感した場合の対処法

    学会・会議で英語ができなくてに困るケース学会やイベント・会議などが、オンラインで開催される…
  2. r tidyverse 使い方 | 列 filter 絞り込み select関数 – dplyrパッケージ

    tidyverseで1つのデータフレームの列の絞り込みは、dplyrパッケージのselect関数を…
  3. プログラミングで疲れた脳をリフレッシュ 〜 鬼滅の刃「感動」と「やる気アップ」でストレス発散!

    ストレス発散は鬼滅で。「50%OFF」で読む!脳のパフォーマンスを上げるには、適度な休憩と…
  4. AWS ディスク容量不足 新しいボリュームを追加する

    バイオインフォマティクスでは大きなファイルを扱うことがあるので、ディスク不足に陥ることがあります。…
  5. 「知っている」と「知らない」とでは、もしものとき、大違いになる – コロナうつ対策

    コロナうつなどという言葉を聞くようになりましたが、派遣切り、解雇、リストラは、これから本格化します…

人気記事

  1. IGV, 解析ツール

    IGV 使い方 インストール〜便利な使い方まで | リファレンス・マッピングデータ・アノテーションを読み込んで表示しよう
    IGV(Integrative Genomics View…
  2. R言語

    R subset関数 データフレームやmatrixからの条件指定による行・列の抽出
    R の subset関数は、データフレームやマトリックスか…
  3. Excel, 統計

    z-score 計算方法 エクセル(Excel) 編
    統計処理で、大きく変化しているなどの判断基準にも使われる値…

おすすめ記事

  1. awk, シェルスクリプト

    bash 部分文字列・置換・長さ・連結・分割の文字列処理
    bashのよく使う文字列処理、部分文字列・置換・連結・長さ…
  2. シェルスクリプト

    シェルスクリプト | ファイル存在チェック・空ファイルチェック
    bashでスクリプトを作成するときに、よく使うのがファイル…
  3. R言語, グラフ

    R 使い方 軸・ラベルの調整(向き・サイズ・色など) グラフの描き方
    Rによるplot(グラフ)の描画は、手軽で大変便利です。た…