bash パイプ 複数コマンド 組み合わせ

スポンサーリンク

複数のコマンドを連続で処理すると、解析作業が効率的に進むときがあります。コマンドの出力結果をソートしたり、さらに絞り込みを行ったりするだけで、分り易い結果になることは良くあることかもしれません。そんなちょっとしたテクニックでは、パイプ(|)を使います。コマンドの結果出力(標準出力)を、次のコマンドへ直接渡すことができます。1つ1つのコマンドを使っても色々なことができますが、パイプを使って複数のコマンドを組み合わせることで、とても便利に使えるようになります。

パイプの使い方

基本的な使い方

あるコマンドを実行し、その結果を次のコマンドで処理したいときにパイプを使います。例えば、コマンドの結果を、ソートしたり・絞り込みしたり・カウントしたり・置換や列の並び替えを行う機会は良くあります。複数のコマンドを組み合わせると色々なことが出来るようになります。

$ command1 | command2 ... | ...

こんなときはどうする?

ファイル内に同じ行が何個あるかを調べるには?

ファイルをsortコマンドでソート後、uniqコマンドの-cオプションでカウントします。

$ cat aaa.txt
Hello A
Hello B
Hello C
Hello C
Hello B
Hello B

$ sort aaa.txt | uniq -c
1 Hello A
3 Hello B
2 Hello C

ファイル内でキーワードに合致した行の前後を調べて、更にログに記録するには?

ファイルの検索を行うにはgrepコマンドを使います。尚、該当行の前後にも注目したいときは、-Aや-Bなどのオプションを使うと便利です。該当行の存在を目視しつつ、ファイルに保存したければteeコマンドがオススメです。

$ seq 1 20 | grep 10 -A1 -B1 | tee log.txt
9
10
11

$ cat log.txt
9
10
11

ファイル比較のためのsort・grep等の中間ファイルが面倒。簡単にできない?

ファイルの比較にはdiffコマンドを使います。また、同時に良く使われるのがgrepsortコマンドです。しかし、これらをうまく活かすには一時ファイルを自ら準備する必要があります。このような場合に便利なのがプロセス置換です。パイプ機能と組合せて使うことが多いので、簡単な例を紹介します。プロセス置換とは、内部的な一時ファイルまたは名前付きパイプなどを利用し、それをコマンドの引数として渡す仕組みです。

aaa.txtとbbb.txt、2つのファイルは「A」を含む行について、ソートして比較すれば同じ。実際に、ソートして、絞り込みを行ったファイルを比較します。今回は、プロセス置換<(...)を使うことで、中間ファイルを省略してみようと思います。

$ cat aaa.txt
Hello AA
Hello AB
Hello AC
Hello BB

$ cat bbb.txt
Hello AC
Hello AB
Hello AA
Hello BB

$ diff <( grep A aaa.txt | sort ) <( grep A bbb.txt | sort )
$ ## 相違なしで、相違点の表示は無し

関連記事1

bash 算術計算 書き方
シェルスクリプトを書いているとき、計算式が使えると便利なことがあります。 ファイルの残りの行数を表示したいな行毎に項目を足して合計を表示したいな入力したデータを計算して処理に使いたいな いろいろな状況があると思いますが、bashでも算術計算...
bash リダイレクションによる上書き禁止
何かコマンドからの出力を簡単にファイルに残しておけるので、リダイレクトは良く使います。しかし、たまに大事な既存ファイルに上書きしてしまって失敗することがあります。そんな「よくあるリダイレクトミス」を防ぎましょう! リダイレクトで上書き禁止す...
bash 配列の使い方|サンプルでわかる最低限の知識
bash 配列の使い方について、初期化・参照・削除のやり方〜配列を使った繰り返し処理まで、最低限の知識を短いサンプルで理解できます!bash の配列を理解すると、シェルスクリプトの応用の幅が広がります。 bash 配列の使い方 bash 配...
シェルスクリプト bash 最新版の利用
シェルスクリプト bash 最新バージョン シェルスクリプト bash バージョン確認 bashのバージョン確認を行います。現在、最新版はバージョン4.4(2017年1月)です。 $ bash --version bash --versio...
bash 部分文字列・置換・長さ・連結・分割の文字列処理
bashのよく使う文字列処理、部分文字列・置換・連結・長さ・分割について、サンプルを交えながらまとめます。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 部分文字列 文字列から部分文字列を取り出すときは、位置を指定した抽出方...
linux コマンド プロセス置換 無駄な一時ファイルを作らない
bashでは、複数のコマンドをパイプでつなぐことができます。しかし、入力をファイルからしか受け取らない一部のコマンドでは、わざわざ一時ファイルを準備する必要があって意外と面倒です。そんなときは、プロセス置換を活用しましょう。無駄な中間ファイ...
バックグラウンド実行とフォアグラウンド実行 -プログラムの色んな実行方法-
解析プログラムは長い時間を必要とするものもあります。プログラムの実行や管理方法を理解して、作業効率を効率的に行いましょう。 バックグラウンド実行とフォアグラウンド実行 バックグラウンド実行をうまく活用しよう プログラムの実行には、起動後その...

関連記事2

xargs 引数を上手に使う | find と xargs でファイルのリネームやコピーをひと工夫
bioinformaticsでは、たくさんのファイルを使うことが多いので、ファイル処理は効率的に行いたいですね。このようなときfind コマンドや xargs コマンドが役に立ちます。 例えば、fastqファイルの拡張子を、fq.gz から...
パス名からファイル名を取得する方法
パス名からファイル名を抽出する場合は、basenameコマンドを使うと簡単です。 $ find . -name "test.txt" /aaa/bbb/ccc/test.txt $ find . -name "test.txt" | xar...
不要なファイルを探す ファイル名・ファイルサイズ・ファイル更新日時
バイオインフォマティクスの解析では大きなファイルを扱うことが多いので、ストレージの管理には気を使います。ストレージの容量を確保するために、不要なファイルはこまめに削除(または他の場所へ移動・圧縮など)することが、もっとも簡単で確実な方法だと...
ファイル名を一括変更 Windowsエクスプローラーとシェルスクリプト
バイオインフォマティクスでは、データファイルが大量になることがあります。いつも頭を悩ませるのがデータの管理です。たまにファイル名を一括で変更したいときがありますが、便利な方法があるので紹介したいと思います。 Windows エクスプローラー...
シェルスクリプト 引数の与え方とチェック方法
シェルスクリプトに引数を与える場合、引数が少ない場合はエラーにするなどの対策が必要です。一方、引数を10個以上うけとる場合、受け取り側で引数をずらしながら1つずつ取得する必要があります。 シェルスクリプトの引数をチェックする方法 シェルスク...
シェルスクリプト | ファイル存在チェック・空ファイルチェック
bashでスクリプトを作成するときに、よく使うのがファイルの存在チェックです。 if文と組合せると、ファイルの有無によって処理を分けることができます。エラー処理も記述できて使いやすいスクリプトになります。 様々な処理で活用できるので、是非参...
シェルスクリプト 関数 スクリプトの書き方
今回は、プログラムの基本構成となる「関数」を作ってみます。シェルで関数を作成すると、普段シェルを使って行っている作業を色々と自動化できて便利なことがあります。少しずつ、使えるようになると良いですね。 関数を利用したプログラム メッセージを1...
シェルスクリプト select メニューを作る スクリプトの書き方
select文を使うと、簡単にメニューを作成することができます。但し、Bシェルでは使えず bash を使います。リストでメニュー項目を準備します。select内の変数で、選ばれた項目や入力値を取得することができます。メニュープロンプトは、P...
シェルスクリプト Hello World スクリプトの書き方
シェルプログラミングをはじめましょう。使うシェルは「Bシェル」です。 Bシェルは機能が少ないのですが、どんなUNIXシステムでも動作するという利点があります。ログインシェルはbashやzshを使っている人が多いと思いますが、これらはBシェル...

 

タイトルとURLをコピーしました