linux コマンド プロセス置換 無駄な一時ファイルを作らない

bashでは、複数のコマンドをパイプでつなぐことができます。しかし、入力をファイルからしか受け取らない一部のコマンドでは、わざわざ一時ファイルを準備する必要があって意外と面倒です。そんなときは、プロセス置換を活用しましょう。無駄な中間ファイルを作らずに処理を進めることができます。

プロセス置換とは

プロセス置換を使うと、コマンドの出力結果をファイルとして扱うことができます。例えば、diffコマンドはファイルを入力として要求するので、通常はパイプ処理された結果を直接放り込むことはできません。しかし、プロセス置換を使えば、中間ファイルを作らずにコマンドの結果を直接入力とすることができます。例えば、先頭列だけ切り出してソートしたデータA・データBを中間ファイルなしに直接比較する、というようなことが出来るようになります。意味のない中間ファイルほど気持ち悪いものはないので、極力少なくできるのは非常に有難いです。

プロセス置換の書き方

パイプで繋ぐなどしたコマンドのリストを<(...)で囲みます。<()の間に、スペースを入れないにようします。

command <(command-list) | other command ...  # プロセス置換(余計なスペースを入れない)

$ cat aaa.txt
1 aaa
2 bbb
3 ccc

$ cat bbb.txt
1 aaa
3 ddd
2 bbb
# 1列目だけをソートして比較
diff <(cut -f1 aaa.txt | sort) <(cut -f1 bbb.txt | sort)

スクリプトを書く際の注意点

bashの機能なので、シェバンの書き方を/bin/bashとして明示的に指定する必要があります。

my_diff.sh

#! /bin/bash

file1=$1
file2=$2

DIFF="diff <(cut -f1 $1 | sort) <(cut -f1 $2 | sort)"
CNT=`wc -l < <(eval $"$DIFF")`

if [ $CNT -eq '0' ]; then
    echo "same"
else
    echo "different"
fi
$ bash my_diff.sh aaa.txt bbb.txt

関連記事1

bash 算術計算 書き方
シェルスクリプトを書いているとき、計算式が使えると便利なことがあります。ファイルの残りの行数を表示したいな行毎に項目を足して合計を表示したいな入力したデータを計算して処理に使いたいないろいろな状況があると思いますが、bas...
bash リダイレクションによる上書き禁止
何かコマンドからの出力を簡単にファイルに残しておけるので、リダイレクトは良く使います。しかし、たまに大事な既存ファイルに上書きしてしまって失敗することがあります。そんな「よくあるリダイレクトミス」を防ぎましょう!リダイレクト...
bash 配列の使い方|サンプルでわかる最低限の知識
bash 配列の使い方について、初期化・参照・削除のやり方〜配列を使った繰り返し処理まで、最低限の知識を短いサンプルで理解できます!bash の配列を理解すると、シェルスクリプトの応用の幅が広がります。bash 配列の使い方...
シェルスクリプト bash 最新版の利用
シェルスクリプト bash 最新バージョンシェルスクリプト bash バージョン確認bashのバージョン確認を行います。現在、最新版はバージョン4.4(2017年1月)です。$ bash --versionbas...
bash 部分文字列・置換・長さ・連結・分割の文字列処理
bashのよく使う文字列処理、部分文字列・置換・連結・長さ・分割について、サンプルを交えながらまとめます。とにかく早く問題解決したい人はこちら>>直接、データ解析相談部分文字列文字列から部分文字列を取り出すときは、...
bash パイプ 複数コマンド 組み合わせ
複数のコマンドを連続で処理すると、解析作業が効率的に進むときがあります。コマンドの出力結果をソートしたり、さらに絞り込みを行ったりするだけで、分り易い結果になることは良くあることかもしれません。そんなちょっとしたテクニックでは、パイプ(|...
バックグラウンド実行とフォアグラウンド実行 -プログラムの色んな実行方法-
解析プログラムは長い時間を必要とするものもあります。プログラムの実行や管理方法を理解して、作業効率を効率的に行いましょう。バックグラウンド実行とフォアグラウンド実行バックグラウンド実行をうまく活用しようプログラムの...

関連記事2

xargs 引数を上手に使う | find と xargs でファイルのリネームやコピーをひと工夫
bioinformaticsでは、たくさんのファイルを使うことが多いので、ファイル処理は効率的に行いたいですね。このようなときfind コマンドや xargs コマンドが役に立ちます。例えば、fastqファイルの拡張子を、fq.g...
パス名からファイル名を取得する方法
パス名からファイル名を抽出する場合は、basenameコマンドを使うと簡単です。$ find . -name "test.txt" /aaa/bbb/ccc/test.txt $ find . -name "test.txt...
不要なファイルを探す ファイル名・ファイルサイズ・ファイル更新日時
バイオインフォマティクスの解析では大きなファイルを扱うことが多いので、ストレージの管理には気を使います。ストレージの容量を確保するために、不要なファイルはこまめに削除(または他の場所へ移動・圧縮など)することが、もっとも簡単で確実な方法だ...
不要なファイルを探す ファイル名・ファイルサイズ・ファイル更新日時
バイオインフォマティクスの解析では大きなファイルを扱うことが多いので、ストレージの管理には気を使います。ストレージの容量を確保するために、不要なファイルはこまめに削除(または他の場所へ移動・圧縮など)することが、もっとも簡単で確実な方法だ...
シェルスクリプト 引数の与え方とチェック方法
シェルスクリプトに引数を与える場合、引数が少ない場合はエラーにするなどの対策が必要です。一方、引数を10個以上うけとる場合、受け取り側で引数をずらしながら1つずつ取得する必要があります。シェルスクリプトの引数をチェックする...
シェルスクリプト | ファイル存在チェック・空ファイルチェック
bashでスクリプトを作成するときに、よく使うのがファイルの存在チェックです。if文と組合せると、ファイルの有無によって処理を分けることができます。エラー処理も記述できて使いやすいスクリプトになります。様々な処理で活用でき...
シェルスクリプト 関数 スクリプトの書き方
今回は、プログラムの基本構成となる「関数」を作ってみます。シェルで関数を作成すると、普段シェルを使って行っている作業を色々と自動化できて便利なことがあります。少しずつ、使えるようになると良いですね。関数を利用したプログラム...
シェルスクリプト select メニューを作る スクリプトの書き方
select文を使うと、簡単にメニューを作成することができます。但し、Bシェルでは使えず bash を使います。リストでメニュー項目を準備します。select内の変数で、選ばれた項目や入力値を取得することができます。メニュープロンプトは、...
シェルスクリプト Hello World スクリプトの書き方
シェルプログラミングをはじめましょう。使うシェルは「Bシェル」です。Bシェルは機能が少ないのですが、どんなUNIXシステムでも動作するという利点があります。ログインシェルはbashやzshを使っている人が多いと思いますが、これらは...

コメント

  1. […] プロセス置換 無駄な一時ファイルを作らない – バイオインフォ 道場 […]

タイトルとURLをコピーしました