xargs 並列処理(-P オプション)と時間計測

bioinfomatics では、計算対象となるファイルがたくさんで・サイズが大きいので、並列化は重要なテーマです。

find と xargs は組み合わせて使うことが多いので、並列化をパターンで覚えると良いですね!

xargs でコマンドを実行できるようになったけど、すごく時間がかかるんだ。

xargs で実行するときに-P オプションをつけると並列処理できるよ。

CPUに余裕があったら、並列処理するといいんだね。

時間を計測(SECONDSなどで)すると、処理が早く完了するのが確認できるよ。

新しいLinuxの教科書

xargs 実行コマンドの並列化

xargs の -P オプションを使うと、xargsに引数として渡したコマンドを並列に実行します。

例では、探索したファイル(3個)に「少し時間のかかる処理」を実行したのですが、計測時間が約1/3になりました。

並列化なし

$ SECONDS=0; find . -name "*.file" | xargs -I %% some_command %%; echo $SECONDS
214

並列化あり

$ SECONDS=0; find . -name "*.file" | xargs -I %% -P 3 some_command %%; echo $SECONDS
72

並列化の効果を計測する

環境変数 SECONDS (シェルの起動秒数を保持)を利用すると、簡単に時間を計測できます。

$ SECONDS=0; find . -name "*.file" | xargs -I %% -P 3 some_command %%; echo $SECONDS
72

参考書籍など

わかりやすいと評判の本です。

新しいLinuxの教科書



カテゴリー

今週よく読まれている記事

  1. 学会・会議で英語が絶望的にできなくて困るケース | オンライン開催で「英語力のなさ」を痛感した場合の対処法

    学会・会議で英語ができなくてに困るケース学会やイベント・会議などが、オンラインで開催される…
  2. r tidyverse 使い方 | 列 filter 絞り込み select関数 – dplyrパッケージ

    tidyverseで1つのデータフレームの列の絞り込みは、dplyrパッケージのselect関数を…
  3. プログラミングで疲れた脳をリフレッシュ 〜 鬼滅の刃「感動」と「やる気アップ」でストレス発散!

    ストレス発散は鬼滅で。「50%OFF」で読む!脳のパフォーマンスを上げるには、適度な休憩と…
  4. AWS ディスク容量不足 新しいボリュームを追加する

    バイオインフォマティクスでは大きなファイルを扱うことがあるので、ディスク不足に陥ることがあります。…
  5. 「知っている」と「知らない」とでは、もしものとき、大違いになる – コロナうつ対策

    コロナうつなどという言葉を聞くようになりましたが、派遣切り、解雇、リストラは、これから本格化します…

人気記事

  1. Excel, 統計

    z-score 計算方法 エクセル(Excel) 編
    統計処理で、大きく変化しているなどの判断基準にも使われる値…
  2. R言語

    R subset関数 データフレームやmatrixからの条件指定による行・列の抽出
    R の subset関数は、データフレームやマトリックスか…
  3. IGV, 解析ツール

    IGV 使い方 インストール〜便利な使い方まで | リファレンス・マッピングデータ・アノテーションを読み込んで表示しよう
    IGV(Integrative Genomics View…

おすすめ記事

  1. シェルスクリプト

    シェルスクリプト | ファイル存在チェック・空ファイルチェック
    bashでスクリプトを作成するときに、よく使うのがファイル…
  2. R言語, グラフ

    R 使い方 軸・ラベルの調整(向き・サイズ・色など) グラフの描き方
    Rによるplot(グラフ)の描画は、手軽で大変便利です。た…
  3. awk, シェルスクリプト

    bash 部分文字列・置換・長さ・連結・分割の文字列処理
    bashのよく使う文字列処理、部分文字列・置換・連結・長さ…