awk パターンとアクション

awkは、入力行に対してフィルタリングなどの処理を行う際によく用いられます。入力行に対して「どの行に処理を行うか」を指定するのがパターン、「どんな処理を行うか」を指定するのが「アクション」です。

awk パターンとアクション

単純な指定の仕方は以下のようになります。パターンが行の指定・アクションが処理の指定です。パターンを指定しない場合、全ての入力行に処理を行います。

書式

$ awk 'pattern { action }' datafile
$ cat awk3.txt 
#1:2:3
4:5:6

# パターン指定(!/^#/)で先頭が#以外の行に処理実行
$ cat awk3.txt | awk '!/^#/{print $1,$3}' FS=: OFS=-
4-6

# パターンなし、すべての行に処理実行
$ cat awk3.txt | awk '{print $1,$3}' FS=: OFS=-
#1-3
4-6

awk よく使うパターン

よく使いそうなパターン例を列挙します。

  • #で始まる行(例えばコメント行) /^#/
  • .(ピリオド)で終わる行(例えば文章の最後) /\.$/
  • abc(特定の文字列)を含む行 /abc/
  • 空白行 /^$/
  • 空白でない行 !/^$/
  • 数字を含む行 /[0-9]+/
  • アルファベットを含む行 /[A-Za-z]+/

フィールドを指定して、特定のフィールドにパターンが存在するかのチェックもよく行います。

直接比較

#2番目のフィールドが「2」
cat awk3.txt | awk '$2 == 2 {print $1,$3}' FS=: OFS=-
#1-3

正規表現で比較

#1番目のフィールドが「0-9」以外。[^]は否定を意味。
$ cat awk3.txt | awk '$1 ~ /[^0-9]/ {print $1,$3}' FS=: OFS=-
#1-3

awk アクション

アクションでは、変数や定数、演算子・関数、正規表現を組み合わせて構成することができます。フィルタリング処理がよく使われますが、計算処理などで使うことも可能です。

フィルタリングなどの処理

$ cat awk3.txt 
1:2:3
4:5:6

# 1,3列のみ表示(情報加工)
$ cat awk3.txt | awk '!/^#/{print "LINE="NR" "$1, $3" FILTERED"}' FS=: OFS=-
LINE=1 1-3 FILTERED
LINE=2 4-6 FILTERED

その他の活用事例

コメント行の割合を計算します。

mydata.txt

# comment
1
2
3
# comment
4
5
6
# comment
7

mycalc.awk

/^#/ {
    ++x
}
++line
END {
    print "comment: "x/line*100" %"
}

実行結果

$ awk -f mycalc.awk mydata.txt 
# comment
1
2
3
# comment
4
5
6
# comment
7
comment: 30 %

実験データの解析や論文用グラフ作成のヒントになりそうな、プログラミング・統計処理の参考になる書籍をまとめて紹介しています。是非、参考にしてみて下さいね。



カテゴリー

今週よく読まれている記事

  1. 学会・会議で英語が絶望的にできなくて困るケース | オンライン開催で「英語力のなさ」を痛感した場合の対処法

    学会・会議で英語ができなくてに困るケース学会やイベント・会議などが、オンラインで開催される…
  2. r tidyverse 使い方 | 列 filter 絞り込み select関数 – dplyrパッケージ

    tidyverseで1つのデータフレームの列の絞り込みは、dplyrパッケージのselect関数を…
  3. プログラミングで疲れた脳をリフレッシュ 〜 鬼滅の刃「感動」と「やる気アップ」でストレス発散!

    ストレス発散は鬼滅で。「50%OFF」で読む!脳のパフォーマンスを上げるには、適度な休憩と…
  4. AWS ディスク容量不足 新しいボリュームを追加する

    バイオインフォマティクスでは大きなファイルを扱うことがあるので、ディスク不足に陥ることがあります。…
  5. 「知っている」と「知らない」とでは、もしものとき、大違いになる – コロナうつ対策

    コロナうつなどという言葉を聞くようになりましたが、派遣切り、解雇、リストラは、これから本格化します…

人気記事

  1. IGV, 解析ツール

    IGV 使い方 インストール〜便利な使い方まで | リファレンス・マッピングデータ・アノテーションを読み込んで表示しよう
    IGV(Integrative Genomics View…
  2. Excel, 統計

    z-score 計算方法 エクセル(Excel) 編
    統計処理で、大きく変化しているなどの判断基準にも使われる値…
  3. R言語

    R subset関数 データフレームやmatrixからの条件指定による行・列の抽出
    R の subset関数は、データフレームやマトリックスか…

おすすめ記事

  1. シェルスクリプト

    シェルスクリプト | ファイル存在チェック・空ファイルチェック
    bashでスクリプトを作成するときに、よく使うのがファイル…
  2. R言語, グラフ

    R 使い方 軸・ラベルの調整(向き・サイズ・色など) グラフの描き方
    Rによるplot(グラフ)の描画は、手軽で大変便利です。た…
  3. awk, シェルスクリプト

    bash 部分文字列・置換・長さ・連結・分割の文字列処理
    bashのよく使う文字列処理、部分文字列・置換・連結・長さ…