awk パターンとアクション

awkは、入力行に対してフィルタリングなどの処理を行う際によく用いられます。入力行に対して「どの行に処理を行うか」を指定するのがパターン、「どんな処理を行うか」を指定するのが「アクション」です。

awk パターンとアクション
awk よく使うパターン
awk アクション
1. フィルタリングなどの処理
2. その他の活用事例
関連記事

awk パターンとアクション

単純な指定の仕方は以下のようになります。パターンが行の指定・アクションが処理の指定です。パターンを指定しない場合、全ての入力行に処理を行います。

書式

$ awk 'pattern { action }' datafile

$ cat awk3.txt 
#1:2:3
4:5:6

# パターン指定（!/^#/）で先頭が#以外の行に処理実行
$ cat awk3.txt | awk '!/^#/{print $1,$3}' FS=: OFS=-
4-6

# パターンなし、すべての行に処理実行
$ cat awk3.txt | awk '{print $1,$3}' FS=: OFS=-
#1-3
4-6

awk よく使うパターン

よく使いそうなパターン例を列挙します。

#で始まる行（例えばコメント行） /^#/
.（ピリオド）で終わる行（例えば文章の最後） /\.$/
abc（特定の文字列）を含む行 /abc/
空白行 /^$/
空白でない行 !/^$/
数字を含む行 /[0-9]+/
アルファベットを含む行 /[A-Za-z]+/

フィールドを指定して、特定のフィールドにパターンが存在するかのチェックもよく行います。

直接比較

#２番目のフィールドが「２」
cat awk3.txt | awk '$2 == 2 {print $1,$3}' FS=: OFS=-
#1-3

正規表現で比較

#１番目のフィールドが「0-9」以外。[^]は否定を意味。
$ cat awk3.txt | awk '$1 ~ /[^0-9]/ {print $1,$3}' FS=: OFS=-
#1-3

awk アクション

アクションでは、変数や定数、演算子・関数、正規表現を組み合わせて構成することができます。フィルタリング処理がよく使われますが、計算処理などで使うことも可能です。

フィルタリングなどの処理

$ cat awk3.txt 
1:2:3
4:5:6

# 1,3列のみ表示（情報加工）
$ cat awk3.txt | awk '!/^#/{print "LINE="NR" "$1, $3" FILTERED"}' FS=: OFS=-
LINE=1 1-3 FILTERED
LINE=2 4-6 FILTERED

その他の活用事例

コメント行の割合を計算します。

mydata.txt

# comment
1
2
3
# comment
4
5
6
# comment
7

mycalc.awk

/^#/ {
    ++x
}
++line
END {
    print "comment: "x/line*100" %"
}

実行結果

$ awk -f mycalc.awk mydata.txt 
# comment
1
2
3
# comment
4
5
6
# comment
7
comment: 30 %

実験データの解析や論文用グラフ作成のヒントになりそうな、プログラミング・統計処理の参考になる書籍をまとめて紹介しています。是非、参考にしてみて下さいね。

awk 行の表示先頭行最終行指定行

awkは、テキスト処理に欠かせません。よく使う「行を指定した処理」に使える定型スクリプトをまとめました。簡単に書けるように、省略できる部分は極力省きました。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk...

awk 置換や部分文字列などの文字列処理 gsub sub match index split 等

awkの文字列関数について、置換や部分文字列処理など、よく使う代表的なものを簡単なサンプルを使って紹介します。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk 置換文字列置換 gsub sub...

awk 複数行の処理

ファイルには様々な形式があります。１行単位で記述されたCSV（カンマ区切り）ファイルやTSV（タブ区切り）ファイルは、awkやsed、その他のbashコマンドなどを使っても比較的処理がしやすい。しかし、複数行でレコードが構成される場合（１...

awk split | サンプルでわかる列の分割とセパレータ指定方法

awkのsplit関数は、セパレータを指定して文字列を分割することができます。セパレータには文字や正規表現で指定できて、指定しない場合はフィールドセパレータがデリミタとして使われます。分割後の単語は、配列に格納されて１〜分割数nまでのインデ

awk while・do 繰り返し処理

awkの繰り返し処理（for・while・do）についてまとめます。今回は、while・doについて。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk while 繰り返し処理条件を満たせば「ずっ...

404 NOT FOUND | バイオインフォ道場 [bioinfo-Dojo]

404 NOT FOUND | バイオインフォ道場 [bioinfo-Dojo]

awk 配列使い方

awkでは、他のプログラミング言語のように配列を使うことができます。配列の簡単な使い方のまとめです。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk 連想配列awkの配列では、インデックスには文字...

awk よく使うシステム変数と使い方

awkのスクリプトでは、参照や設定が可能な「特殊な変数（システム変数）」を使うことができます。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談よく使うシステム変数awkのスクリプトでシステム変数を使うと...

awk 区切り文字とフィールド

awkは、入力の各行を区切り文字でフィールドに分割して、それぞれを個別に取り出すことができます。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk 区切り文字の変更入力行をフィールドに分割するのは区...

awk コマンドラインでの実行とスクリプトファイルでの実行

awkを実行する場合、コマンドラインで指定する方法と、スクリプトファイルを指定する方法があります。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk コマンドラインで指定するpatternとacti...

awk 使い方フィールド取り出しスクリプトの書き方

awkで簡単なフィールドデータの取り出しを行います。awk は入力された行について、空白やタブで区切られたデータをフィールドと解釈します。・…を指定することで、各行のフィールドを取り出すことができます。尚、https://bioinfo-dojo.net/2016/02/18/awk_easy_field_filter/は入力行全体です。s...

正規表現メタキャラクタ検索・置換前編

sed や awk、grep、その他のプログラム処理で文字列を扱うときに、よく用いられる「正規表現」についてまとめます。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談正規表現とは正規表現とは、文字列集...

正規表現メタキャラクタ検索・置換前編

awk パターンとアクション

書式

awk よく使うパターン

直接比較

正規表現で比較

awk アクション

フィルタリングなどの処理

その他の活用事例

mydata.txt

mycalc.awk

実行結果

関連記事