awk パターンとアクション
awkは、入力行に対してフィルタリングなどの処理を行う際によく用いられます。入力行に対して「どの行に処理を行うか」を指定するのがパターン、「どんな処理を行うか」を指定するのが「アクション」です。
awk パターンとアクション
単純な指定の仕方は以下のようになります。パターンが行の指定・アクションが処理の指定です。パターンを指定しない場合、全ての入力行に処理を行います。
書式
$ awk 'pattern { action }' datafile
$ cat awk3.txt #1:2:3 4:5:6 # パターン指定（!/^#/）で先頭が#以外の行に処理実行 $ cat awk3.txt | awk '!/^#/{print $1,$3}' FS=: OFS=- 4-6 # パターンなし、すべての行に処理実行 $ cat awk3.txt | awk '{print $1,$3}' FS=: OFS=- #1-3 4-6
awk よく使うパターン
よく使いそうなパターン例を列挙します。
- #で始まる行（例えばコメント行） /^#/
- .（ピリオド）で終わる行（例えば文章の最後） /\.$/
- abc（特定の文字列）を含む行 /abc/
- 空白行 /^$/
- 空白でない行 !/^$/
- 数字を含む行 /[0-9]+/
- アルファベットを含む行 /[A-Za-z]+/
フィールドを指定して、特定のフィールドにパターンが存在するかのチェックもよく行います。
直接比較
#２番目のフィールドが「２」
cat awk3.txt | awk '$2 == 2 {print $1,$3}' FS=: OFS=-
#1-3
正規表現で比較
#１番目のフィールドが「0-9」以外。[^]は否定を意味。
$ cat awk3.txt | awk '$1 ~ /[^0-9]/ {print $1,$3}' FS=: OFS=-
#1-3
awk アクション
アクションでは、変数や定数、演算子・関数、正規表現を組み合わせて構成することができます。フィルタリング処理がよく使われますが、計算処理などで使うことも可能です。
フィルタリングなどの処理
$ cat awk3.txt
1:2:3
4:5:6
# 1,3列のみ表示（情報加工）
$ cat awk3.txt | awk '!/^#/{print "LINE="NR" "$1, $3" FILTERED"}' FS=: OFS=-
LINE=1 1-3 FILTERED
LINE=2 4-6 FILTERED
その他の活用事例
コメント行の割合を計算します。
mydata.txt
# comment 1 2 3 # comment 4 5 6 # comment 7
mycalc.awk
/^#/ {
++x
}
++line
END {
print "comment: "x/line*100" %"
}
実行結果
$ awk -f mycalc.awk mydata.txt # comment 1 2 3 # comment 4 5 6 # comment 7 comment: 30 %
実験データの解析や論文用グラフ作成のヒントになりそうな、プログラミング・統計処理の参考になる書籍をまとめて紹介しています。是非、参考にしてみて下さいね。
