awkは、入力の各行を区切り文字でフィールドに分割して、それぞれを個別に取り出すことができます。
awk 区切り文字の変更
入力行をフィールドに分割するのは区切り文字です。デフォルトは、スペースやタブです。変更するときは、-F
オプションに続けて、区切り文字を指定します。システム変数FS
(入力)やOFS
(出力)を使って指定することもできます。この場合、入力時の区切り文字と、出力時の区切り文字を個別に指定できます。
また、区切り文字を複数指定する場合、FS=”[, :]”という書式で登録します。
# 区切りは:
(コロン, -F指定), 出力時の区切りはスペース(デフォルト) $ echo "1:2:3" | awk -F: '{print $1,$3}' 1 3 # 区切りは:
(コロン, FS指定), 出力時の区切りは-
(ハイフン, OFS指定) $ echo "1:2:3" | awk '{print $1,$3}' FS=: OFS=- 1-3
awk 区切り文字を使って任意のフィールドを取り出す
区切り文字で分割されたフィールドは、個別に取り出すことができます。1番目のレコードは$1
、2番目のレコードは$2
、・・・と、個別に取り出すことができます。全体は、$0
で表現されます。
# 区切りは:
(コロン), 出力時の区切りは-
(ハイフン) # 1番目・3番目を出力。 $ echo "1:2:3" | awk '{print $1,$3}' FS=: OFS=- 1-3 # 2番目のみ出力。 $ echo "1:2:3" | awk '{print $2}' FS=: OFS=- 2 # 全体出力(区切り文字も入力のまま)。 $ echo "1:2:3" | awk '{print $0}' FS=: OFS=- 1:2:3 # ファイルに処理を適用 # 区切りは:
(コロン), 出力時の区切りは-
(ハイフン) # 1番目・3番目を出力。 $ cat awk2.txt 1:2:3 4:5:6 $ awk '{print $1,$3}' FS=: OFS=- awk2.txt 1-3 4-6 $ cat awk2.txt | awk '{print $1,$3}' FS=: OFS=- 1-3 4-6
実験データの解析や論文用グラフ作成のヒントになりそうな、プログラミング・統計処理の参考になる書籍をまとめて紹介しています。是非、参考にしてみて下さいね。
参考記事
awk 行の表示 先頭行 最終行 指定行
awkは、テキスト処理に欠かせません。よく使う「行を指定した処理」に使える定型スクリプトをまとめました。簡単に書けるように、省略できる部分は極力省きました。 awk と 行 awkで行を指定して「何かの処理」を実行するときは、「いま何行目?...
awk 置換や部分文字列などの文字列処理 gsub sub match index split 等
awkの文字列関数について、置換や部分文字列処理など、よく使う代表的なものを簡単なサンプルを使って紹介します。 awk 置換 文字列置換 gsub sub gsub・subは、対象となる文字列tについて正規表現rにマッチした部分を置換文字列...
awk 複数行の処理
ファイルには様々な形式があります。1行単位で記述されたCSV(カンマ区切り)ファイルやTSV(タブ区切り)ファイルは、awkやsed、その他のbashコマンドなどを使っても比較的処理がしやすい。しかし、複数行でレコードが構成される場合(1行...
awk split | サンプルでわかる列の分割とセパレータ指定方法
awkのsplit関数は、セパレータを指定して文字列を分割することができます。セパレータには文字や正規表現で指定できて、指定しない場合はフィールドセパレータがデリミタとして使われます。分割後の単語は、配列に格納されて1〜分割数nまでのインデ
awk while・do 繰り返し処理
awkの繰り返し処理(for・while・do)についてまとめます。今回は、while・doについて。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 awk while 繰り返し処理 条件を満たせば「ずっと」繰り返しを行いま...
404 NOT FOUND | バイオインフォ 道場 [bioinfo-Dojo]
バイオインフォ 道場
404 NOT FOUND | バイオインフォ 道場 [bioinfo-Dojo]
バイオインフォ 道場
awk 配列 使い方
awkでは、他のプログラミング言語のように配列を使うことができます。配列の簡単な使い方のまとめです。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 awk 連想配列 awkの配列では、インデックスには文字列でも数字でも使うこ...
awk よく使うシステム変数と使い方
awkのスクリプトでは、参照や設定が可能な「特殊な変数(システム変数)」を使うことができます。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 よく使うシステム変数 awkのスクリプトでシステム変数を使うと、より簡潔にスクリプ...
awk パターンとアクション
awkは、入力行に対してフィルタリングなどの処理を行う際によく用いられます。入力行に対して「どの行に処理を行うか」を指定するのがパターン、「どんな処理を行うか」を指定するのが「アクション」です。 とにかく早く問題解決したい人はこちら>>直接...
awk コマンドラインでの実行とスクリプトファイルでの実行
awkを実行する場合、コマンドラインで指定する方法と、スクリプトファイルを指定する方法があります。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 awk コマンドラインで指定する patternとactionは、シングルクォ...
awk 使い方 フィールド取り出し スクリプトの書き方
awkで簡単なフィールドデータの取り出しを行います。awk は入力された行について、空白やタブで区切られたデータをフィールドと解釈します。・…を指定することで、各行のフィールドを取り出すことができます。尚、https://bioinfo-dojo.net/2016/02/18/awk_easy_field_filter/は入力行全体です。se...
正規表現 メタキャラクタ 検索・置換 前編
sed や awk、grep、その他のプログラム処理で文字列を扱うときに、よく用いられる「正規表現」についてまとめます。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 正規表現とは 正規表現とは、文字列集合を特殊文字(メタキ...
正規表現 メタキャラクタ 検索・置換 後編
sed や awk、grep、その他のプログラム処理で文字列を扱うときに、よく用いられる「正規表現」についてまとめます。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 正規表現とは 正規表現とは、文字列集合を特殊文字(メタキ...