awk 置換や部分文字列などの文字列処理 gsub sub match index split 等

awkの文字列関数について、置換や部分文字列処理など、よく使う代表的なものを簡単なサンプルを使って紹介します。

awk 置換

文字列置換 gsub sub

gsub・subは、対象となる文字列tについて正規表現rにマッチした部分を置換文字列sで置換します。なお、gsubはマッチした部分全てを置換・subは最初にマッチした部分のみを置換。尚、対象となる文字列が指定されない場合は、$0（行全体・レコード全体）が対象となります。

書式

  gsub(正規表現r, 置換文字列s, 対象となる文字列t (省略時、$0))
   sub(正規表現r, 置換文字列s, 対象となる文字列t (省略時、$0))

実行と結果

gsubの場合は全ての”test”を”TEST”に置き替え。subの場合は、最初の”test”だけ”TEST”に置き替えます。

$ echo "test1 test2" | awk '{ if (gsub(/test/, "TEST")) print }'
TEST1 TEST2
$ echo "test1 test2" | awk '{ if (sub(/test/, "TEST")) print }'
TEST1 test2

awk 部分文字列

部分文字列 substr

substrは、対象となる文字列tについて指定ポジションp以降で長さnの部分文字列を作成します。長さが指定されない場合は、文字列の最後まで。

書式

  substr(対象となる文字列t, 位置p, 長さn (省略時、文字列tの最後まで))

実行と結果

“abcd…”の１０番目（j）以降で部分文字列を作成します。長さを指定すると、指定長さで部分文字列を作成します。

$ echo "abcdefghijklmn" | awk '{ print substr($0, 10)}' 
jklmn
$ echo "abcdefghijklmn" | awk '{ print substr($0, 10, 3)}' 
jkl

部分文字列 split

splitは、対象となる文字列tについてセパレータsで分解し、配列aに部分文字列を格納します。

書式

  split(対象となる文字列t, 配列a, セパレータs (省略時、セパレータFS))

実行と結果 セパレータ指定なし

$ echo "test1 test2" | awk '{ split($0, a); print a[1]}'
test1
$ echo "test1 test2" | awk '{ split($0, a); print a[2]}'
test2

実行と結果 セパレータ指定（,）

$ echo "test1,test2" | awk '{ split($0, a); print a[1]}'
test1,test2
$ echo "test1,test2" | awk '{ split($0, a, ","); print a[1]}'
test1

awk 文字列検索

文字列検索（文字列で探す） index

indexは、対象となる文字列tから部分文字列sを探してヒットした位置を返します。ヒットしなければ０を返します。

書式

  index(対象となる文字列t, 部分文字列s)

実行と結果

“abcd…”の中から部分文字列”jkl”が見つけてヒットした位置10を返します。部分文字列を大文字に変更すると、見つからないので０を返します。

$ echo "abcdefghijklmn" | awk '{ print index($0, "jkl")}' 
10
$ echo "abcdefghijklmn" | awk '{ print index($0, "JKL")}' 
0

文字列検索（正規表現で探す） match

matchは、対象となる文字列tから正規表現rにヒットする先頭位置を返します。ヒットしなければ０を返します。尚、RSTARTとRLENGTHに先頭位置・長さの値を格納します。

書式

  match(対象となる文字列t, 正規表現r)

実行と結果

“abc123…”の中から正規表現/[0-9]+/(数字の連続)にヒットした位置を見つけて先頭の４を返します。RSTARTも４、RLENGTHは３です。正規表現を/[A-Z]+/（大文字アルファベットの連続）に変更すると、見つからないので０を返します。RSTARTも０、RLENGTHは−１です。

$ echo "abc123ghijklmn" | awk '{ print match($0, /[0-9]+/); print RSTART, RLENGTH}' 
4
4 3
$ echo "abc123ghijklmn" | awk '{ print index($0, /[A-Z]+/); print RSTART, RLENGTH}' 
0
0 -1

awk その他の文字列関数

その他の文字列関数 tolower, toupper

tolowerとtoupperは文字列の大文字・小文字変換です。

実行と結果

$ echo "abcdefghijklmn" | awk '{ print toupper($0)}' 
ABCDEFGHIJKLMN

その他の文字列関数 length

lengthは文字列の長さを返します。

実行と結果

$ echo "abcdefghijklmn" | awk '{ print length($0)}' 
14

関連記事

awk 行の表示 先頭行 最終行 指定行

awkは、テキスト処理に欠かせません。よく使う「行を指定した処理」に使える定型スクリプトをまとめました。簡単に書けるように、省略できる部分は極力省きました。awk と 行awkで行を指定して「何かの処理」を実行するときは、「いま何行目？」を...

bioinfo-dojo.net

2018.07.20

awk 複数行の処理

ファイルには様々な形式があります。１行単位で記述されたCSV（カンマ区切り）ファイルやTSV（タブ区切り）ファイルは、awkやsed、その他のbashコマンドなどを使っても比較的処理がしやすい。しかし、複数行でレコードが構成される場合（１行...

bioinfo-dojo.net

2017.10.11

awk split | サンプルでわかる列の分割とセパレータ指定方法

awkのsplit関数は、セパレータを指定して文字列を分割することができます。セパレータには文字や正規表現で指定できて、指定しない場合はフィールドセパレータがデリミタとして使われます。分割後の単語は、配列に格納されて１〜分割数nまでのインデ...

bioinfo-dojo.net

awk while・do 繰り返し処理

awkの繰り返し処理（for・while・do）についてまとめます。今回は、while・doについて。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk while 繰り返し処理条件を満たせば「ずっと」繰り返しを行います。繰...

bioinfo-dojo.net

2017.10.06

awk 配列 使い方

awkでは、他のプログラミング言語のように配列を使うことができます。配列の簡単な使い方のまとめです。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk 連想配列awkの配列では、インデックスには文字列でも数字でも使うことがで...

bioinfo-dojo.net

2017.10.03

awk よく使うシステム変数と使い方

awkのスクリプトでは、参照や設定が可能な「特殊な変数（システム変数）」を使うことができます。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談よく使うシステム変数awkのスクリプトでシステム変数を使うと、より簡潔にスクリプトを表...

bioinfo-dojo.net

2017.09.29

awk パターンとアクション

awkは、入力行に対してフィルタリングなどの処理を行う際によく用いられます。入力行に対して「どの行に処理を行うか」を指定するのがパターン、「どんな処理を行うか」を指定するのが「アクション」です。とにかく早く問題解決したい人はこちら＞＞直接、...

bioinfo-dojo.net

2017.09.28

awk 区切り文字とフィールド

awkは、入力の各行を区切り文字でフィールドに分割して、それぞれを個別に取り出すことができます。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk 区切り文字の変更入力行をフィールドに分割するのは区切り文字です。デフォルトは...

bioinfo-dojo.net

2017.09.27

awk コマンドラインでの実行とスクリプトファイルでの実行

awkを実行する場合、コマンドラインで指定する方法と、スクリプトファイルを指定する方法があります。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk コマンドラインで指定するpatternとactionは、シングルクォートで...

bioinfo-dojo.net

2017.09.25

awk 使い方 フィールド取り出し スクリプトの書き方

awkで簡単なフィールドデータの取り出しを行います。awk は入力された行について、空白やタブで区切られたデータをフィールドと解釈します。・…を指定することで、各行のフィールドを取り出すことができます。尚、https://bioinfo-dojo.net/2016/02/18/awk_easy_field_filter/は入力行全体です。se...

bioinfo-dojo.net

2016.02.18

正規表現 メタキャラクタ 検索・置換 前編

sed や awk、grep、その他のプログラム処理で文字列を扱うときに、よく用いられる「正規表現」についてまとめます。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談正規表現とは正規表現とは、文字列集合を特殊文字（メタキャラク...

bioinfo-dojo.net

2016.04.08

正規表現 メタキャラクタ 検索・置換 後編

sed や awk、grep、その他のプログラム処理で文字列を扱うときに、よく用いられる「正規表現」についてまとめます。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談正規表現とは正規表現とは、文字列集合を特殊文字（メタキャラク...

bioinfo-dojo.net

2016.04.08