awk 使い方フィールド取り出しスクリプトの書き方

スポンサーリンク

awk

2016.02.182021.12.22

awkで簡単なフィールドデータの取り出しを行います。awk は入力された行について、空白やタブで区切られたデータをフィールドと解釈します。$1・$2…を指定することで、各行のフィールドを取り出すことができます。尚、$0は入力行全体です。sed と同じように「-f」でスクリプトファイルを指定することができます。

とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談

目次

awk の書き方
1. awk の使い方
ポイント
関連記事

awk の書き方

awk '命令' 対象となるファイル

awk の使い方

簡単な例で「awk」のフィールドデータ取り出しを使ってみましょう。

ファイルの第１フィールドを取り出し

$ cat awk_data.txt
>a1 b1 c1 d1,R1
AAAAAAAAAAAAAAA
>a2 b2 c2 d2,R2
AAAAAAAAAAAAAAA

 awk '{print $1}' awk_data.txt

>a1
AAAAAAAAAAAAAAA
>a2
AAAAAAAAAAAAAAA

ファイルの「>」行だけを取り出し

awk '/>/' awk_data.txt

>a1 b1 c1 d1,R1
>a2 b2 c2 d2,R2

「>」行をフィルタリング、第１・第３フィールドを取り出し
```
awk '/>/ {print $1,$3}' awk_data.txt
```
```
>a1 c1
>a2 c2
```
「>」行をフィルタリング、区切り文字を「,」カンマに変更
```
awk -F, '/>/ {print $1}' awk_data.txt
```
```
>a1 b1 c1 d1
>a2 b2 c2 d2
```
「>」行をフィルタリング、第１・第３フィールドを取り出し（awk 命令をファイルで提供）
```
$cat awk1
/>/ {print $1, $3}
```
```
awk -f awk1 awk_data.txt
```
```
>a1 c1
>a2 c2
```

ポイント

スペースの要・不要を区別する。特に、区切り文字の変更のとき不要なスペースを入れない
命令はシングルクォーテーションで囲む
命令内の処理は{}で囲む
行の絞りこみなどの条件で、正規表現を使う場合//で囲む

とにかく早く問題解決したい人はこちら＞＞直接、論文相談

関連記事

awk 行の表示先頭行最終行指定行

awkは、テキスト処理に欠かせません。よく使う「行を指定した処理」に使える定型スクリプトをまとめました。簡単に書けるように、省略できる部分は極力省きました。awk と行awkで行を指定して「何かの処理」を実行するときは、「いま何行目？」を...

awk 置換や部分文字列などの文字列処理 gsub sub match index split 等

awkの文字列関数について、置換や部分文字列処理など、よく使う代表的なものを簡単なサンプルを使って紹介します。awk 置換文字列置換 gsub subgsub・subは、対象となる文字列tについて正規表現rにマッチした部分を置換文字列sで置...

awk 複数行の処理

ファイルには様々な形式があります。１行単位で記述されたCSV（カンマ区切り）ファイルやTSV（タブ区切り）ファイルは、awkやsed、その他のbashコマンドなどを使っても比較的処理がしやすい。しかし、複数行でレコードが構成される場合（１行...

awk split | サンプルでわかる列の分割とセパレータ指定方法

awkのsplit関数は、セパレータを指定して文字列を分割することができます。セパレータには文字や正規表現で指定できて、指定しない場合はフィールドセパレータがデリミタとして使われます。分割後の単語は、配列に格納されて１〜分割数nまでのインデ...

awk while・do 繰り返し処理

awkの繰り返し処理（for・while・do）についてまとめます。今回は、while・doについて。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk while 繰り返し処理条件を満たせば「ずっと」繰り返しを行います。繰...

404 NOT FOUND | バイオインフォ道場 [bioinfo-Dojo]

バイオインフォ道場

404 NOT FOUND | バイオインフォ道場 [bioinfo-Dojo]

バイオインフォ道場

awk 配列使い方

awkでは、他のプログラミング言語のように配列を使うことができます。配列の簡単な使い方のまとめです。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk 連想配列awkの配列では、インデックスには文字列でも数字でも使うことがで...

awk よく使うシステム変数と使い方

awkのスクリプトでは、参照や設定が可能な「特殊な変数（システム変数）」を使うことができます。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談よく使うシステム変数awkのスクリプトでシステム変数を使うと、より簡潔にスクリプトを表...

awk パターンとアクション

awkは、入力行に対してフィルタリングなどの処理を行う際によく用いられます。入力行に対して「どの行に処理を行うか」を指定するのがパターン、「どんな処理を行うか」を指定するのが「アクション」です。とにかく早く問題解決したい人はこちら＞＞直接、...

awk 区切り文字とフィールド

awkは、入力の各行を区切り文字でフィールドに分割して、それぞれを個別に取り出すことができます。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk 区切り文字の変更入力行をフィールドに分割するのは区切り文字です。デフォルトは...

awk コマンドラインでの実行とスクリプトファイルでの実行

awkを実行する場合、コマンドラインで指定する方法と、スクリプトファイルを指定する方法があります。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談awk コマンドラインで指定するpatternとactionは、シングルクォートで...

正規表現メタキャラクタ検索・置換前編

sed や awk、grep、その他のプログラム処理で文字列を扱うときに、よく用いられる「正規表現」についてまとめます。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談正規表現とは正規表現とは、文字列集合を特殊文字（メタキャラク...

正規表現メタキャラクタ検索・置換後編

sed や awk、grep、その他のプログラム処理で文字列を扱うときに、よく用いられる「正規表現」についてまとめます。とにかく早く問題解決したい人はこちら＞＞直接、データ解析相談正規表現とは正規表現とは、文字列集合を特殊文字（メタキャラク...

当ブログで掲載している画像の著作権・肖像権等は各権利所有者に帰属致します。権利を侵害する目的ではございません。記事の内容や掲載画像等に問題がございましたら、各権利所有者様本人が直接メールでご連絡下さい。確認後、対応させて頂きます。当ブログのコンテンツ・情報につきまして、可能な限り正確な情報を掲載するよう努めておりますが、誤情報が入り込んだり、情報が古くなっていることもございます。当ブログからリンクやバナーなどによって他のサイトに移動された場合、移動先サイトで提供される情報、サービス等について一切の責任を負いません。また、閲覧者が当ブログの情報を直接または間接に利用したことで被ったいかなる損害についても当サイト運営者は一切の責任を負いません。

タイトルとURLをコピーしました