SED 便利な使い方 ファイル読み込み・ファイル書き出し

スポンサーリンク

sedのファイル読込みコマンド(r)・ファイル書き込みのコマンド(w)が便利です。指定の位置に外部ファイルからデータを読み込んだり、パターンにマッチした部分を一括で複数のファイルに分割するなどの便利な処理を行うことができます。知っていれば、レポートの自動生成やドキュメント作成など色々な場面で役に立つと思います。

とにかく早く問題解決したい人はこちら>>直接、データ解析相談

sed ファイル読込み

指定したパターンに一致する次の行以降に、指定したファイルの内容を読込みます。コマンドrを使います。パターンを指定する方法、アドレスを指定する方法などがあります。

以下の例で、file1.txtの「header」の次の行に、load.txtの内容を読み込みます。

ファイルの準備

file1.txt

header
body
footer

load.txt

------------
bioinfo-dojo
------------

ファイル読み込み位置 パターンを指定する

パターン(header)に一致する行の次に、load.txtの内容を読み込みます。

$ sed '/header/r load.txt' file1.txt
header
------------
bioinfo-dojo
------------
body
footer

このままでは、検索したパターンである「header」行が残るので少し工夫します。seddコマンドを一緒に使って削除します。eコマンドをつけると連続で処理できます。

$ sed -e '/header/r load.txt' file1.txt -e '/header/d'
------------
bioinfo-dojo
------------
body
footer

ファイル読み込み位置 行を指定する

行を指定して、load.txtの内容を読み込みます。数字や$(最後の意味)などを使います。

1行目を指定

$ sed '1r load.txt' file1.txt
header
------------
bioinfo-dojo
------------
body
footer

最後の行を指定

$ sed '$r load.txt' file1.txt
header
body
footer
------------
bioinfo-dojo
------------

複数のファイルを一度に処理する

複数のファイルに、load.txtの内容を読み込みます。

$ ls file?.txt
file1.txt
file2.txt

同じ形式のファイルが複数存在するとき、いっぺんに処理できる方法を知っていると便利です。

$ find -name "file?.txt" | xargs -L 1 sed -e '1r load.txt' -e '1d' 
------------
bioinfo-dojo
------------
body
footer
------------
bioinfo-dojo
------------
body2
footer2

sed ファイル書き込み

指定したパターンに一致する内容を、指定したファイルに書き出します。コマンドwを使います。

以下の例では、色んな拡張子のファイルリスト(lsの結果)を、それぞれファイルに分けます。

色々な拡張子のファイルリスト(準備)

$ ls
aaa.txt
bbb.png
ccc.py
ddd.rb
eee.sh
fff.cpp  
ggg.pl
hhh.txt

sed ファイル書き込み コマンドライン

lsの結果を、sedでフィルタリングします。「txt」の拡張子を持つファイル名を、wコマンドでtext_listというファイルに書き出します。catをパイプして処理することもできます。

$ ls | sed '/txt$/w text_list'
$ cat text_list
aaa.txt
hhh.txt

sed ファイル書き込み スクリプトファイル

lsの結果を、sedスクリプトファイルでフィルタリングします。それぞれのパターンと書き出すファイル名を、wコマンドで指定します。様々な条件を一括で処理できます。

classify.sed

/py$/w python_list
/rb$/w ruby_list
/pl$/w perl_list
/cpp$/w c_list
/sh$/w sh_list
/txt$/w text_list
/png$/w png_list

スクリプトファイル(classify.sed)を指定して実行

$ ls | sed -f classify.sed

生成されたファイル(*_list)とその内容

sedで指定したスクリプトファイルの内容に従って、拡張子毎にファイルに分割されました。

$ *list
c_list  perl_list  png_list  python_list  ruby_list  sh_list  text_list
$ cat perl_list
ggg.pl
$ cat python_list
ccc.py
とにかく早く問題解決したい人はこちら>>直接、論文相談

関連記事

sed スペース 空白文字の整理・空白行の削除
sed で、スペース・タブ、空行に関する処理をまとめました。これらは、フィールドやレコードのセパレータとして使われるので、使いこなせるようになるとデータ解析の前処理が楽になります。 スペース・タブ(空白文字)の処理 複数のスペースを1つにす...
sed コマンド 行指定の置換・削除(アドレッシング)
sedコマンドの処理は行単位です。何も指定しなければすべての行が対象になりますが、アドレシングを指定することで特定の行だけに作用させることができます。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 sed コマンド 行指定の...
sed コマンド 削除(行番号とパターン)
sedで行の削除を行う際はdコマンドを使います。アドレスやパターンと一緒に指定します。アドレスの指定は、dコマンドの直前に行番号を指定します。ちなみに、末尾は$で表現可能です。パターンの指定は、行の特徴を正規表現で指定します。 とにかく早く...
sed コマンド 置換(全体と部分指定)
sedで置換を行う際はsコマンドを使います。マッチしたパターン全てに置換処理を適用したい場合は、gフラグを指定します。一方、部分的に置換処理を適用したい場合は数字を指定します。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 ...
sed コマンド 置換・削除・アドレッシングまとめ
sedはとても便利なツールです。 よく使うコマンドやアドレシング・否定の指定方法など、ちょっとしたテクニックも知っておくと便利です。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 よく使うsedコマンド 置換や削除はよく使い...
sed コマンド スクリプトファイルの実行 スクリプトの書き方
sedはテキスト編集ツールとして有名なツールの1つです。 フィルタリングや置換処理を行うときに使います。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 sedの書き方 コマンドライン中で簡単なフィルタリングを行ったり、コマン...
sed コマンド 単純な置換
sed で単純な文字列置換を行います。sed の置換コマンド「s」を使います。 複数のコマンドを並べて、連続で置換処理を行うことができます。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 sed の書き方(置換) sed '...
正規表現 メタキャラクタ 検索・置換 前編
sed や awk、grep、その他のプログラム処理で文字列を扱うときに、よく用いられる「正規表現」についてまとめます。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 正規表現とは 正規表現とは、文字列集合を特殊文字(メタキ...
正規表現 メタキャラクタ 検索・置換 後編
sed や awk、grep、その他のプログラム処理で文字列を扱うときに、よく用いられる「正規表現」についてまとめます。 とにかく早く問題解決したい人はこちら>>直接、データ解析相談 正規表現とは 正規表現とは、文字列集合を特殊文字(メタキ...
タイトルとURLをコピーしました