gzip 圧縮したテキストファイル 結合と分割

bioinfomatics の解析では、サイズの大きなファイルを扱います。

fastqファイルは圧縮(fastq.gz)して使うことが多いので、圧縮したままで使える「ファイルの結合」や「ファイルの分割」のしかたを覚えておくと便利です。

fastqファイル、圧縮してあるのにサイズが大きいなぁ・・・ファイルを分割しなきゃいけない。

圧縮された状態で、分割したり・結合したりする方法を知っておくと便利だね。

圧縮ファイルをそのまま処理できれば、展開する手間を省けるね。

分割と結合をセットで覚えておくと良さそうだね。

Linuxコマンドブック ビギナーズ 第5版

fastq.gz ファイルを圧縮したまま結合・分割する

圧縮ファイル(.gz)の結合

ファイル(fastq)を個別に圧縮しました。

$ cat data1.fastq
@data01
ATGC
+
AAAA
@data02
TACG
+
BBBB
$ cat data2.fastq.gz
@data03
CGTA
+
CCCC
@data04
GCAT
+
DDDD
$ gzip data1.fastq -c > data1.fastq.gz
$ gzip data2.fastq -c > data2.fastq.gz

個別に圧縮したファイルをそのまま結合しました。

$ cat data1.fastq.gz data2.fastq.gz > data.fastq.gz

圧縮ファイルのまま結合したファイルを展開しました。予想通りの結果になりました。

$ gzip -dc data.fastq.gz 
 @data01
 ATGC
 +
 AAAA
 @data02
 TACG
 +
 BBBB
 @data03
 CGTA
 +
 CCCC
 @data04
 GCAT
 +
 DDDD

圧縮ファイル(.gz)の分割

圧縮ファイルを分割しました。

$ split -n 3 data.fastq.gz
xaa
xab
xac

結合のときと同じように、そのまま結合しました。

$ cat xaa xab xac > splited.fastq.gz

圧縮ファイルのまま結合したファイルを展開しました。予想通りの結果になりました。

$ gzip -dc splited.fastq.gz 
@data01
ATGC
+
AAAA
@data02
TACG
+
BBBB
@data03
CGTA
+
CCCC
@data04
GCAT
+
DDDD

参考図書など

よく使う基本的なコマンドが、簡単な例と一緒に解説されているので、わかりやすく・使いやすい本だと思います。

Linuxコマンドブック ビギナーズ 第5版



カテゴリー

今週よく読まれている記事

  1. 学会・会議で英語が絶望的にできなくて困るケース | オンライン開催で「英語力のなさ」を痛感した場合の対処法

    学会・会議で英語ができなくてに困るケース学会やイベント・会議などが、オンラインで開催される…
  2. r tidyverse 使い方 | 列 filter 絞り込み select関数 – dplyrパッケージ

    tidyverseで1つのデータフレームの列の絞り込みは、dplyrパッケージのselect関数を…
  3. プログラミングで疲れた脳をリフレッシュ 〜 鬼滅の刃「感動」と「やる気アップ」でストレス発散!

    ストレス発散は鬼滅で。「50%OFF」で読む!脳のパフォーマンスを上げるには、適度な休憩と…
  4. AWS ディスク容量不足 新しいボリュームを追加する

    バイオインフォマティクスでは大きなファイルを扱うことがあるので、ディスク不足に陥ることがあります。…
  5. 「知っている」と「知らない」とでは、もしものとき、大違いになる – コロナうつ対策

    コロナうつなどという言葉を聞くようになりましたが、派遣切り、解雇、リストラは、これから本格化します…

人気記事

  1. Excel, 統計

    z-score 計算方法 エクセル(Excel) 編
    統計処理で、大きく変化しているなどの判断基準にも使われる値…
  2. IGV, 解析ツール

    IGV 使い方 インストール〜便利な使い方まで | リファレンス・マッピングデータ・アノテーションを読み込んで表示しよう
    IGV(Integrative Genomics View…
  3. R言語

    R subset関数 データフレームやmatrixからの条件指定による行・列の抽出
    R の subset関数は、データフレームやマトリックスか…

おすすめ記事

  1. awk, シェルスクリプト

    bash 部分文字列・置換・長さ・連結・分割の文字列処理
    bashのよく使う文字列処理、部分文字列・置換・連結・長さ…
  2. R言語, グラフ

    R 使い方 軸・ラベルの調整(向き・サイズ・色など) グラフの描き方
    Rによるplot(グラフ)の描画は、手軽で大変便利です。た…
  3. シェルスクリプト

    シェルスクリプト | ファイル存在チェック・空ファイルチェック
    bashでスクリプトを作成するときに、よく使うのがファイル…