AWS aws cli 使い方 インストールとデータ転送

バイオインフォ道場、くまぞうです。

バイオインフォマティクスでのAWSの利用に関して、AWSのEC2・S3・ローカルPC間でのデータ転送についてまとめます。AWS CLI編

スポンサーリンク



関連記事 AWSの活用とデータ転送

AWSとは?

クラウド上にサーバーが構築できるEC2と、クラウド上に大きなストレージを確保できるS3が有名です。他にも様々なサービス提供が行われています。ウェブブラウザでも管理することが出来て、各種サービスを手軽に、そして効率良く利用することができます。

Amazon Web Services(アマゾン ウェブ サービス、AWS)とは、Amazon.com により提供されているクラウドコンピューティングサービス(ウェブサービス)である。これらのサービスは全世界で11の地域に提供されている。AWSの有名なサービスにAmazon Elastic Compute Cloud(EC2)とAmazon Simple Storage Service(S3)がある。これまでのクライアントが保有していた物理的なサーバファームと比較してAWSは大規模な計算処理能力を速やかに、かつ安価に提供出来る。
【出展】Wikipedia – Amazon Web Services

AWSをローカルPCで操作する

AWS Command Line Interface(AWS CLI)を使えば、EC2サーバー操作やS3・その他サービスの操作をローカルPCからコマンドライン経由で実行できます。今回は、ローカルPCからS3へのアップロードと、その逆でS3からローカルへPCへのダウンロードを行い、データ転送を確認しました。

AWS CLIでデータ転送

AWS CLIを使って、ローカルPCとS3間でのデータ転送を確認しました。使ったコマンドは、aws s3cpです。

インストール

  $ curl -O https://s3.amazonaws.com/aws-cli/awscli-bundle.zip
  $ unzip awscli-bundle.zip
  $ sudo ./awscli-bundle/install -i /usr/local/aws -b /usr/local/bin/aws

設定

  $ /usr/local/bin/aws configure
  AWS Access Key ID [None]:     xxxx <- input your ID
  AWS Secret Access Key [None]: xxxx <- input your Key
  Default region name [None]:   xxxx <- input your default region name
  Default output format [None]:

データ転送の確認

  $ /usr/local/bin/aws s3 cp mydata.txt s3://myfolder/              # PC -> s3
  $ /usr/local/bin/aws s3 cp s3://myfolder/mydata.txt mydata_s3.txt # s3 -> PC
スポンサーリンク





カテゴリー

今週よく読まれている記事

  1. 学会・会議で英語が絶望的にできなくて困るケース | オンライン開催で「英語力のなさ」を痛感した場合の対処法

    学会・会議で英語ができなくてに困るケース学会やイベント・会議などが、オンラインで開催される…
  2. r tidyverse 使い方 | 列 filter 絞り込み select関数 – dplyrパッケージ

    tidyverseで1つのデータフレームの列の絞り込みは、dplyrパッケージのselect関数を…
  3. プログラミングで疲れた脳をリフレッシュ 〜 鬼滅の刃「感動」と「やる気アップ」でストレス発散!

    ストレス発散は鬼滅で。「50%OFF」で読む!脳のパフォーマンスを上げるには、適度な休憩と…
  4. AWS ディスク容量不足 新しいボリュームを追加する

    バイオインフォマティクスでは大きなファイルを扱うことがあるので、ディスク不足に陥ることがあります。…
  5. 「知っている」と「知らない」とでは、もしものとき、大違いになる – コロナうつ対策

    コロナうつなどという言葉を聞くようになりましたが、派遣切り、解雇、リストラは、これから本格化します…

人気記事

  1. Excel, 統計

    z-score 計算方法 エクセル(Excel) 編
    統計処理で、大きく変化しているなどの判断基準にも使われる値…
  2. R言語

    R subset関数 データフレームやmatrixからの条件指定による行・列の抽出
    R の subset関数は、データフレームやマトリックスか…
  3. IGV, 解析ツール

    IGV 使い方 インストール〜便利な使い方まで | リファレンス・マッピングデータ・アノテーションを読み込んで表示しよう
    IGV(Integrative Genomics View…

おすすめ記事

  1. awk, シェルスクリプト

    bash 部分文字列・置換・長さ・連結・分割の文字列処理
    bashのよく使う文字列処理、部分文字列・置換・連結・長さ…
  2. R言語, グラフ

    R 使い方 軸・ラベルの調整(向き・サイズ・色など) グラフの描き方
    Rによるplot(グラフ)の描画は、手軽で大変便利です。た…
  3. シェルスクリプト

    シェルスクリプト | ファイル存在チェック・空ファイルチェック
    bashでスクリプトを作成するときに、よく使うのがファイル…