R と Excel 分散 標準偏差 計算 データの散らばりについて

データ分析の基本である、分散 標準偏差について、Rとエクセルで比較してみましょう。ExcelやRを使って、自分で計算するとより理解が深まると思います。

データの散らばり 分散 標準偏差

スポンサーリンク



偏差 平均値からどれだけずれているか?

偏差とは、個々のデータから平均値を引いて得られる値です。つまり、平均値からのズレです。平均値からどれだけズレているかをあらわす偏差を考えることで、それぞれのデータがどのような個性をもっているのかがわかります。

偏差

$$ x_i – \overline{x} $$

分散 全体の散らばりはどの程度か?

データ1つ1つの平均値からのズレは偏差でわかりました。全体の散らばりは、これらを足しあわせて考えることができます。しかし、平均値からのズレには「+」「-」があるので、単純に総和を求めると相殺されてしまいます。そこで、各偏差を2乗して考えることにします。これらの全てを足したものを、変動や偏差平方和などと呼びます。これをデータ数で割って平均化したものが分散です。尚、「データ数-1」で割ると不偏分散が求まります。

分散

$$ \sigma^2 = \frac{1}{n} \sum_{i=1}^n (x_i – \overline{x}) $$

不偏分散

$$ \mu^2 = \frac{1}{n-1} \sum_{i=1}^n (x_i – \overline{x}) $$

不偏分散とは、サンプルから母集団の分散を推定したものです。一方、(標本)分散とは、データが母集団全体であるときの分散です。例えば、工場などで一部サンプルをとって全体のばらつきを推定する場合は「不偏分散」、校内模試の全体結果から分散を求める場合は「(標本)分散」を計算するというように使い分けます。

標準偏差 分散よりもわかりやすい?

分散の正の平方根をとったものが標準偏差です。分散は、2乗した数で表されるので、元のデータと単位が異なります。例えば、ある測定データについて分散を計算すると、「長さ」や「重さ」の分散は「その平方(2乗)」で表されるので、元のデータと比較しにくいという面があります。それに比べて、正の平方根をとった標準偏差は元のデータと同じ単位なので、分散よりも散らばり具合をよく表現します。

標準偏差

$$ \sigma = \sqrt{\sigma^2} $$

分散 標準偏差 計算する

データの準備

データは、RのデータセットairqualityのOzoneデータを使いました。write.table関数を使って、ファイルに保存して使うと便利です。

> data <- subset(airquality, complete.cases(airquality))
> data$Ozone
 41 36 12 18  23 19  8  16  11 14  18 14 34  6 30  11   1 11
  4 32 23 45 115 37 29  71  39 23  21 37 20 12 13 135  49 32
 64 40 77 97  97 85 10  27   7 48  35 61 79 63 16  80 108 20
 52 82 50 64  59 39  9  16 122 89 110 44 28 65 22  59  23 31
 44 21  9 45 168 73 76 118  84 85  96 78 73 91 47  32  20 23
 21 24 44 21  28  9 13  46  18 13  24 16 13 23 36   7  14 30
 14 18 20
> write.table("data.tsv", data$Ozone, sep="\t", quote=F)

Excel 分散 標準偏差 計算する

分散

エクセルで不偏分散を求めるには、VAR.S関数、または、VAR関数を使います。

=VAR.S(セル範囲)
または、=VAR(セル範囲)

標準偏差

エクセルで標準偏差を求めるには、STDEV.S関数、または、STDEV関数を使います。

=STDEV.S(セル範囲)
または、=STDEV(セル範囲)

「母集団」についての標本分散と標本標準偏差を計算する場合は、前者がVAR.P関数(VARP関数)、後者がSTDEV.P関数(STDEVP関数)を使います。

=VAR.P(セル範囲)
=STDEV.P(セル範囲)

Excel 分散 標準偏差 計算する 自分で計算!

エクセルで、関数を使わずに不偏分散を計算してみましょう。

偏差

偏差は、各データから平均値を引いたものです。全てのデータから平均値を引きます。平均値は固定のセルなので、「$列名$行番号」で参照先を固定します。(例では、B2-$G$2

偏差の2乗 偏差平方和

偏差の2乗を全ての偏差について計算します。

不偏分散

不偏分散を求めます。「偏差の2乗」をSUMで合計して、「データ数-1」で割ります。

R 分散 標準偏差 計算する

Rで不偏分散を計算するには、var関数を使います。

> var(data$Ozone)
[1] 1107.29

Rで標準偏差を計算するには、sd関数を使います。

> sd(data$Ozone)
[1] 33.27597

「母集団」についての標本分散と標本標準偏差を計算する場合は、不偏分散を $$ \frac{n-1}{n} $$ 倍すると求められます。

分散

$$ \sigma^2 = \frac{1}{n} \sum_{i=1}^n (x_i – \overline{x}) $$

不偏分散

$$ \mu^2 = \frac{1}{n-1} \sum_{i=1}^n (x_i – \overline{x}) $$

> data <- subset(airquality, complete.cases(airquality))
> data$Ozone
 41 36 12 18  23 19  8  16  11 14  18 14 34  6 30  11   1 11
  4 32 23 45 115 37 29  71  39 23  21 37 20 12 13 135  49 32
 64 40 77 97  97 85 10  27   7 48  35 61 79 63 16  80 108 20
 52 82 50 64  59 39  9  16 122 89 110 44 28 65 22  59  23 31
 44 21  9 45 168 73 76 118  84 85  96 78 73 91 47  32  20 23
 21 24 44 21  28  9 13  46  18 13  24 16 13 23 36   7  14 30
 14 18 20
> var(data$Ozone)
[1] 1107.29  # 不偏分散
> sd(data$Ozone)
[1] 33.27597

> hyouhon_var <- function(x) var(x) * (length(x)-1)/length(x)
> hyouhon_var(data$Ozone)
[1] 1097.315  # 標本分散
> sqrt(hyouhon_var(data$Ozone))
[1] 33.12574

Excelで計算したものと同じ結果が得られました。

スポンサーリンク





ピックアップ記事

  1. R plot 重ねる方法3パターン サンプルでわかるRの使い方

    Rでグラフ (plot) を重ねる方法は、「単純な追加」「図に重ねて描画」「濃淡で重なり表現」の3…
  2. awk if サンプルでわかる条件文の書き方 一致・大小比較・正規表現を簡潔に書く方法

    awkのif条件文は、条件によって処理をわけたいときに使います。条件式では、0の判定・関係演算子・…
  3. R subset関数 データフレームやmatrixからの条件指定による行・列の抽出

    R の subset関数は、データフレームやマトリックスから条件にマッチした部分集合を取り出します…

人気記事

  1. Excel, その他, 統計

    z-score 計算方法 エクセル(Excel) 編
    統計処理で、大きく変化しているなどの判断基準にも使われる値…
  2. R データ型 - 文字列・ベクター・データフレーム・マトリックス など-, R言語, スクリプト

    R subset関数 データフレームやmatrixからの条件指定による行・列の抽出
    R の subset関数は、データフレームやマトリックスか…
  3. IGV, 解析ツール

    IGV 使い方 インストール〜便利な使い方まで | リファレンス・マッピングデータ・アノテーションを読み込んで表示しよう
    IGV(Integrative Genomics View…

おすすめ記事

  1. bash 応用, シェルスクリプト

    シェル スクリプト ファイル存在チェック・空のファイルチェック
    bashでスクリプトを作成するときに、よく使うのがファイル…
  2. R言語, グラフ

    R 使い方 軸・ラベルの調整(向き・サイズ・色など) グラフの描き方
    Rによるplot(グラフ)の描画は、手軽で大変便利です。た…
  3. awk, bash 文字列操作, シェルスクリプト

    bash 部分文字列・置換・長さ・連結・分割の文字列処理
    bashのよく使う文字列処理、部分文字列・置換・連結・長さ…