数理統計学

統計学専攻者と非専攻者の違いは、実に数理統計学だけである。

断言するが、現代人間社会で統計学が使われない場所はない。科学のどの分野を選んでも、ある境地に達するためには、仮説検定であれ分析技術であれ、統計を学ばなければならない。統計学の門は多くの非専攻者にも大いに開かれており、技術としては―自分の領域^Domainではむしろ専攻者よりも親しみやすく使う専門家も多い。

その専門家たちは「統計学」自体を専攻した人々とどのように区別されるだろうか？もちろん専攻者たちは、データのドメインを問わず多くの技術を学び深く学ぶ点、経験的に様々なデータに対する直感が強い点などで説明されるだろうが、最も本質的な違いは数理的な理解のレベルである。

統計学を専攻するということは、いくつかの技術の証明を見て数理的な背景を理解するレベルで終わるわけではない。統計学全体を貫くコンセプトに共感し、広く知られている分布間の関係をよく知り、新しい技術を見てもその原理を素早く把握できる目を養う必要がある。数理統計学はまさにそれを目的とした学問であり訓練であり、統計学全体を支える数学的理論を扱う。

確率論

測度論🔥を使用するレベルは確率論カテゴリに分けてある。

• 確率と確率の加法定理 $P$

一変量確率変数

• 確率変数と確率分布 $X$
• 確率変数の線形結合
• 確率収束 $\overset{P}{\to}$
  • 確率収束すると分布収束する
• 分布収束 $\overset{D}{\to}$
  • 分布収束すると確率有界である
• 確率有界
• 弱法則の証明
• 中心極限定理の証明

多変量ランダムベクトル

• 多変量確率分布 $\mathbf{X}$
• 多変量確率変数の変換
  • 確率密度関数の畳み込み公式
• 条件付き確率分布
  • 条件付き期待値は偏差の二乗和を最小化する。
• 確率変数の独立 $X_{1} \perp X_{2}$
  • 確率変数の相互独立とiid
  • バーンスタイン分布：ペアで独立と相互独立ではない
• 多変量確率変数の確率収束
• 多変量確率変数の分布収束
• 🔒(24/08/02) 主成分分析 PCA

モーメント

• 期待値、平均、分散、モーメントの定義 $E X^{t}$
  • 統計学の三つの代表値：最頻値、中央値、平均
  • 代表値の数理的性質の証明
  • 平均と分散の性質
  • 関数を取った確率変数形の和の期待値
• 共分散
  • 共分散行列
  • ピアソン相関係数 $\rho$
  • 相関関係がないと独立とは限らない
• 歪度
• 尖度
• モーメント生成関数とは？ $E e^{tX}$
  • $n$次モーメントが存在するとき、$n$より小さい次数のモーメントも存在する
• 加重平均
• 合同分散 $s_{p}^{2}$
• ランダムベクトルの期待値

確率分布論

数理統計学で学ぶ確率分布論は非常に重要だが、生しらす寿司店ではその規模があまりにも広大になり、数理統計学以上のトピックも扱うため、独立したカテゴリーとして分けられた。

• 特定の分布に従う確率変数の加算の総まとめ
• スチューデントの定理
• 正規分布に従う二つの確率変数が独立であることと共分散が$0$であることは同値である
• スターリング近似公式の数理統計的証明
• デルタメソッド
• 指数族確率分布
• ロケーションファミリー $f (x ; \theta)$
  • ロケーションファミリーの十分統計量と最尤推定量
• スケールファミリー $f (x ; \sigma)$

統計的推論

• ランダムサンプル
  • 一変量確率変数のサンプリング方法
• ランダムサンプルの標本平均の平均と分散
  • 標本標準偏差と標準誤差の区別

統計量

• 統計量と推定量 $T$
  • モンテカルロ法とブートストラップの違い
  • 信頼区間
  • 標準誤差の一般的な定義
• ピボット $Q(\mathbf{X}, \theta)$
• 順序統計量 $X_{(k)}$
• 一致推定量 $T_{n} \overset{P}{\to} \theta$
• モーメント法
  • サッターズウェイト近似

不偏推定

• 不偏推定量 $ET = \theta$
  • 偏り
    • 偏り-分散トレードオフ
  • 標本分散を$n-1$で割る理由
• 効率的推定量
  • ラオ-クレーマー下限
    • 不偏推定量のラオ-クレーマー下限
• 最良不偏推定量 UMVUE
  • 最小分散不偏推定量の一意性
• ラオ-ブラックウェル定理
• レーマン-シェフェ定理

十分統計

• 十分統計量
• ネイマン因数分解定理
• 最小十分統計量
  • 最小十分統計量が与えられた不偏推定量の分散は最小になる
• 補助統計量
  • ロケーション-スケールファミリーの補助統計量
• 完全統計量
  • 指数族確率分布の完全統計量
• バース定理の証明

尤度推定

• 尤度関数 $L(\theta | \mathbf{x})$
• 最尤推定量 MLE
  • 正則性条件
  • フィッシャー情報 $I(\theta)$
  • バートレット同一性
• 最尤推定量の不変性
• 唯一の最尤推定量は十分統計量に依存する

仮説検定

• 仮説検定の定義 $H_{0} \text{ vs } H_{1}$
• 検定力関数 $\beta (\theta)$
• 尤度比検定 LRT
  • 十分統計量が含まれる尤度比検定
• 不偏検定力関数と最強力検定 UMP
  • ネイマン-ピアソン補題の証明
  • 十分統計量が含まれる最強力検定
• 単調尤度比 MLR
  • カリン-ルービン定理の証明
• 有意確率 $p(\mathbf{X})$

区間推定

• 区間推定量 $\left[ L, U \right]$
  • 信頼集合
• 仮説検定と信頼区間の一対一の対応関係
• 最精密信頼集合 UMA
• 確率的増減関数と信頼区間
• ユニモーダル分布の最短信頼区間

ベイズ

• ベイズの定理の証明と事前分布、事後分布
  • ベイズの定理で見るモンティ・ホール問題
• ベイジアンパラダイム
• ラプラスの成功法則
• 共役事前分布
• ラプラス事前分布
• ジェフリーズ事前分布
• 信用区間
  • 信用区間と信頼区間の違い
  • 最高事後密度信用区間
• ベイズ因子による仮説検定

主要参考文献

• Casella. (2001). Statistical Inference(2nd Edition)
• Hogg et al. (2013). Introduction to Mathematical Statistics(7th Edition)
• 김달호. (2013). R과 WinBUGS를 이용한 베이지안 통계학