数理統計学

統計学専攻者と非専攻者の違いは、実際には数学統計学のみである。

断言して言えるのは、現代社会において統計学が使われていない場所は存在しないということだ。どの科学分野を選ぶにしても、ある領域に到達するためには仮説検定や分析手法など、統計学を学ばなければならない。統計学の門戸は数多くの非専攻者にも広く開かれており、技術的な面では―自分のドメイン内ではむしろ専攻者よりも親しみを持って使用する専門家も多い。

では、その専門家たちは「統計学」そのものを専攻した人々とどのように区別されるのか？もちろん、専攻者はデータのドメインを問わず多くの手法を学び、深く学んでいる点や、経験的に多様なデータに対する直感が強いという点などで説明できるが、最も本質的な違いは数学的理解のレベルである。

統計学を専攻するということは、単にいくつかの手法の証明を見て数学的背景を理解するレベルで終わるものではない。統計学全体を貫くコンセプトに共感し、広く知られている分布間の関係をはっきりと理解し、どんな新しい手法を見たとしてもその原理を迅速に把握できる眼を養う必要がある。数学統計学はまさにそのための学習と訓練であり、統計学全体を支える数学的理論を扱う。

確率論

測度論🔥を使用するレベルは確率論カテゴリーに分けている。

• 確率と確率の加法則 $P$

単変量確率変数

• 確率変数と確率分布 $X$
• 確率変数の線形結合
• 確率収束 $\overset{P}{\to}$
  • 確率収束なら分布収束する
• 分布収束 $\overset{D}{\to}$
  • 分布収束なら確率有界である
• 確率有界性
• 弱法則の証明
• 中心極限定理の証明

多変量ランダムベクトル

• 多変量確率分布 $\mathbf{X}$
• 多変量確率変数の変換
  • 確率密度関数の畳み込み公式
• 条件付き確率分布
  • 条件付き期待値は偏差二乗和を最小化する
• 確率変数の独立 $X_{1} \perp X_{2}$
  • 確率変数の相互独立とiid
  • バーンスタイン分布：ペアで独立であっても相互独立ではない
• 多変量確率変数の確率収束
• 多変量確率変数の分布収束
• 主成分分析 PCA
• 🔒(25/05/06)混合分布

モーメント

• 期待値、平均、分散、モーメントの定義 $E X^{t}$
  • 統計学の三大代表値: 最頻値、中央値、平均
  • 代表値の数学的性質の証明
  • 平均と分散の性質
  • 関数を適用した確率変数形の和の期待値
• 共分散
  • 共分散行列
  • ピアソン相関係数 $\rho$
  • 相関がないことが独立であるとは限らない
• 歪度
• 尖度
• モーメント母関数とは？ $E e^{tX}$
  • $n$次モーメントが存在すれば、次数が$n$未満のモーメントも存在する
• 重み付き平均
• 合同分散 $s_{p}^{2}$
• ランダムベクトルの期待値

確率分布論

数学統計学で学ぶ確率分布論は非常に重要だが、「생새우초밥집」ではその規模があまりに大きく、数学統計学を超えるトピックも扱うため、独立したカテゴリとして分離された。

• 特定の分布に従う確率変数の和の定理
• スチューデントの定理
• 正規分布に従う二つの確率変数が独立であることと共分散が $0$ であることは同値である
• スターリング近似公式の数学統計学的証明
• デルタ法
• 指数族確率分布
• ロケーションファミリー $f (x ; \theta)$
  • ロケーションファミリーの十分統計量と最尤推定量
• スケールファミリー $f (x ; \sigma)$

二次形式

• 🔒(25/04/09) ランダムベクトル二次形式 $\mathbf{X}^{T} A \mathbf{X}$
• 🔒(25/04/13) ランダムベクトル二次形式の期待値
• 🔒(25/04/17) ランダムベクトル二次形式で表した偏差二乗和 $(n-1) S^{2} = \mathbf{X}^{T} \left( I_{n} - {\frac{ 1 }{ n }} J_{n} \right) \mathbf{X}$
• 🔒(25/04/21) 正規分布ランダムベクトル二次形式のモーメント母関数
• 🔒(25/04/25) 正規分布ランダムベクトル二次形式のカイ二乗性の同値条件
• 🔒(25/05/11) クレイグの定理の証明
• 🔒(25/05/19) ホグ＝クレイグの定理の証明
• 🔒(25/05/27) コクランの定理の証明

統計的推論

• ランダムサンプル
  • 単変量確率変数のサンプリング方法
• ランダムサンプルの標本平均の平均と分散
  • 標本標準偏差と標準誤差の区別

統計量

• 統計量と推定量 $T$
  • モンテカルロ法とブートストラップの違い
  • 信頼区間
  • 標準誤差の一般的な定義
• ピボット $Q(\mathbf{X}, \theta)$
• 順序統計量 $X_{(k)}$
• 一致推定量 $T_{n} \overset{P}{\to} \theta$
• モーメント法
  • サターズホワイト近似

不偏推定

• 不偏推定量 $ET = \theta$
  • 都合
    • 都合と分散のトレードオフ
  • 標本分散を $n-1$ で割る理由
• 効率的推定量
  • ラオ・クラマー下限
    • 不偏推定量のラオ・クラマー下限
• 最良不偏推定量 UMVUE
  • 最小分散不偏推定量の一意性
• ラオ・ブラックウェルの定理
• レマン＝シェフェの定理

十分統計量

• 十分統計量
• ネイマンの因数分解定理
• 最小十分統計量
  • 最小十分統計量が与えられた不偏推定量の分散は最小になる
• 補助統計量
  • ロケーション–スケールファミリーの補助統計量
• 完備統計量
  • 指数族確率分布の完備統計量
• バスの定理の証明

尤度推定

• 尤度関数 $L(\theta | \mathbf{x})$
• 最尤推定量 MLE
  • 正則性条件
  • フィッシャー情報 $I(\theta)$
  • バトレット恒等式
• 最尤推定量の不変性
• 唯一の最尤推定量は十分統計量に依存する

仮説検定

• 仮説検定の定義 $H_{0} \text{ vs } H_{1}$
• 検定力関数 $\beta (\theta)$
• 尤度比検定 LRT
  • 十分統計量を含む尤度比検定
• 不偏検定力関数と最強力検定 UMP
  • ネイマン＝ピアソン補助定理の証明
  • 十分統計量を含む最強力検定
• 単調尤度比 MLR
  • カリン＝ルービンの定理の証明
• 有意確率 $p(\mathbf{X})$

区間推定

• 区間推定量 $\left[ L, U \right]$
  • 信頼集合
• 仮説検定と信頼区間の一対一対応関係
• 最正確信頼集合 UMA
• 確率的増減関数と信頼区間
• ユニモーダル分布の最短信頼区間

ベイジアン

• ベイズの定理の証明と事前分布、事後分布
  • ベイズの定理で見るモンティホールジレンマ
• ベイジアンパラダイム
• ラプラスの乗法法則
• 共役事前分布
• ラプラス事前分布
• ジェフリー事前分布
• 信用区間
  • 信用区間と信頼区間の違い
  • 最尤事後密度信用区間
• ベイズ因子による仮説検定

主要参考文献

• Casella. (2001). Statistical Inference(2nd Edition)
• Hogg et al. (2013). Introduction to Mathematical Statistics(7th Edition)
• 김달호. (2013). R과 WinBUGS를 이용한 베이지안 통계학