ヒープスの法則
法則
コーパスにおける語彙の個数を$M$、トークンの個数を$T$とすると $$ M = kT^{b} $$
説明
コーパスが英語の場合、通常、定数$k,b$は$10 \le k \le 100$、そして$b = 0.5$程度で現れるという。ヒープスの法則は数学的な根拠に基づいて導出されたものではなく、経験的に得られた法則である。
数式は一見すると非常に複雑に見えるが、両辺に対数を取ると$\log M = \log k + b \log T$となり、次のように線形的な関係があることを容易に確認できる。$k$は切片を、$b$は傾きを表す。
