logo

ヒープスの法則 📂アルゴリズム

ヒープスの法則

法則

コーパスでのユニークな単語の数を MM、トークンの数を TT とすると M=kTb M = kT^{b}

説明

コーパスが英語の場合、通常、定数 k,bk,b10k10010 \le k \le 100 で、およそ b=0.5b = 0.5 と言われている。ヒープスの法則は数学的な根拠に基づいて導かれたものではなく、経験的に得られた法則である。

式は一見とても複雑に見えるが、両辺に対数を取ることで logM=logk+blogT\log M = \log k + b \log T になり、次のように線形の関係があることを簡単に確認できる。kk は切片を、bb は傾きを表している。

20180509\_132932.png