ヒープスの法則
法則
コーパスでのユニークな単語の数を 、トークンの数を とすると
説明
コーパスが英語の場合、通常、定数 は で、およそ と言われている。ヒープスの法則は数学的な根拠に基づいて導かれたものではなく、経験的に得られた法則である。
式は一見とても複雑に見えるが、両辺に対数を取ることで になり、次のように線形の関係があることを簡単に確認できる。 は切片を、 は傾きを表している。
コーパスでのユニークな単語の数を 、トークンの数を とすると
コーパスが英語の場合、通常、定数 は で、およそ と言われている。ヒープスの法則は数学的な根拠に基づいて導かれたものではなく、経験的に得られた法則である。
式は一見とても複雑に見えるが、両辺に対数を取ることで になり、次のように線形の関係があることを簡単に確認できる。 は切片を、 は傾きを表している。