PPL: Perplexity
PPL是用在自然语言处理领域（NLP）中，衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize，公式为
Perplexity另一种表达
BERT as language model
首先bert是一个masked language model，因此只能在句子中有mask的时候根据双向的词来预测这个位置的单词，不符合语言模型的链式法则，但是也是可以一个一个的mask掉单词，然后得到去掉这个单词之后 句子的得分，然后将所有的得分相加得到句子的困惑度GPT as language model
GPT2本质是上一个语言模型，那么对于训练好的Model，给定一段文本，应该可以计算这段文本的得分或者困惑度（Perplexity），这也是传统语言模型的应用场景之一版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 787013311@qq.com 举报，一经查实，本站将立刻删除。