统计和规范中的误区

切分单位(分词单位)是一种为规范而作的规范,即仅仅是一种规定,并无什么道理. 词频统计概念不清楚. 用传统的分词技术做词频自动统计,统计结果不仅依赖于被统计的文本,而且依赖于词 表的收词范围和动态识别未登录词的策略.脱离词表和分词...