主页 > PHP | WEB开发 > 发布一个纯PHP的中文关键字自动提取工具

发布一个纯PHP的中文关键字自动提取工具

2010 年 12 月 06 日 没有评论

周末的时候看到腾讯的空间里面写日志的时候能自动提取关键字,感觉这个功能非常的好,于是我自己准备也写一个。因为,提取关键字,肯定要涉及分词,现在的分词算法,最好的估计是统计算法,但是实现稍微复杂一点,用PHP的话,性能往往也不够。于是,我一切从简,争取星期天一天能写完这个工具。
我翻了一下最简单的分词,好像就是向前最大匹配。而且如果字典好的话,据说准确率还挺高的。当然,我没有什么好字典,从中科院的分词软件里面,拿了一本字典。大概有10万的词汇量。当然,你可以用其他的字典,但是一定要有词频。
当然,只是简单的分词,算法没有什么好说的,我就说说我写的时候遇到的问题。

1. 字典管理。
本来我想把字典先读成一个PHP Array 来实现,但是,发现内存占用很大,而且非常的慢。这样,即使写出来,也太慢了。于是乎,我想到了给字典设计一个简单的索引。
索引建立的方法是这样的:
1.1 所有的词汇进行排序。
1.2 然后对每个词汇的第一个字,建立索引,放在字典文件的开头。
1.3 索引区后面就是内容,为了方便进行二分查找,所有的项必须对齐,所以某个字下面按照最长的那个词汇进行对齐。
我写了一个工具,把中科院分词的字典,转换成我的格式的字典。
这样,一测试, 发现性能还可以。但是,每秒查询 2000次左右。为了加速这本字典,减少IO的次数。又写了一个类:MFile,先把整个文件读入内存,我发现读取200K,和读取1M的文件,花费的时间差不多,所以自己加载进入内存算了。
这本字典足足让我写了一个下午才搞定(上午我还没有起床)。

2. PHP不支持Unicode,所以,其实,它不把汉字当作一个字,而是两个char。于是,我还显得把文章转换成一个字的数组。这里,
本来不需要这样复杂,但是我为了以后扩展方便,给字加了分类。
define(“T_CHINESE”, 1); //中文
define(“T_SEP”, 1 << 1); //分割符合 define("T_NUM", 1 << 2); //数字 define("T_INDEX", 1 << 3); //索引 ① ② ③ ④ ⑤ ⑥ ⑦ define("T_LETTER", 1 << 4); //字母 define("T_WORD", 1 << 5); //正常单词 define("T_OTHER", 1 << 6); 用一个Int 的位,表示一种类型。比如中文数字就是 T_CHINESE | T_NUM 正确区分数字我觉得对提取关键字不是非常的有用。所以,我其实没有对数字进行特殊的处理。这样,我分词的基本思路是: 先根据句子的分割符号,分成子句。如果子句中还有中文和英文的话,那就分成切分中文部分,和切分英文部分。当然,我这个分法还不是非常的合理。我把阿拉伯数字也算成英文了,这点我没有深入去判断,因为数量词一般不会成为文章的关键字。 写完所有的分词部分,已经是晚上11点了。我不得不草草收场了。本来想支持英文的提取,但是,找不到一本有词频的英文字典,所以,只能算了,时间已经很晚了,大家就凑合着用。我估计也没有什么人会用,哈哈。只是,无聊的时候看连续剧,好不如时间这样打发来的快。 关键字: 胡同,原名,和尚,大街,名字,街巷,小街,王府井,历史,宣武门 cost : 0.1061
代码在这里下载,我写代码的习惯不是很好,欢迎大家批评指正。
点击下载

Tags: PHP

发表评论

电子邮件地址不会被公开。 必填项已用*标注


*

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>