（河南工业大学信息科学与工程学院 郑州  450001）

在研究传统的基于特征码去重算法的基础上，针对元搜索引擎中网页重复现象，提出一种基于用户查询关键词的网页去重方法，提高元搜索引擎检索质量，并且介绍算法的实现过程，通过实验验证算法的有效性。

(College of Information Science and Engineering，Henan University of Technology，Zhengzhou  450001，China)

 Based on the study of the duplicated Web pages detection algorithm with feature code, the paper proposes a duplicated detection algorithm based on the keyword from user’s  submission for meta search engine. The main steps of algorithm are introduced. And this algorithm is tested and verified its validity in an experiment.

TP285

［1］ Cho J，Shivakumar N, Garcia-Molina H．Finding Replicated Web Collections［C］．In：Proceedings of the ACM International Conference on Management of the Data. USA:ACM Press, May 2000,29(2):355-366．
［2］ 孔素然．基于模糊匹配思想的网页去重算法［D］．上海：复旦大学，2006.
［3］ 唐培丽，胡明，解飞．元搜索引擎研究［J］．气象水文海洋仪器，2005(3)：62-66.
［4］ 刘迁，贾惠波.中文信息处理中自动分词技术的研究与展望［J］.计算机工程与应用，2006，42(3)：175-177,182.
［5］ Ye S, Song R, Wen J-R, et al. A Query-dependent Duplicate Detection Approach for Large Scale Search Engines［C］. In: Proceedings of the 6th Asia-Pacific Web Conference, 2004：48-58.
［6］ Fetterly D, Manasse M, Najork M .On the Evolution of Clusters of Near-Duplicate Web Pages［C］. In:Proceedings of the 1st Conference on Latin American Web Congress, 2003：37-45.
［7］ Ye S，Wen J R，Ma W Y．A Systematic Study on Parameter Correlations in Large-scale Duplicate Document Detection［J］．Knowledge and Information Systems， 2008，14(2)：217-232．