|
扩展功能
|
|
| 本文信息 | |
 |
Supporting info |
|
PDF(469KB) |
|
[HTML全文](KB) |
|
参考文献[PDF] |
|
参考文献 |
| 服务与反馈 | |
|
加入引用管理器 |
|
引用本文 |
|
Email Alert |
| 本文关键词相关文章 | |
 |
RSS |
|
Pastry |
|
Bloom filter |
|
分布式搜索引擎 |
| 本文作者相关文章 | |
|
刘峰 |
|
施水才 |
|
肖诗斌 |
|
王弘蔚 |
| PubMed | |
|
Article by |
|
Article by |
|
Article by |
|
Article by |
基于RSS的分布式新闻博客搜索引擎设计*
刘峰 施水才 肖诗斌 王弘蔚
（北京信息科技大学中文信息处理研究中心 北京 100101）
针对传统搜索引擎对频繁更新的新闻和博客网站的搜索实时性较差的现状，提出利用RSS提供的结构化数据，通过Pastry协议，实现索引的分布式存储和传输，同时使用Bloom filter数据结构压缩索引文件，构建一个基于RSS的P2P分布式的新闻博客搜索引擎，从而达到对频繁更新站点的实时性搜索，同时减少存储成本。
A Design of Distributed News & Weblog Search Engine Based on RSS
Liu Feng Shi Shuicai Xiao Shibin Wang Hongwei
(Chinese Information Processing Research Center, Beijing Information Science & Technology University, Beijing 100101,China)
For the problem of traditional search engine can’t get completed and updated copies of the whole Web in time, especially news and Weblog site with high update frequency, this paper designes a distributed news & Weblog search engine based on RSS syndicated data. Using the pastry protocol, distributed data could be stored and transferred smoothly. This paper also compresses index file with Bloom filter. So the news and Weblog site with high update frequency could be searched in time and the cost of storage could be reduced. The system has a bright future.
TP391
*本文系国家自然科学基金项目“Web数据挖掘技术研究”(项目编号：60272084)；北京市教育委员会科技发展计划重点项目“面向大规模真实文本的数据挖掘技术”(项目编号：KZ200310772013)；北京市教委项目“中文垃圾邮件过滤和追踪技术研究”(项目编号：KM200510772008)和“数字内容的安全身份认证与版权保护技术研究”(项目编号：KM200610772008)的研究成果之一。
1Balakrishnan H, Kaashoek M, Karger D, Morris R, Stoica I. Looking Up Data in P2P Systems.Comm. of the ACM, February 2003
2伍玉伟. RSS:网络信息“聚合”利器.图书情报论坛，2006(1) ：72-73
3于忠涛，刘兴伟.Pastry 网络模型的路由机制及改进.西华大学学报自然科学版，2006，25(1) ：27-30
4Ripeanu M.Peer-to-peer Architecture Case Study:Gnutella.In Proceedings of International Conference on P2P Computing, 2001
5Bloom Filter.http://www.nist.gov/dads/HTML/bloomFilter.html(Accessed Aug.18,2006)
6池静，方启泉. Bloom filter 的研究和应用.河北建筑科技学院学报，2003，20(4) ：59-61