|
扩展功能
|
|
| 本文信息 | |
 |
Supporting info |
|
PDF(536KB) |
|
[HTML全文](KB) |
|
参考文献[PDF] |
|
参考文献 |
| 服务与反馈 | |
|
加入引用管理器 |
|
引用本文 |
|
Email Alert |
| 本文关键词相关文章 | |
 |
Hadoop |
|
MapReduce |
|
共现矩阵 |
|
开源软件 |
| 本文作者相关文章 | |
|
杨代庆 |
|
张智雄 |
| PubMed | |
|
Article by Yang,D.Q |
|
Article by Zhang,Z.X |
基于Hadoop的海量共现矩阵生成方法*
杨代庆1,2 张智雄1
1（中国科学院国家科学图书馆 北京 100190）
2（中国科学技术信息研究所 北京 100038）
海量数据的处理分析是当前信息处理技术的热点之一，介绍开源并行系统Hadoop的体系结构以及基于Hadoop的MapReduce编程框架，并在Hadoop基础上提出一种通过多重MapReduce操作，实现海量共现矩阵的生成方法。
A Method for Generating Co-occurrence Matrix of Mass Data Based on Hadoop
Yang Daiqing1,2 Zhang Zhixiong1
1 (National Science Library, Chinese Academy of Sciences, Beijing 100190, China)
2（Institute of Scientific and Technical Information of China, Beijing 100038, China）
Mass data processing is a focal point of information techniques. This paper introduces architecture of open source parallel system-Hadoop, analyzes the MapReduce programming framework based on Hadoop, and proposes a method for generating co-occurrence matrix of mass data through multiple MapReduce operations.
G350
*本文系国家“十一五”科技支撑计划子课题“网络科技信息监测与评价”（项目编号：2006BAH03B05）的研究成果之一。
［1］ HDFS Architecture［EB/OL］.［2008-12-10］.http://hadoop.apache.org/core/docs/current/hdfs_design.html.
［2］ Hadoop Cluster Setup［EB/OL］.［2008-12-15］. http://hadoop.apache.org/core/docs/current/cluster_setup.html.
［3］ HadoopMapReduce［EB/OL］.［2008-12-16］.http://wiki.apache.org/hadoop/HadoopMapReduce.
［4］ Distributed Computing with Linux and Hadoop.［EB/OL］.［2009-01-10］. http://www.ibm.com/developerworks/linux/library/l-hadoop/index.html.
［5］ Hbase［EB/OL］.［2009-01-10］.http://hadoop.apache.org/hbase/.
［6］ Hive［EB/OL］.［2009-01-15］.http://hadoop.apache.org/hive/.
［7］ Pig［EB/OL］.［2009-01-15］.http://hadoop.apache.org/pig/.
［8］ CloudBase［EB/OL］.［2009-01-16］.http://sourceforge.net/projects/cloudbase/.