更新时间：04-14 （月光影子）提供原创文章
摘要:近年来，网络信息发展进入了一个全新的阶段，云计算的快速发展，使人们在信息服务方面的获得方式发生转变，网络上的数据也随着呈现爆炸性的增长。尤其在电子商务迅速发展的今天，电商网站每天都会产生大量的日志文件，这些日志文件对于企业来讲，可以从中获取很多有价值的信息用于后期的分析评估，有利于它们在商业竞争中抢占先机。但是，如何高效地分析和处理这些海量的数据是一项艰巨的任务，传统的数据挖掘算法已不能满足现在的需求，新兴的云计算技术的出现，很好地解决了这个问题，尤其是Hadoop的出现起着重要性的作用。
本文首先介绍了研究背景和Hadoop的相关技术，然后详细介绍了Hadoop的两大核心技术：HDFS分布式文件系统和MapReduce分布式并行计算框架，对其运行机制进行了重点分析研究。接着使用Hadoop的数据处理技术实现了对1号店网站日志的分析工作，使用Hive数据仓库框架对数据进行处理，得到所需的重要指标的统计结果，并将统计结果通过Sqoop导出到MySQL中进行保存，对结果做一些进一步的分析。最后，对本文进行了一个简单的总结，指出文中出现的一些问题和不足之处。
关键词- 云计算；电商网站；Hadoop；HDFS；MapReduce；数据仓库
目录
摘要
Abstract
1 绪论-1
1.1 研究背景及意义-1
1.2 国内外研究现状-1
1.2.1 国外研究现状-1
1.2.2 国内研究现状-2
1.3 本文主要研究内容-2
2 Hadoop相关技术-4
2.1 Hadoop简介-4
2.2 Hadoop的核心设计-5
2.2.1 HDFS-5
2.2.2 MapReduce-5
2.3 Hadoop应用-6
2.3.1 Hive-6
2.3.2 Sqoop-7
3 Hadoop核心技术深入分析-9
3.1 HDFS深入分析-9
3.1.1 Block-9
3.1.2 NameNode和DataNode-10
3.2 MapReduce深入分析-11
3.2.1 经典的MapReduce作业运行机制-12
3.2.2 YARN平台上的MapReduce作业运行-13
3.2.3 Shuffle过程-15
4 日志分析实例研究-17
4.1 数据采集-17
4.2 关键技术指标-17
4.2.1 浏览量PV-17
4.2.2 访客数UV-17
4.2.3 登录人数和游客人数-17
4.2.4 IP数-18
4.2.5 平均访问时长-18
4.2.6 二跳率-18
4.3 操作环境-18
4.4 日志文件处理步骤-19
4.4.1 上传日志文件至HDFS-19
4.4.2 创建Hive表进行统计-19
4.4.3 使用Sqoop导入到MySQL-23
4.5 结果分析-25
结论-26
致谢-27
参考文献-28
附录-29