更新时间:03-10 (小九)提供原创文章
摘要:遗传算法越来越被应用于处理大规模数据问题,但是传统的基于MPI的遗传算法表现的并不是太好,MapReduce是谷歌用来处理大规模数据而开发的一种强大而高容错的算法模型。在这篇论文中,我们通过使用MapReduce模式来重新实现遗传算法。我们通过MapReduce的开源实现hadoop,将传统的遗传算法利用MapReduce,部署在其Hdfs上。我们测试了少于150种的变异问题,相信通过更大的集群我们能够处理更大规模的数据。
关键词 hadoop;hdfs;mapreduce;遗传算法
目录
摘要
Abstract
1 绪论-3
1.1项目研究的背景-3
1.1.1 hadoop产生背景以及发展状况-3
1.1.2 遗传算法研究背景-4
1.2项目研究的意义-4
2云计算技术-6
2.1 Linux相关操作基础-6
2.1.1 Linux操作系统的基础概念-6
2.1.2 Linux命令-6
2.2云计算的概念与发展状况-7
2.2.1云计算的概念-7
2.2.2云计算的发展-7
2.3谷歌云计算-8
2.3.1 Google云计算技术架构-8
2.3.2 Google云计算的关键技术-9
2.3.3 google云计算的平台-----Google App Engine-10
2.4 Hadoop:Google云计算的开源实现-12
2.4.1 Hadoop简介-12
2.4.2 HDFS-14
2.4.3 MapReduce-20
3 遗传算法-22
3.1基本概念-22
3.2遗传算法定义-22
3.3遗传算法特点-23
3.4遗传算法的应用-23
3.4.1函数优化-23
3.4.2组合优化-24
3.5遗传运算-24
3.5.1遗传运算算法描述-24
3.5.2运算过程-24
4 hadoop集群搭建-28
4.1 linux下集群搭建-28
4.1.1安装相关软件-28
4.1.2安装步骤-29
4.2windows下集群搭建-36
4.2.1安装相关软件-36
4.2.2安装步骤-37
4.2.3注意事项-43
5 hadoop的遗传实现-44
5.1简单函数的遗传实现-44
5.1.1 MapReduce程序设计过程-44
5.1.2 运行环境-45
5.1.3 简单函数的hadoop寻优-45
5.1.3 复杂函数的hadoop寻优-48
结论-51
致谢-52
参考文献-53