1、 本本 科科 毕毕 业业 设设 计（论文）计（论文） 题目题目: :基于数据挖掘算法的网络数据处理技术研究基于数据挖掘算法的网络数据处理技术研究 姓姓 名名 xxx 学学 院院 电子工程学院电子工程学院 专专 业业 电子信息科学与技术电子信息科学与技术 班班 级级 学学 号号 班内序号班内序号 指导教师指导教师 xxx 基于数据挖掘算法的网络数据处理技术研究基于数据挖掘算法的网络数据处理技术研究 摘摘 要要 随着数据时代的来临，人们获得信息的方式又站上了一个新的高度。然后在大量的 数据面前，相对落后的数据分析方法显得格外突出。人们期望在大量数据分析的基础上 进行一系列的科学研究、企业管理以及商
2、业决策。数据背后的信息的就是这个世界的财 富。 本研究主要是统计当下国内正在实施大数据项目的公司和企业数量，分析大数据在 互联网行业的火热程度。我们将通过公司企业在国内一些知名网站发布的大数据职位招 聘来分析公司的需求。论文总体分为两大部分，第一部分是数据的收集，第二部分是数 据的处理。 在第一部分中， 首先对比了一些当下比较流行的网络数据收集软件， 如火车采集器、 三人行（狂人）等，然后对本研究中使用的前后截取和正则提取两种数据提取算法进行 介绍说明。最后介绍如何将网络数据规范化地导入 excel 进行保存，方便之后进行数据 分析。 在第二部分中， 首先讲解如何在服务器中部署 hadoop
3、集群， 分析主从节点的关系。 之后以 hadoop 框架为基础，从 hadoop 的可靠性、扩展性、效率、成本、容错性等五个 方面进行分析。然后引入分布式文件系统（HDFS） ，从数据读取速度和存储方法进行介 绍， 展现其在大数据方面独一无二的优势。 接着深入探讨MapReduce编程模型， 从mapper 和reducer两个核心类进行切入讲解， 并结合该研究编写的数据统计算法来分析该模型。 最后介绍如何通过 JDBC 将 java 程序与数据库进行连接通信， 并将数据统计结果导入到 数据库进行持久化，以供后面的数据分析师进行具体分析。 关键词：关键词： 火车采集器火车采集器 Hadoop
4、HDFS Hadoop HDFS MapReduceMapReduce Network data processing techniques based on data mining algorithms ABSTRACT With the advent of big data, the way people get information stands on a new level. But when we face a large amount of data, the behindhand data analysis method is very obvious. On the basi
5、s of analyzing a large amount of data, people expect to apply it on a series of scientific research, business management and business decisions. All in all, the information behind the big data is one of the biggest wealth in the modern world. The purpose of this paper is to count the number of the c
6、ompanies which are conducting the project about the big data and then make a conclusion that how popular the big data in the industry of internet. We analyze companies demands by collecting the number of jobs connected to big data they publish on some well-known domestic websites. The overall thesis is divided into two parts, the first part is the collection of data, and the second part is processing data. In the first part, we compare a n
