内容摘要
随着社会经济的快速发展，人们的生活水平得到了显著提高，但随之而来的社会问题也越来越多。其中最为显著的就是就业问题。为此，招聘信息的展示也变得越来越为重要。但是在大量的招聘信息中，人们在提取自己最想要的信息时变得不那么容易，对于应聘者也是如此。本系统通过对网络爬虫的分析，研究智通人才网站数据，尝试使用Python技术进行开发，将智通人才网招聘信息尽可能的爬取出来，并对结果进行检测判断，最后可视化分析出来，为用户提供精确的查询结果。IT行业招聘数据分析与岗位推荐系统旨在提高数据挖掘的效率，便于科学的管理和分析招聘数据。 本文先分析IT行业招聘数据分析与岗位推荐系统的背景和意义；对常见的爬虫原理，获取策略，信息提取等技术进行分析；本系统使用python进行开发，MySQL数据库进行搭建，实现了招聘的数据爬取；对数据库的查询结果进行检测并可视化分析，对系统的前台界面进行管理，分析爬取的结果，并对招聘数据结果进行大屏显示；最后通过测试实现了数据爬取，存储过滤和数据可视化分析，以及系统管理等功能。
关键字 爬虫，python，大数据，关键字，招聘数据
Abstract With the rapid development of social economy, people's living standards have been significantly improved, but the following social problems are also increasing. Among them, the most prominent problem is employment. To this end, the display of recruitment information has become increasingly important. However, in a large number of recruitment information, it is not easy for people to extract the information they want most, and the same is true for applicants. Through the analysis of web crawlers, this system studies the data of Zhaopin recruitment website, tries to use Python technology for development, crawls out the recruitment information of Zhaopin recruitment website as much as possible, detects and judges the results, and finally analyzes them visually to provide users with accurate query results. The recruitment website information crawling and data analysis system based on Python aims to improve the efficiency of data mining and facilitate scientific management and analysis of recruitment data. This paper first analyzes the background and significance of the information crawling and data analysis system of recruitment websites based on Python; Common crawler principles, acquisition strategies, information extraction and other technologies are analyzed; The system uses python for development and MySQL database for construction, which realizes the data crawling of recruitment; Detect and visually analyze the query results of the database, manage the foreground interface of the system, analyze the crawling results, and display the recruitment data results on a large screen; Finally, the functions of data crawling, storage filtering, data visualization analysis, and system management are realized through testing.
KEY WORDS
crawler, python, Zhaopin.com, keywords, recruitment data
目 录 摘 要 I Abstract II 1 绪论 3 1.1 课题背景 3 1.2 课题意义 3 1.3 研究内容 4 2 相关技术介绍 6 2.1 系统开发环境 6 2.2 网络爬虫概述 6 2.3 Python技术 7 2.4 MySQL数据库 8 3 系统需求分析 9 3.1 可行性分析 9 3.1.1操作可行性 9 3.1.2经济可行性 9 3.1.3技术可行性 9 3.2 功能需求分析 9 3.2.1爬虫功能需求分析 9 3.2.2数据可视化功能需求分析 11 3.3 非功能需求分析 11 4 系统设计 13 4.1 系统架构设计 13 4.2 系统功能设计 14 4.2.1数据采集功能设计 14 4.2.2数据分析功能设计 15 4.3 系统流程设计 16 4.3.1爬虫流程设计 16 4.3.2数据分析可视化流程 17 4.4 数据库设计 19 5 系统实现 21 5.1数据采集的实现 21 5.2数据库操作的实现 22 5.3系统首页的实现 22 5.4招聘数据大屏显示 23 6 系统测试 25 6.1测试目的 25 6.2功能测试 25 6.3测试总结 26 结 论 27 参 考 文 献 28 致 谢 29
在技术上，本文利用Python技术进行数据爬取，这种简洁快速，类库丰富的编程语言可以轻松的实现爬虫方法。先分析目标网站的网页信息，然后进行数据处理，完成抓取后进行数据存储，最后完成数据的可视化呈现。数据存储使用的是MySQL数据库，这种数据库轻巧而功能强大，可以有效的满足系统的开发。 在业务上，本系统利用用户无法在海量的智通人才网中查找到有效的招聘数据，因此设计了本系统对招聘数据进行存储，然后整理招聘数据，并通过可视化的方式展现出来。在后台也可以对这些招聘数据进行整理，为用户提供更加精确的招聘数据信息。 本文根据软件开发的思路，共设计了六个章节。 第一章绪论，介绍IT行业招聘数据分析与岗位推荐系统的背景意义，分析爬虫相关的技术和目前发展的趋势。 第二章对系统的技术进行分析，包括Python技术、爬虫技术和数据库技术等。 第三章对系统进行需求分析，分析系统具有的功能需求。 第四章系统设计，通过设计爬虫和系统功能以及数据库来完成系统开发的设计阶段。 第五章系统实现，通过系统实现的功能模块，分步骤的介绍实现过程和相关的代码。 第六章系统测试，通过测试过程来介绍系统所达到的功能以及可以实现的目的。 最后进行总结、开发。总结开发过程并提出对应的展望，为未来的发展做出方向指引。
