基于spark招生系统的设计与实现-计算机毕业设计源码+LW文档
摘要
随着高校的发展，教育改革的深入推进，高考学生数量越来越多。高考志愿管理逐渐成为高校管理必不可少的组成部分。高考志愿包括高校信息、专业信息、招生信息等，管理员和教务部门需要耗费大量的精力来管理高考志愿信息，严重影响了管理者的工作效率。如何高效的进行高考志愿推荐管理是目前迫切需要的工作，而信息系统可以存储大量数据信息，并提供快速的查询推荐功能，可以为高考志愿的管理提供帮助，并可以降低管理者工作量，同时也可以进行高考志愿信息的推荐。
基于spark招生系统利用SpringBoot框架开发的一款管理系统，数据存储到MySQL中，前台使用Vue对界面进行设计和实现。本文先充分调查基于spark招生系统的需求分析，深入剖析系统应该具有的功能，并设计完善的数据库。利用成熟的开发技术完成编码工作，最后进行投入前的测试工作。最终，完成前台和后台的基于spark招生系统的功能，主要包括院校管理模块、用户管理模块、专业信息模块、推荐模块、志愿填报、论坛交流模块、系统管理模块等，通过前后台实现数据的传递。
关键词：spark；MySQL；院校管理；志愿推荐；高考；
Abstract
With the development of universities and the deepening of educational reform, the number of college entrance examination students is increasing. The management of college entrance examination volunteers has gradually become an essential component of university management. College entrance examination volunteer information includes university information, professional information, enrollment information, etc. Administrators and academic affairs departments need to spend a lot of energy managing college entrance examination volunteer information, which seriously affects the work efficiency of managers. How to efficiently manage the recommendation of college entrance examination volunteers is currently an urgent task, and information systems can store a large amount of data information and provide fast query and recommendation functions, which can provide assistance for the management of college entrance examination volunteers and reduce the workload of managers. At the same time, they can also recommend college entrance examination volunteer information.
A management system developed based on the Spark enrollment system using the SpringBoot framework, where data is stored in MySQL and the front end uses Vue to design and implement the interface. This article first thoroughly investigates the requirements analysis based on the Spark enrollment system, deeply analyzes the functions that the system should have, and designs a comprehensive database. Utilize mature development techniques to complete coding work, and finally conduct pre investment testing work. Finally, complete the functions of the Spark enrollment system based on the front and back ends, mainly including the university management module, user management module, professional information module, recommendation module, volunteer filling module, forum communication module, system management module, etc., and achieve data transmission through the front and back ends.
Key words: Spark; MySQL； College management; Volunteer recommendation; college entrance examination;
随着信息技术的发展，越来越多的高校通过管理系统来降低工作效率，对于高考志愿管理来说，根据自身业务逻辑的特点和工作流程，非常适合搭建基于spark招生系统，帮助校园管理者分担日常的管理任务，也可以通过基于spark招生系统推广到其它高校使用。基于spark招生系统可以对当前的业务管理进行重新设计，摆脱传统手工管理的弊端，减少人为录入的错误，提高了数据管理的精度，管理者也可以发布一些相关公告，引导在校学生积极的参与，更有利于校园文化的推进。
本基于Java基于spark招生系统不仅仅是当前高考志愿推荐工作的一种需要，也通过当前先进的软件技术进行开发，研究易于扩展的开发框架，通过前后台分离技术对系统进行设计，提高信息安全，优化数据查询效率，节省开发成本，便于系统升级和维护。
基于Java基于spark招生系统通过Java的tomcat服务器进行部署，开源免费，部署简单，可以降低服务器的成本，并提高了数据传输效率。结合当前基于spark招生系统的现状，通过方便使用的web开发模式进行设计，方便管理者随时随地的管理，各使用者也可以通过浏览器访问系统，查看最新的通知公告等信息。本系统具有非常重要的现实意义，为高考志愿的发展提供了可持续发展道路。
在国内，基于spark招生系统发展迅速，从最初的单片机处理时代发展到数据综合处理时期，到目前的数据系统处理时期。信息技术的快速发展带来了管理系统的质的变化，在单片机处理时期，数据存储有限，系统效率较低。在第二时期的数据综合处理时期中，因为计算机软硬件水平较低而且价格昂贵，虽然基于spark招生系统得到了一定的发展，但是受限于昂贵的设备，不能全面普及开来。目前的综合数据系统时代，分布式开发技术、微服务技术，数据库技术逐渐完善，软件设备价格低廉，带动了全面的发展，为基于spark招生系统的普及提供了基础。相比单片机管理系统和客户端服务器模式的系统，目前的轻客户端模式大大降低了开发成本，提高了数据管理的效率。每一台客户端不需要单独安装，通过浏览器即可访问。比如清华大学开发的UEAS高校基于spark招生系统、正方软件公司开发的现代教育管理系统，都具有完善的功能，并随着技术的更新不断的升级。
Apache Spark是加州大学伯克利分校AMP实验室最初研发的，Spark可以称之为第三代核心大数据处理框架。相比于第一代大数据处理框架Hadoop和第二代大数据处理框架Storm,Spark将两者的优点集于一身。Spark 在实时计算中的吞吐量也是远远大于Storm的。
Spark计算引擎的核心计算框架是Spark Core,主要由Spark Core完成集群的运算功能，并且为上层组件提供API。上层组件主要有以下几个核心组件构成:Spark SQL、Spark Streaming、MLlib 以及GraphX。
启动Spark集群处理的时候，分为几步进行。先把程序打包jar到集群运行。Driver端启动SparkContext，生成task schelduer，向maste集群管理者请求运算资源。executor向Driver端的SparkContext进行反向注册。DAG schelduer将用户写的计算逻辑构成DAG有向无环图，这个集合最终由task schelduer 放送给executor做并行化运算。
前台实现的功能包括：学生用户注册、登录，推荐院校，推荐专业、在线交流等。网站前台会员的用户需求是查询院校和专业的信息，包括院校和专业信息、留言评论、在线交流。游客通过注册后进行登录，成为会员。成为会员的用户才能收藏，在线留言和交互，提出在填写志愿过程存在的问题，其他有经验的用户提供在线回复帮助。会员用户登录后，可以在个人后台对个人的信息进行修改，查看个人的收藏历史记录。
管理员用户具有的功能为：院校信息管理、专业信息管理、论坛交流管理、系统管理、管理员查看学生的留言信息，评论信息。
