1、基于大数据的自学考试现状、困境与破解途径打开文本图片集摘要：高等教育自学考试是一种个人自学、社会助学和国家考试相结合的高等开放教育形式。自 1981 年创立以来，自学考试不仅为实现教育公平、提高国民素质做出了重要的历史贡献，而且也积累了丰富的考试数据资产，如何从数据挖掘的视角来分析自学考试面临的问题并促使其改革转型，是大数据时代自学考试研究的重要命题。通过对 2003-2017 年全国自学考试积累的海量考试大数据进行分析发现，当前我国自学考试正面临报考规模大幅下滑、地域发展不够平衡、专业设置脱离社会需求、课程设置不够科学、助学手段相对单一、考试与毕业难度大等诸多困境。为了更好地实现自学考试的改
2、革转型，自学考试的决策者应鼓励和引导优质民办高校力量参与办学，推进自学考试课程与优质慕课的相互融合，加强自学考试大数据的建设和应用。这些基于大数据支持的实践措施，有助于转变自学考试的培养目标，补强自学考试的教育功能，满足社会发展对高素质劳动者的需求，同时也有助于自学考试与普通高校及其他高等教育形式形成错位竞争、优势互补的教育生态环境。关键词：自学考试;大数据;数据挖掘;现实困境;破解途径中图分类号：G434文献标识码：A文章编号：1009-5195（2019）03-0086-10doi10.3969/j.issn.1009-5195.2019.03.010大数据及其处理技术对人类社会发展的革命
3、性作用越来越得到全社会的普遍认可，大数据已经成为观察人类自身行为的“显微镜”，正在扩大人类科学的范围，推动人类知识的增长，引领新的经济繁荣。党的十九大报告明确指出要推动大数据和实体经济的深度融合（习近平，2017），大数据已然成为新时代我国国家发展核心战略的重要组成部分。考试作为教育的重要环节，担负着评价学生、选拔人才和引导教学等诸多任务，尤其像我国这样的考试大国，考试更是与千家万户的切身利益息息相关。在我国，几乎每天都有各种内容、各种层次和各种规模的考试，每年都有上亿人参加考试，该过程所产生的数据量之庞大，数据类型之丰富，所蕴含信息价值之高，完全符合大数据的相关特征。大数据技术在考试领域的价
4、值主要体现在两个方面：一是大数据的全樣本、多模态和智能化特点为实现单一考试向多元评价的转变提供了技术保障;二是考试大数据能够更加真实和全面地反映教育活动中的各种行为、现象和关系，并通过各种新技术手段将传统教育评价过程中被忽略的、孤立的、隐藏的有价值信息挖掘并展现出来，以此为基础进行科学、精准地教育决策。高等教育自学考试（以下简称“自学考试”）是一种个人自学、社会助学和国家考试相结合的高等开放教育形式。自 1981 年创立以来，在相当长的一段历史时期内，自学考试充分满足了我国广大人民群众接受高等教育的愿望，为实现高等教育公平性、提高国民素质水平做出了巨大贡献。随着我国经济、社会和教育水平的快速发
5、展，近几年来自学考试也面临新的形势，呈现出新的特点。如何利用自学考试多年来积累的数据进行大数据分析挖掘，真实反映自学考试的发展现状，精准发现自学考试事业所面临的问题，提出其改革发展策略并促使其改革转型，是大数据技术在考试领域需要重点挖掘的命题。一、数据处理过程本文以 2003-2017 年共 15 年的全国自学考试综合报名数据为研究数据集，数据来源于各省、直辖市和自治区自学考试报名系统，数据汇总后的总量约为 1.2 亿条记录。为了降低如此庞大数据量的处理难度，首先对数据集进行拆分，按照年度、考次、专业、省份和课程将数据分别存储，以降低单个数据文件的大小。其次，将报名系统中导出的数据库文件转换为
6、处理速度更快、容错性更强的文本文件，以作为本研究的数据源文件。整个数据的处理过程包括数据提取、数据清洗、数据分析和可视化展示四个环节，如图 1 所示。在数据提取阶段，调用 Java 语言中的相关 API 函数，结合正则表达式，从输入的数据源文件中提取出原始数据。在数据清洗阶段，对原始数据进行查错纠错，编写程序自动修改字段缺失或重复等问题，对于个别文件中数据错位、小规模乱码等问题进行手动处理，最终得到规范化的数据并按照年份、报表类型存储到 MySQL 数据库中。在数据分析阶段，使用 SpringMVC 和 Mybatis 工具开发了一个部署在本地的小型网站，利用 Mybatis 配置连接数据库，
7、对数据库中的原始数据进行简单和复杂索引，将得到的查询结果传递至服务层，服务层对数据分析中常用的业务进行归纳建模，例如原始数据浏览、数据成分分析、数据变化趋势、相关性分析等。每个业务对应后台中的一个或多个服务（Service），网站前台的控制器（Controller）负责调用这些服务来实现具体的数据分析，将分析结果传递到最后一步进行可视化展示。在可视化展示阶段，调用 BootStrap、HighCharts、HighMaps 等 API，根据需要形成各种数据可视化展示图表。二、自学考试大数据分析挖掘的基本结果1.自学考试总体报考规模及地域分布我国的自学考试制度自 1981 年开始试点到 1988 年国务院发布高等教育自学考试暂行条例，再到 1998 年中华人民共和国高等教育法中明确规定了自学考试的地位和作用，一直处于迅速发展阶段。自学考试凭借其灵活的学习方式，低廉的学习成本，高质量的考试认证，为众多高考落榜生提供了普通高校之外的高等教育机会，成为普通高等教育的有效补充形式。数据分析结果显示：在 2003 年，全国自学考试报名的总规模为1024 万人次，在之后的几年时间里一直保持近千万人次的规模，直到从 2009 开始，报考规模呈现出加速下降的趋势，到 2017 年全国自学考试报考规模已经降至 470 万人次左右（如图 2 所示）。
