时间:2022-04-22 06:39:59
序论:速发表网结合其深厚的文秘经验,特别为您筛选了11篇大数据分析论文范文。如果您需要更多原创资料,欢迎随时与我们的客服老师联系,希望您能从中汲取灵感和知识!
1.1反射率分析模块
反射率的大小体现了气象目标的降水粒子的密度分布及体积大小,在实际气象技术中长期用于表示气象目标的强度,在工作上采用dBZ单位表示。对于空管气象雷达图,数据显示采用PPI(PlanPositionImage)显示方式。该方式决定了一张气象雷达图由圆锥俯视平面上分析空间的回波构成。在设计上简单介绍其设计流程,首先必须读取原始数据,并判断是否首次读取,若为首次读取则对其进行预处理,否则进行坐标转换;其次进行图像绘制并判断是否需要改变仰角。此处需要关注的关键是如何进行数据的预处理。在实现上,对接收的数据进行反射率信息结构体赋值。当然该结构体包括了记录实际仰角角度、数据文件路径存储、雷达波段判断以及相关数据的偏移。通过扫描上述结构体可以实现对雷达数据的预处理。
1.2速度分析模块
多普勒雷达采用了速度退化模糊技术以扩大其对径向风速测量不模糊的区间。结构设计主要考虑数据显示的径向方式,流程设计则与反射模块类似。当然在界面设计上,系统将提供对颜色配置的定义,使其人机交互更为快捷。
1.3天线稳定性分析模块
天线是雷达数据采集的关键部位,长期以来是影响雷达运行的主要关键点之一。其依赖于底下的电机进行旋转,目前大多数进口电机可以保证24小时安全运行。而运行时仰角提升和转速的平稳性直接影响雷达数据的采集。为此,我们通过在径向数据上采用方位角及仰角进行扫描实现曲线图监控。通过选择基数据再进行预处理后绘制相关曲线实现对天线运行状态的评估。其中,曲线图的绘制需要的参数为:纵坐标为气象雷达实际运行的每层仰角均值;横坐标为范围角:0-360°。
1.4雷达组网分析模块
按照民航局的总体规划,未来空管将实现多气象雷达覆盖,在这过程,多个气象雷达的组网将成为气象雷达数据的主要来源。这种模式将使得数据覆盖面更大、数据安全性更高、数据准确性更强。而与此同时带来了雷达数据融合组网的技术难点。设计上,首先模块将定义雷达站点配置信息,并与此同时提供组网雷达可选数据;其次对选择雷达数据进行数据预处理;再之则对雷达数据进行统计平均并做坐标转换;最后进行拼图处理。在这过程中,需要对雷达数据的强度进行自适应调整、显示范围自适应调整。与上述同理,系统核心在于预处理。在C#中定义List数据列表,并在定义其结构为[站点标示][距离][方位角],对于数据读取时,需要进行插值算法处理,此时的单时数据拼接分析可以实现不同仰角和方位角的筛选。为了控制系统数据的准确性可以在前端定义雷达数据方位角表,根据表进行映射处理。通常如若出现非连续数据可以在预处理上对其进行差值补偿。在C#上可以采用反差圆补偿方法。
专业
计算机科学与技术
学生姓名
杨宇潇
学号
181719251864
一、 选题的背景、研究现状与意义
为什么大数据分析很重要?大数据分析可帮助组织利用其数据并使用它来识别新的机会。反过来,这将导致更明智的业务移动,更有效的运营,更高的利润和更快乐的客户。
在许多早期的互联网和技术公司的支持下,大数据在2000年代初的数据热潮期间出现。有史以来第一次,软件和硬件功能是消费者产生的大量非结构化信息。搜索引擎,移动设备和工业机械等新技术可提供公司可以处理并持续增长的数据。随着可以收集的天文数据数量的增长,很明显,传统数据技术(例如数据仓库和关系数据库)不适合与大量非结构化数据一起使用。 Apache软件基金会启动了第一个大数据创新项目。最重要的贡献来自Google,Yahoo,Facebook,IBM,Academia等。最常用的引擎是:ApacheHive / Hadoop是复杂数据准备和ETL的旗舰,可以为许多数据存储或分析环境提供信息以进行深入分析。 Apache Spark(由加州大学伯克利分校开发)通常用于大容量计算任务。这些任务通常是批处理ETL和ML工作负载,但与Apache Kafka等技术结合使用。
随着数据呈指数级增长,企业必须不断扩展其基础架构以最大化其数据的经济价值。在大数据的早期(大约2008年),Hadoop被大公司首次认可时,维护有用的生产系统非常昂贵且效率低下。要使用大数据,您还需要适当的人员和软件技能,以及用于处理数据和查询速度的硬件。协调所有内容同时运行是一项艰巨的任务,许多大数据项目都将失败。如今,云计算已成为市场瞬息万变的趋势。因为各种规模的公司都可以通过单击几下立即访问复杂的基础架构和技术。在这里,云提供了强大的基础架构,使企业能够胜过现有系统。
二、 拟研究的主要内容(提纲)和预期目标
随着行业中数据量的爆炸性增长,大数据的概念越来越受到关注。 由于大数据的大,复杂和快速变化的性质,许多用于小数据的传统机器学习算法不再适用于大数据环境中的应用程序问题。 因此,在大数据环境下研究机器学习算法已成为学术界和业界的普遍关注。 本文主要讨论和总结用于处理大数据的机器学习算法的研究现状。 另外,由于并行处理是处理大数据的主要方法,因此我们介绍了一些并行算法,介绍了大数据环境中机器学习研究所面临的问题,最后介绍了机器学习的研究趋势,我们的目标就是研究数据量大的情况下算法和模型的关系,同时也会探讨大部分细分行业数据量不大不小的情况下算法的关系。
三、 拟采用的研究方法(思路、技术路线、可行性分析论证等)
1.视觉分析。大数据分析用户包括大数据分析专业人士和一般用户,但是大数据分析的最基本要求是视觉分析。视觉分析直观地介绍了大数据的特征,并像阅读照片的读者一样容易接受。 2.数据挖掘算法。大数据分析的理论中心是数据挖掘算法。不同的数据挖掘算法依赖于不同的数据类型和格式来更科学地表征数据本身。由于它们被全世界的统计学家所公认,因此各种统计方法(称为真值)可以深入到数据中并挖掘公认的值。另一方面是这些数据挖掘算法可以更快地处理大数据。如果该算法需要花费几年时间才能得出结论,那么大数据的价值是未知的。 3.预测分析。大数据分析的最后一个应用领域是预测分析,发现大数据功能,科学地建立模型以及通过模型吸收新数据以预测未来数据。 4.语义引擎。非结构化数据的多样化为数据分析提出了新的挑战。您需要一套工具来分析和调整数据。语义引擎必须设计有足够的人工智能,以主动从数据中提取信息。 5.数据质量和数据管理。大数据分析是数据质量和数据管理的组成部分。高质量的数据和有效的数据管理确保了分析结果在学术研究和商业应用中的可靠性和价值。大数据分析的基础是前五个方面。当然,如果您更深入地研究大数据分析,则还有更多特征,更深入,更专业的大数据分析方法。
四、 论文(设计)的工作进度安排
2020.03.18-2020.03.20 明确论文内容,进行相关论文资料的查找与翻译。2020.04.04-2020.04.27:撰写开题报告 。
2020.04.28-2020.04.30 :设计实验。
2020.05.01-2020.05.07 :开展实验。
2020.05.08-2020.05.15 :准备中期检查。
2020.05.16-2020.05.23:根据中期检查的问题,进一步完善实验2020.05.24-2020.05.28 :完成论文初稿。
2020.05.29-2020.06.26 :论文修改完善。
五、 参考文献(不少于5篇)
1 . 王伟,王珊,杜小勇,覃雄派,王会举.大数据分析——rdbms与mapreduce的竞争与共生 .计算机光盘软件与应用,2012.被引量:273.
2 . 喻国明. 大数据分析下的中国社会舆情:总体态势与结构性特征——基于百度热搜词(2009—2 012)的舆情模型构建.中国人民大学学报,2013.被引量:9. 3 . 李广建,化柏林.大数据分析与情报分析关系辨析.中国图书馆学报,2014.被引量:16.
4 . 王智,于戈,郭朝鹏,张一川,宋杰.大数据分析的分布式molap技术 .软件学报,2014.被引量:6.
5 . 王德文,孙志伟.电力用户侧大数据分析与并行负荷预测 .中国电机工程学报,2015.被引量:19.
6 . 江秀臣,杜修明,严英杰,盛戈皞,陈玉峰 ,郭志红.基于大数据分析的输变电设备状态数据异常检测方法 .中国电机工程学报,2015.被引量:8.
7 . 喻国明. 呼唤“社会最大公约数”:2012年社会舆情运行态势研究——基于百度热搜词的大 数据分析.编辑之友,2013.被引量:4.
六、指导教师意见
签字: 年 月 日
七、学院院长意见及签字
在过去的二十年里,商务智能与分析(Business intelligence and analytics,BI&A)与大数据相关的分析随着大数据的发展在工业界及学术界变得越来越重要。来自于Bloomberg商业周刊的报道(2011)显示,97%的超过1亿市值的公司使用了商务分析技术。据麦肯锡全球机构预测,到2018年,仅美国一年就会面临14到1万人的深度分析技术人才的需求,同时约有150万数据分析经理的缺口[1]。
“智能”一词自20世纪50年代被人工智能方面的研究人员提出并沿用至今。而商务智能(Business intelligence)则随着信息技术的发展在20世纪90年代被企业界和学术界熟知。自2008年大数据的一系列论文在NATURE上发表,大数据分析技术已被应用到从文本、计算机日志、传感器、社交媒体等产生的大量非结构化、体量巨大、类型繁多、价值低密度、要求快速处理的大数据。BI&A经历了BI&A1.0,BI&A2.0和BI&A3.0的演进。他们分别对应面向基于关系数据库的结构化数据、基于web的非结构化数据、基于移动及传感器的非结构化大数据。因此,BI&A3.0是面向大数据分析的新兴领域。
BI&A3.0面向大数据可能产生的巨大影响,它涵盖了电子商务及营销智能、电子政务及政治2.0、科学与技术、智慧健康、安全及公共安保等方面。涉及的技术领域包括大数据分析,例如统计学习、序列及暂时挖局、空间挖掘、过程挖掘、网络挖掘、web挖掘、基于列的数据库挖掘、内存数据库、并行数据库、云计算、Hadoop、Mapreduce,文本分析,例如静态NLP信息抽取、主题模型、问答系统、选项挖掘、情绪及影响分析等。除此之外,还包括web分析、网络分析、移动分析等大的技术分析方面。因此,BI&A3.0是未来管理科学与工程专业研究生培养的重要基础和研究热点。
BI&A3.0的发展和应用对管理科学与工程硕士研究生的培养提出了挑战。主要表现在以下几个方面,BI&A聚焦于理解、解释、战略并服务于组织。一些学科对BI&A的发展作出了贡献,例如信息管理、计算机科学、统计学、管理学和市场营销学。
然而,目前的课程体系设置相对于商务分析技术及大数据的发展来说较滞后。虽然大部分学校针对学生的研究方法及研究能力的培养开设了一些BI&A课程,例如复杂系统分析与决策、随机过程、应用统计学、矩阵分析、Matlab、现代管理分析技术等。这些课程的设置对于面向大数据的BI&A3.0的研究及应用来说尚有差距,缺乏系统性和前沿性。因此,面向BI&A3.0的研究生课程体系改革具有一定的现实意义及急迫性。
1.教学研究的内容及实践内容
围绕如何培养面向大数据及BI&A3.0数据分析及研究能力进行课程体系改革研究。借鉴国际国内针对从BI&A1.0到BI&A3.0的知识体系及技能相关的教学改革,注重管理科学与工程的专业内涵。
(1)教学研究的内容
①对国内和国际当前的面向BI&A3.0大数据分析能力培养的知识体系及技能进行梳理。
②对本校管理科学与工程专业主要的研究方向进行梳理,调研面向BI&A3.0大数据分析的具体能力和层次要求。
③结合国际国内面向BI&A3.0的知识及技能体系与本校管理科学与工程主要的研究方向,提出面向BI&A3.0的管理类研究生课程体系改革的具体方案,包括课程设置、教学方式、考核方式、教学目的与要求。
(2)实践内容
通过设计与理论相配套的课程实验、研讨与课程内容密切相关的科学问题、及时追踪研究热点,使得实践环节成为提高研究生BI&A3.0创新和研究的推动器,同时也提高学生在实践方面的兴趣和动手能力。
2.教学及实践改革的目标
(1)教学目标。通过建立面向BI&A3.0的管理类研究生课程教学体系,使得研究生掌握BI&A3.0的基本知识体系、知识网络、基本研究能力,并最终培养研究生掌握面向BI&A3.0的创新能力。
(2)实践目标。通过培养学生面向BI&A3.0的实践技能,培养研究生面向BI&A3.0的实践能力,包括文献检索能力、借助计算机的分析能力、数学建模能力、数据收集能力。
3.课题研究要解决的问题
围绕面向BI&A3.0的管理类研究生课程体系的建设,本课题将要解决如下问题:
(1)如何划定面向BI&A3.0的分析及计算机技能。面向BI&A3.0的分析及计算机技能涵盖的面十分广泛,本校管理类研究生所依附的学科方向及研究重点决定了这些技能需有选择地纳入。因此,需要解决具体纳入哪些分析及计算机技能的培养。
(2)如何结合研究方向与BI&A3.0的应用。培养面向BI&A3.0大数据分析能力的目的是将BI&A3.0大数据分析应用到具体的研究方向。物流、市场营销、工程管理、运营管理等方向的研究需要将这些领域的知识和BI&A3.0的应用结合起来才能达到培养的目的。
4.拟采取的方法
(1)借鉴国内外先进的BI&A3.0教学教改经验。对国际和国内BI&A3.0相关的教学教改文献进行分析,并参加相关的国际国内会议,与国内外同行进行交流学习。
(2)对本校管理类研究生现状及改革反馈进行调研。通过以往教学实践的总结、专家学者的讨论、课题组集体研究的方式,调研适合本课程体系服务学科专业的研究生课程教学内容、目标、方法与手段。
(3)对企业界进行调研发掘BI&A3.0实际应用能力的需求。通过对企业界进行调研,发现潜在的BI&A3.0应用方向。通过这些方向的发掘弥补课程体系设置的不足。
中图分类号:G64 文献标识码:A 文章编号:1009-3044(2016)33-0123-01
Abstract : With the theme of declare big data and applied technology major, this thesis was written by author from telecommunications engineering academy. It has researched and analysed the composition of big data, related technologies, application requirement about the data mining and the problems has been solved by big data technology; Also it described what kind of related knowledge and skills need to be master by higher vocation education students in school, analysed the teaching qualities contrast with the needs of modern enterprises in details, by all means this thesis will focus on practically personnel training and explore the thinking of vocational colleges’ big data application technology major.
Key words : big data background, professional technology, skills exploration
随着网络和数据信息科学的发展,数据在量和复杂度上的爆炸式增长让人类进入了大数据时代。根据IDC监测,人类产生的数据量正在成指数及增长,大约每两年翻一番,以此速度在2020年之前会持续保持下去。大量数据源的出现则导致了非结构化、半结构化数据爆发式的增长即数据结构日趋复杂。大数据分析意味着企业能够从这些新的数据中获取新的洞察力,并将其与已知I务细节相融合。大数据对各种行业似乎产生了前所未有的巨大影响,从制造商到旅游业,从产品设计到消费者行为分析,大数据能提供前所未有的信息,帮助公商行业做出最好的决策。公商行业对合格的数据分析师或者数据工程师的需求很大。
人才市场需要会分数据并以有用的方式呈现信息的雇员。根据市场需求,高职院校需要培养学生成为具有数据应用技能的人才以满足市场需求。我们研究方向是调查公司企业所需要的技能和大学教的数据分析技能,对比两方面的技能的差别。人才需求调研裼昧宋示矸绞讲杉专家的意,专家分为相关专业学科教授和企业内本行业专家。
大数据应用技术专业的课程设置应跟随新技术的应用,跟随社会及企业需求,在新专业中重视培养专业技能和项目经验人才,课程设置应贴合社会需求培养相应的就业技能。需要研究关于合格的数据分析师或者数据工程师应该具有什么资格及知识技能。调研的结果可以帮助学院开设有关大数据学科的学校及大数据有关的课程教材。
调研内容如下表格:
综上所述,十报告传达的是要重视高等职业教育,强调“要全面实施素质教育,深化教育领域综合改革,着力提高教育质量,培养学生创新精神。”中国的职教体系也在深入发展改革的过程中。本调研是针对高等职业院校的大数据应用技术专业的课程设置的进行探究,通过对大数据应用技术专业在市场人才需求的研究,对全面实施素质教育,重视学生的创新能力的培养具有重要意义。
参考文献:
[1] 王星.大数据分析:方法与应用[M].清华大学出版社,2013.9.
[2] 曹正凤.数据分析统计基础[M].电子工业出版社,2015.2.
[3] 屈泽中.大数据时代数据分析[M].复旦大学出版社,电子工业出版社,2015.7.
doi:10.3969/j.issn.1673 - 0194.2015.20.032
[中图分类号]TP308;TP311.13 [文献标识码]A [文章编号]1673-0194(2015)20-0041-01
1 大数据
大数据需要新处理模式才具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的核心是预测,它把数学算法应用到海量数据上来预测事件发生的可能性。大数据同时意味着思维的变革:①小数据分析的是随机样本,而大数据分析的是全体数据,全面展示样本无法表达的细节信息;②小数据分析追求精确性,而大数据分析具有混杂性,这意味着大数据的简单算法比采样数据的复杂算法更有效;③小数据分析关注因果关系,而大数据分析更关注相关关系,通过分析事物之间的关联性,来预测事件的发展趋势。
2 Hadoop大数据平台
Hadoop是Apache的开源分布式计算平台。受Google大数据论文的启发,Doug Cutting用JAVA实现了以MapReduce和HDFS为核心的Hadoop,并将源代码完全贡献出来。Hadoop充分发挥集群的计算和存储能力,快速完成海量数据的处理。Hadoop采用分布式存储来提高读写速度和扩大存储容量;采用MapReduce整合分布式文件系统上的数据,实现数据高速处理;采用存储冗余数据来保证数据的安全性。
2.1 HDFS
HDFS是基于流模式访问和处理超大文件的需求而开发的,它可以运行于廉价的商用服务器上,HDFS的主要特点有以下3个方面。①处理超大文件:在实际应用中,HDFS已经能够用来存储管理PB级的数据了。②流式访问数据:请求读取整个数据集要比读取一条记录更加高效。③运行于廉价的商用机器集群上:HDFS对硬件要求较低,无需昂贵的高可用性机器。
HDFS体系结构中有两类节点:NameNode和DataNode,NameNode负责管理集群中的执行调度,DataNode是具体任务的执行节点。当执行任务时,客户端访问NameNode获取文件数据信息,与DataNode进行交互以访问整个文件系统。HDFS向用户提供类似POSIX的文件接口,开发者在编程时无需考虑NameNode和DataNode的实现细节。
2.2 MapReduce
MapReduce是Google公司的核心计算模型。在Hadoop中,用于执行MapReduce任务的机器有两种角色:JobTracker和TaskTracker,一个Hadoop集群中只有一个JobTracker,用于任务管理和调度。一般来说,为了减轻网络传输的压力,数据存储在哪个节点上,就由哪个节点进行这部分数据的计算。JobTracker监控任务运行情况,当一个TaskTracker出现故障时,JobTracker会将其承担的任务转交到另一个空闲的TaskTracker重新运行。TaskTracker用于执行具体的工作。
3 大数据在智能电网中的应用构想
通过Hadoop大数据平台,技术人员可实时观察到全网范围内的电能流动状态、电能负载热区、设备故障高发区和客户集中区等数据,实现更加智能化的电网。具体包括以下4个方面。
3.1 电网数据可视化
在未来智能电网中,通过大数据分析融合调度、配电、输电、发电和用电客户数据,实现实时和非实时数据的高度信息化集成,通过实时可视化运算分析,全面展示完整和精细的电网运行状态图,为管理层提供辅助决策支持和依据。
3.2 电网负载趋势预测
在未来智能电网中,通过大数据分析电网负载的历史数据和实时数据,展示全网实时负载状态,预测电网负载变化趋势,通过现代化管理技术的综合应用,提高设备的使用效率,降低电能损耗,使电网运行更加经济和高效。
3.3 设备故障趋势预测
在未来智能电网中,通过大数据分析电网中部分故障设备的故障类型、历史状态和运行参数之间的相关性,预测电网故障发生的规律,评估电网运行风险,开展实时预警,提前做好设备巡检和消缺工作,为电网安全稳定运行保驾护航。
3.4 客户电力需求预测
在未来智能电网中,通过大数据分析电网客户的用电数据,预测区域用电和大客户用电需求变化趋势,针对客户需求提前制订高质量的服务计划,提升社会满意度。
4 结 语
在英国学者维克托・迈尔舍恩伯格和肯尼思・库克耶合著的learning with big data: The future of education一书中,作者提到了基于大数据的双回路学习。双回路学习(Double-loop learning)会随时用数据纠正自身的错误,同时利用反馈回路中获得的大量数据来做其他很重要的事情。例如,可汗学院不仅有超过5000个多学科的视频课程,它更有价值的地方在于积累学生如何学习的数据,并实时反馈给教师和学生。双回路学习把反馈、个性化学习、预测与干预结合在一起,成就了大数据时代的因材施教。
开放大数据以减少数字鸿沟
中图分类号:G642 文献标识码:B
文章编号:1671-489X(2016)18-0069-03
Abstract The advent of the era of big data has brought new vitality
and challenges for educational research. This paper uses bibliometric visualization software Cite Space to analyze thesis with key words data and education from CNKI based on Co-occurrence analysis of keywords, explore the hot issues in the field of educational research, summarize the research status and trends.
Key words big data; CiteSpace; education
1 引言
近年来,教育领域研究者开始关注大数据背景下的教育管理模式转变、教育决策研究等内容,大量基于大数据背景的教育领域研究论文逐年增加。以“大数据”“教育”为主题关键词在CNKI中国知网进行搜索,仅选择SCI、EI、中文核心、CSSCI四类来源期刊截止到2015年12月出版的文献,共检索到417条数据,从2010年开始呈现出逐年上升的趋势。对这些文章进行浏览和筛选,选择与本研究主题相关的论文,共247篇。对这247篇文章的关键词信息进行研究,分析大数据的出现对教育领域研究热点及发展趋势的影响。
2 教育领域热点问题研究知识图谱
CiteSpace软件是一款引文可视化分析软件,着眼于分析科学知识中蕴含的潜在信息,通过可视化的手段呈现科学知识的结构、规律和分布情况[1],能对文献进行作者分析、关键词共现分析、机构分析、作者共被引分析、文献共被引分析等。关键词共现分析是一种内容分析技术,通过分析在同一个文本主题中的款目对(单词或名词短语对)共同出现的形式,确认文本所代表的学科领域中相关主题的关系,进而探索分析学科领域的发展,发现学科的研究热点和研究趋势[2]。
使用CiteSpace软件对下载的文献进行关键词共现分析,生成图1所示关键词共现知识图谱,分析大数据的出现对教育领域研究热点和趋势的影响。关键词出现的频次由圆圈代表的节点反映,圆圈越大,表明关键词出现次数越多,最大圆圈代表的关键词是“大数据”。
根据图1得到表1所示文献关键词、被引频次、中心性等指标数据。中心性代表共现程度的高低,中心性越强,表明该关键词与其他关键词共同出现的几率就越大,也就表示该关键词在共现网络中的影响力越大。从知识理论角度分析,频次和中心性高的关键词一般是某一段时期内研究者共同关注的问题,也就是研究的热点和前沿。表1中,“大数据”是频次最高也是中心性最高的关键词;“学习分析”频次为23,中心性为0.22;“数据挖掘”频次为13,中心性为0.15,等等这些都是热门的研究主题。
3 大数据背景下教育领域的热点研究
依据图1和表1所示结果,将大数据背景下教育领域的热点研究总结为以下几个方面。
学习分析和数据挖掘 教育数据挖掘是数据挖掘在教育领域的新型应用,主要目标为知识发现、决策支持和推荐等。学习分析是测量、搜集、分析和报告学生及其相关的学习环境的数据,用以理解和优化学习过程和学习环境[3]。
教育数据挖掘专注于技术层面,侧重教育数据模型和模式的抽取,强调挖掘结果的自动化反馈;学习分析更注重研究有利于改善学习的干预措施。
2012年,美国教育部了报告《通过教育数据挖掘和学习分析促进教与学》[4],提出“数据驱动学校,分析变革教育”的大数据时代已经来临,要综合运用教育数据挖掘和学习分析,构建教育模型,探索教育变量,为教育教学提供有效支持。
在CNKI中以“学习分析”和“教育数据挖掘”为关键词进行检索,得到图2所示的文献数量趋势图。如图2所示,2010年以前的文献数量很少,但2010年之后开始呈指数式增长;2016年1―2月份刊登的相关主题期刊论文已有5篇,可以预计本年度,学习分析和数据挖掘仍将是大数据背景下教育领域的研究重点和热点之一。
在线教育――兴起与变革 以“在线教育”和“大数据”为关键词进行搜索,得到图3所示文献数量趋势图。目前在线学习的发展趋势主要有如下表现。
1)移动学习是大方向:随着无线网络的覆盖,移动终端特别是手机用户的增多,移动学习逐渐发展起来。
2)免费是大趋势:目前在线学习存在各式各样的免费现象,如免费试用、前期付费后期免费等形式。
3)细化管理是要求:任何一种在线学习方式,都离不开资源开发、管理和优化等工作,需要设定管理要求,细化规则。
4)实现互动是必然:交互功能是在线学习软件必然要设计的功能,大多数在线学习使用者表示学习过程中希望能有更多的互动交流。
5)个性化学习是亮点:学习分析和教育数据挖掘的出现,使得在线学习存储的大量数据能够被更快速分析和使用,学习者可以随时掌握学习状况,开发商也可以掌握学习者的兴趣点、学习特征等,为学习者推荐或制订个性化的学习方案。
教育信息化 我国的教育信息化主要包含两层含义:一是把提高信息素养纳入教育目标,培养适应信息社会的人才;二是把信息技术手段有效应用于教育,注重教育信息资源的开发与利用。教育信息化的核心是教学信息化,要求在教育过程中较全面地运用现代信息技术,促进教育改革,适应信息化社会提出的新要求,深化教育改革,实施素质教育。随着大数据时代的来临,教育信息化也在不断进步,未来的教育信息化将在教育云平台上进行展现,现有的教育网、校园网将全面升级,实现互联网、电信网、广电网等跨平台使用并支持移动设备。
在CNKI中以“教育信息化”和“大数据”为关键词进行检索,2013年共有3篇学术论文,2015年共有10篇,研究主题包括大数据时代的信息化教学、教师培训、课程资源建设、教育舆情监控等。
教育决策 以“教育决策”为关键词搜索到上千篇学术论文,以“教育决策”和“大数据”为关键词,2013年以来共有8篇论文。大数据将在教育决策中发挥越来越重要的作用已成为共识,但如何利用大数据进行决策是目前面临的难题,如何解决这个难题也是研究者重点关注的领域。教育决策离不开数据,大数据背景下的数据更加复杂、凌乱,呈现碎片化的特征,并且掺杂一些虚假数据,如何收集、选择数据,是第一步需要做的事情。大数据对于教育决策的价值在于为教育服务,将数据转化为支持决策的信息,需要数据分析者具备综合、全面的数据分析素质和能力。大数据的核心是预测,随着教育信息化和在线学习的持续发展,数据呈爆炸式增长,需要对数据进行整合、分析,发现新知识,为教育优化服务。
4 数据推动决策
传统决策过程主要依靠决策者的经验,主观性较强,或多或少存在一些不足,难以充分发现教育过程中的潜在问题,无法真正有效地优化教学、提高学生表现。信息化推动了人类发展,逐渐成为人类生活必不可少的重要部分;信息化技术普及的同时,也产生前所未有的海量数据。大数据时代的来临,颠覆了传统数据分析方法;大数据背景
下,利用数据挖掘方法发现问题、支持决策具有多方面的意义。
1)优化教学、提高教育质量。教师若能充分利用学生学习数据,分析学生学习过程,可以更加快速、便捷、有效地了解学生,发现不足之处并及时反馈,提供改进意见等[5]。
2)为学校管理者制订更加合理的教学计划和方案提供决策支持。基于数据的教育决策能够为管理者提供更加准确、合理的决策支持。基于数据的教育决策能够提供从数据到决策,实施决策后产生的数据再到决策的一种良性循环过程[6]。
3)帮助地区甚至是国家级决策者进行科学判断。数据推动决策具有相当明显的优势,能为决策者提供全方位的视角。大数据分析得到的结果具有全面性、多视角性、参考性强等特点,能够更好地为决策者提供决策支持。
5 结语
上文所分析出的教育领域热点研究问题,都紧紧围绕“数据推动决策”这一主题,学习分析和教育挖掘是分析方法和技术;在线教育是数据来源;教育信息化是信息化大数据环境;教育决策则是根据数据制定决策并运用于教育教学。可见,利用数据推动决策已成为教育领域在大数据背景下最为重要的研究问题之一。
参考文献
[1]陈悦,陈超美,胡志刚.引文空间分析原理与应用:Cite Space实用指南[M].北京:科学出版社,2014.
[2]潘黎,王素.近十年来教育研究的热点领域和前沿主题:基于八种教育学期刊2000-2009年刊载文献关键词共现知识图谱的计量分析[J].教育研究,2011(2):47-53.
[3]Siemens G. Learning and Knowledge Analytics-Knewton-the future of education?[EB/OL].[2011-04-17].http:///?p=126.
【摘 要】在云计算、物联网等技术的推动下,世界已经进入了一个“大数据”时代。本文旨在讨论大数据时代下,图书馆与大数据相关的研究内容、发展存在的问题以及总体发展趋势。在大数据时代下,图书馆应该进行服务模式创新与重构、服务内容创新与重构,从而解决发展瓶颈。
关键词 大数据;图书馆;云计算
0 引言
在云计算、物联网等技术的推动下,世界已经进入了一个“大数据”时代。如何有效地利用大数据成为政府公共管理和企业界共同关注的问题,但这些数据集的规模往往超出数据处理者的能力。图书馆主要工作为实践,研究和教育。以最大限度地利用人类的知识,促进专业的交流为责任。图书馆职业无法离开专业知识和信息,影响人类社会的可持续发展。数据是图书馆藏书的重要组成部分。数据作为原始类的产品,可以加工、整理、分析,最后提炼成人与人之间的生产和生活中发挥更大作用的信息和知识。因此,大数据主题是图书馆行业内应当研究的问题,展示了图书馆界在信息社会求生存,谋发展能力的提升。本文旨在讨论大数据时代下,图书馆与大数据相关的研究内容、发展存在的问题以及总体发展趋势。
1 图书馆学研究教育与大数据现状
图书馆已有的研究中有文献计量学等和大数据有关。研究人员为了促进信息科学与社会科学的进步,通过大型网络规模的收集获得数据和分析数据得出相关结论来实现目标。由于大数据技术的应用,传统的文献计量学的研究从过去只有简单的描述性研究扩展到评估和预测的研究。图书馆学研究人员参与了很多相关的项目,例如,新西兰的奥塔哥大学的图书馆承担了研究数据管理项目的任务,在麻省理工大学设立项目研究图书馆数据存储、需求分析数据的管理,和传播数据,并完成数据收集保存标准的制定工作。乌里韦和麦克唐纳在认为数据监测工作将从传统的信息技术受益。Huwe建议采取政治手段,以促进图书馆和数据中心的发展,他认为高等教育机构应该认可图书馆对学术研究的支持。通过分析2008非常流行的“数字化监控中心的生命周期模型”,希金斯提出,图书馆的“数据保留计划”的生命周期可以被纳入其数字机构库文件管理实体。此外,美国学者对馆员在大数据环境中的作用和专业知识进行了调查,他们一致认为图书馆可以在大数据时代承担数据管理职责。谢菲尔德大学还安排了基础的信息学专业课程。 2011年6月伦敦国际监护教育论坛投入使用的,也给数字监控领域的发展提供了一个机会。
国内目前的相关研究课题还处于刚起步的状态,CNKI与该主题相关的文章也只有寥寥几篇。相比之下,国内对“数据监护权”的关注度更高这,主要是针对大学图书馆在这个专业领域展开更多的研究。这方面的论文在2012年之后有一个井喷式的增长,但总体来说,国内相关文献还相对较少,研究项目也几乎没有。
2 图书馆的大数据特征
在数字化时代,数据处理更容易、更快。图书馆的数据资源种类多、数量大、形式多样。截至2008年底,CALS的文档数据量达到180T,2010年底的国家图书馆数字资源总量达到480 T。目前,国家博物馆进行维护之后,数字图书馆的非结构化数据的存储容量将非常大。总数字资源工程也达到108TB。由此看来,图书馆的数字资源总量已聚集为一个大的数据集。再次,图书馆自动化服务水平已发展到了一个新的阶段。此外,用户服务信息每日激增,用户对服务的要求越来越高,图书馆要根据用户的服务信息,做出相应的调整。因此,根据各自限定的环境和条件,从大量的数据分析中挖掘出用户当前和未来的需求都非常迫切。
3 大数据背景下图书馆发展趋势
3.1 服务模式创新与重构
目前,随着科学技术的不断发展,传统的纸质图书馆向电子、数字图书馆的转变,因此图书馆服务的性质已经发生了很大的变化。传统图书馆是点对点的服务,而目前数字图书馆已经成为综合,服务的风格和方法等方面都发生了很大的变化。在服务理念上,数字图书馆是基于数据服务的基础上,在大数据的基础上,从数据采集,智能服务,提供综合服务,创新了服务模式。在大数据时代,数据资源是丰富的,每个图书馆可以利用网络来收集大量的数据资源,基于资源共享提供各种数据管理的资源之间的无缝连接。
3.2 服务内容创新与重构
在大数据时代背景下,竞争已经不再是一个简单的数据资源所有权的竞争,而是在数据的结构以及类型上、数据的开发以及利用上的竞争。从图书馆的角度来看,它是在大数据背景下,为了避免自己被边缘化,就必须分析数据,来进行相关的数据分析服务。分析数据库业务有以下几个方面:首先,图书馆需要建立自己的大数据分析,数据分析通常在现有的数据,如读者爱好的书籍等。另外是对读者的分析,这类似企业和其他客户群体参考提供的数据分析、竞争情报分析,但也有很大的区别,不同之处在于数据分析对象、用于数据分析和数据分析的目的等。对于这样的数据,可能不会被图书馆所拥有,所以它必然成为在这个行业发展的瓶颈限制,我们应该想办法解决这些问题。
参考文献
[1]刘琼.大数据环境下图书馆面临的影响与挑战[J].理论观察,2013(8):112-113.
[2]孙琳.大数据时代图书馆服务体系创新研究[J].理论观察,2013(4):99-100.
大数据是在网络环境下发展起来的一种大规模、多样化的数据集,现代社会类型多样、数量巨大,这些信息对大数据环境下图书馆信息服务发展带来较大的发展机遇,同时也带来较大的挑战,图书馆必须要认清自身发展的优势和劣势,从各个行业的大数据化形式下发掘发展经营,从而更好的促进自身的发展。
一、大数据发展概况
大数据是一个相对比较抽象的概念,也被成为是海量数据,主要依据存储信息量的大小进行分段,目前没有对大数据统一、权威的定义。实际上大数据并不是对数据规模的一种描述,而是一种在信息技术发展下类型繁多、数量大的多样化数据中实施信息提取的一种思维。大数据具有一定的规律性,看似繁杂的数据背后隐藏着规律性信息,但是这些规律性必须在数据分析和整理后才能呈现出来。大数据的无偏性,大数据技术额度无偏差性是对一个学科基础统计的表示,在这种思维下很多数据能够通过抽样的方式取得,在统计学信息的保障下有效提高数据的可靠性;大数据具有关联性,大数据一般是由一个个数据库、数据群累加而形成,数据越多价值越大,实施数据挖掘过程中必须要注重内部信息和数据之间的关联性,并提高其隐性价值;大数据具有开放性,开放性主要是指在预定的时期内进行流程和科学方法的实施,分析大数据规律性得到科学的结论。
二、大数据对图书馆信息服务的启示
大数据环境下,图书馆的经营管理也必须利用大数据技术实施技能的深加工处理,大数据时代图书馆的数据分析、服务需求和处理等都需要社会信息机构和合作,在云计算平台的支持下利用大型数据实施服务,任何一个图书馆都应该积极在大数据环境下吸取经营,从而促进自身更好的发展。
2.1重视数据的收集和挖掘
大数据时代,图书馆之间的竞争也比较激烈,除了文献方面的竞争,同时数据方面的应用竞争也比较大。目前数据分析和挖掘也逐渐成为图书馆信息服务的重要研究点。图书馆在发展总必须要以计算、模式识别、可视化等为基础进行高级数据分析,拓展图书馆的服务。图书馆在数据挖掘和数据分析汇总首先必须要将数据关联起来,在大数据环境下降结构复杂、类型繁多的环境下建立数据之间的联系。同时要充分利用这些数据信息,在图书馆系统内积极挖掘具有价值的数据,将处于休眠期的数据活起来,发掘其价值,将其应用到实际工作中提高工作效率和服务质量。另外提高数据挖掘的价值,充分利用数据分析技术从不完成、模糊的数中提取潜在知识和价值观点。
2.2构建多维图书馆信息咨询形式
图书馆在实际发展中要想提高自身的竞争水平,必须提高服务质量,从信息咨询、数据挖掘及时等方面进行分析。从数据融合方面进行分析,大数据的提取和利用能够大大提高信息咨询服务态度,所以在发展中必须要将数据细化,从而提高服务深度。首先在细化数据的过程中可以提供一些数据能力服务和资源服务,比如读者数据的保存,在大数据时代可以通过一些专业维护的方式将海量信息汇集到信息咨询平台,从而最大程度的细化数据存储需求。凌天在数据深度应用方面,图书馆深度的数据服务和知识咨询形式就是其深度的代表,传统的信息咨询服务比较注重知识库数量的累积,但是这种仅仅追求数据库规模的发展形式已经不能适应现代社会的发展,大数据环境下必须要进行信息深加工,融合数据信息,实现信息的增值服务,从而提高图书馆的服务质量。
2.3深度分析用户信息
在大数据环境下,人与人之间的交流更加密切,人们在图书馆内外的各种信息多保留由信息行为数据,图书馆应该对这些散落在各处的信息进行整理和综合,并在此基础上对大量的用户信息进行挖掘和分析,提取有价值的信息。在对数据实时用户行为分析的过程中,不仅仅关注信息行为整体行为方式,同时要从中找出影响图书馆利用行为价值的因素,反映客户的应用需求,广泛的开展用户行为分析,为图书馆用户提供更加个性化的服务。
结语:大数据发展环境下,图书馆的管理更应该注重科技信息技术的利用,摒弃传统发展观念,积极利用数据挖掘技术和大数据理念,发掘客户信息,了解客户需求,从而为客户指定符合其自身发展的服务方案,提高自身服务质量。
参 考 文 献
[1]毛晓燕. 大数据环境下图书馆信息服务走向分析[J]. 图书馆工作与研究,2014,03:72-75.
中图分类号:G25 文献标识码:A 文章编号:1672-3791(2016)10(b)-0150-02
在科学技术的影响下,学术资源建设速度越来越快。例如:中国最大的学术资源建设商――中国知网,已经从期刊论文向国内外期刊论文发展,在图书资源收藏方面收集了大量资源,可以给行业机构、学术等提供大量文献。在此种发展形式下,数字图书馆承受了较大压力,如何在未来发展中更好生存,已经成为人员研究的主要问题,必须及时对其进行分析。
1 国内外研究与启示
1.1 国内外相关论述对我国的影响
随着大数据时代的到来,人们对数据的需求量不断增大。目前国外相关研究已经从理念、技术和数据等方面进行了很多研究。美国加州大学伯克利分校图书馆的Huwe在《构建数字D书馆》一书中明确指出,大数据与数字化图书馆的发展方向吻合,可以借助数字图书馆进行信息采集和收集,进而挖掘用户行为,帮助人们了解阅读行为与信息的联系。Borgman等人将嵌入式技术成功安装于数字图书馆系统中,增加了数字图书馆功能,可以实现图书分类、收集处理和关联等各项操作,促进了数字图书馆与网络技术的融合,发挥了大数据的作用。
国内研究人员曾建勋曾在《数字图书馆论坛》中明确指出,大数据时代将数据数字图书馆数据管理、收集等服务的深层次发展,对数字图书馆人员提出了较高要求。另外武汉大学生陈传夫等也从理念、发展知识和财政投入机制等,分析了图书馆素质等问题,并提出了相关应对措施。
从上述研究均可看出大数据对数字图书馆带来的发展机遇和挑战,促进了数字图书馆和大数据的融合。为了促进高校图书馆和我国公共图书馆在大数据时代的发展,发挥数字图书馆在人们的生活或科学研究中的作用,必须深入思考,及时转变观念,提高数字图书馆的竞争力。
1.2 启示与思考
从当前的发展状况来看,学术资源建设商已经在大数据时代取得了很大进展,不仅包含网络资源与期刊,还涉及各种文献资源,可以查找作者、文献关系与学者等关系,给数字图书馆的发展带来了很大压力。所以图书馆相关人员必须提高思想认识,将资源建设商带来的威胁作为新的机遇。在实际工作中,必须积极吸取图书馆建设资源,扩展图书馆资源范畴,进行各种资源的有机结合,同时还要充分发挥资源价值,促使各种资源的整合,深入挖掘数据规律,认真分析数据规律,发现数据潜在价值。从服务角度上分析,图书馆还要向众多资源建设商学习,从用户角度探索问题,给用户提供人性化服务,满足用户对资源的需求。
经过分析发现,大数据时代,必须要改变传统的思维模式,形成适合数字图书馆发展的模式,适应大数据时代的发展,充分利用大数据促进数字图书馆的发展,让数字图书馆在人们的生活、学习和工作中发挥更大作用。
2 浅析数字图书馆的大数据思维
数字图书馆的大数据思维主要表示从大数据角度思考并分析数字图书馆发展中存在的问题,实现数字图书馆和大数据时代的有机融合,增加数字图书馆产品种类,提高数字图书馆服务水平。
2.1 建设数字图书馆资源
第一,扩大数字图书馆资源范围。资源是数字图书馆发展的基础,也是提高数字图书馆服务质量的主要方法。在长期发展中,图书馆非常重视资源建设,主要是图书、期刊及学位论文等资源。为了在大数据时代下发展,必须创新思维,引入一些数据库资源或一些社会热点信息等内容,以用户的搜索习惯作为数字图书采集参考,深入挖掘各种数据之间的联系,实现可再生资源的生产、收集和储存,扩大数字图书资源范围。第二,提高数字图书馆资源整合度。大数据时代的主要特点是数据类型较复杂,单纯的文本信息已经不能被大数据时展用户吸取,可以实现资源整合向综合信息服务转变。为了满足不同用户的需求,还可以实现文献和政府等信息的整合,扩大社会资源和数字图书馆的联系,将公众最关注的问题引入到社会资源整合中。第三,加强数字图书馆资源加工深度。在大数据时代,虽然数字图书馆结构信息具有较强的表现形式,但主要体现在资源库内部。在大数据时代下,必须及时扩展数字资源和外界的联系,构建全社会数字图书馆资源架构。同时进行图书馆资源深度加工时,必须从知识结构向知识建构加工方向发展。例如:从图书馆文献资源中分析知识结构,利用知识单位和文献建立知识建构,形成新知识。
2.2 灵活应用数字图书馆技术
大数据时代,数字图书馆技术已经开始从处理局部数据向更广的区域发展。从图书馆技术体系分析主要进行信息处理、组织架构、分析预测、服务技术等操作。
第一,应用语义技术。大数据环境中可以采用语义实现复杂数据的联系。当前数字图书面临的主要问题是将语义加入数字文献信息中。所以必须将本体技术、人工智能等先进技术应用到实际工作中,让数据间形成语义关系,促进收录资源和知识挖掘等各项操作。目前语义技术已经广泛应用到图书领域中,如:汉语主题词表、图书分类法等均是依靠语义发展起来的。知识相互间的语义关系,不仅可以帮助用户及时获取知识,还可以获得有用知识途径。第二, 数据聚类技术。数据聚类是实现信息相互聚集的过程。在繁杂的数据中,只有灵活应用聚类技术,才能发挥信息服务、处理等各种功能。在大数据背景下,利用数据聚类可将不同数据划分成相互联系、主体相近的小数据,给用户信息检索、选择和分析提供很大方便,给用户个性化服务提供了数据支持。第三,信息分析技术。大数据时代可以充分利用信息分析技术。可以将大数据技术融入到书籍图书馆中,拓展了数据分析工作,给用户提供了高端服务。例如:联机分析技术可给在线用户提供数据支持;定量定性分析技术可以在数字图书馆中得到充分应用。
2.3 数字图书馆的定位
第一,打破传统资源框架束缚。大数据给图书馆提供了较广阔的发展空间,满足了用户对不同信息的需求,在信息采集、收集和服务等方面均发生了变化。数字图书馆进行定位时,必须打破传统资源框架,将数据理念融于到数字图书馆建设中,所以不仅要采用传统的方法进行信息采集,还要进行网络信息自动获取,构建语义关系、数据联系等信息组织框架。
第二,建立全方位服务信息。传统图书馆主要进行文献服务。数字化图书馆服务资源发生了变化,服务形式开始从被动化向主动化发展。一方面向全社会提供服务;另一方面,提供全新资源服务;最后不断扩展服务与传播方式,全面扩展数字图书馆服务。
第三,定位数字图书馆员。大数据时代对图书馆员提出了更高要求,每馆员都要有敏锐的数据分析能力;及时了解学术变化;掌握大数据分析技术;熟练使用各种数据分析工具和软件,准确定位网络资源,促进数字图书馆的发展。
3 结语
大数据时代给数字图书馆带来了挑战,是数字图书馆的一种巨大转型,可以扩展数字图书馆数据资源,提高数字图书馆服务功能;同时,还要不断思考资源框架、技术应用模式和服务功能,与广大学术资源建设商共同发展。
0引言
大数据作为继云计算、物联网之后IT行业又一颠覆性的技术,备受人们的关注,大数据技术正从概念转向实际的应用,涌现出越来越多的大数据技术应用成功案例,大数据的价值也在迅速增长。2015年,中国大数据市场规模达到115.9亿元人民币,增速达38%,预计2016~2018年中国大数据市场规模将维持40%左右的高速增长[1]。大数据时代的到来,使得软件行业对人才的应用能力和综合素质提出了更高的要求。咸阳师范学院作为咸阳市地方应用型高校以服务咸阳地区经济社会发展为己任,肩负着培养满足咸阳地方社会需求软件人才的使命,需要把培养面向大数据时代的软件工程专业人才作为战略任务来抓。而课程体系的建设是软件工程专业人才培养体系最重要的一个方面。本文通过分析我院传统软件工程专业课程体系,以及大数据时代下企业对软件工程专业人才要求,找出大数据时代下软件工程专业应用型人才中课程体系存在的问题,探索出我院面向大数据环境的应用型软件工程人才中课程体系的建设。
1我院软件工程专业传统的课程体系
自我院计算机系成立以来,软件工程专业一直是我院重点建设专业。2013年,“‘3+1’校企合作软件人才培养模式创新实验区”被确定为省级人才培养模式创新实验区。一直以来,该专业以培养“厚基础、强能力、高素质”应用型人才的为培养目标,以企业、市场需求为导向,重视实践、技能和应用能力的培养,与尚观科技、中软国际、华清远见、蓝鸥科技等西安多家企业联合,采取3+1嵌入式校企联合教育培养模式,将课程教学、工程实践、行业理念进行无缝结合。课程体系是一个专业所设置的课程相互间的分工与配合[2],主要反映在基础课与专业课,理论课与实践课,必修课与选修课之间的比例关系上[3]。地方应用型本科院校的课程体系设计既要体现基础知识的传授,也要体现实践能力的培养,同时还要考虑学生的职业能力规划发展问题。我院2013-2015级软件工程专业课程体系结构图如图1所示。图12013-2015级软件工程专业课程体系结构图从图1可以看出通识教育必修课程的教学阶段共3个半学年,主要涉及思想政治基础知识、体育、人文历史、外语应用能力等;相关学科基础类课程主要包括高数、线性代数、数字逻辑等数学类课程;本学科基础类课程主要涉及程序设计语言、计算机网络、操作系统、数据结构、计算机组成原理等;专业技能教学阶段强调对学生工程性、实用性、技术性和复合型能力的培养,主要安排专业必修课程和专业选修课程。专业必修课程包括面向对象程序设计、软件工程、数据库原理与应用、软件设计与体系结构、算法分析与设计等,专业选修课程包括Web软件开发、Linux系统应用程序开发、移动终端开发等。根据教育部专业教学指导委员会软件工程行业规范[4],本着“轻理论,重实践”的原则,我院在一定程度上压缩理论课课时,增加实践课课时,优化专业课程体系结构。我院2015级软件工程专业的人才培养计划中,各类课程学分设置与所占比例。
2大数据时代企业对软件工程专业人才的要求
大数据时代所需要的人才是一定拥有数据处理、分析技术的,也就是对数据有敏锐的直觉和本质的认知、能够运用统计分析、机器学习、分布式处理等技术,从海量、复杂的数据中挖掘出有用的信息,以清晰易懂的形式传达给决策者,并创造出丰富有价值的专业人士[5]。在大数据时代下,对软件专业人才培养,应具备以下四个方面的技能。(1)具有厚实的数学、统计和计算机学科的相关知识,能够根据具体案例大数据分析任务的要求,运用大数据处理、分析平台,收集整理海量数据并加以分析,挖掘出有价值的信息。(2)掌握大数据处理技术及可视化工具,能根据具体任务的需求,对数据进行选择、转换、加工等处理操作,采用有效方法和模型对数据进行分析并形成数据分析报告,用易于用户理解的方式,提供科学的决策依据。(3)熟悉行业知识、专门业务及流程,将大数据技术和企业文化相结合,充分利用大数据分析处理的结果,挖掘出海量数据中隐藏的价值并应用于企业市场领域。(4)团队合作精神,大量数据的收集整理、存储、分析和处理,一个人是很难完成的,需要一个由团队成员合理分工、共同协作完成。
3大数据时代我院软件工程专业传统的课程体系存在的问题
地方高校一直以来受传统的“学术型”、“研究型”人才培养模式的影响较大,形成了适合于“精英教育”为培养研究型人才的课程体系,无法适应以工程实践能力、创新创业意识、新技术新方向为目标的人才培养,课程体系中理论教学占主导地位,实践教学往往处于次要地位[6]。而目前处于大数据时代,信息技术的不断创新、企业需求不断变化、综合型人才需求巨大等因素的影响下,传统的培养研究型人才的课程体系,无法适应大数据时代以工程实践能力、创新创业意识、新技术新方向为目标的人才培养。通过了解大数据环境企业对软件工程人才的要求,分析我院2013-2015级软件工程专业人才培养课程体系结构,发现存在以下问题:(1)缺少大数据技术方面的课程。传统的课程体系中主要包括软件工程专业一些传统的课程,如数据结构、软件工程、软件体系结构等,而且课程内容较陈旧,所开设的一些应用软件的学习不能紧密贴合行业和技术发展,软件工程专业教育必须适应互联网时展和大数据技术的需求,关注企业发展及大数据系统的建设问题,以满足企业对应用型人才的需要。(2)实践类课程学时所占比例较少。我院2015级软件工程专业实践类课程占总学时的10.8%,是因为传统的课程体系注重知识传授,而忽略了学生解决问题、动手能力的提高。地方高校在人才培养中重视理论内容、计算机编程能力,而忽略学生探索能力的培养,这些都不利于学生对新技术、新方向发展的把握,学生难以应对各种层出不穷、错综复杂的海量数据,很难挖掘出隐藏的数据价值并有效利用。(3)课程体系结构设置方面,一是存在通识教育类课程教学阶段持续时间长,一直到第7个学期,这就影响了后面专业类课程的学习;二是专业基础类分为专业必修和选修,没有从课程教学阶段不同来划分,不能体现课程先后的衔接关系。
4大数据时代我院软件工程专业课程体系建设改革
在大数据时代,软件工程专业教育必须适应企业发展和大数据行业的需求。教学内容的设置应与行业需求接轨,根据我院学生特点调整2016级软件工程专业课程体系。具体做了以下几点的调整。(1)课程体系结构更合理。一是通识教育类课程的调整。一方面将教学阶段全部调整到第1、2学年完成,这样在第3学年学生就可以重点学习专业类技能课程;另一方面此部分增加了大学生心理健康和创新创业教育课程,主要可以加强学生团队合作精神的培养。二是专业类课程结构的调整。将专业类课程分为专业(学科)基础课程和专业技能课程两大类,专业(学科)基础课程主要包括数学类课程、计算机导论、程序设计语言、数据结构、操作系统、软件工程、运筹学、数据分析与处理。专业技能课程又分为专业核心课程和专业方向课,专业核心课程包括面向对象程序语言类、软件设计模式、算法分析与设计、软件测试等软件工程专业要求的核心课程,而专业方向课分为3个方向:大数据分析、Web技术应用、移动终端开发,鼓励学生在学好专业基础和核心课程的同时,发现自己专业类的兴趣,选择一个自己感兴趣的方向集中学习,大数据分析方向是重点向学生推荐。在教学阶段安排上,一般专业(学科)基础课程要优先于专业技能课程,这样可以让学生在掌握了学科、专业基础上,充分了解软件工程专业技能的训练。(2)增加了大数据技术方面的课程。在新调整的课程体系中,专业(学科)基础课程和专业技能课程都增加了大数据相关内容。基础课设置增添运筹学、数据分析与处理等,使学生了解大数据行业基础知识,激发学生对大数据行业发展及大数据应用前景的兴趣;专业技能课设置了数据仓库与数据挖掘、大数据统计分析与应用、数据挖掘算法与应用等前沿科学技术相关课程以满足大数据系统建设与应用的需要,培养更多企业需要的大数据管理分析软件专业人才。院级选修课鼓励研究大数据方向的教师积极申请大数据案例分析、大数据安全与隐私保护、HadoopMap/Reduce技术原理与应用等实用性强的课程,以补充对大数据方向特别感兴趣学生的学习内容。(3)增加实践类课程所占比例。相比较2015级,以培养地方应用型人才为总目标,实践类课程课时由19课时增加到28课时,所占总课时比例提高了约50%。实践类课程包括校内(课程设计和实训)和校外(见习、实习、实训、毕业论文),种类多样化,使得学生多方面提升自己解决问题和动手操作能力。针对校内实验我院教师结合大数据教学实验平台,根据课程内容设计实验项目,从初级到高级,安排合理的阶梯式学习,实验内容持续更新,加入最新、主流的分析建模工具和挖掘算法,学生在免费、开放的平台环境下进行大数据构建、存储、分析统计等实验内容,使学生熟练掌握Ha-doop、HBase、Spark等关键技术,提高大数据理论分析及技术应用的能力。做好校内实践的同时,校外实践更是尤为重要,首先在实习、实训企业的选择上,尽量选择“口碑好、技术强、理念先进”的单位,目前我院已与邻近城市西安与尚观科技、中软国际、华清远见、蓝鸥科技等西安多家企业联合,第四学年分批组织学生到合作企业的实训基地参加真实的实训项目,体验IT企业真实的工作环境、工作流程和企业文化,了解互联网大数据、零售大数据、金融大数据等领域知识,学习海量数据搜集、分析、存储技术,引导学生按照项目的需求、总体设计、详细设计、编码、测试等流程完成实践内容,规范化文档和代码的编写,培养学生的行业、职业素养。
5应用效果
目前应用此方案有2016和2017级两级学生,虽然这两级学生都还没有就业,但在创新应用能力方面都较2015级之前学生有显著提升。近两年有10余组学生团队获得国家级、省级、校级“大学生科研训练项目”立项资助,有8名同学获得“蓝桥杯”程序设计大赛国家级二等奖、三等奖,省级一等奖2项,二等奖、三等奖多项。2016年有两队学生获得陕西省高校“互联网+”创新创业大赛三等奖,一队学生获得咸阳市青年创业大赛二等奖。数十名学生在核心期刊上公开发表学术论文。从目前取得的成绩来看,课程体系结构的调整,使得学生不仅获得扎实的理论知识,而且具备了过硬的实践和创新能力,我院软件工程专业毕业生一定会深受用人单位喜欢。
6总结
针对大数据时代下地方本科院校软件专业人才培养中课程体系存在的一些问题,笔者分析了大数据环境对软件工程专业人才的要求,以地方本科院校咸阳师范学院为例,改革调整了课程体系,主要在在理论教学和实践教学中增加大数据相关理论及技术内容,通过近年来的探索与实践,此课程体系结构有效提高了学生的创新应用能力,为大数据时代企业发展培养了高水平、高素质的大数据分析人才,新的课程体系适应了大数据环境下软件工程人才的培养。
参考文献
[1]孙琳.大数据应用的创新路径[N].人民政协报,2016-05-17.
[2]潘正高.地方应用型高校软件工程专业课程体系的研究[J].西昌学院学报,2017,31(3):94-97.
[3]潘怡.应用型本科院校软件工程专业课程体系设置探讨[J].长沙大学学报,2008,22(5):98-100.