1、数据管理与大数据 情境导入 脑动一下，在搜索软件中，我们是什么样子的？极有可能，我们就是一串带着各种属性标识的长长的数字。这串数字描述了我们的每一次浏览、每一次关注、每一次点击、每一次选择、每一次购买和每一次收藏。我们每次登录搜索软件，在搜索软件上进行操作，我们的数字就会跟着变化，反过来又会影响我们在搜索软件上看到什么，以及我们会收到什么信息。随着技术的发展，数据量的增长速度越来越快，如何有效管理数据和保证数据安全成为各行各业都面临的问题。问题1：什么是数据管理？问题2：数据管理的历程 问题3：如何有效管理数据？问题1：什么是数据管理?数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存
2、储、处理和应用的过程。其目的在于充分有效地发挥数据的作用。实现数据有效管理的关键是数据组织。问题2：数据管理的历程 随着计算机技术的发展，数据管理经历了人工管理、文件系统、数据库系统三个发展阶段。问题3：如何有效管理数据？文件格式（或文件类型）是指电脑为了存储信息而使用的对信息的特殊编码方式，是用于识别内部储存的资料。比如有的储存图片，有的储存程序，有的储存文字信息。每一类信息，都可以一种或多种文件格式保存在电脑存储中。每一种文件格式通常会有一种或多种扩展名可以用来识别，但也可能没有扩展名。扩展名可以帮助应用程序识别的文件格式。对于硬盘机或任何电脑存储来说，有效的信息只有0和1两种。所以电脑必
3、须设计有相应的方式进行信息-位元的转换。对于不同的信息有不同的存储格式。常见文件格式 文本文件 常见的文件格式 图像文件 声音文件 动画文件 视频文件 txt doc wps html pdf jpg bmp gif psd png wav mid mp3 wma fla gif swf avi mpg flv mov 各类文件如何管理呢？数据库技术 问题：如何管理生活中的数据？数据库技术：基于结构化数据开发的，具有数据独立性、数据可共享等特点。解决数据冗余的问题。解决维护、更新数据时需要大量的人工干预的问题。问题：如何理解书本中关于结构化、半结构化和非结构化数据的描述？(P24)拓展链接 问
4、题1：经常接到广告推销的电话，他们是怎么知道我们的号码？数据安全 问题2：威胁数据安全的因素有哪些？硬盘驱动器损坏、操作失误、黑客入侵、感染计算机病毒、遭受自然灾害。问题3：如何提高数据本身的安全？(P24)（1）保护存储数据的介质：磁盘阵列、数据备份、异地容灾（2）提高数据本身的安全：数据加密、数据校验 1.4 数据管理与安全：思维导图 数据与大数据 互联网、移动网络、物联网等每天都产生着大量数据，这些数据规模巨大、格式多样，已经很难用传统的方式进行处理。于是，大数据技术应运而生，通过分析、挖掘这些数据，发现其中蕴藏的价值。那么，什么是大数据？大数据之“大”，不仅指规模、速度和种类的特征，还
5、意味着它超出以往常用的数据采集、组织、管理和加工等软件的处理能力，要求新型集成技术从多元、复杂和巨量规模的数据集里洞察规律。大数据特征(P26)数据量大就是大数据吗？大数据有四个特征,分别为：数据规模大、处理速度快、数据类型多、价值密度低。可以用4个V来概括：数量（Volume）、速度（Velocity）、多样（Variety）、价值（Value）大数据思维(P27)1.大数据要分析的是全体数据，而不是抽样数据。2.对于数据不再追求精确性，而是能够接受数据的混杂性。3.不一定强调对事物因果关系的探求，而是更加注重它们的相关性。大数据是一场变革，改变的不仅是数据，还有人们的思维 大数据对社会的影响(P28)1.大数据让生活更便利（如：城市热力图）2.大数据让决策更精准（如：利用共享单车产生的大数据，精确地制定更为利民的交通路线图）3.大数据带来新的就业需求（如：系统研发工程师）4.大数据带来新的社会问题（如：个人信息泄露）“我们相信技术可以成为推动生活改变的最大力量，技术本身没有好与坏，他们什么都不想要，一切由我们人来决定，由我们每个人来决定。”1.5 数据与大数据：思维导图