大家好同学们,欢迎大家今天来到我们每周一考点,今天我们来给大家讲一讲我们在数据库系统这门科目中关于数据库管理技术发展的相关知识。 一、大数据 1。大数据的概念 最早提出大数据时代的是全球知名咨询公司麦肯锡,麦肯锡全球研究所给出的定义是:大数据(BigData)指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。大数据的核心是预测事情发生的可能性。 2。大数据的特征 大数据带给我们的三个颠覆性观念转变:是全部数据,而不是随机采样;是大体方向,而不是精确指导;是相关关系,而不是因果关系。大数据有4个特征,分别是: (1)数据量大(Volume) 收集和分析的数据量非常大,从TB级别,跃升到PB级别。 (2)数据类型繁多(Variety) 大数据来自多种数据源,数据种类和格式日渐丰富,如网络日志、视频、图片、地理位置信息等,多类型的数据对数据的处理能力提出了更高的要求。 (3)数据价值密度低(Value) 随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值提纯,是大数据时代亟待解决的难题。 (4)数据处理速度快(Velocity) 这是大数据区别于传统数据挖掘的显著特征,需要对数据进行实时的分析。 (5)数据真实性(Veracity) 大数据中的内容与真实世界中的发生的事件息息相关,研究大数据就是从庞大的网 络数据中提取出能够解释和预测现实事件的过程。 3。大数据的结构类型 大数据包括结构化、半结构化和非结构化数据,非结构化数据越来越成为数据的主要部分。据IDC(互联网内容提供商)的调查报告显示,企业中80的数据都是非结构化数据。 (1)结构化数据 包括预定义的数据类型、格式和结构的数据。如:关系数据库中的数据。 (2)半结构化数据 具有可识别的模式并可以解析的文本数据文件。如:XML数据格式文件。 (3)非结构化数据 没有固定的数据结构,通常用于保存不同类型的文件。如:图片、音频和视频。 二。云计算 1。云计算的概念 2006年8月,Google首席执行官埃里克施密特在搜索引擎大会首次提出云计算的概念。现阶段广为接受的是美国国家标准与技术研究院(NIST)定义:云计算(Cloud Computing)是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池,这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。 云是网络、互联网的一种比喻说法。 云计算是代表一系列计算方式发展趋势的综合概念,是并行计算(ParallelComputing)、分布式计算(DistributedComputing)和网格计算(GridComputing)的发展。 2。云计算的特点 其特点有:超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务、极其廉价、潜在的危险性。 3。云计算的服务形式 IaaS:基础设施即服务 基础设施即服务。消费者通过Internet可以从完善的计算机基础设施获得服务。提供给消费者的服务是对所有计算基础设施的利用,包 括处理CPU、内存、存储、网络和其它基本的计算资源,用户能够部署和运行任意软件,包括操作系统和应用程序。消费者不管理或控制任何云计算基础设施,但能控制操 作系统的选择、存储空间、部署的应用,也有可能获得有限制的网络组件(例如路由器、防火墙、负载均衡器等)的控制。例如:硬件服务器租用。 SaaS:软件即服务 软件即服务。它是一种通过Internet提供软件的模式,用户无需购买软件,而是向提供商租用基于Web的软件,来管理企业经营活动。提供给客户的服务是运营商运行在云计算基础设施上的应用程序,用户可以在各种设备上通过客户端界面访问,如浏览器。消费者不需要管理或控制任何云计算基础设施,包括网络、服务器、操作系统、存储等。例如:阳光云服务器。 PaaS:平台即服务 平台即服务。PaaS实际上是指将软件研发的平台作为一种服务,以SaaS的模式提交给用户。提供给消费者的服务是把客户采用提供的开发语言和工具(例如Java、python、。Net等)开发的或收购的应用程序部署到供应商的云计算基础设施上去。客户不需要管理或控制底层的云基础设施,包括网络、服务器、操作系统、存储等,但客户能控制部署的应用程序,也可能控制运行应用程序的托管环境配置;因此,PaaS也是SaaS模式的一种应用。例如:软件的个性化定制开发。 4。云模式 云模式主要有以下四种:公有云、私有云、社区云和混合云。 (1)公有云 公有云通常指第三方提供商为用户提供的能够使用的云,公有云一般可通过Internet使用,可能是免费或成本低廉的。公有云的最大意义是能够以低廉的价格,提供有吸引力的服务给最终用户,创造新的业务价值,公有云作为一个支撑平台,还能够整合上游的服务(如增值业务,广告)提供者和下游最终用户,打造新的价值链和生态系统。它使客户能够访问和共享基本的计算机基础设施,其中包括硬件、存储和带宽等资源。 (2)私有云 私有云是为一个客户单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。该公司拥有基础设施,并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个安全的主机托管场所,私有云的核心属性是专有资源。 (3)社区云 社区云是指在一定的地域范围内,由云计算服务提供商统一提供计算资源、网络资源、软件和服务能力所形成的云计算形式。社区云建立在一个特定的小组里多个目标相似的公司之间,他们共享一套基础设施,所产生的成本也共同承担。社区云的成员都可以登入云中获取信息和使用应用程序。 (4)混合云 混合云是两种或两种以上的云计算模式的混合体,如公有云和私有云混合。 三、人工智能 1。图灵测试 图灵测试来源于图灵写于1950年的一篇论文《计算机器与智能》,指测试者与被测试者(一个人和一台机器)隔开的情况下,通过一些装置(如键盘)向被测试者随意提问。进行多次测试后,如果有超过30的测试者不能确定出被测试者是人还是机器,那么这台机器就通过了测试,并被认为具有人类智能。实际上,通过图灵测试的计算机不一定是真的具有了人工智能。 2。人工智能概述 人工智能主要研究和解释人类智能、智能行为及其规律,通过计算机系统模拟人类的智能活动,实现和扩展人类的智力行为。简单来说,人工智能(AI,ArtificialIntelligence)就是要使机器能够胜任一些通常需要人类智能才能完成的复杂工作。作为计算机科学的一个分支,人工智能企图了解智能的本质,制造一种能以人类智能相似的方式做出反应的智能机器。 人工智能学科诞生于20世纪50年代中期,1956年夏,美国的达特茅斯学院举行了一次学术讨论会,首次提出了人工智能的术语。 当前,在基础设施(数据资源和运算能力)大幅进步的有力支撑下,深度学习技术摆脱发展桎梏并加速突破,在图像识别、自然语言处理等方向上取得了很大的成功,并推动相关行业的快速发展,人脸、虹膜识别,机器翻译等应用开始渗透到人们的生活和工作中。 数据资源、运算能力、核心算法在客观上构成人工智能的三大基本要素都重新站上了一个新台阶,共同推动当下人工智能从计算智能向更高层的感知、认知智能发展,掀起人工智能的新浪潮。 3。人工智能的研究领域 人工智能学科目前并没有一个统一的理论,它的许多研究和应用工作都是结合具体领域问题的。随着相关研究的不断深入,人工智能的研究领域也在不断扩大,比如机器学习、自然语言处理、机器人学等。下面简单介绍几个主要的研究领域。 (1)机器学习 与传统按流程判断编写的软件程序不同,机器学习用大量的数据进行训练,利用算法解析数据,发现规律,然后做出决策和预测。 (2)自然语言处理 自然语言是人类之间信息交流的主要媒介,人类有很强的自然语言处理能力,而目前计算机系统和人类之间的交流基本上都是使用严格限制的各种非自然语言,所以解决计算机系统的自然语言处理问题是人工智能最活跃的研究领域之一。自然语言处理是一门交叉学科,包括计算机科学,人工智能和语言学,其目标是让计算机去处理或理解自然语言,主要应用于问答系统,机器翻译、语音识别等。 (3)机器人学 机器人学是在社会对机器人的需求和机器人技术的迅速发展的基础上,形成的一个多学科高度交叉的前沿学科。由于智能机器人是一个综合性的课题,除机械手和步行机构外,还要研究机器视觉、触觉、听觉、味觉、信感、人工智能方法、智能控制以及生物工程等学科的综合技术。这一领域的研究有利于促进各学科的相互结合,并大大推动人工智能技术的发展。未来随着劳动力成本快速上涨,对工业机器人、服务机器人和特种机器人的需求将呈现大幅增长。 四、物联网 1。概述 物联网(InternetofThings,IoT)是指通过信息传感设备(如射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等),按照约定的协议,把任何物品与互联网连接起来,进行信息交换和通讯,以实现智能化识别、定位、跟踪、监控和管理的一种网络。 物联网主要包含两层意思: (1)物联网的核心和基础是互联网,是在互联网基础上的延伸和扩展的网络; (2)其用户端延伸和扩展到了任何物体与物体之间,并进行信息交换和通信。物联网中常常提到M2M的概念,比如上班用的门禁卡,超市的条码扫描,NFC手 机支付等,可以解释为机器对机器(MachinetoMachine)、人对机器(MantoMachine)、机器对人(MachinetoMan)、移动网络对机器(MobiletoMachine)之间的连接与通信,本质上,人与机器、机器与机器的交互,大部分是为了实现人与人之间的信息交互。 需要注意的是,物联网中的物,不是一般意义上的事物,它要满足以下条件才能够被纳入物联网的范围: (1)要有相应信息的接收器; (2)要有数据传输通路; (3)要有一定的存储功能; (4)要有CPU; (5)要有操作系统; (6)要有专门的应用程序; (7)要有数据发送器; (8)遵循物联网的通信协议; (9)在世界网络中有可被识别的唯一编号。 物联网包括物联网感知层、物联网网络层、物联网应用层。也可以说技术体系有四层,包括感知层技术、网络层技术、应用层技术以及公共技术。 (1)感知层 数据采集与感知主要用于采集物理世界中发生的物理事件和数据,包括各类物理量、 标识、音频、视频数据。物联网的数据采集涉及传感器、RFID、多媒体信息采集、二维码和实时定位等技术。 (2)网络层 网络层又分为支撑层和数据层,能实现更加广泛的互联功能,能够把感知到的信息 无障碍、高可靠、高安全地进行传送,需要传感器网络与移动通信技术、互联网技术相 融合。经过十余年的快速发展,移动通信、互联网等技术已比较成熟,基本能够满足物联网数据传输的需要。 (3)应用层 应用层主要包含应用支撑平台子层和应用服务子层。其中应用支撑平台子层用于支 撑跨行业、跨应用、跨系统之间的信息协同、共享、互通的功能。应用服务子层包括智能交通、智能医疗、智能家居、智能物流、智能电力等行业应用。 (4)公共技术 公共技术不属于物联网技术的某个特定层面,而是与物联网技术架构的三层都有关系,它包括标识与解析、安全技术、网络管理和服务质量(QoS)管理。 3。物联网的关键特征 (1)全面感知 利用无线射频识别(RFID)、传感器、定位器和二维码等手段随时随地对物体进行信息采集和获取。感知包括传感器的信息采集、协同处理、智能组网,甚至信息服务, 以达到控制、指挥的目的。 (2)可靠传递 是指通过各种电信网络和因特网融合,对接收到的感知信息进行实时远程传送,实 现信息的交互和共享,并进行各种有效的处理。在这一过程中,通常需要用到现有的电信运行网络,包括无线和有线网络。由于传感器网络是一个局部的无线网,因而无线移 动通信网、3G网络是作为承载物联网的一个有力的支撑。 (3)智能处理 是指利用云计算、模糊识别等各种智能计算技术,对随时接收到的跨地域、跨行业、 跨部门的海量数据和信息进行分析处理,提升对物理世界、经济社会各种活动和变化的洞察力,实现智能化的决策和控制。 五、区块链 谈到区块链,很多人会想到比特币,甚至将区块链与比特币混淆。事实上,区块链是比特币的底层技术,而比特币只是区块链的实践应用之一。 区块链的概念于2008年由中本聪第一次提出,区块链格式作为一种使数据库安全而不需要行政机构的授信的解决方案首先被应用于比特币。 狭义来讲,区块链是一种按照时间顺序将数据区块以顺序相连的方式组合成的一种链式数据结构,并以密码学方式保证的不可篡改和不可伪造的分布式账本。 广义来讲,区块链技术是利用块链式数据结构来验证与存储数据、利用分布式节点共识算法来生成和更新数据、利用密码学的方式保证数据传输和访问的安全、利用由自动化脚本代码组成的智能合约来编程和操作数据的一种全新的分布式基础架构与计算方式。 1。区块链特点 简单而言,区块链由一串使用密码学方法相关联产生的数据块组成,每个数据块包含了过去一段时间内所有的网络交易信息,用于验证信息的真伪以及产生下一个数据块。它就像一份人人记账的超级账本,呈现出超越传统互联网的一些新特点: 1)开放性 系统是开放的,除了交易各方的私有信息被加密外,区块链的数据对所有人公开,任何人都可以通过公开的接口查询区块链数据和开发相关应用,因此整个系统信息高度透明。 2)难以篡改 区块链上的区块环环相扣,每个区块都将对应一长串函数密码,如果修改某个区块内容,那么后续区块内容就不再匹配,导致信息篡改作废,这使得信息在网络上的完整性、真实性大幅提高。 3)去中心化 相比传统方式,区块链可以实现某个体系在没有中心机构管理的情况下自动运行,任意节点的权利和义务都是均等的,系统中的数据块由整个系统中具有维护功能的节点来共同维护。 4)匿名性 由于节点之间的交换遵循固定的算法,其数据交互是无需信任的,因此交易对手无须通过公开身份的方式让对方产生信任,对信用的累积非常有帮助。 5)自治性 区块链采用基于协商一致的规范和协议使得整个系统中的所有节点能够在去信任的环境自由安全的交换数据,使得对人的信任改成了对机器的信任,任何人为的干预不起作用。 因此,区块链本质上是一个去中心化的分布式数据库,是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。 2。区块链核心技术 区块链主要解决的交易的信任和安全问题,因此它针对这个问题提出了四个技术创新。 (1)分布式账本 分布式账本,就是交易记账由分布在不同地方的多个节点共同完成,而且每一个节点都记录的是完整的账目,因此它们都可以参与监督交易合法性,同时也可以共同为其作证。不同于传统的中心化记账方案,没有任何一个节点可以单独记录账目,从而避免了单一记账人被控制或者被贿赂而记假账的可能性。另一方面,由于记账节点足够多,理论上讲除非所有的节点被破坏,否则账目就不会丢失,从而保证了账目数据的安全性。 (2)非对称加密和授权技术 存储在区块链上的交易信息是公开的,但是账户身份信息是高度加密的,只有在数据拥有者授权的情况下才能访问到,从而保证了数据的安全和个人的隐私。 (3)共识机制 所有记账节点之间如何达成共识,去认定一个记录的有效性,这既是认定的手段,也是防止篡改的手段。区块链提出了四种不同的共识机制,适用于不同的应用场景,在效率和安全性之间取得平衡。以比特币为例,采用的是工作量证明,只有在控制了全网 超过51的记账节点的情况下,才有可能伪造出一条不存在的记录。当加入区块链的节点足够多的时候,这基本上不可能,从而杜绝了造假的可能。 (4)智能合约 智能合约是基于这些可信的不可篡改的数据,可以自动化的执行一些预先定义好的规则和条款。以保险为例,如果每个人的信息(包括医疗信息和风险发生的信息)都是真实可信的,那么就很容易的在一些标准化的保险产品中,去进行自动化的理赔。 4。区块链分类 (1)公有区块链 世界上任何个体或者团体都可以发送交易,且交易能够获得该区块链的有效确认,任何人都可以参与其共识过程。公有区块链是最早的区块链,也是应用最广泛的区块链。 (2)联合(行业)区块链 由某个群体内部指定多个预选的节点为记账人,每个块的生成由所有的预选节点共同决定(预选节点参与共识过程),其他接入节点可以参与交易,但不过问记账过程(本质上还是托管记账,只是变成分布式记账,预选节点的多少,如何决定每个块的记账者成为该区块链的主要风险点),其他任何人可以通过该区块链开放的 API进行限定查询。 (3)私有区块链 仅仅使用区块链的总账技术进行记账,可以是一个公司,也可以是个人,独享该区块链的写入权限,本链与其他的分布式存储方案没有太大区别。 六、5G技术 1。概念 5G即第五代移动电话行动通信标准,也称第五代移动通信技术,是指下一代无线网络,5G将是4G网络的真正升级版,它的基本要求并不同于无线网络。5G通信网络的波长是微米波。5G网络的主要目标是让终端用户始终处于联网状态。 5G网络已成功在28千兆赫(GHz)波段下达到了1Gbps,相比之下,当前的第四代长期演进(4GLTE)服务的传输速率仅为75Mbps。而此前这一传输瓶颈被业界普遍认为是一个技术难题,而三星电子则利用64个天线单元的自适应阵列传输技术破解了这一难题。 由于物联网尤其是互联网汽车等产业的快速发展,其对网络速度有着更高的要求,这无疑成为推动5G网络发展的重要因素。 5G技术具有高速度、泛在网、低功耗、低时延、万物互联、重构安全六大基本特点。 2。5G新空口技术 空口即空中接口,是基站和移动电话之间的无线传输规范,定义每个无线信道的使用频率、带宽、接入时机、编码方法以及越区切换。 因为5G要实现万物互联,4G中采用的OFDM等空口技术已经不能满足其需求,所以提出了5G新空口技术,目前来说主要有三种: (1)新波形FOFDM(FilteredOFDM) FOFDM在继承了4G的OFDM的全部优点(频谱利用率高、适配MIMO等)的 基础上,又克服了OFDM的一些固有缺陷,进一步提升了灵活性和频谱利用效率,是实现5G空口统一的基础技术。 (2)新多址技术SCMA(SparseCodeMultipleAccess) 多址技术决定了空口资源的分配方式,也是进一步提升连接数和频谱效率的关键, 可有效支撑5G网络千亿设备连接需求。 (3)新编码技术PolarCode PolarCode(极化码)是人类已知的第一种能够被严格证明达到香农极限的信道编码方法。(香农极限:信道编码的目标,是为了尽可能小的开销确保信息的可靠传送。)对于未来5G超高可靠性需求的业务应用(例如远程实时操控和无人驾驶等),Polar码能真正实现99。999的可靠性,解决可靠性的难题。另外使用Polar码能大大降低终端的功耗,对于功耗十分敏感的物联网传感器而言,可以大大延长电池寿命。 3。5G与4G的对比 从用户体验看,5G具有更高的速率、更宽的带宽,预计5G网速将比4G提高10倍左右,只需要几秒即可下载一部高清电影,能够满足消费者对虚拟现实、超高清视频等更高的网络体验需求。 从行业应用看,5G具有更高的可靠性,更低的时延,能够满足智能制造、自动驾驶等行业应用的特定需求,将来5G技术除了支持手机和平板电脑外,还需要支持可佩戴式设备,例如健身跟踪器和智能手表,以及智能家庭设备如鸟巢式室内恒温器等。5G技术拓宽融合产业的发展空间,支撑经济社会创新发展。 从发展态势看,5G还处于技术标准的研究阶段,之后几年4G还将保持主导地位、实现持续高速发展。但5G有望2020年正式商用。 4。5G技术的应用 在2019年7月9日,摩纳哥最大电信运营商摩纳哥电信通过与华为合作在摩纳哥 实现了5G全覆盖,摩纳哥成为首个实现5G全覆盖的国家,相关技术将有助于国家实现数字化。 四川省人民医院上线省内首个5G应急救援系统。在急救车上配备了5G医疗设备,实现医学影像、病人体征的实时回传。2019年7月4日,四川大学华西医院通过5G技术对马边彝族自治县人民医院开展的两例消化内镜操作进行了实时远程指导。 中国联通与嘉兴恒美联合打造了5G边缘云智慧工厂车间。在该工厂中,工业缝纫机的设备连接平板电脑,现场工作人员通过平板电脑和联通5G网络,能够接收最新的培训视频,实现远程培训。借助5G网络,使智慧工厂成为现实。 中国电信携手福州市公交集团,打造了福建省内第一条5G智慧公交线路(51路),乘客通过WiFi接入可以体验流畅的宽带网络,车上还装有高清电视供乘客点播。