==> 大数据&云计算
大数据时代的三次信息化浪潮:[时间;标志;解决的问题;代表企业]
-
1980年前后;个人计算机;信息处理;Intel,IBM……
-
1995年前后;互联网;信息传输;谷歌,腾讯……
-
2010年前后;大数据、云计算、物联网;信息爆炸;亚马逊,阿里云……
信息技术要解决的核心问题,如何解决:
-
③个问题:1、信息存储;2、信息处理;3、信息传输
-
③个解决办法:1、存储设备容量的提升;2、CPU处理能力的大幅度提升;3、网络带宽的不断增加
数据?信息?
-
数据:构成信息的基本单位,离散的数据没有价值。
-
信息:宏观的,(联系):信息由数据组合而成,传达给读者某个概念和方法。
数据产生的方式:
-
运用式系统阶段 —> 用户原创阶段 —> 感知式系统阶段
大数据发展的③个重要阶段:
-
1、萌芽期 [被动数据];
-
2、成熟期 [Web2.0、Hadoop平台的盛行];
-
3、大规模应用期 [数据驱动决策]。
大数据的特点(4V):
-
数据量大(volume);
-
数据类型繁多(variety);
-
处理速度快(Velocity);
-
价值密度低(value)。
大数据的影响:
-
对科学研究:1、实验科学;2、理论科学;3、计算科学;4、数据密集型科学。
-
对思维方式:1、全样而非抽样;2、效率而非精确;3、相关而非因果。
大数据关键(核心)技术:
-
分布式存储 [HDFS、HBase]、
-
分布式处理 [MapReduce]。
大数据计算模式:
-
批处理计算,运用在大规模数据中。例:MapReduce、Spark
-
流计算,运用于实时计算。例:Flink、Storm、Flume、Streams
-
图计算,应用于图结构的大规模数据中。例:Graphx、PowerGraph
-
查询分析计算,应用于存储管理和查询。例:Hive、Cassandra
云计算概念:代表了虚拟化技术为核心的,以低成本为目的,动态可扩展的网络应用基础设施。
云计算的③种类型:
-
公有云[阿里];
-
私有云[银行];
-
混合云。
云计算的③种服务模式:
-
基础设施即服务(IaaS)
-
平台即服务(PaaS)
-
软件即服务(SaaS)
云计算的④种关键技术:
-
1、虚拟化;2、分布式存储;3、分布式计算;4、多租户。
⑦个特点:
-
1、动态可扩展;2、高可用性;3、较低的实验成本;4、易用性;5、高性能;6、免维护;7、安全。
云数据库采用的数据模型:
-
NoSQL数据的非关系型模型 [Amazon DynamoDB的”键值“存储];
-
关系型数据库的关系模型 [微软SQLAzure;阿里云ROS]。
UMP(Unified MySQL Platform)采用的②种资源隔离方式:
-
多个MySQL实例,1台电脑:用Cgroup限制MySQL进程资源;
-
多台电脑,1个MySQL实例:在Proxy服务器端限制QPS。
大数据、云计算、物联网之间的联系和区别:
-
大数据:数据的存储、处理与分析;
-
云计算:整合和优化各种IT资源,并以廉价的方式提供给用户;
-
物联网:物物相连,应用创新,与”智慧“产品息息相关。
-
联系:物联网是大数据的重要来源,大数据技术为物联网数据分析提供支撑;
云计算为大数据提供了技术支持,大数据为云计算提供了用武之地;
云计算为物联网提供了海量数据存储能力,物联网为云计算技术提供了广阔的应用空间。
==> Hadoop ——大数据的处理架构
Hadoop概念:一个开源的、可运行于大规模集群上的分布式计算平台。
③个方面的优势:
-
基于Java语言开发;
-
具有很好的跨平台特性;
-
可部署于廉价的计算机集群
②个核心:1、分布式存储:HDFS、HBase、NoSQL;2、分布式处理的MapReduce计算模型。
Hadoop的⑦个特征(即Hadoop实现的目标):
-
高可靠性;
-
高效性;
-
高可扩展性;
-
高容错性;
-
成本低;
-
运行在Linux操作系统上;
-
支持多语言。
Hadoop的版本:2014年JDK 1.8版本的发布,对应了Hadoop 3.0的诞生。
Hadoop生态系统:Ambari;Hive;Pig;Mahout;MapReduce;YARN;HDFS;HBase;Zookeeper;Sqoop;Flume。
==> HDFS ——分布式文件系统
概念:相对于本地文件系统,分布式文件系统是一种通过网络,实现文件在多台主机上进行分布式文件存储的系统。[ HDFS是为大规模数据存储设计的]
结构:物理上是计算机集群中的多个节点构成。
-
主节点(名称节点):对目录进行创建、删除、重命名,管理从节点和文件块的映射。
-
从节点(数据节点):负责数据的存储和读取。
-
注意点:同一时间,只有一个客户端能获取到主节点上的契约。[即 1 Time;1 Client ;1 File ]
⑤大优势:
-
1、兼容廉价的硬件设备;
-
2、流数据读写[非随机访问];
-
3、大数据集[TB];
-
4、简单文件模型;
-
5、强大的兼容性[JVM]。
④大劣势:
-
1、不能实时访问;
-
2、不能高效存储大量小文件;
-
3、不能多用户写入(1次写入,多次读取);
-
4、不能随机修改文件(只能进行文件的追加操作)。
核心概念——块:default :64 MB(在Hadoop 1.0版本中),每一块都作为独立单元存储。
好处:1、支持大规模文件存储;2、简化系统设计;3、适合数据备份。
命名空间——由主节点负责(元数据存储在内存内)
命名空间中——保存着两个数据结构(保存在磁盘中)
-
FsImage:维护文件树和其中的文件、文件夹中的元数据。
-
EditLog:记录对文件进行的所有操作。
第二名称节点的③点作用:
-
”检查点“保存主节点中的元数据;
-
定期合并FsImage、EditLog,减少EditLog的文件大小,缩短主节点重启时间;
-
紧急情况下恢复主节点。
第二名称节点的工作过程:
-
第二名称节点请求使用新的日志
-
通过http get方式从主节点上获得 FsImage 和 EditLog ;
-
执行 EditLog ,读 FsImage 读到内存中,合并这它们得到临时文件;
-
通过http post方式把“检查点”回传给主节点
-
用临时文件替换FsImage,用新的日志替换EditLog,并更新检查点时间。
==> HBase ——分布式数据库
概念:HBase针对谷歌Big Table的开源实现,是一个高可靠、高性能、面向列、可伸缩的分布式数据库,存储非结构化和半结构化的松散数据。
HBase作为非关系型模型数据库与关系型数据库(MySQL)的对比:
-
数据类型:唯一[未经解释的字符串] ; 丰富的数据类型和存储方式[关系模式]
-
数据操作:简单[插入、查询、删除等] ; 复杂[包括多表连接、主外关联等]
-
存储模式:面向列 ; 行模式存储
-
数据索引:唯一[行键] ; 多个[针对不同的列结构有多个索引]
-
数据维护:保留旧版本[基于HDFS] ; 旧版本被覆盖
-
可伸缩性:灵活横向发展 ; 扩展有限
数据模型总述:HBase是一个稀疏、多维度、排序的映射表。在更新时不会删除旧版本,且可对允许保留的版本数进行设置。
行键:数据按行键的字典存储,有三种方式:1、通过单个行键;2、一个行键的区间;3、全表扫描。
索引的四维坐标:行键、列族、列限定符、时间戳。
-
概念视图:将表视为一个稀疏、多维的映射关系。
-
物理视图:基于列的存储方式。
面向列存储③大优点:
-
减低输入/输出的开销;
-
支持大量并发用户查询(处理速度快);
-
有高的数据压缩比。
功能组件③大核心:1、库函数;2、Master服务器;3、Region服务器。
三层寻址:Zookeeper文件 [记录ROOT表位置] —> ROOT表 [只能有一个Region] —> META表 [保存了所有数据表的Region位置]。
如果缓存失败怎么办? 要再次经历上述的“三级寻址”过程,重新获得最新的Region位置信息,去访问数据,并用最新的Region位置信息替换缓存中失败的信息。
==> NoSQL ——非关系数据库的统称
NoSQL的③大特点:
-
灵活的可扩展性;
-
灵活的数据模型;
-
与云计算的紧密融合。
优势:可扩展强,支持超大规模数据存储;数据模型灵活,可支持Web2.0应用。
劣势:缺乏数学理论基础;一般不能实现事务强一致性(ACID四性);一般不能保证数据完整性;技术尚不成熟,维护困难。
应用场景:二者都有自己的目标用户群体和市场空间,都不可被替代。
-
关系型数据库:应用于银行、超市、电信等需要保证事务强一致性场景,且可以进行复杂的查询分析。
-
NoSQL数据库:应用于互联网企业、传统企业的非关键业务(数据分析),对数据量和并发读写要求较高的场景。
-
混合架构:典型例子——亚马逊。购物车的临时数据,用键值存储;订单信息存储在关系型数据库中;大量的历史订单则存在MongoDB的文件数据库。
非关系型数据库的④大类型:
-
键值数据库[Redis]:key用来定位Value,所以不能直接对Value进行索引和查询;
-
列族数据库[HBase、Big Table];
-
文档数据库[MongoDB];
-
图数据库[Neo4J]。
三大基石(CAP):C: consistency 一致性 + A: availability可用性 + P: tolerance of Network Partition分区容忍性。
-
CA: 传统的关系型数据库,可扩展性差(数据都放在一台机子上)。[MySQL]
-
CP: Neo4J、HBase等NoSQL数据库,在等待期间无法对外提供服务。[MongoDB、HBase]
-
AP: 网站设计运用的数据库不需要所有数据被同时读到。[Cassandra]
ACID: atomicity 原子性 + consistency 一致性 + isolation 隔离性 + durability 持久性
BASE:
-
基本可用性(即分区容忍性) ;
-
软状态 ;
-
最终一致性(是弱一致性的特例,也是BASE的最终目的,不需要每时每刻都保持一致,最终数据一致即可)。
不一致性窗口:从OP操作完成到后续访问可以最终读取OP写入的最新值,中间的时间间隔。