亚博网站信誉有保障的

| English

一张图片,了解大数据的关键技术(三)-数据存储

发布时间:2021-03-30 20:29:02 浏览: 173次 来源:网络整理 作者:佚名

大数据的存储和管理应使用内存来存储收集的数据亚博yabovip2020进入 ,并建立相应的数据库进行管理和召回。由于从多个渠道获得的原始数据通常缺乏一致性,因此使得标准的处理和存储技术不可行。此外,数据的持续增长导致独立系统的性能持续下降,即使硬件配置不断提高,也很难跟上数据增长的速度。

在大数据存储和管理的开发过程中芭乐APP ,出现了以下类型的大数据存储和管理数据库系统:分布式文件存储,NoSQL数据库和NewSQL数据库。

一、分布式文件存储

分布式文件存储的特征之一是将大任务分解为多个小任务以解决复杂的问题,并通过允许多个处理器或多个计算机节点并行计算来提高解决问题的效率。

分布式文件系统可以支持多个主机,以通过网络同时访问共享文件和存储目录。它们中的大多数使用关系数据模型并支持SQL语句查询。为了并行执行SQL查询操作,系统采用了两项关键技术:关系表的水平划分和SQL查询的分区执行。

水平分割的主要思想是根据某种策略将关系表中的元组分配给集群中的不同节点。由于这些节点上的表结构相同大数据存储技术,因此可以并行处理元组。在分区存储关系表中处理SQL查询需要使用基于分区的执行策略。

分布式文件系统可以通过多个节点并行执行数据库任务,从而提高了整个数据库系统的性能和可用性。其主要缺点是缺乏良好的灵活性和较差的容错能力。

二、 NoSQL数据库

在数据密集型应用程序中,传统关系数据库似乎不足,主要表现在灵活性差,可伸缩性差和性能差方面。 NoSQL放弃了传统的关系数据库管理系统的设计思想,并采用了不同的解决方案来满足可伸缩性要求。由于它没有固定的数据模型并且可以水平缩放,因此可以很好地应对海量数据的挑战。与关系数据库相比亚博yabovip2020进入 ,NoSQL的最大区别是它不使用SQL作为查询语言。 NoSQL数据库的主要优点是:避免不必要的复杂性,高吞吐量,高级别可伸缩性和低端硬件集群,并避免昂贵的对象关系映射。

三、 NewSQL数据库

NewSQL数据库采用了不同的设计。它消除了消耗资源的缓冲池,放弃了单线程服务锁定机制,并使用冗余计算机来实现复制和故障恢复,从而取代了原本昂贵的恢复操作。这种可扩展的高性能SQL数据库称为NewSQL,其中“ New”用来表示与传统关系数据库系统的区别。 NewSQL主要包括两种类型的系统:1.拥有关系数据库产品和服务大数据存储技术,并将关系模型的优点带到了分布式体系结构中; 2.将关系数据库的性能提高到不需要考虑水平扩展问题的程度。

NewSQL可以提供SQL数据库的质量保证以及NoSQL数据库的可伸缩性。