更新时间:2021-09-04 14:08点击:
分布式存储-对象存储简介
1、 元数据概念
2、NAS存储结构以及NAS存储的性能挑战
优点:
NAS存储自带文件系统。也就是第一页PPT里面的那个“美女”就是nas设备里面自带的;
对于主机来说不需要维护文件系统。只需要将对文件的操作发送给NAS就可以。
性能挑战:
NAS存储的结构,对于某一个目录,NAS客户端只能从一个NAS服务节点读取;而且所有针对这个目录中文件的IO访问都只能从这个节点来处理;
一个节点的处理能力和网络带宽都是有限的。
3、对象存储原理说明:
将文件逻辑从主机端移出来,单独放在网络上一台服务器之上(MDS 元数据服务器),对象存储设备也都映射到网络上。业务主机端通过某种客户端来向MDS获取元数据信息,并且得到这个信息之后根据这些信息直接访问真实的存储数据的服务器。
4、对象存储与NAS存储的对比
NAS存储只能通过一条网络链路来访问NAS服务端的节点,而且每份数据都是串行存取的,NAS服务端节点也只有一条链路连接网络;而右侧的对象存储架构中,每个客户端是可以并行的访问每个数据服务端节点,并且随着服务端节点熟练的增加,系统的性能会线性增加,而传统的NAS服务端中增加再多的服务器,其获得的性能也不会有本质的提升;
5、对象存储架构详解
OSD:为集群中的节点,具有自己的存储介质、处理器、内存以及网络系统等,负责管理本地的Object,是对象存储系统的核心;主要是三小点功能:
1)数据存储
2)数据的智能分布
3)每个对象数据的管理
MSD:对象存储的元数据。一般都会设计分布式元数据以及元数据的高可用
客户端作用:
1)客户端应用发出读请求; 2)文件系统向元数据服务器发送请求,获取要读取的数据所在的OSD; 3)然后直接向每个OSD发送数据读取请求; 4)OSD得到请求后,判断要读取的Object,并根据此Object的认证方式,对客户端进行认证,如果客户端得到收授权,则将Object的数据返回给客户端;5)文件系统收到OSD返回的数据以后,读操作完成。
对象 :
是系统中数据存储的基本单位,每个对象(Object)是数据和数据属性集的综合体;
对象标识:所有对象都有一个,通过对象标识OSD命令访问对象;
数据属性:可以根据应用的需求进行设置,包括数据分布、服务质量等;
元数据:每个对象还有自己内部的元数据;包括对象的描述信息,包括系统元数据和用户元数据,这些元数据以键值对(Key-Value)的形式被上传到OBS中。
对象存储的优势
由于对象存储的架构优势(主要是分布式,并发),在海量文件系统,尤其是海量小文件中性能比传统的NAS高很多;总结如下:
1、文件数量级,对于对象存储可以支持到百亿级别文件数量;
2、性能更高,对于海量小文件,在检索的速度,对象存储相对于NAS存储能搞出上百倍的速度;(通过元数据搜索功能,可以搜索元数据,在海量数据中快速找到相应的对象)
【注意事项】
并非每个业务系统都支持对象存储,需要看业务系统的适配情况;一般为Amazon的S3接口,或者是Swift接口;
【应用场景】
视频监控场景、企业云盘(网盘)、视频点播、归档备份等等