产品中心

Product Center

神通OSS对象存储系统


一、产品介绍

       神通分布式对象存储系统,用于存储非结构化数据,提供二进制数据文件及其相关属性数据,以对象集合为基础管理单元,对象集合中的每个对象包括对象数据和对象属性描述信息,提供REST或Restfull访问接口。提供对数据的存储管理,数据分发,数据处理,数据备份等功能,为各类应用系统的二次开发实现,提供基础的非结构化存储方案。OSS提供三个主要功能:

   (1)数据存储。OSS管理对象数据,并将它们放置在标准的磁盘系统上,OSS不提供块接口访问方式,客户端请求数据时用对象ID、偏移进行数据读写。

   (2)智能分布。OSS用其自身的CPU和内存优化数据分布,并支持数据的预取。由于OSS可以智能地支持对象的预取,从而可以优化磁盘的性能。

   (3)每个对象元数据的管理。OSS管理存储在其上对象的元数据,该元数据与传统的inode元数据相似,通常包括对象的数据块和对象的长度。而在传统的NAS系统中,这些元数据是由文件服务器维护的,对象存储架构将系统中主要的元数据管理工作由OSS来完成,降低了客户端的开销。


二、产品功能

       对象存储系统面向用户提供基于对象的存储服务功能。用户所上传的数据以对象的形式存储在存储系统的桶中,可以用硬盘进行类比:"对象"就像是文件,"桶"就像是文件夹(或目录)。对象可以存放在不同或者同一个桶中。桶管理与传统文件目录管理不同,无法按层次结构来管理,不能把桶放到桶中进行管理,用户通过临时授权方式进行权限控制,将桶和桶内的对象共享给其他用户。



 

神通OSS对象存储系统功能结构图

 

神通对象存储产品主要的功能描述:

· 存储桶管理

提供管理存储桶模块主要提供创建存储桶,删除存储桶,查询存储桶

· 对象管理

提供操作对象模块,主要提供对对象的上传,下载,删除,追加,创建目录,删除目录,设置权限,删除权限

· 用户管理

提供系统用户相关操作的模块主要提供对用户的创建,删除,修改,查询

· 缓存管理

管理对象存储系统使用频率最高的用户信息和存储桶信息

· 垃圾回收管理

将垃圾的对象信息和存储桶信息对应的相关数据进行删除操作,并根据存储桶中对应数据表中删除的数据量来判断,那个数据表需要执行hbase缩操作,对存储空间进行回收

· 生命周期管理

提供 对象(文件)生命周期管理来管理对象。可以为某个存储桶定义生命周期配置,来为该存储桶的对象定义各种规则。用户可以对存储桶配置,删除,修改生命周期。

· 权限管理

通过用户表和ACL标志位来实现对存储桶及对象的权限访问控制。

· Java SDK

提供rest接口外,还提供java版本的sdk第三方java应用程序可以通过调用sdk来访问象存储系统

· Web管理端

了方便管理象存储系统系统提供基于浏览器的Web管理端,来向用户提供管理用户管理存储桶,管理对象等操作。


三、产品特点

Ø 安全可靠

  · 数据冗余,保证数据不丢失

  · 提供用户级别资源隔离机制,保证数据安全

  · 数据传输对称加密,避免数据被窃取

Ø 通用灵活

  · 提供RESTful API、SDK 开发包,与第三方系统集成简单

  · 接口与亚马逊S3,阿里云高度兼容

  · 不限文件数量和大小。您可以根据所需存储量无限扩展存储空间,解决了传统硬件存储扩容问题。

  · 支持流式写入和读出。特别适合视频等大文件的边写边读业务场景。

  · 支持数据生命周期管理。您可以自定义将到期数据批量删除或者转入到低成本的归档服务。

Ø 存储容量可扩展

  · 对象内容可以扩展,对日志,监控视频数据以数据流形式扩展。

  · 系统存储容量在线无限扩展,解决了传统硬件存储扩容问题

Ø 大数据处理

  · 用户可以很方便的使用 Hadoop 大数据处理引擎,如 MapReduce、Hive、Spark、Tez 处理存储在系统上的数据