网易开源分布式存储系统曲线
在这个正是日新月异的时代,飞黄腾达的时代,人类的科技、生活已经在近几年快速的进入快车道,在这年头有台电脑、手机已不是稀奇的事,因为几乎每家每户都会有电脑,电脑仿佛将我们彼此链接在一起,下面分析一片关于电脑与手机各种新型科技产品的文章供大家阅读。
中国科技巨头网易最近宣布了一个名为Curve的高性能分布式存储系统的开放源码,网易声称该系统的性能可达Ceph的1.84倍。
根据网易的说法,Curve定位于提供高性能,低延迟的存储扩展坞,用户可以在此基础上为不同的应用场景构建存储系统,包括块存储,对象存储和云原生数据库。
根据项目文档,Curve具有三个主要功能:高性能,高可用性和自治性。
高性能:Curve团队引用了一些业界最高效的开源存储系统,设计了一种新架构来实现高性能和低延迟。
它使用brpc来确保网络流量的高性能和低延迟,并使用基于Braft的麸来实现多副本一致性下的高性能和低延迟。
在磁盘IO端,Curve通过更细粒度的地址空间哈希来减少IO冲突。增加IO并发性,并使用chunkfilepool减小IO放大倍数以最大化限制硬件的性能。
Net已发布了比较Curve和Ceph L版本的测试数据。在单卷方案中,Curve的4K随机读取IOPS性能是Ceph的1.84倍,是Ceph的写性能的1.58倍。Curve的4K随机读取IOPS性能是Ceph的1.84倍,其写入性能是Ceph的1.58倍。
网易开源分布式存储系统Curve-cnTechPost
高可用性:Curve设计为具有所有核心组件,它们可以全部容忍部分实例故障,而不会影响整个集群的可用性。
根据网易,Curve的客户端IO不受单个存储故障或系统蔓延的影响。
除了硬盘对接和服务进程中断等常见例外,IO抖动也非常低。
当然,故障恢复过程不会对上层IO产生重大影响。
自治:只需单击即可部署和升级Curve,而在操作和维护方面的人工干预最少。
它基于开源项目(如bvar,Promethues和Grafana)构建全面的指标和警报系统。
目前,基于Curve的高性能块存储系统已应用于网易的一些核心业务。
它支持快照克隆和恢复,支持QEMU虚拟机和物理机NBD设备两种挂载方式。
网易介绍说,该系统已经在线超过400天,没有出现数据不一致或数据丢失的情况,但主要故障却具有相当的可靠性和成熟度。