https://support.huawei.com/enterprise/zh/knowledge/EKB1000947810
RAID 6中的数据冗余通过(1)技术实现,如果有2块80G的盘、1块60G和1块40G做RAID 6阵列,此时RAID 6的可用容量是(2)
(1) RAID 6中的数据冗余通过什么技术实现? 答:RAID 6中的数据冗余通过双重奇偶校验技术实现。
(2) 如果有2块80G的盘、1块60G和1块40G做RAID 6阵列,此时RAID 6的可用容量是多少?
可用容量 = (N – 2) * 单个硬盘最小磁盘容量= (4-2)*40=80G
IP SAN技术(又称iSCSI)是在传统IP以太网架构的SAN存储网络,把服务器与存储连接起来。IP SAN把SCSI协议封装在IP协议中,这样用于本机的SCSI协议可以通过TCP/IP网络发送。IP SAN成本较低,有扩展能力,适用性强。
InfiniBand
InfiniBand架构是一种支持多开发现链接的“转换连线”技术,也是新一代服务器I/O标准,它将I/O与CPU/存储器分开,采用基于通道的高速串行线路和可扩展的光纤交换网络替代共享总线结构。
InfiniBand可以处理存储I/O、网络I/O,也能够处理进程间通信(IPC),Infiniband在主机侧采用RDMA技术,把主机内数据处理的时延从几十微秒降到几微秒。
InfiniBand可以将磁盘阵列、SAN、LAN、服务器和集群服务器进行互联,也可以连接外部网络,可实现高带宽(40G bps、56G bps和100G bps)、低时延(几百纳秒)、无丢包性(媲美FC网络的可靠性)。
# 主要概念
1. 高带宽:
– Infiniband 提供极高的数据传输速度,常见的速率有 40 Gbps、56 Gbps、100 Gbps 和更高。
2. 低延迟:
– Infiniband 的延迟非常低,通常在微秒级别,这是高性能计算和实时数据处理应用的关键需求。
3. RDMA(Remote Direct Memory Access):
– 允许一个计算机直接访问另一台计算机的内存,而无需通过操作系统。这大大降低了延迟和 CPU 负载。
4. 拓扑结构:
– 支持多种网络拓扑,包括 Fat-Tree 、3D Torus 和 Dragonfly,用于优化网络性能和扩展性。
5. QoS(Quality of Service):
– 提供服务质量保证,确保关键应用的数据流优先处理。
# 主要设备
1. HCA(Host Channel Adapter):
– 主机通道适配器,安装在服务器或工作站上,提供 Infiniband 网络接口。
2. Switch(交换机):
– 用于连接多个 HCA 设备,组成 Infiniband 网络。交换机具有高吞吐量和低延迟的特点。
3. Router(路由器):
– 连接不同的 Infiniband 子网,支持更大规模的网络拓扑。
4. Cable(电缆):
– 使用光纤或铜缆连接 HCA 和交换机。常见的电缆类型包括 QSFP 和 CXP。
# 组网方法
1. 单层拓扑(Single Layer Topology):
– 简单的组网结构,适用于小规模集群,所有节点通过一个或多个交换机直接互连。
2. Fat-Tree 拓扑:
– 一种多级的树形结构,提供高带宽和低延迟,适用于大规模集群。每个交换机层次之间有多条路径,增加了网络的容错性和负载均衡能力。
3. 3D Torus 拓扑:
– 三维环形结构,节点连接成环状,适用于超大规模的 HPC 集群。每个节点与相邻节点直接连接,提供高带宽和低延迟的点对点通信。
4. Dragonfly 拓扑:
– 一种超大规模网络结构,提供极高的带宽和低延迟。Dragonfly 拓扑通过分层结构和全互连的超级节点,最大限度地减少了网络跳数,提高了性能。
# 组网示例
## 示例 1:小型集群
– 使用单个 36 端口 Infiniband 交换机连接 32 个节点。
– 每个节点安装一个 HCA,通过 QSFP 电缆连接到交换机。
## 示例 2:中型集群(Fat-Tree 拓扑)
– 使用三个层次的交换机组成一个 Fat-Tree 结构。
– 顶层使用 12 个核心交换机,中间层使用 24 个汇聚交换机,底层使用 48 个边缘交换机。
– 每个节点通过 HCA 连接到底层的边缘交换机。
## 示例 3:大型集群(3D Torus 拓扑)
– 节点以三维环状排列,每个节点有六个连接端口,分别连接到前后、左右、上下的相邻节点。
– 使用多条路径进行数据传输,确保高带宽和低延迟。
https://www.cnblogs.com/augustone/articles/18261227
IntServ服务的优缺点
IntServ模型的优点: 提供绝对保证的QoS,因为RSVP在从源端到目地端的每个路由器上运行,能监视每个数据流,以防资源浪费。 在源端与目的地之间,RSVP可以用现有的路由协议决定数据流的通路,RSVP使用IP包承载,通过周期性重传路径和RSVP消息,能对网络拓扑的变化做出反应。 可支持多播,RSVP协议能让路径消息识别多播的所有端点,并将路径消息发送给它们,还能把来自每个接收端的RSVP消息合并成一个网络请求点上,让一个多播能在分开的连接上发送。
IntServ模型的缺点: 状态信息的数量与流的数目成正比。因此在大型网络中,按每个流进行资源预约会产生很大的开销。 IntServ体系结构复杂。若要得到有保证的服务,所有的路由器都必须装有 RSVP、接纳控制、分类嚣和调度嚣。 综合服务 IntServ 所定义的服务质量等级数量太少,不够灵活。
RAID技术
RAID 6(Redundant Array of Independent Disks 6)是一种磁盘阵列技术,它提供了比RAID 5更高的容错能力。RAID 6能够容忍两个硬盘同时故障而不丢失数据,这对于需要高可靠性和数据完整性的应用场景非常有用。下面是一些关于RAID 6的关键特性:
RAID 6 的工作原理
RAID 6 结合了奇偶校验和条带化技术,通常使用双重奇偶校验(dual parity)。这意味着在数据条带化的同时,计算并存储两组奇偶校验信息,通常称为 P 和 Q 奇偶校验。这样,即使有两个硬盘同时故障,也可以从剩余的硬盘和奇偶校验信息中恢复数据。
RAID 6 的优点
高可靠性 :由于支持两个硬盘同时故障,RAID 6 提供了很高的可靠性。
数据保护 :即使有两个硬盘故障,数据也不会丢失。
性能 :在读取方面,RAID 6 性能与 RAID 5 类似,但在写入方面可能会稍微慢一些,因为需要计算两组奇偶校验信息。
RAID 6 的缺点
成本 :为了达到双硬盘容错,需要额外的硬盘容量,这会增加成本。
性能影响 :写入性能可能会受到一定影响,特别是在需要频繁写入的环境中。
重建时间 :当一个硬盘故障后重建的时间可能会比较长,尤其是在大型阵列中。
RAID 6 的配置
RAID 6 阵列至少需要四个硬盘驱动器。例如,一个由六个硬盘组成的 RAID 6 阵列将拥有四个数据盘和两个用于存储奇偶校验信息的盘。
RAID 6 的类型
RAID 6 (P+Q) :这是最常见的 RAID 6 实现方式,它使用两组奇偶校验位(P 和 Q)。
RAID 6 (DP) :双重奇偶校验 RAID 6,也称为 DP RAID 6。
应用场景
RAID 6 适合需要高可用性和数据完整性的场景,例如企业级服务器、数据中心存储解决方案、视频编辑工作站等。
配置示例
以下是一个简单的 RAID 6 配置示例,假设我们有六个硬盘:
硬盘数量 :6
数据盘 :4
奇偶校验盘 :2 (P 和 Q)
假设我们有如下布局:
硬盘 1: Data 1
硬盘 2: Data 2
硬盘 3: Data 3
硬盘 4: Data 4
硬盘 5: P (Data 1 + Data 2 + Data 3 + Data 4)
硬盘 6: Q (Data 1 + Data 2 + Data 3 + Data 4)
如果硬盘 1 和硬盘 2 故障,可以通过硬盘 3、硬盘 4、硬盘 5 和硬盘 6 中的数据恢复硬盘 1 和硬盘 2 的数据。
RAID 5(Redundant Array of Independent Disks 5)是一种常用的磁盘阵列技术,它结合了数据条带化和奇偶校验信息,以提高存储系统的性能和数据冗余。下面是一些关于 RAID 5 的关键特性和工作原理:
RAID 5 的工作原理
RAID 5 使用数据条带化(data striping)技术将数据分散到多个硬盘上,并在这些硬盘上同时计算和存储奇偶校验信息。这意味着每个硬盘都包含一部分数据以及一部分奇偶校验信息,而不是像 RAID 4 那样将所有的奇偶校验信息存储在一个单独的硬盘上。
RAID 5 的优点
高可靠性 :RAID 5 能够容忍一个硬盘故障而不丢失数据。在硬盘故障时,数据可以从其余硬盘和奇偶校验信息中恢复。
高性能 :由于数据分布在多个硬盘上,RAID 5 在读取性能方面表现出色。
成本效益 :相比 RAID 1(镜像),RAID 5 提供了更好的存储空间利用率。
RAID 5 的缺点
写入性能 :写入性能可能略低,因为每次写入都需要更新奇偶校验信息。
重建时间 :当一个硬盘故障后,重建过程可能比较耗时,尤其是当阵列较大时。
多硬盘故障风险 :虽然 RAID 5 可以容忍一个硬盘故障,但如果在重建过程中另一个硬盘也发生故障,则可能导致数据丢失。
RAID 5 的配置
RAID 5 阵列至少需要三个硬盘驱动器。例如,一个由四个硬盘组成的 RAID 5 阵列将拥有三个数据盘和一个用于存储奇偶校验信息的盘。随着硬盘数量的增加,数据的条带化和奇偶校验分布也会更加均匀。
配置示例
假设我们有四个硬盘组成一个 RAID 5 阵列:
假设我们有如下布局:
硬盘 1: Data 1
硬盘 2: Data 2
硬盘 3: Data 3
硬盘 4: P (Data 1 + Data 2 + Data 3)
其中 P 代表奇偶校验信息。奇偶校验信息是通过计算数据块的异或(XOR)结果得到的。
应用场景
RAID 5 适用于需要高可靠性和良好读取性能的应用场景,例如企业级服务器、小型到中型数据库、视频监控系统等。
注意事项
硬盘容量匹配 :RAID 5 中的所有硬盘应具有相同的容量,以确保最佳性能和数据完整性。
热备盘 :在一些部署中,可以添加一个或多个热备盘来加快重建过程,提高系统可用性
RAID 10(也称为 RAID 1+0)是一种结合了镜像(RAID 1)和条带化(RAID 0)技术的磁盘阵列配置。这种配置提供了高可靠性和良好的性能,非常适合需要高数据完整性和快速读写的应用场景。下面是一些关于 RAID 10 的关键特性和工作原理:
RAID 10 的工作原理
RAID 10 是通过先镜像再条带化的方式构建的。首先创建镜像对(RAID 1),然后将这些镜像对条带化(RAID 0)。这意味着数据被分成条带存储在镜像对中,每个条带都有一个镜像副本。
RAID 10 的优点
高可靠性 :由于每个数据块都有一个镜像副本,RAID 10 可以容忍一个硬盘故障而不丢失数据。
高性能 :RAID 10 结合了条带化的优势,因此在读写性能方面表现出色。
数据完整性 :镜像提供了数据冗余,确保了数据的安全性。
RAID 10 的缺点
成本较高 :为了达到镜像的效果,需要更多的硬盘来存储相同的数据量,这增加了成本。
存储效率 :与 RAID 5 或 RAID 6 相比,RAID 10 的存储效率较低,因为一半的存储空间用于镜像副本。
RAID 10 的配置
RAID 10 至少需要四个硬盘驱动器。一个典型的 RAID 10 配置包括两个或多个镜像对,每个镜像对由两个硬盘组成。例如,一个由八个硬盘组成的 RAID 10 阵列可以分为四对镜像对,每对镜像对内部的数据是相同的。
配置示例
假设我们有四个硬盘组成一个 RAID 10 阵列:
假设我们有如下布局:
硬盘 1 & 硬盘 2: 镜像对 A
硬盘 3 & 硬盘 4: 镜像对 B
数据将按照条带化的方式存储在镜像对 A 和 B 之间,每个条带都有一个镜像副本。例如:
硬盘 1: Data 1
硬盘 2: Data 1 (镜像副本)
硬盘 3: Data 2
硬盘 4: Data 2 (镜像副本)
应用场景
RAID 10 适用于需要高可靠性和高性能的应用场景,例如数据库服务器、文件服务器、视频编辑工作站等。
注意事项
硬盘容量匹配 :RAID 10 中的所有硬盘应具有相同的容量,以确保最佳性能和数据完整性。
故障恢复 :如果一个硬盘故障,只需替换该硬盘即可,镜像副本可以确保数据的完整性。
存储解决方案
NAS (Network Attached Storage, 网络附加存储)
描述 :NAS 是一种通过网络提供文件级数据存储服务的设备。它通常拥有自己的操作系统,并通过标准的文件共享协议(如 NFS、SMB/CIFS)来提供文件访问服务。
应用场景 :适用于需要共享文件的多个用户或部门。
优点 :易于管理和使用,支持多种操作系统和文件共享协议。
缺点 :对于需要高性能块级存储的应用可能不是最佳选择。
DAS (Direct Attached Storage, 直连存储)
描述 :DAS 是直接连接到服务器的存储设备,如内部硬盘驱动器或外部存储盒。
应用场景 :适用于小型办公室或家庭办公环境。
优点 :成本低,易于安装和管理。
缺点 :扩展性和共享能力有限。
SAN (Storage Area Network, 存储区域网络)
描述 :SAN 是一种专门用于集中存储资源的高速网络。它可以使用多种技术,包括FC (Fiber Channel) 和 IP SAN。
应用场景 :适用于大型企业环境,尤其是需要高性能和高可用性的应用。
优点 :高可用性、高扩展性、高性能。
缺点 :成本较高,部署和管理复杂。
Object Storage (对象存储)
描述 :对象存储是一种非结构化数据的存储方式,特别适合存储大量文件,如图像、视频和文档。
应用场景 :适用于云存储服务、媒体流服务、备份和归档。
优点 :高度可扩展、易于管理、成本效益好。
缺点 :对于需要快速随机访问的结构化数据可能不是最佳选择。
Software-defined Storage (SDS, 软件定义存储)
描述 :SDS 是一种通过软件来管理和分配存储资源的方法,可以跨多台物理服务器实现存储虚拟化。
应用场景 :适用于数据中心、私有云和混合云环境。
优点 :灵活性高、易于扩展、成本效益好。
缺点 :可能需要额外的软件支持和管理。
Hyperconverged Infrastructure (HCI, 超融合基础架构)
描述 :HCI 是一种将计算、存储和网络资源整合在一个单一设备或平台中的解决方案。
应用场景 :适用于虚拟化环境、数据中心整合、云环境。
优点 :集成度高、易于部署和管理、灵活性好。
缺点 :可能需要较大的初始投资。
All-Flash Arrays (全闪存阵列)
描述 :全闪存阵列是使用固态驱动器 (SSDs) 作为主要存储介质的存储系统。
应用场景 :适用于需要高性能和低延迟的应用程序。
优点 :极高的IOPS性能、低延迟。
缺点 :成本相对较高。
机械磁盘的性能指标
计算机中机械硬盘的性能指标包括磁盘转速及容量、平均寻道时间。
硬盘平均访问时间=平均寻道时间+平均等待时间。
平均寻道时间:硬盘磁头从一个磁道移动到另一个磁道所需要的平均时间。它描述硬盘读取数据的能力,单位为毫秒。
平均等待时间:数据所在的扇区转到磁头下方的平均时间。一般认定,平均等待时间=1/2×磁盘旋转一周的时间。
NL-SAS盘与SATA盘的区别
https://blog.csdn.net/UnionMemory/article/details/128135724
NL-SAS(Near-Line SAS)盘并不是SATA盘,尽管它们在某些方面有相似之处。以下是两者的主要区别:
NL-SAS 盘
接口 :NL-SAS盘使用的是SAS接口。
性能 :虽然被称为“近线”存储,但NL-SAS盘的性能通常优于SATA盘,尤其是在随机I/O和可靠性方面。
转速 :NL-SAS盘的转速通常为7200 RPM,有些型号可能达到10000 RPM。
应用场景 :适用于需要较高容量且对性能有一定要求的应用,如归档、备份、大数据存储等。
成本 :成本介于高性能SAS盘和SATA盘之间。
SATA 盘
接口 :SATA盘使用的是SATA接口。
性能 :SATA盘的性能通常较低,特别是在企业级应用中,其随机I/O性能和可靠性不如SAS或NL-SAS盘。
转速 :常见的SATA盘转速为5400 RPM或7200 RPM。
应用场景 :主要用于个人电脑、消费级存储设备以及一些对性能要求不高的企业应用。
成本 :SATA盘的成本通常低于SAS和NL-SAS盘。
总结
接口不同 :NL-SAS盘使用SAS接口,而SATA盘使用SATA接口。
性能差异 :NL-SAS盘在性能上优于SATA盘,尤其是在企业级环境中。
应用场景 :NL-SAS盘更适合企业级应用,尤其是那些需要较大容量和一定性能保证的应用;SATA盘则更常见于消费级市场和个人用户。
因此,NL-SAS盘不是SATA盘,而是具有SAS接口的高容量硬盘,设计用于提供比SATA盘更好的性能和可靠性。
请简要描述快照、远程复制和LUN拷贝这三种数据备份技术的特点和应用场景。
快照 (Snapshot)
特点 :
即时性 :快照可以几乎瞬间创建,对生产系统的影响极小。
空间效率 :通常采用写时复制(Copy-On-Write, COW)或写前拷贝(Redirect-On-Write, ROW)机制,只记录数据变化的部分,因此存储开销较小。
一致性 :能够提供某一时间点的数据一致性视图,适合用于恢复到特定时间点的状态。
应用场景 :
数据保护 :在进行系统升级、打补丁或配置更改之前创建快照,以便于快速回滚。
测试和开发 :为开发和测试环境提供与生产环境一致的数据副本,而不需要占用大量存储空间。
备份 :作为传统备份的补充,可以在短时间内恢复数据,减少RTO(恢复时间目标)。
远程复制 (Remote Replication)
特点 :
异地保护 :将数据从一个地点复制到另一个地点,通常用于灾难恢复。
同步/异步 :可以是同步复制(实时复制,保证数据的一致性但可能影响性能)或异步复制(定时复制,有一定的数据丢失风险但对性能影响小)。
网络依赖 :需要可靠的网络连接来传输数据。
应用场景 :
灾难恢复 :确保在主站点发生灾难时,可以从远程站点快速恢复业务。
业务连续性 :通过保持远程站点的数据最新,可以在主站点故障时无缝切换到远程站点继续服务。
多数据中心 :适用于跨地域的数据中心,实现数据的分布式管理和访问。
LUN拷贝 (LUN Copy)
特点 :
全量复制 :通常是基于LUN级别的完整数据复制,包括所有数据块。
一次性操作 :一旦开始复制,会持续直到整个LUN的数据都被复制完毕。
资源消耗 :由于是全量复制,所以在复制过程中可能会消耗较多的存储和带宽资源。
应用场景 :
初始配置 :在新的存储设备上快速部署相同的数据集。
迁移和归档 :将数据从一个存储系统迁移到另一个存储系统,或者用于长期归档。
克隆 :为数据分析、报告生成等用途创建独立的数据副本,不影响原始数据。
总结
快照 适合于需要频繁创建数据状态保存点,并且对存储空间要求不高的场景。
远程复制 适用于需要在不同地理位置之间进行数据保护,以应对自然灾害或其他大规模故障的情况。
LUN拷贝 适用于需要完整复制整个LUN数据的情况,如数据迁移、归档或创建独立的数据副本。
RAID2.0
传统RAID是基于一块块硬盘来做RAID,硬盘故障导致恢复时间变的很长,RAID2.0不再以硬盘为单位做RAID,而是先将同RAID组中的所有硬盘切块,基于块来构建RAID组。
Raid2.0技术特点:
快速重构:存储池内所有硬盘参与重构,相对于传统RAID重构速度大幅提升;
自动负载均衡:RAID2.0使得各硬盘均衡分担负载,不再有热点硬盘,提升了系统的性能和硬盘可靠性;
系统性能提升:LUN基于分块组创建,可以不受传统RAID硬盘数量的限制分布在更多的物理硬盘上,因而系统性能随硬盘IO带宽增加得以有效提升;
自愈合:当出现硬盘预警时,无需热备盘,无需立即更换故障盘,系统可快速重构,实现自愈合。
https://forum.huawei.com/enterprise/zh/thread/blog/580896528992714752