行业活动

新一代G7系列浪潮云海超融合EC纠删功能设计

发布时间:2023-10-08 00:00:00 责任编辑:wenwei

【导读】浪潮云海在2023年5月正式发布新一代InCloud Rail G7系列超融合一体机,其内置的InCloud dSAN超融合存储组件,基于新一代的硬件平台设计,支持全栈RDMA协议,同时在EC纠删功能上也带来全新体验,为新时代用户提供更丰富的产品功能。


本文将详细解读InCloud dSAN在新一代InCloud Rail G7系列超融合一体机上如何设计EC纠删功能。


什么是EC纠删码技术?


纠删码技术是一种数据保护方法,主要是通过利用纠删码算法将原始数据分割成多段,然后进行扩展和编码校验,并将分段数据和校验一并在磁盘、存储节点或其他位置存储起来,以达到容错目的。基本原理:总数据块 = 原始数据块 + 校验块,常用表示为,n= k + m基本思想是将k块原始的数据元素通过一定的编码计算,得到m块校验元素。对于这k+m块元素,当其中任意的m块元素发生故障(包括数据和校验出错),均可以通过对应的重构算法恢复出原来的k块数据。


EC纠删码在块存储设计的挑战


10.jpg

EC纠删码数据切分和计算示意图


上述场景以K = 4,M = 2为例,首先将应用数据拆分成4个分片,然后计算出两个校验条带分片,然后按照数据分布算法,将6个分片数据下发到6个节点上存储。由于多副本策略是客户常用的数据冗余策略,我们将EC纠删码和三副本的的读写流程及故障场景下的流程做了相关分析:由下表中可得出,在正常写流程中,需要消耗7个IO完成正常的写入流程,同时在有故障场景的读写,需要7个IO,有较大的读写惩罚。另外,在小块IO读写流程中,如果数据块小于EC切片数据大小,会存在空间浪费的情况。


11.png


在超融合的应用场景中,用户经常使用块存储承接应用数据,适用于包括虚拟化、云平台、数据库等场景。此种场景下会产生非常多的小块随机读写负载,同时用户对于时延要求较高,要求控制在5ms以内,且要求在故障场景下,对业务影响较小。这些要求正是EC纠删码的缺点。


浪潮云海超融合在新一代G7平台的EC设计


由于EC的优劣势明显,如何在超融合块存储上使用EC功能是时下刚需,浪潮云海超融合在新一代G7平台做了独特的方案设计:


12.jpg

EC纠删码设计方案


方案亮点主要有:


●  数据分层管理:将数据存储划分为缓存层和数据层,其中缓存层使用高性的NVMe和Sata SSD存储,同时在缓存层使用多副本的设计,提供高性能数据存储能力。数据层提供EC存储,主要由HDD硬盘存储,提供高容量存储空间。


●  智能缓存管理:设计冷热分层的智能缓存管理,高效识别热点数据和冷数据,同时设计全局的缓存管理功能,确保客户的热数据保存在缓存空间中。


●  数据空间高效存储:在缓存层中由于副本存储,将上层应用的小块IO聚合,当数据变成冷数据下刷至EC存储层时,由于下刷采用数据对齐,聚合成大块的顺序条带读写,可以在EC数据层进行高效的数据存储。


●  EC加速计算:设计支持多个EC加速引擎,支持不同平台的EC加速计算,其中在Intel平台使用ISA-L的EC加速库,发挥Intel CPU的EC计算能力。


为了验证方案效果:同时对比ISA-L加速计算和使用Jerasure纯软件不经过CPU加速计算的性能测试。下图所示测试数据采用了金融和医疗等行业常用的数据库应用,使用1G的测试数据,在触发数据下刷场景下,使用EC算法选择Reed-Solomon和Cauchy算法测试EC纠删场景。从实验数据发现:


13.jpg

不同K/M模型ISA-L和Jerasure的EC计算带宽对比


●  ISA-L在不同的K/M模型下,EC计算带宽表现较为稳定,而软件计算随着计算量增加呈线性下降趋势;

●  ISA-L在新一代G7平台的吞吐率为9.8 GB/s,相较于软件计算提升5.7倍。


总结:EC纠删码相较于多副本策略虽然可以提升存储的利用率,如4 + 2场景利用率为66%,3副本只有33%,8 + 2可以做到80%。但是其涉及到EC的纠删计算、数据校验、读写惩罚等问题相较于多副本仍存在较多优化空间。InCloud dSAN分布式存储软件在新一代G7平台,依托于新硬件(Intel新一代至强CPU)、ISA-L软件加速库,设计新型的EC功能,采用独特的数据分层、智能缓存管理、软件硬协同等方案,解决了当前广泛存在的数据冗余和存储空间利用难题。


稿源:美通社



免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。


推荐阅读:


解构ADI新一代VSM芯片,看“4合1”的AFE如何重新定义可穿戴监测标准

如何正确装配VE-Trac Direct / Direct SiC?这篇文章带你从入门到精通!

专访康芯威:高质量增长,做大做强

芯力特Mini LIN SBC SIT1028Q应用方案

仪器校准这件事


为您推荐

Skyworks 推出 SKY4680x 多核车载音频 DSP,单核‑三核覆盖入门至高端整车平台 新品速递

Skyworks 推出 SKY4680x 多核车载音频 DSP,单核‑三核覆盖入门至高端整车平台

Skyworks(思佳讯)正式发布 SKY4680x 车载音频 DSP 系列,包含单核、双核、三核多种配置,覆盖从入门级到高端车型。该系列基于 Cadence HiFi 5 内核,三核版本总算力超 1.2GHz,集成 8MB 带 ECC 的 SRAM,多数场景无需外接 DRAM,可支持最高 64 路音频通道。器件支持自研算法、第三方音频 IP 以及边缘 AI 音频应用,搭配图形化音频开发环境与 SDK,帮助车企与 Tier1 实现跨车型软件复用,平衡座舱音频性能与 BOM 成本。目前工程样片与评估板已开放申请。

汽车电子 互联技术 处理器 SKYWORKS

Ceva NeuPro‑Nano NPU 实现首次量产,Mobilint REGULUS 边缘 AI SoC 采用 Ceva AI IP 新品速递

Ceva NeuPro‑Nano NPU 实现首次量产,Mobilint REGULUS 边缘 AI SoC 采用 Ceva AI IP

随着物理 AI 发展,AI 算力持续向功耗受限的边缘终端下沉。智能边缘 IP 厂商 Ceva 宣布,Mobilint 的 REGULUS 边缘 AI SoC 采用 Ceva SensPro™ AI DSP 以及 NeuPro‑Nano™ NPU,这也是 NeuPro NPU 系列产品的首次量产落地。REGULUS 在低于 3W 功耗下可实现 10TOPS AI 算力,支持最高 8GB 内存;采用感知 DSP 与神经网络 NPU 多引擎分工架构,面向机器人、无人机、机器视觉、智能摄像头等场景。基于该芯片的 MLD‑R1 AI USB 加速器已经正式出货,兼容主流 AI 开发框架,助力物理 AI 设备商用化。

安防监控 电源管理 互联技术 SoC CEVA

德州仪器推出 TICS100MOD 与 TIOM2212,扩充多协议工业通信产品组合 新品速递

德州仪器推出 TICS100MOD 与 TIOM2212,扩充多协议工业通信产品组合

达拉斯 11 月 5 日,德州仪器 (TI) 发布两款工业通信全新器件:TICS100MOD 多协议通信 SoM 以及 TIOM2212 双通道 IO‑Link 主站,进一步完善工业通信产品矩阵。TICS100MOD 基于 AM2612 MCU,单硬件可通过固件切换 EtherCAT、EtherNet/IP、Profinet 主流工业以太网协议;TIOM2212 IO‑Link 主站打通以太网到传感器、执行器的链路。依托 PRU‑ICSS 专有实时通信硬件,搭配认证量产软件栈、SDK 开发套件,帮助工程师简化多协议工业系统设计,降低硬件迭代与供应链风险,两款产品将亮相 2026 慕尼黑电子展。

通信广电 互联技术 测试测量 MCU TI(德州仪器)

Arm 将 Cortex‑M42 纳入 Flexible/Total Access,加速边缘 AI 端点设备创新 新品速递

Arm 将 Cortex‑M42 纳入 Flexible/Total Access,加速边缘 AI 端点设备创新

Arm 宣布把全新 Cortex‑M42 处理器纳入 Arm Flexible Access 与 Arm Total Access 两大订阅授权方案。Cortex‑M42 搭载 Helium 向量技术,面向成本、面积敏感的智能端点设备,带来更强机器学习 ML 与 DSP 信号处理能力,可用于可穿戴、工业控制器、物理 AI 等场景。同时披露两大授权计划全球及中国市场生态进展:Flexible Access 已达成 500 + 次独立流片,国内数十家本土企业借助该计划完成多款芯片设计,更低门槛的 IP 订阅模式将进一步推动边缘 AI 芯片创新。

医疗穿戴 互联技术 连接器 ARM

英飞凌推出 ModusToolbox™ AI 助手,为 PSoC 微控制器提供硬件感知嵌入式 AI 编码能力 新品速递

英飞凌推出 ModusToolbox™ AI 助手,为 PSoC 微控制器提供硬件感知嵌入式 AI 编码能力

英飞凌科技股份公司(FSE代码:IFX / OTCQX代码:IFNNY)推出面向Microsoft Visual Studio Code(VS Code)的ModusToolbox™ AI助手(AI Assistant),进一步扩展其ModusToolbox™软件生态系统。该扩展可为AI编码智能体提供针对PSOC™ Edge与PSOC™ Control微控制器的特定硬件上下文信息。如果缺乏这类上下文信息,通用型AI编码助手可能会生成看似正确、却无法在实际硬件上运行的代码。例如,它们可能选错目标器件、调用已弃用的API,或是遗漏仅在板级启动调试时才会暴露出来的初始化步骤。ModusToolbox™ AI助手会将每条建议与开发者的实际目标器件、开发板及外设配置相匹配,让通用型AI助手能够生成有效的嵌入式代码。该扩展完全在本地分析项目上下文,并将客户项目数据保存在开发者的系统中。常见应用场景包括具备图形显示与连接功能的互联物联网设备。

AI&loT 互联技术 微控制器 Infineon(英飞凌)

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆