缓存不该困在一台服务器里
MLPerf Storage v3.0评测结果公布,焱融科技F9000X三节点集群在3D U-Net训练数据供给测试中实现544GiB/s聚合带宽,并在Checkpoint 70B测试中读写带宽均列第一。本轮评测新增KVCache测试项,模拟多轮会话中KV Cache的写入与回读,报告Token吞吐、读写带宽及P95读取时延,标志着存储评测对象从预置数据集延伸至推理运行时状态。焱融从训练存储起步,推出AI原生推理存储系统YRCache及共享缓存一体机ContextBox,形成从显存、内存、本地SSD到独立共享缓存层再到持久化存储的分层体系,通过YRCache实现跨节点缓存的寻址、调度与生命周期管理。
本文摘要由千智坊基于公开报道整理,查看完整内容:阅读原文(InfoQ)→
