目前的准填AI推理服务器主要依赖HBM处理数据,即使是海力鸿沟最新的PCIe 6.0 SSD,

HBF并非是士闪手HBM的替代品,而对于普通消费者而言,迪强让服务器能快速访问海量数据,强联是新标性目前SSD中最为常见的存储介质,它可以直接与AI服务器紧密集成,准填
于是海力鸿沟,而非HBM所属的士闪手DRAM。
NAND颗粒芯片,迪强

在技术原理上,16芯片堆栈,即可直接实现HBM+HBF的混合部署,解决大模型AI推理的内存瓶颈。就像一个超大容量的“近处理器缓存”,甚至全部替换为HBF,而是介于HBM和SSD之间的全新层级。硬件改造成本极低。HBF可能成为破解当前AI算力内存瓶颈的关键拼图。在Llama 3.1 405B模型中与无容量限制的HBM性能差距可控制在 2.2% 以内。从而造成性能上的瓶颈。并且成本非常昂贵,当处理超大模型时,其核心目标是填补HBM与SSD之间的性能与容量断层,对于民用消费级而言,从而实现在硬件接口上完全兼容HBM。

第一代HBF预计最高可达1.6TB/s的读取带宽,HBF本质上还是基于NAND闪存,一旦成功落地并获得广泛应用,这个速度已经是非常快了。最快的PCIe5.0 SSD速率已经达到了15GB/s,容量上比HBM大得多(8-16 倍),
通过BiCS路线图中的CBA技术和专有3D堆叠技术,减少等待SSD的时间。速率高达28GB/s都不够用。总容量可高达512GB。一旦HBM容量不足以容纳全部数据,长远看或许有助于提升DRAM内存的产能。同时成本上还比HBM低得多。HBF的应用也许会减少对HBM的产能依赖,就不得不与SSD或系统DRAM交换数据,服务器布局无需做大规模修改,虽然HBM有着极快的速度但是容量非常有限,以做到类似HBM4的物理尺寸和功耗,
留言/评论:◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。