播客 #152：Tim Shedd 的数据中心热动力学和冷却架构

Brian 最近采访了热管理专家、液体冷却技术先驱 Tim Shedd。 该播客涵盖了数据中心液体冷却的一些历史方面，从 Tim 与 Cray 合作并在管道上喷洒液体的时间到他最近与戴尔 PowerEdge XE9680 的接触。

StorageReview 实验室中的 Dell PowerEdge XE9680

Tim Shedd 是一位行业专家和机械工程师，专门从事热管理、液体冷却和数据中心基础设施。 他的职业生涯横跨威斯康星大学麦迪逊分校教授的学术研究、Motivair 的基础工程职位以及 Dell Technologies 首席技术官组织的高级技术领导，一直处于高密度冷却架构的前沿。 他的工作重点是连接先进的热物理和超大规模可制造性，建立冷却分配单元的标准，以及跨风冷和液冷硬件拓扑优化数据中心的电源效率。

该播客深入洞察了大型机、HPC 平台和当前服务器技术的散热演变。在不到一个小时的时间里，您将更好地了解这如何影响保持我们的技术高效运行的许多方面。

如果您没有时间从头到尾观看此内容，我们已将其分为五分钟的片段，以便您可以选择对您来说最重要的内容。

第一部分概述了液体冷却从专业超级计算装置到高密度商业企业应用的历史进展，强调了早期的热设计选择。

• 早期的计算环境在达到高密度 HPC 和加速计算工作负载所施加的限制之前依赖于蒸发冷却和基本的强制空气对流。
• Cray 架构的最初学术实验涉及直接将液体喷射到管上，事实证明技术上可行，但商业成本高昂。
• 2015 年后机架功率密度的变化促使 OEM 设计标准化的企业流动部署，最终在 2019 年实现高密度机架生产模型。
• OEM 供应链从每年生产几千个液冷节点转向每周向数千个生产系统供货。 本节探讨了竞争热技术的实验室评估，详细说明了为什么单相直接芯片回路成为浸入式系统的主导架构。

Dell PowerEdge R760 内的 CoolIT 直接芯片冷却板

• OEM 验证实验室对冷板回路、负压网络、浸入式配置和两相系统进行了广泛的测试，以建立部署基线。

• 历史上，硅热负载随着每一代产品的不断增加而逐渐增加，在 TDP 超过 500W-1000W 范围之前，标准空气冷却和基本液体冷却方法就足够了。

• 浸入式冷却为广泛分布的热分布（例如加密农场）提供了操作优势，但难以应对现代加速器上的局部、高度集中的热通量。

• 与 25% 丙二醇 (PG25) 混合的水通过微通道冷板输送，由于其可预测的结垢、供应可用性和既定的传热特性而成为主要标准。

• 开放生态系统标准对于在多个供应商之间采购冷板、歧管和快速断开连接而不会导致性能下降仍然至关重要。 讨论转向部署液体硬件的操作现实，重点关注多供应商组件集成、责任划分和材料完整性。

• 混合使用不同供应商的冷却组件会带来严重的机械兼容性障碍，并且在发生流体泄漏时会产生严格的保修限制。

• 法律责任和服务水平协议仍然是阻碍跨生产服务器层混合供应商管道架构的主要行业障碍。

• 传统的绳索式泄漏检测系统正在让位于具有自动泵跳闸和阀门切断功能的集成传感器拓扑。

• 过氧化物固化 EPDM 软管制造的进步显着降低了直接芯片管道的组件级故障率。

• 现场系统的不可靠性主要源于制造碎片和初始管线冲洗不足，而不是原始部件疲劳。 该时间范围检查了精密冷板流体动力学、微观颗粒污染的灾难性影响以及限制负压冷却回路的大气物理学。

Chilldyne 负压 CDU

• 100 至 200 微米的颗粒，即使是快速断开的一根钢丝刷纤维，也可能阻塞微通道翅片，并通过热节流破坏机架。

• 先进的计算流体动力学 (CFD) 建模使现代冷板能够消散 1500W 负载，同时保持 30°C 的 Delta T 损失。

• 负压冷却系统本质上受到大气压力的限制，在流体达到室温沸点之前仅留下 7 至 9 PSI 的可用压差。

• 有限的压力预算使得负压回路难以穿过长设施歧管、CDU 和高阻微通道冷板。

• 专门的水化学分析和持续的化学监测对于防止腐蚀、生物生长和材料降解至关重要。 在这里，对话讨论了区域气候对数据中心运营的影响、冷凝风险以及快速响应泄漏检测传感器的技术发展。

• 区域湿度、海拔高度和环境条件决定了二级回路水温和设施冷却效率。

• 高湿度气候下的低于环境温度的回路温度有可能在服务器机箱组件上形成冷凝，因此需要专用的露点控制。

• 传统的泄漏检测绳索面临供应链瓶颈和高触发阈值，需要大量液体才能触发警报。

• 下一代泄漏检测利用灵活的聚合物印刷传感器迹线、光学染料检测和蒸汽嗅探器，在灾难性故障发生之前识别微泄漏。

• 智能机架控制器在检测到早期流体损失时主动调节 CDU 回路压力，以最大程度地减少泄漏量，同时保持正常运行时间。 该部分探讨了两相冷却中潜热汽化的热力学优势，以及围绕低 GWP 制冷剂的供应链和化学考虑因素。

• 两相直接芯片冷却消除了单相回路的显热损失（通常至少为 5°C），无论芯片功耗为 10W 还是 1,000W，都能保持恒定的沸腾温度。

• 两相冷却最大限度地减少了与水相关的腐蚀和机架中电气短路的风险，为企业数据大厅提供了引人注目的部署模型。

• 扩展两相回路需要解决相变歧管、CDU 和复杂蒸汽冷凝器的多供应商互操作性。

• 新兴的低 GWP、不易燃介电液（例如 R-515B 和 R-1233zd）正在克服与传统 PFAS 化合物相关的监管限制。

• 现代数据中心基础设施提供商正在收购专业冷却供应商，以组装统一的交钥匙液热产品组合。 本节重点关注核心泵送基础设施，分析标准化测试方法、瞬态热响应以及集中式和分布式 CDU 之间的工程权衡。

戴尔PowerCool CDU

• ASHRAE 标准 127 建立了标准化测试方法，可提供 CDU 热效率和泵送性能的准确、同类比较。

• 冷却剂流量的微小变化会立即转化为冷板的温度波动； 10% 的流量变化可能会触发节流事件，需要超响应控制算法。

• 集中式多兆瓦 CDU 涉及大量流体和大操作爆炸半径，因此一次污染或泄漏事件就可能摧毁整个设施大厅。

• 添加剂化学不相容性使得混合不同供应商的专有冷却剂变得危险，可能导致沉淀和堵塞。

• 分布式行级和机架内 CDU 可隔离机械故障域、减少流体传输管道并加快安装时间。 本部分评估高性能机架内 CDU 性能概况，并概述为什么空气冷却在分布式企业推理集群中仍然占主导地位。

• 专用机架内 CDU 可支持 220kW 的热负载，接近温度为 4°C，将 41°C 的设施水转化为 Vera Rubin 机架的 45°C 冷却剂，冷却水量为每千瓦 1.5 升。

• 即使在单泵维护事件期间，机架内 CDU 内的双泵冗余也能保持连续冷却操作。

• 风冷约占全球服务器出货量的 90%，并支持很大一部分企业推理部署。

• 边缘和企业推理硬件必须直接部署在生成数据的已有 10 到 15 年历史的风冷数据大厅内。

• 使用后门热交换器和蒸发冷却塔改造旧设施，将寄生冷却功率转变为本地人工智能推理盒的可用计算千瓦。 最后一部分详细分析了闭环一体式冷却器的机械权衡，并研究了底盘空气动力学优化如何将空气冷却能力推向其物理极限。

• 服务器级内部一体式液体回路引入了机械故障点和机箱封装复杂性，同时与优化的均热板散热器相比仅提供边际收益。

• Sidecar 液体-空气热交换器为缺乏设施用水的设施中的局部液体冷却机架提供了更清洁、更易于维护的路径。

• 企业服务器风扇效率已从十年前的 15% 到 20% 提高到现代电气到机械转换率的 50% 到 60%。

• 在每千瓦 100 CFM 的设计点周围优化底盘空气动力学，每一点进气都会均匀加热 18°C，从而最大限度地提高每千瓦的散热量。

• 空气具有良好的热扩散特性，与精密管道和先进的散热器配合使用，可为下一代企业硬件提供坚实的基础。 要了解有关液体冷却和高效数据中心设计的所有信息，请在 LinkedIn 上关注 Tim Shedd。

参与 StorageReview

时事通讯 | YouTube |播客 iTunes/Spotify | Instagram |推特 |抖音 | RSS 源

♫蒂姆-谢德-Podcast-152.mp3

哈罗德·弗里茨

自从 IBM 创建 Selectric 以来，我就一直从事科技行业。不过，我的背景是写作。因此，我决定退出售前业务，回归本源，写一些文章，但仍然参与技术工作。

上一篇文章：播客 #150：HPE Alletra Storage MP B10000：正面应对网络攻击

来源：Storagereview