浸没液冷机柜结构由哪几部分组成？
如果按照形态来分：液冷机柜分成了卧式机柜和异构式。
由于超算通常采用的是异构形态的服务器，因而机柜采用了定制化的解决方案，如上述中科超算中心来自于同集团的中科曙光，由中科曙光提供服务器，曙光数创提供基于系统（包含机柜）和部署服务。
浸没液冷机柜结构由哪几部分组成？
故此，不妨以更具普适性，更具规模体量部署前景，更具典型性的单相液冷卧式机柜式架构，作为浸没液冷机柜（Tank）的剖析基础，穿插相变液冷的独特单元或功能模块的说明。
整个浸没液冷机柜（系统），大体可以分为以下几个组成部分：
一、主机柜柜体
如果把竖着的Rack理解为冰箱，那么倒下来的Tank就是机柜。典型的机架式服务器，以不同于Rack的横置，而改为竖直部署。
正常来说，服务器的维护面朝上，电源面在下。但这样的问题是，服务器进出机柜，电源线的插拔，都异常困难。对调过来，显然维护调试又是问题。因此浸没液冷服务器，需要重新优化，实现同侧（顶面）维护，底面只负责输送冷液。如阿里在《ODCC浸没液冷规范》所列出的：
假如部署体量，不足以进行高度定制，需要对标准的机架式服务器进行改造，实现同侧运维及电气连接。
通常的做法是，管里面朝上，电源至于底端，但是被转接到上部。如下图所示的转接方式：
柜体的大小，按照通常的要求是参考Rack尺寸定义，即长度为42U-54U之间；高度取决于服务器尺寸三围中的长度数据，通常以800mm为标准的话，会增加额外的400-500mm用于线缆转接口、进液和出液口、固定结构等；Tank的深度，以19英寸或21寸服务器的宽度为基础，增加300-400mm。
Tank高度示意图
因而Tank的尺寸通常为：
长：2200-2800mm
宽（深）：850-1200mm
高：1100-1350mm
典型52U浸没液冷Tank参考尺寸如下：
A类标准单机柜布局示意图
柜体材料，采用常规304，两面焊接，并作保压测试，根据尺寸大小，和冷媒种类，选择不同的材料厚度，以及密封材料。
主机柜通常会采用包含可视视窗的上盖，一方面用于可是观察，一方面也可减轻采用全金属上盖的重量。在单相架构中，多采用锁扣铰链做密封紧固。相变架构，则需要法兰式密封机构。
单相架构密封机制示意图
相变架构密封机制示意图
问题与思考：
针对19英寸和21英寸的兼容性要求，需要机柜需要一定的灵活度
通常采用冷液下进，热液上出的方式。电源从下至上调整后，电源处在相对温度最高的区域。应当注意适当的选型，并设定合理的冷却条件。
Tank底部应针对IT设备的流道分配设计和优化，以确保冷液进入Tank后，把有限的扬程和流量，优先给予发热器件，并尽量减少压降损失，直至回液给CDU。
二、配电柜
配电柜通常依附于主机柜，也可列装部署于机房一侧。区别于动力柜单元，配电柜通常采用1对1的架构，内置PLC和控制器。
因主体功能不同，又分为2个部分。既负责高压电气部分的连通或短路控制，也负责传感器数据采集、控制和负载设备的供电管理。
问题与思考：
机柜的配电柜，也可以理解为控制柜。提供Tank自身及内置IT设备的电力输入通道，不提供CDU的动力源。但需要收集CDU的传感器数据。
能够接入机房的大动环
三、换热单元
这部分就是本文初定义的CDU，也是核心换热单元。其中主要器件为循环泵和板式换热器，辅以必要的阀门、管路、传感器。
基本的换热效能，固然经过严格的传热仿真计算。除此之外，为了进一步降低PUE，在低负载的情况下，通常会通过变频器控制泵的转速和流量，进一步节约能耗。
为满足A/B/C不同等级的需要，主机柜跟CDU的配比，可以选择1+2、1+1或N+1的不同组合方式。通过预设的逻辑控制程序，可以停止、调换不同的应急、冗余泵组。
在CDU的布局空间中，通常还会在管路上设置旁路过滤系统，主要处理3种目标过滤对象，分别为水汽（液态）、杂质、塑化剂等有机物。根据过滤对象的不同，选择不同的滤芯，并设定合理的监测手段（如压降监测），实现人工或自动的过滤启动及替换机制。
CDU的供电来自于独立的暖通系统供电，独立于设备主机，也不接入UPS。
问题与思考：
相比于对标准品CDU的改造，定制化的CDU更适合系统的整体架构
如果选用油类物质作为冷媒，油泵的选型主要考虑安全性和噪音指标；采用氟化物为冷媒，主要考虑泄露密封情况
考虑到运维的便捷，相变架构案例中，有不少采用的是分体式设计，如曙光的“硅立方”解决方案，蒸汽从刀片组集中到CDU进行集中冷凝，再回流并分配至各个刀片。CDU内置集群冷凝器，用于冷媒蒸汽的冷凝。冷凝器的内部供水依然来自外部冷却塔。此时的难点，将是如何控制并分配到各个刀片的流量。过快造成刀片堵塞气路，影响蒸汽排出；过慢液位持续下降，烧毁器件。如果刀片内计算节点的负载发生变化，情况会更复杂。
减少有机物的污染，是确保冷媒（无论油还是氟化物）长期稳定运行的关键。CDU的过滤系统，起到了至关重要的作用。由于设备端材料成分的复杂性，针对可能析出的不同有机物的吸附，需要根据实际情况，反复实验。但这类滤芯的有效性实时监测会很困难，因而通常是模拟测试并设定额定的维保周期。
四、电气连接
存在着两种典型的电气连接处理方式，PDU位于主机柜内，液面之上；或PDU位于主机柜背后，根据IT设备的电气性能要求，选用适配的穿壁连接器。
一般尽量不采用单纯的格兰头作为线束穿壁连接，其密封性无法满足密封要求，哪怕是单相架构中，高沸点的冷媒。也会在长期高温（50℃±5℃）下，挥发出气态冷媒，其饱和蒸汽压会驱动其他从穿壁处渗漏。如选用格兰头，应当达到气密级别。
问题与思考：
市电和高压直流供电，有时同时被需要。因此要根据情况，预留足够的接口空间。
由于无法实现全铜排连接，电缆的使用要特别主要避免采用PVC材质的线缆皮，并且需选择不含塑化剂的材料。塑化剂容易被萃取，因而造成线缆的硬化，长期运维操作，可能导致泼皮、短路。
五、弱电连接
服务器和交换机需要应对的弱电转接，主要是光纤（或RJ45），VGA（或HDMI），USB这3类。同样的原则都是需要采用气密性的穿壁连接器作为中转连接器，而非线缆式直接走格兰头收紧。
问题与思考：
处理光纤的主要手段是穿壁式Pigtail连接。适合运维。
针对高速传输要求的数据接口，需要注意连接器的选型适配。
各种传感器数据，也需要密封转接进出，可以考虑采用集成式的控制板，或者无线传输。
六、压力控制
在5.4.3条目中，已经有说明。即使是单相架构中，并没有利用冷媒的两相态换热。但是依然有持续的液态冷媒气化的过程，在没有达到饱和蒸汽压之前，Tank内部始终处于对外的持续压力增加状态。因而需要做一定的压力控制。
单相架构的压力控制，主要是密封结构为主的结构压力控制。设定一定的承压点作为设计基础。
问题与思考：
相变架构比较复杂。既有机械结构上的密封控制，又要做后台软件上的压力控制。从部件看，既有法兰密封结构，又有电磁阀和泄压机构。既要满足正常运行中的承压，又需要在系统运行中出现意外失效（失控）后，压力的主动释放，以保护柜体和元器件。持续的压力增加，会急速拉升冷媒的沸点，如果保护断电机制和急速制冷机制没有生效，不做主动压力释放，将引起元器件的大批量烧毁。
要注意的是机柜断电后，由于负载还存在余热，CDU通常会持续运转一段时间，直至完全冷却。这个过程，应注意保持负压阀的开启。
从压力控制的角度来看，曙光“硅立方”是目前做到比较好的解决方案。CDU集中冷却并控制压力。刀片独立实现，通过快接连接器，液进气出，运维过程不影响CDU的整体平衡。
七、总控系统
控制系统的数据来自于传感器的数据反馈，通过PLC进行收集及模数转换，做出预设策略下的系统状态判断，并实施干预和控制。
包含并不限于以下传感器：
温度传感器
数字式压力计
浮球感应器
电导率传感器
流量计
八、冷量自动调节
冷量根据液体温度来调节，满足负载工况波动下的最优配置。
九、安全告警功能
温度过高警报
液位过低警报
压力过低警报
电导率异常警报
漏液警报等等
十、主动控制策略
超温主动宕机
液位过低宕机
强制过滤
开启备用CDU（泵组）
问题与思考：
实际上，基于以上硬件及软件上的总控架构，配合一次侧的数据采集，以及必要的泄露检测机制，这已经肩负了传统风冷机房中动环系统的很大一部分工作。这也是液冷机柜最大的特点之一。
其他组件
在大机柜系统范围内，配合运维所需要的部件和工装，亦应当被纳入。比如，补液系统，行吊系统。
十一、补液系统
由于运维的需要，部件的更换，以及系统级密封存在的长期微渗透，无论单相还是相变架构，都需要定制给机柜进行适当的冷媒补充。
另外，在长期停机检修阶段，机柜内的液体，也需要全部抽出来进行密封保存。
因而有了补液系统的存在。抽补液的过程，可以进行手动，也可以进行自动控制。补液系统，以可充电移动车的形态存在，内置过滤和压力平衡装置。能够实现跟机柜的无缝对接，并实施抽补液动作。
十二、行吊系统
液冷部署，如果采用非异构形态，而是普通的卧式Tank状态，服务器的垂直进出机柜、取放、运维，都将是兼具的任务。相比于风冷的横置状态，会更加艰难。
典型数据是，1U服务器的平均重量为18.5kg，2U为43kg，4U要超过65kg。这个重量，要确保设备垂直形态下，高出1米2-1米3的机柜上盖而提出。几乎是单人不可能完成的任务。而且一旦控制不稳，发生撞击，势必造成非常严重的后果。
行吊系统，顾名思义，可以通过机械吊臂，辅助人工操作，减轻操作难度，降低操作风险。因布置位置的不同，可以是单独的行吊车，也可以集成于机柜内部。
下面是几种行吊系统典型案例：
移动行车
内置隐藏式抬升
外置式折叠吊臂
本文标题：浸没液冷机柜结构由哪几部分组成？
本文链接：https://www.blueocean-china.net/faq3/151.html [版权声明]除非特别标注，否则均为本站原创文章，转载时请以链接形式注明文章出处。
