单体数据中心节能降耗整体解决方案及措施
从单体数据中心和全国一体化大数据中心两个层面进行统筹思考，着力破除我国在推动数据中心绿色高质量发展面临的瓶颈和矛盾，推动实现数据中心节能降碳、优化布局、协同创新，全面支撑各行业特别是传统高耗能行业的数字化转型升级，引导数据中心走绿色节能、协同高效的发展道路。
单体数据中心解决方案及专项建议
单体数据中心存在 PUE 值偏高、建设方式陈旧、能耗测算失真等挑战，需要采取加快创新和整合优化的发展思路，通过技术创新、专项工程和管理体系等举措引导落地。
单体数据中心节能降耗整体解决方案及措施
数据中心解决方案技术创新可分为建设模式、制冷系统节能、供配电系统节能、ICT 设备节能和 AI 应用等技术创新。着力推动技术创新规模应用，可以加速数据中心实现节能降碳目标。
1.建设模式创新
1)预制模块化数据中心
预制模块化数据中心建筑主体可采用高回收率的钢结构材料，采用高度集成化设计，装配率高达 95%，满足国家 AAA 级装配式建筑要求，大幅减少施工周期碳排放。
主要技术涵盖：
快速建设：创新性地将预制装配式建筑技术与模块化技术相融合，现场地基土建与模块工厂生产同时进行。1500 机柜数据中心建设周期仅需要 6 个月，上线交付时间相比传统模式缩短 50% 以上。
绿色建设：预制装配率高达 95%，乐高积木式搭建，现场施工量仅为传统方式的 10%，施工工程无湿法作业，施工过程无三废，施工用水和用电相比传统方式减少 80% 以上。此外，结构主体摒弃传统土建中的高污染难回收材料，采用全钢结构，主体材料可回收率 90% 以上。
垂直扩容：支持整层在线垂直扩容，随需而建避免浪费；采用垂直扩容连接组件，支持精准互锁，10 分钟快连，超强缓冲，在线业务“0”冲击；三粗一精设计，精准定位；免焊接对接，快速互锁；高强抗震螺栓连接；采用超弹复合材料，中空防压溃防撕裂结构设计。
安全可靠：支持 5 层堆叠，50 年寿命，满足数据中心建筑标准交付要求，创新采用多维互联支撑架构，支持 9 烈度抗震。
土地利用率高：预制模块化数据中心层高一般在 4m 左右，同等高度限制范围内可以建设5 层，提高土地利用率 16% 以上；此外，预制模块化数据中心可以适配融合一体化电力模块及锂电，可以大幅降低配电区域的面积，减少机房占地面积。
2)数据中心园区内叠加光伏发电系统
数据中心园区叠加光伏方案通常为屋顶和楼宇外立面叠光，并采取 UPS 和 HVDC(High Voltage Direct Current，高压直流电 ) 输入端低压接入叠光。对此应采取以下要求：
设计要求：需采用效率 >98.5% 以上的高效逆变器提高能源的转换效率，减少碳排放；当一串光伏板中间一个或多个故障时，需隔离故障光伏板，其他的可持续工作；逆变器需满足实时识别光伏板最高功率点，实时能效最高。
安全要求：光伏直流系统在有电弧时需要及时准确检测，确保光伏系统安全。
3)数据中心园区内叠加分散式储能系统
由于数据中心业务负载的波动与光伏、风电等可再生能源产生波动的峰谷并不匹配，还需要增加适度的储能系统对波动的能源供应进行削峰填谷，从而提高可再生能源的使用比例，降低对传统火电的依赖程度。为了发挥数据中心的最大经济效益和环境效益，对能源管理设施进一步进行整合和优化，不间断电源系统 ( 含备电储能 ) 需要与新型储能系统融合。数据中心是典型的不间断电源场景，不间断电源 UPS 功率是用电容量的 1.2~1.5 倍，数据中心应整合现有 UPS、备电储能和削峰填谷储能，实现备电储能和削峰填谷储能合一，不间断电源 UPS 和储能变流器 PCS(Power Conversion System) 合一，提升供电效率 2%~5%，降低数据中心基础设施投资 5%~10%。技术方案如下图。
▲图1 数据中心当前供电系统和未来供电超融合架构示意图
2.制冷系统节能技术创新
数据中心根据 PUE 目标、地域条件、技术和产业链成熟度，可选用直接自然风冷却、间接蒸发冷却、板级液冷和浸没式液冷等创新技术或两种技术混合应用达到最佳 TCO。
▲图2 制冷系统节能技术对比
采用过低的 PUE 架构会导致投资成本和运维成本增加。通过对比不同地理环境条件下风冷和液冷两种制冷方式的 IT 设备和冷源和制冷设备的造价，使用过程的电费和运营维护成本，并经过国内大型数据中心实践验证经验认为，单机柜 15kW 以上采用冷板式液冷可以获得更好的整体性价比，PUE 保持 1.2~1.25 范围节省制冷能耗的同时，也能带来更低的 TCO。
1)间接蒸发冷却技术
间接蒸发冷产品是新型制冷方式设备，其采用间接换热技术，最大程度利用自然冷源替代人工冷源，降低数据中心 PUE。
工作原理如下：
间接蒸发冷却机组为整体式，在数据中心现场安装风管、水管及配电后即可投入使用，机组有三种运行模式：
▲图3 间接蒸发制冷原理图
三种运行模式可以结合气象参数和机组自身的特性曲线，结合智能控制，进行寻优调节，达到节能的目的。利用间接蒸发冷却技术可实现广东地区数据中心制冷年均 PUE 低至 1.25。
技术要求：
间接蒸发冷却设备应以一台为单位，结合数据中心制冷空调输配配套的间接蒸发冷却换热器芯体、风机（包含间接蒸发冷却空调的一、二次风机）、控制柜等电气设施，集成在集装箱内；
集成化蒸发冷却空调设备其箱体内部高温冷水管路、产出空气风道应布置合理恰当，并且做好管路保温；
集成化蒸发冷却空调设备应尽可能的将能放入集成箱体内的相关设备部件组装进箱体，尽量减少设备现场安装作业任务量，以提高设备交付、投用速率。
冷板式液冷技术，即利用液体工质作为中间热量传输的媒介，将热量由热区传递到远处再进行冷却。在该技术中，液体工质与被冷却对象分离，液体工质不与电子器件直接接触，而是通过液冷板等高效热传导部件将被冷却对象的热量传递到冷媒中，因此冷板式液冷技术又称为间接液冷技术。该技术将液体工质直接导向热源，由于液体比空气的比热大，每单位体积所传输的热量即散热效率高达 1000 倍，因此制冷效率远高于风冷散热。该技术可有效解决高功率密度服务器的散热问题，降低冷却系统能耗而且降低噪声。
▲图4 冷板式液冷解决方案
冷板式液冷在实施部署上有明显优势，具体体现在 4 个方面：
兼容性好：主板、硬盘、连接器材都不需要定制化生产，设备采购成本较低；
机房适配要求低：普通机房承重可以满足部署条件，无需特殊加固，液冷工质不会形成排氧效应，对通风要求与常规机房一致，传统机房可快速改造；
可维护性好：IT 设备、液冷管路和机柜歧管间连接器支持盲插，易于维护；
产业链成熟：冷却塔、水泵、CDU（Coolant Distribution Unit，冷量分配单元）和冷水机组等配套设备、液冷整机机柜、服务器液冷冷板、连接器、液冷工质均规模国产化，国内成熟可靠供应商较多，选择范围大。
3)氟泵技术
氟泵技术，是以泵驱动氟利昂工质，克服系统阻力实现制冷循环的一种自然冷却技术。因为氟泵中所用的工质为制冷剂（冷媒），因此氟泵亦被称为制冷剂泵或冷媒泵。
工作原理如下：
氟泵技术的核心是利用自然冷源，其应用与数据中心对制冷的特殊需求场景密切相关。与传统的楼宇不同，数据中心在冬季或过渡季节依然会产生大量的热量，此时采用氟泵系统代替传统的压缩机机械制冷系统进行制冷，可以有效的节能降耗，实现碳排放的减少。
搭载氟泵技术的制冷循环系统在室外低温工况能达到节能效果的主要原因在于：室外低温工况时，系统不需要压缩机压缩气态制冷剂来达到所需的冷凝压力，采用氟泵就可克服系统阻力，
驱动整个制冷循环。由于制冷剂液体体积远小于（或者说密度远大于）制冷剂气体，此时氟泵对液态制冷剂做功远小于相同工况下压缩机对气态制冷剂做功，即驱动相同流量的制冷剂，氟泵的功率远小于压缩机，从而达到节能效果。
在过渡季节，采用氟泵技术的混合模式系统实现节能的原因是因为氟泵提升了冷凝器后的液态制冷剂压力，从而在相同的电子膨胀阀开度的情况下，提升蒸发压力，减少压缩机做功，从而达到节能效果。
氟泵技术的节能效果主要体现在，室外低温或过渡季节时为系统提供相同制冷量所需的功率远小于压缩机。在文献《基于氟泵增压的机房空调系统性能实验研究》中指出搭载氟泵的系统在 -5~25℃的混合模式下输出 100% 冷量，制热能效比 COP（Coefficient of Performance，性能系数）可达 3.96~6.25。在室外 -5℃的纯氟泵模式下，输出 100% 的额定制冷量时，COP 可达 19~20，远高于在相同工况下 COP 为 7 的纯压缩机系统。
从氟泵系统的实际应用情况来看，其相较于传统的压缩机机械制冷的节能减排效果也非常明显。单机的机械制冷系统上应用氟泵技术后，在低温工况下能效可提升 3~6 倍。氟泵的节能效果与可利用的自然冷源的时长密切相关，如果以年为时间单位分析，不同的地域可达到约 5%~40%的节能率。
4)余热回收技术
北方寒冷地区数据中心使用热泵机组来对数据中心冷冻水余热进行二次提温后输送到热管网替代市政供热，用于寒冷季节居民采暖和办公采暖，对数据中心产生的废热进行梯次利用，从而提升能源综合利用效率，是实现碳中和的有效路径之一。
余热回收技术原理如图 7 所示。数据中心冷冻水末端空调供水温度为 10~15℃，回水温度为15~25℃，数据中心出来的温水通过电驱动热泵机组加热为采暖系统 55℃热水，传递给就近区域采暖管网，然后热水分发到社区或就近的数据中心办公区。
▲图5 余热回收技术原理
热泵在取暖运行阶段只需要提取 1/10~1/5 的热量即可满足就近的居民和办公采暖需求，余热回收在部分北方寒冷且电费较低地区具备运营经济性，5~6 年可回收投资，同时打破用能体系边界，实现多领域能源耦合梯次利用，发挥能效潜力，多方利用余热，将余热转换为可再生能源。
3.高效率供配电技术创新
1)高效 UPS
UPS 的效率是指在储能装置没有明显的能量输入和输出条件下，输出有功功率与输入有功功率之比。高效 UPS 是指利用各种节能技术实现双变换效率最大可达到 97%（R 载）的不间断电源产品。
通过降低器件损耗、优化 UPS 的拓扑结构、降低系统损耗等技术，实现双变换效率最大可达到 97%（R 载）的超高效 UPS，可以有效降低供配电系统的能耗和碳排放。此外，利用模块化UPS 可以按需扩容、模块冗余、智能休眠等优点，可以实现低载高效，更加匹配真实业务分期分批上线的运行要求。
2)UPS 智能在线模式
UPS 智能在线模式，是指在满足 GB/T 7260.3（IEC62040-3）中规定电网输入条件下，UPS优先工作在 VFD/VI 模式 (Voltage Frequency Dependent/Voltage Independent)，当电网条件不满足标准规定的电网输入条件下，UPS 可以从 VFD/VI 模式 0ms 切换至 VFI 模式。Voltage and Frequency Independent）。其中，VFI、VFD、VI 三种工作模式的功率流向详见图 8 三种 UPS工作模式。
▲图6 三种UPS工作模式
通过智能在线模式可以在保障系统供电安全前提下实现更高的运行效率，帮助用户进一步节能减排。智能在线模式在负载率 ≥30% 时，VFD 模式下 UPS 效率不低于 98.5%（R 载）；与传统的 ECO 模式需要 4-20ms 的切换时间不同，智能在线模式可实现 UPS 在 VFI、VFD、VI 模式之间切换时间为 0ms，保障负载供电的可靠性；VI 模式下，可通过逆变器进行谐波补偿及输出功率因数校正，保证旁路输入 PF（功率因数）值不小于 0.95、THDi（Total Harmonic Distortion，电流谐波畸变总数）不高于 5%。
3)电力模块技术
电力模块，是一种包含变压器、低压配电柜、无功补偿、UPS 及馈线柜、柜间铜排和监控系统的一体化集成、安全可靠的全新一代供配电产品，其输入为“三相无中线 +PE（Protective Earthing，保护性接地）”的 10kV、50Hz 的交流电源，输出为 380V“三相四线 +PE”交流输出。
通过将变压器、低压配电柜、无功补偿、UPS 及馈线柜和监控系统融合在一起，电力模块能减少柜位数，并极大的减短柜间铜导体的连接长度，减少铜导体使用量，减少供配电间占用面积，进而减少损耗，显著提升系统效率，节能减排效果明显。
▲图7 电力模块示意图
4.ICT 设备节能技术创新
1)全闪存存储
闪存介质有高密度、高可靠、低延迟、低能耗等特点。存储介质全闪存化，即逐步提升数据中心存储介质闪存化比例，建议近期从 2021 年的 24% 提高到 2025 年的 50%，长期到 2030 年达到 90%，远期最终实现 100% 全闪存存储，加速数据中心向“硅进磁退”方向演进。
随着全闪存存储的快速发展，基于闪存介质的固态硬盘数据访问比机械硬盘快 100 倍左右，吞吐量大 100 倍，单盘的 IOPS 大 1000 倍以上，电力消耗减少 70%。
随着存储通信协议的发展，把存储介质变化的效率和网络带宽提升的作用充分发挥，这些变化促使了计算机系统处理能力的大幅提升，优化了数据中心算力与存力的基础能力结构，加速了数据资源的快速流通。
2)存算分离架构
受限于散热和空间限制，普通的通用型服务器配备硬盘的数量有限，通常为 1U10 盘、 2U24 盘、4U36 盘。而专门设计的高密存储型节点，能做到 1U32 盘、2U36 盘、5U80 盘、 4U80 盘、5U120 盘，密度达到传统存储服务器的 2~2.6 倍，结合存算分离架构，相对使用通用型服务器，减少了节点 CPU、内存及配套交换机，同等容量下带来能耗节约 10%~30%。
在大数据分析场景，采用存算分离架构后，还可以利用数据纠删码（Erasure Code，EC）技术替代三副本数据，进一步把磁盘利用率从 33% 提升到 91%，减少磁盘空间占用，节约能耗。
3)数据重删压缩
数据重删技术是通过利用定长重删、变长重删、相似重删算法来检查数据块，然后把相同数据删除的技术。数据压缩、压紧技术是通过数据压缩、压紧算法把定长的数据块优化数据存储布局，节约存储空间。
借助闪存介质带来的 100 倍性能提升，利用数据重删压缩技术，目前业界已经能够在数据库、桌面云、虚拟机等业务场景实现 2~3.6 倍的数据缩减率（重删压缩前数据总量 / 重删压缩后数据总量），相当于同样的存储空间能够储存 2~3.6 倍的数据，耗能节约 50% 以上。
4)网络设备节能
网络设备支持自动检测设备状态、单板状态、端口状态和光模块状态等信息，自动关闭不需要的器件和端口供电，智能调整芯片电压及风扇转速等手段降低网络设备能耗。基于 VC 相变散热和碳纳米导热单板级相变散热技术散热效率最高提升 4 倍，温度最多降低 19℃，采用基于混流风扇的整机散热技术，可以提高 3 倍风量，减少 49% 电力消耗，SuperPower 技术如基于磁吹灭弧技术的毫秒级切换智能电源模块，实现每比特功耗相比业界降低 54%。
5)无损数据中心网络
无损数据中心网络是算力提升方向之一。从目前业界普遍认可的算力计算模型分析，受到通用计算能力、高性能计算能力、存储能力和网络能力的综合影响，如果网络存在大量数据丢包和数据重传，将会影响整体计算能力的提升。
▲图8 算力计算模型
无损数据中心网络通过引入 AI 人工智能技术，如 iLossless-DCN 系列算法，智能控制调优技术，实现网络在极高吞吐下低时延 0 丢包，规模不变，算力能效比提升，降低综合能耗。
据实测场景数据分析：在数据存储场景 IOPS 提升可以达到 10%~33%、时延降低 25%；在 AI 场景通过无损技术突破 HASH 不均难题，有效吞吐提升到 90%，单任务训练效率最大提升20%；在某流体力学应用实际测试中，完成同样任务，传统网络需要 375 秒，0 丢包以太网需要耗时 198 秒。折算到单位算力功耗，0 丢包以太网单位算力能耗相比传统网络最多降低 47%。
5.AI应用技术创新
在数据中心投入运营之后，由于能源与热管理方面的节能技术创新，可以大大降低消耗电能所间接产生的碳排放，但是能源系统的复杂化也成为了新的问题，AI 算法所支持的智能运维管理和能耗优化似乎成为了最佳的答案。面对多变量，高复杂度的系统，以及难以预测的业务，AI 算法可以实现多系统的联动管理，在保障业务正常运行的前提下，将数据中心的“绿色”程度推向极致。
1)系统联动 AI 能效优化
将基于系统联动 AI 能效优化技术的智能热管理解决方案融入数据中心基础设施，针对数据中心制冷效率提升瓶颈，通过深度学习，打通精密空调末端、冷水机组、冷却塔、水泵等制冷系统以及 IT 负载、环境变量等大数据之间的联动，并对大量的历史数据进行分析，探索影响能耗的关键因素，最终获得 PUE 的预测模型。利用寻优算法获取调优参数组，下发到控制系统，实现对制冷系统的最优控制。最终通过不断调整优化，获得最佳能源利用效率。系统联动 AI 能效优化技术可帮助智能热管理解决方案实现PUE 降低 8%~15%，为大型数据中心每年节约电费数百万人民币。
▲图9 系统联动AI能效优化
2)AI 智能运营运维技术
通过利用 AI 智能运营运维技术对数据中心资产管理、电力模块预测性维护和电池失效及寿命管理，可显著提升运营运维效率。
利用 AI 技术对数据中心的资产进行智能管理。数据中心基础设施管理系统需要对资产进行盘查，保证设备的完整性和保护重要数据。另外，还可以对数据中心资产匹配最适宜的供电、制冷、空间、带宽等资源，实现资源的最佳利用。利用 AI 智能运营运维技术对资产上下架和运营进行智能化的协助管理，提升运营效率和效益。
利用 AI 技术对电力模块管理进行预测性维护。通过 AI 技术实现预测性维护和供电全链路监测，可实现毫秒级的故障检测，毫秒级的故障隔离，分钟级的故障恢复。可消除火灾隐患，大大提高数据中心能源基础设施可靠性和可用性。
利用 AI 技术对电池管理进行主动性维护。通过 AI 技术不仅可以预防电池失效，也可以精确预测电池的寿命和健康度，为用户提前提供维护决策依据，及时排除有失效隐患的电池组，变事后补救为事前预防，变被动响应为主动维护，大大提高数据中心供配电安全等级。
6.制冷和供配电系统技术创新未来展望
1)吸附式制冷技术
吸附式制冷实现废热回收再利用，回收计算设备产生的热量，将其转换为成冷量，用于存储设备、网络设备或办公室制冷。吸附式冷机的动作温度不小于 50°C 热回收率不小于 30%，回收的热量用于制冷，从而降低制冷的总能耗。
▲图10 吸附式制冷技术原理
吸附式制冷结合数据中心的业务调度与计算负载感知协同，确保吸附式制冷机热端进水温度不小于 50°C，实现稳定制冷。小型化吸附式冷机应当持续提升功率密度，逐渐从业界 3kW/m³ 的水平优化至 10kW/m³ 以上，从而减少占地面积。以液冷负载为 1000kW 的数据中心为例，在 80% 负载率下，对 800kW的散热量进行热回收，假设其回收效率为30%，那么可以回收产生240kW的冷量，按照与传统机械制冷相比对应节省 60kW 左右的制冷功耗，相当于节能 60/1000=6%。
在超大规模高性能计算集群或者机柜功率密度大于 150kW 的业务场景下，对于采用冷板液冷且液冷占比大于 90% 时，可以采用吸附式制冷技术进行废热回收利用。吸附式制冷模块化设计，可按计算、网络和存储的设备配比一次性集成交付。
2)数据中心浸没式液冷技术
数据中心浸没式液冷技术根据冷却液换热过程中是否发生相变可分为单相浸没式液冷与两相浸没式液冷，两种技术在原理上略有不同。
单相浸没式液冷的技术原理如图 13 所示。服务器被完全浸没在绝缘冷却液中，冷却液带走服务器产生的热量后，通过循环将热量传递给换热器中的二次侧冷媒（通常是水）。二次侧冷媒吸收热量后通过循环再将热量传递给室外冷却设备，至此完成由服务器向室外环境的热量传递。
▲图11 单相浸没式液冷技术原理
两相浸没式液冷的技术原理如图 14 所示。服务器被完全浸没在绝缘冷却液中，服务器产生的热量会引起冷却液局部沸腾，在这一沸腾过程中冷却液变为气相工质并带走服务器产生的热量。气相工质不断上升，在遇到冷凝器后将热量传递给冷凝器中的水，变为液滴回到液冷机柜中。水吸收热量后通过循环将热量传递给室外冷却设备，至此完成由服务器向室外环境的热量传递。
▲图12 两相浸没式液冷技术原理
数据中心浸没式液冷技术的能耗主要由促使液体循环的泵和室外冷却设备产生。其中，两相浸没式的冷却液循环是无源的，因此两相浸没液冷的能耗一般要低于单相浸没液冷。由于浸没式液冷的室外侧通常是高温水，其室外冷却设备往往可以利用自然冷源且不受选址区域的限制，从而起到节能减排的目的。浸没式液冷技术产业链成熟度较低，在换热性能、成本、稳定性等方面需要持续创新发展。
3)数据密集型集群存储
数据密集型集群存储是面向中大型绿色节能数据中心打造的以 DPU 为中心的存算网融合一体化整柜液冷解决方案。对比传统数据存储架构，采用了高密存储、大比例 EC、存算分离、 DPU 卸载、数据处理加速、数据高缩减和存储液冷等创新技术，保障数据中心空间、功耗、制冷和运维等各环节综合成本的大幅度降低，提升数据中心交付效率，缩短上线周期，数据中心资源利用率提升 50%，空间占用下降 50%。
数据密集型集群存储原生集成全局数据管理和全局文件系统能力，提供虚拟化、云计算、大数据、HPDA（High Performance Data Analytics，高性能数据分析）等场景下跨域海量数据传输、高通量数据处理和高密度低成本数据存储的能力。同时，提供南北向标准的 API 接口，实现数据基础设施与异构多云连接与融合，通过一池对接多云，避免多云导致的数据存储管理孤岛问题，实现跨数据中心统一融合存储资源池。数据密集型集群存储支持跨域热温冷数据自动分级和流动，跨域数据要素流通过程中更高效、更绿色执行数据调度和智能流动，实现东数西算和东数西存数据流动网络目标架构。
4)固态变压器
固态变压器（Solid State Transformer，SST）是一种通过电力电子技术实现能量传递和电力变换的新型变压器，本质是通过电力电子器件将电能高频化，以减小变压器体积和成本，同时实现了能量的交流直流可控。并且通过减少变换层级降低系统的复杂度，提升系统效率。
固态变压器依靠电力电子变换器将能量高频化，频率普遍达到 5kHz 以上。固态变压器中大部分部件为电力电子器件，因此固态变压器主要依托的是电力电子半导体技术。但受限于电力电子水平，当前各高校和企业研制的固态变压器，无论是成本、占地、效率和可靠性，都低于工频变压器。虽然当前的固态变压器在经济性上还无法替代工频变压器，但随着电力电子技术的进一步发展和新型半导体材料的逐步成熟，固态变压器将成为大型数据中心节能降耗的一个重要路径。
本文标题：单体数据中心节能降耗整体解决方案及措施
本文链接：https://www.blueocean-china.net/faq3/245.html [版权声明]除非特别标注，否则均为本站原创文章，转载时请以链接形式注明文章出处。
