华为配置智能无损网络综合

配置智能无损网络综合示例

适用产品和版本

安装了P系列单板的CE16800、CE6866、CE6866K、CE8851-32CQ8DQ-P、CE8851K系列交换机V300R020C00或更高版本。

安装了SAN系列单板的CE16800、CE6860-SAN、CE8850-SAN系列交换机V300R020C10或更高版本。

CE6860-HAM、CE8850-HAM系列交换机V300R022C00或更高版本。

安装了J系列单板的CE16800、CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ系列交换机V300R023C00或更高版本。

如果需要了解软件版本与交换机具体型号的配套信息，请查看硬件中心。

组网需求

如图1所示，为某RoCEv2高性能应用组网，网络中同时存在TCP和RoCEv2流量，服务器均支持RoCEv2协议并开启DCQCN功能。计算和存储服务器均部署在一个PoD中，节点数量按3：1比例部署。Leaf和Spine之间采用100GE链路全互联，服务器使用25GE链路接入Leaf交换机，收敛比为1:1。本示例的设备选型为：Leaf交换机使用CE6866-48S8CQ-P，Spine设备使用CloudEngine 16800（安装CE-MPUE系列主控板）。

图1 智能无损网络组网图

配置思路

本示例中配置的参数取值仅为参考，更多内容请参见《CloudFabric数据中心网络解决方案智能无损场景最佳实践》，用户请根据实际组网中的流量模型对每台设备进行配置。
本举例默认组网中Spine-Leaf-Server之间的互联IP及路由配置已完成，Server之间路由可达。

采用如下的思路配置：

配置Leaf交换机。
1. 配置PFC优先级流量控制，需要先配置优先级映射。
2. 配置PFC死锁检测。
3. 配置PFC死锁预防。
4. 配置嵌入式AI功能，加载AI ECN组件需要使用的模型文件。
5. 配置无损队列的AI ECN功能。
配置Spine交换机。
1. 配置PFC优先级流量控制，需要先配置优先级映射。
2. 配置PFC死锁检测。
3. 配置嵌入式AI功能，加载AI ECN组件需要使用的模型文件。
4. 配置无损队列的AI ECN功能。
配置服务器网卡（具体配置以服务器侧为准，这里仅以华为服务器举例说明）。
1. 配置网卡工作在RoCEv2模式。
2. 配置RoCEv2的建链方式。
3. 配置网卡信任DSCP模式，并配置RoCEv2报文和CNP报文的DSCP值。
4. 在网卡上为RoCEv2的优先级使能PFC。
5. 在网卡上为RoCEv2的优先级使能DCQCN。

操作步骤

配置PFC优先级流量控制
配置优先级映射
# 根据规划，本次示例中设置RoCEv2的DSCP值为24，CNP报文的DSCP值为25，则配置设备中的Diffserv Domain优先级映射模板如下，将RoCEv2的优先级映射为优先级4（走队列4），CNP报文的优先级映射为优先级6（走队列6）。
<HUAWEI> system-view
[~HUAWEI] sysname Leaf1
[*HUAWEI] commit 
[~Leaf1] diffserv domain ds1 
[*Leaf1-dsdomain-ds1] ip-dscp-inbound 24 phb af4 green  
[*Leaf1-dsdomain-ds1] ip-dscp-inbound 25 phb cs6 green  
[*Leaf1-dsdomain-ds1] quit 
[*Leaf1] port-group server_using   
[*Leaf1-port-group-server_using] group-member 25ge 1/0/1 to 25ge 1/0/8
[*Leaf1-port-group-server_using] quit
[*Leaf1] commit
[~Leaf1] port-group server_using
[*Leaf1-port-group-server_using] trust dscp  
[*Leaf1-port-group-server_using] trust upstream ds1 
[*Leaf1-port-group-server_using] quit
[*Leaf1] commit
为承载RoCEv2流量的优先级配置PFC功能
#规划使用优先级4来承载网络中的RoCEv2流量，则需要在各个接口下针对优先级4使能PFC，并使能PFC功能基于DSCP映射后的优先级进行反压。

[~Leaf1] qos buffer headroom-pool size 4 mbytes slot 1    
//仅安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ需要配置本命令。 
[*Leaf1] dcb pfc  
[*Leaf1-dcb-pfc-default] priority 4  
[*Leaf1-dcb-pfc-default] quit
[*Leaf1] port-group spine_using   
[*Leaf1-port-group-spine_using] group-member 100ge 1/0/1 to 100ge 1/0/4
[*Leaf1-port-group-spine_using] quit
[*Leaf1] commit
[~Leaf1] port-group spine_using
[*Leaf1-port-spine_using] dcb pfc enable mode manual
[*Leaf1-port-spine_using] qos phb marking dscp enable
[*Leaf1-port-spine_using] quit
[*Leaf1] port-group server_using
[*Leaf1-port-group-server_using] dcb pfc enable mode manual   
[*Leaf1-port-group-server_using] quit
[*Leaf1] dcb pfc dscp-mapping enable slot 1  //仅安装了P系列单板、SAN系列单板、J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL普通转发模式、CE6885-T、CE6863E-48S8CQ支持本命令，如果用户入方向映射选择信任报文的DSCP映射内部优先级，还需要使用此命令，使能PFC功能基于DSCP映射后的优先级进行反压。
[*Leaf1] commit

上述配置完成后，承载网络中的RoCEv2流量的优先级为4的队列即为无损队列。

配置PFC死锁检测
# 配置设备20s内出现5次PFC死锁时，去使能PFC功能。

[~Leaf1] dcb pfc
[*Leaf1-dcb-pfc-default] priority 4 turn-off threshold 5 
[*Leaf1-dcb-pfc-default] quit  
# 配置无损队列的PFC死锁检测周期和恢复周期为100毫秒。（对于安装了P系列单板、SAN系列单板的CE16800和CE6866、CE6860-SAN、CE6866K、CE6860-HAM、CE8851-32CQ8DQ-P、CE8850-SAN、CE8851K、CE8850-HAM）

[*Leaf1] dcb pfc deadlock-detect timer 100  
[*Leaf1] dcb pfc deadlock-recovery timer 100  
[*Leaf1] commit
# 配置无损队列的PFC死锁检测周期和恢复周期为100毫秒。（对于安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ）

[*Leaf1] dcb pfc deadlock-detect interval 10
[*Leaf1] dcb pfc
[*Leaf1-dcb-pfc-default] priority 4 deadlock-detect time 10
[*Leaf1-dcb-pfc-default] priority 4 deadlock-recovery time 10
[*Leaf1-dcb-pfc-default] quit  
[*Leaf1] commit

配置完成后，若需要修改PFC死锁检测的配置，为了保障配置成功，防止设备处于死锁恢复期间，需要执行shutdown命令，关闭应用了PFC功能的端口。

配置PFC死锁预防
# 在Leaf1上创建名称为myuplink的PFC上联端口组，并将Leaf1与Spine1、Spine2相连的端口都加入该PFC上联端口组。Leaf2上的配置与Leaf1上的配置类似，配置过程略。

[~Leaf1] dcb pfc uplink group myuplink
[*Leaf1-dcb-pfc-uplink-group-myuplink] group-member interface 100ge 1/0/1 to 100ge 1/0/4 
[*Leaf1-dcb-pfc-uplink-group-myuplink] quit
[*Leaf1] commit
# 配置PFC上联端口组myuplink，为DSCP值为24的无损队列设置一个无损备份队列5，DSCP值设置为32，和一个有损备份队列2，DSCP值设置为16。

[~Leaf1] dcb pfc uplink group myuplink
[~Leaf1-dcb-pfc-uplink-group-myuplink] adjust original-dscp 24 to priority 5 dscp 32
[*Leaf1-dcb-pfc-uplink-group-myuplink] adjust original-dscp 32 to priority 2 dscp 16
[*Leaf1-dcb-pfc-uplink-group-myuplink] quit
[*Leaf1] commit
配置嵌入式AI功能
# 在Leaf1上配置嵌入式AI功能，加载AI ECN组件需要使用的模型文件，本示例中模型文件已上传到设备上，完整路径为：flash:/AI_ECN-1.0.0-1.0.2.zip。缺省情况下，设备上已预加载一个模型文件。

对于V300R022C00之前版本。
[~Leaf1] ai-service
[~Leaf1-ai-service] model load file-path flash:/AI_ECN-1.0.0-1.0.2.zip all
[~Leaf1-ai-service] quit
对于V300R022C00及之后版本。
[~Leaf1] quit
<Leaf1> load ai-service model-file flash:/AI_ECN-1.0.0-1.0.2.zip all
<Leaf1> system-view
配置无损队列的AI ECN功能
# 配置Leaf1，在无损队列4上使能AI ECN功能。

[~Leaf1] ai-service
[~Leaf1-ai-service] ai-ecn
[*Leaf1-ai-service-ai-ecn] assign queue 4 
[*Leaf1-ai-service-ai-ecn] ai-ecn enable 
[*Leaf1-ai-service-ai-ecn] quit 
[*Leaf1-ai-service] quit 
[*Leaf1] commit 
配置Spine1，Spine2上的配置与Spine1上的配置类似，配置过程略。

配置PFC优先级流量控制
配置优先级映射
# 根据规划，本次示例中设置RoCEv2的DSCP值为24，CNP报文的DSCP值为25，则配置设备中的Diffserv Domain优先级映射模板如下，将RoCEv2的优先级映射为优先级4（走队列4），CNP报文的优先级映射为优先级6（走队列6）。
<HUAWEI> system-view
[~HUAWEI] sysname Spine1
[*HUAWEI] commit 
[~Spine1] diffserv domain ds1 
[*Spine1-dsdomain-ds1] ip-dscp-inbound 24 phb af4 green   
[*Spine1-dsdomain-ds1] ip-dscp-inbound 25 phb cs6 green        
[*Spine1-dsdomain-ds1] quit 
[*Spine1] commit
为承载RoCEv2流量的优先级配置PFC功能
#规划使用优先级4来承载网络中的RoCEv2流量，则需要在各个接口下针对优先级4使能PFC，并使能PFC功能基于DSCP映射后的优先级进行反压。

[~Spine1] qos buffer headroom-pool size 4 mbytes slot 1    
//仅安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ需要配置本命令。
[*Spine1] dcb pfc   
[*Spine1-dcb-pfc-default] priority 4  
[*Spine1-dcb-pfc-default] quit
[*Spine1] port-group all_using  
[*Spine1-port-group-all_using] group-member 100ge 1/0/1 to 100ge 1/0/4
[*Spine1-port-group-all_using] quit
[*Spine1] commit
[~Spine1] port-group all_using
[*Spine1-port-all_using] dcb pfc enable mode manual
[*Spine1-port-all_using] qos phb marking dscp enable
[*Spine1-port-all_using] quit
[*Spine1] dcb pfc dscp-mapping enable slot 1  //仅安装了P系列单板、SAN系列单板、J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL普通转发模式、CE6885-T、CE6863E-48S8CQ支持本命令，如果用户入方向映射选择信任报文的DSCP映射内部优先级，还需要使用此命令，使能PFC功能基于DSCP映射后的优先级进行反压。
[*Spine1] commit

上述配置完成后，承载网络中的RoCEv2流量的优先级为4的队列即为无损队列。

配置PFC死锁检测
# 配置设备20s内出现5次PFC死锁时，去使能PFC功能。

[~Leaf1] dcb pfc
[*Leaf1-dcb-pfc-default] priority 4 turn-off threshold 5 
[*Leaf1-dcb-pfc-default] quit  
# 配置无损队列的PFC死锁检测周期和恢复周期为100毫秒。（对于安装了P系列单板、SAN系列单板的CE16800和CE6866、CE6860-SAN、CE6866K、CE6860-HAM、CE8851-32CQ8DQ-P、CE8850-SAN、CE8851K、CE8850-HAM）

[*Leaf1] dcb pfc deadlock-detect timer 100  
[*Leaf1] dcb pfc deadlock-recovery timer 100  
[*Leaf1] commit
# 配置无损队列的PFC死锁检测周期和恢复周期为100毫秒。（对于安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ）

[*Leaf1] dcb pfc deadlock-detect interval 10
[*Leaf1] dcb pfc
[*Leaf1-dcb-pfc-default] priority 4 deadlock-detect time 10
[*Leaf1-dcb-pfc-default] priority 4 deadlock-recovery time 10
[*Leaf1-dcb-pfc-default] quit  
[*Leaf1] commit

配置完成后，若需要修改PFC死锁检测的配置，为了保障配置成功，防止设备处于死锁恢复期间，需要执行shutdown命令，关闭应用了PFC功能的端口。

配置嵌入式AI功能
# 在Spine1上配置嵌入式AI功能，加载AI ECN组件需要使用的模型文件，本示例中模型文件已上传到设备上，完整路径为：flash:/AI_ECN-1.0.0-1.0.2.zip。缺省情况下，设备上已预加载一个模型文件。

对于V300R022C00之前版本。
[~Spine1] ai-service
[~Spine1-ai-service] model load file-path flash:/AI_ECN-1.0.0-1.0.2.zip all
[~Spine1-ai-service] quit
对于V300R022C00及之后版本。
[~Spine1] quit
<Spine1> load ai-service model-file flash:/AI_ECN-1.0.0-1.0.2.zip all
<Spine1> system-view
配置无损队列的AI ECN功能
# 配置Spine1，在无损队列4上使能AI ECN功能。

[~Spine1] ai-service
[~Spine1-ai-service] ai-ecn
[*Spine1-ai-service-ai-ecn] assign queue 4 
[*Spine1-ai-service-ai-ecn] ai-ecn enable 
[*Spine1-ai-service-ai-ecn] quit 
[*Spine1-ai-service] quit 
[*Spine1] commit 
配置服务器，具体配置以服务器侧为准，这里仅以华为服务器举例说明。

查看服务器网卡信息。
# show_gids
DEV PORT INDEX GID IPv4 VER DEV
--- ---- ----- --- ------------ --- ---
……
mlx5_0 1 8 xxxx:xxxx:xxxx:xxxx:xxxx:xxxx:xxxx:xxxx 1.1.1.1 V2 ens785f0.100
……
n_gids_found=20
配置网卡工作在RoCEv2模式。
使用# cma_roce_mode配置网卡的RoCE模式，-d后边的参数是网卡设备名称，步骤1中显示的第一列即网卡设备名称；-m 2表示RoCEv2模式。

# cma_roce_mode -d mlx5_0 -p 1 -m 2
配置RoCEv2的建链方式。
配置网卡MTU值。
# ifconfig ens785f0 mtu 4500
配置网卡上RoCEv2报文的DSCP字段值。
根据规划的RoCEv2业务的优先级，以及对应的DSCP值，在网卡上配置RoCEv2报文的ToS（Type of Service）值。由RFC791定义，IP报文头ToS域由8个比特组成，其中0～5比特为IP报文的DSCP字段，6～7比特为ECN字段，当ECN字段为01或者10，即表示该报文支持ECN。

图2 IP报文头ToS域

ToS值和DSCP值的换算示例：假设RoCEv2报文的优先级为4，设置其DSCP值为24，即二进制011000；报文支持ECN功能，取ECN字段为10。则可得ToS字段为01100010，换算成十进制为98。网卡配置如下：

# cma_roce_tos -d mlx5_0 -t 98
配置网卡信任DSCP模式。
使用# mlnx_qos命令配置网卡信任的模式，-i，即--interface，后边的参数为网卡接口名称，步骤1中显示的最后一列即网卡接口名称；--trust=dscp表示信任DSCP模式。

# mlnx_qos -i ens785f0 --trust=dscp
针对RoCEv2的优先级使能PFC优先级控制功能。

网卡上使能PFC的队列，需要跟交换机上全局使能的PFC队列、接口下使能的PFC队列相匹配。

使能网卡上队列4的PFC功能。

# mlnx_qos -i ens785f0 --pfc 0,0,0,0,1,0,0,0
可以通过以下方式查看配置结果。

# mlnx_qos -i ens785f0
PFC configuration:
priority 0 1 2 3 4 5 6 7
enabled 0 0 0 0 1 0 0 0
...
配置入方向上IP报文的DSCP优先级和PHB行为之间的映射关系。
配置简单流分类，将DSCP值为24的报文映射到4队列。

# mlnx_qos -i ens785f0 --dscp2prio set,24,4
配置网卡上CNP报文的DSCP字段值。
示例：配置CNP报文的优先级为6，则可取DSCP值为48。

# echo 48 > /sys/class/net/ens785f0/ecn/roce_np/cnp_dscp
针对RoCEv2的优先级使能DCQCN拥塞控制机制。
使能网卡上队列4收发两个方向的DCQCN功能。

# echo 1 > /sys/class/net/ens785f0/ecn/roce_np/enable/4
# echo 1 > /sys/class/net/ens785f0/ecn/roce_rp/enable/4

检查配置结果

查看设备上所有的模型信息。可以看到，AI ECN功能已订阅新加载的模型。

<span style="background-color:#dddddd"><HUAWEI> <strong>display ai-service model</strong>
--------------------------------------------------------------------------------
File Name
          Model Name        Model Version     Model Type        Service
--------------------------------------------------------------------------------
AI_ECN-1.0.0-1.0.0.zip
          AI_ECN            1.0.0             Default           --
AI_ECN-1.0.0-1.0.2.zip
          AI_ECN            1.0.2             User Define       AI ECN
--------------------------------------------------------------------------------</span>

查看PFC门限值。

<span style="background-color:#dddddd">[~Leaf1] <strong>display dcb pfc buffer interface 100ge1/0/1</strong>   
Xon:        PFC backpressure stop threshold                                     
Xoff:       PFC backpressure threshold                                          
K:kilobytes   D:dynamic alpha                 
-------------------------------------------------- 
Interface      Queue            Xon           Xoff 
-------------------------------------------------- 
100GE1/0/1         4         100(K)         125(K)
--------------------------------------------------</span>

查看PFC死锁触发和恢复的次数，DeadlockNum和RecoveryNum为0表示未触发死锁。

<span style="background-color:#dddddd">[~Leaf1] <strong>display dcb pfc interface 100ge 1/0/1 </strong>
-----------------------------------------------------------------------------------------
Interface         Queue         Received(Frames)        ReceivedRate(pps)     DeadlockNum
                             Transmitted(Frames)     TransmittedRate(pps)     RecoveryNum
-----------------------------------------------------------------------------------------
100GE1/0/1            4                        0                        0               0
                                               0                        0               0
-----------------------------------------------------------------------------------------</span>

查看无损队列的AI ECN功能计算出的ECN门限值，可以看到，AI ECN功能通过NN模式（模型推理模式）计算出了设备的ECN门限值。

<span style="background-color:#dddddd">[~Leaf1] <strong>display ai-ecn calculated state</strong>  
AI-ECN Model Version : 1.0.1
Mode : NN - Model inference    BBR - Heuristic inference    STATIC - Static threshold
-----------------------------------------------------------------------------------------------------------------------------
Interface       Queue   Low-Threshold   High-Threshold   Probability   Mode                Active model       Actived time
                               (Byte)           (Byte)           (%)
-----------------------------------------------------------------------------------------------------------------------------
100GE1/0/1          4           33024           150016            20    NN    AI_ECN_DistributedStorage   2022-01-10 09:09:23
100GE1/0/2          4           33024           150016            20    NN    AI_ECN_DistributedStorage   2022-01-10 09:09:23
-----------------------------------------------------------------------------------------------------------------------------</span>

配置脚本


Leaf1的配置脚本
#
sysname Leaf1
#                                                              
dcb pfc
 priority 4                                                          
 priority 4 turn-off threshold 5
 priority 4 deadlock-detect time 10    //安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ支持该命令。
 priority 4 deadlock-recovery time 10    //安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ支持该命令。
#
dcb pfc deadlock-detect interval 10    //安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ支持该命令。
#
dcb pfc deadlock-detect timer 100    //安装了P系列单板、SAN系列单板的CE16800和CE6866、CE6860-SAN、CE6866K、CE6860-HAM、CE8851-32CQ8DQ-P、CE8850-SAN、CE8851K、CE8850-HAM支持该命令。
dcb pfc deadlock-recovery timer 100    //安装了P系列单板、SAN系列单板的CE16800和CE6866、CE6860-SAN、CE6866K、CE6860-HAM、CE8851-32CQ8DQ-P、CE8850-SAN、CE8851K、CE8850-HAM支持该命令。
#
dcb pfc dscp-mapping enable slot 1    //仅安装了P系列单板、SAN系列单板、J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL普通转发模式、CE6885-T、CE6863E-48S8CQ支持本命令，如果用户入方向映射选择信任报文的DSCP映射内部优先级，还需要使用此命令，使能PFC功能基于DSCP映射后的优先级进行反压。   
#
qos buffer headroom-pool size 4 mbytes slot 1    //仅安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ需要配置本命令。
#
diffserv domain ds1  
 ip-dscp-inbound 24 phb af4 green
 ip-dscp-inbound 25 phb cs6 green
#
interface 25GE1/0/1
 trust dscp
 trust upstream ds1
 dcb pfc enable mode manual 
#
interface 25GE1/0/2
 trust dscp
 trust upstream ds1
 dcb pfc enable mode manual 
#
interface 25GE1/0/3
 trust dscp
 trust upstream ds1 
 dcb pfc enable mode manual
#
interface 25GE1/0/4
 trust dscp
 trust upstream ds1
 dcb pfc enable mode manual 
#
interface 25GE1/0/5
 trust dscp
 trust upstream ds1
 dcb pfc enable mode manual 
#
interface 25GE1/0/6
 trust dscp
 trust upstream ds1 
 dcb pfc enable mode manual
#
interface 25GE1/0/7
 trust dscp
 trust upstream ds1 
 dcb pfc enable mode manual
#
interface 25GE1/0/8
 trust dscp
 trust upstream ds1
 dcb pfc enable mode manual
#
interface 100GE1/0/1
 dcb pfc enable mode manual
 qos phb marking dscp enable
#
interface 100GE1/0/2
 dcb pfc enable mode manual
 qos phb marking dscp enable
#
interface 100GE1/0/3
 dcb pfc enable mode manual
 qos phb marking dscp enable
#
interface 100GE1/0/4
 dcb pfc enable mode manual
 qos phb marking dscp enable
#
ai-service
 #
 ai-ecn
  ai-ecn enable
  assign queue 4
#
dcb pfc uplink group myuplink
 adjust original-dscp 24 to priority 5 dscp 32
 adjust original-dscp 32 to priority 2 dscp 16
 group-member interface 100GE1/0/1
 group-member interface 100GE1/0/2
 group-member interface 100GE1/0/3
 group-member interface 100GE1/0/4
#
port-group server_using
 group-member 25GE1/0/1 
 group-member 25GE1/0/2
 group-member 25GE1/0/3
 group-member 25GE1/0/4
 group-member 25GE1/0/5
 group-member 25GE1/0/6
 group-member 25GE1/0/7
 group-member 25GE1/0/8
#
port-group spine_using
 group-member 100GE1/0/1 
 group-member 100GE1/0/2
 group-member 100GE1/0/3
 group-member 100GE1/0/4
#
return
Leaf2的配置脚本
#
sysname Leaf2
#                                                              
dcb pfc
 priority 4                                                          
 priority 4 turn-off threshold 5
 priority 4 deadlock-detect time 10    //安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ支持该命令。
 priority 4 deadlock-recovery time 10    //安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ支持该命令。
#
dcb pfc deadlock-detect interval 10    //安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ支持该命令。
#
dcb pfc deadlock-detect timer 100    //安装了P系列单板、SAN系列单板的CE16800和CE6866、CE6860-SAN、CE6866K、CE6860-HAM、CE8851-32CQ8DQ-P、CE8850-SAN、CE8851K、CE8850-HAM支持该命令。
dcb pfc deadlock-recovery timer 100    //安装了P系列单板、SAN系列单板的CE16800和CE6866、CE6860-SAN、CE6866K、CE6860-HAM、CE8851-32CQ8DQ-P、CE8850-SAN、CE8851K、CE8850-HAM支持该命令。
#
dcb pfc dscp-mapping enable slot 1    //仅安装了P系列单板、SAN系列单板、J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL普通转发模式、CE6885-T、CE6863E-48S8CQ支持本命令，如果用户入方向映射选择信任报文的DSCP映射内部优先级，还需要使用此命令，使能PFC功能基于DSCP映射后的优先级进行反压。
#
qos buffer headroom-pool size 4 mbytes slot 1    //仅安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ需要配置本命令。
#
diffserv domain ds1  
 ip-dscp-inbound 24 phb af4 green
 ip-dscp-inbound 25 phb cs6 green
#
interface 25GE1/0/1
 trust dscp
 trust upstream ds1
 dcb pfc enable mode manual 
#
interface 25GE1/0/2
 trust dscp
 trust upstream ds1
 dcb pfc enable mode manual
#
interface 25GE1/0/3
 trust dscp
 trust upstream ds1 
 dcb pfc enable mode manual  
#
interface 25GE1/0/4
 trust dscp
 trust upstream ds1
 dcb pfc enable mode manual
#
interface 25GE1/0/5
 trust dscp
 trust upstream ds1
 dcb pfc enable mode manual
#
interface 25GE1/0/6
 trust dscp
 trust upstream ds1 
 dcb pfc enable mode manual
#
interface 25GE1/0/7
 trust dscp
 trust upstream ds1 
 dcb pfc enable mode manual
#
interface 25GE1/0/8
 trust dscp
 trust upstream ds1
 dcb pfc enable mode manual
#
……
#
interface 25GE1/0/23
 trust dscp
 trust upstream ds1
 dcb pfc enable mode manual
#
interface 25GE1/0/24
 trust dscp
 trust upstream ds1
 dcb pfc enable mode manual
#
interface 100GE1/0/1
 dcb pfc enable mode manual
 qos phb marking dscp enable
#
interface 100GE1/0/2
 dcb pfc enable mode manual
 qos phb marking dscp enable
#
interface 100GE1/0/3
 dcb pfc enable mode manual
 qos phb marking dscp enable
#
interface 100GE1/0/4
 dcb pfc enable mode manual
 qos phb marking dscp enable
#
ai-service
 #
 ai-ecn
  ai-ecn enable
  assign queue 4
#
dcb pfc uplink group myuplink
 adjust original-dscp 24 to priority 5 dscp 32
 adjust original-dscp 32 to priority 2 dscp 16
 group-member interface 100GE1/0/1
 group-member interface 100GE1/0/2
 group-member interface 100GE1/0/3
 group-member interface 100GE1/0/4
#
port-group server_using
 group-member 25GE1/0/1 
 group-member 25GE1/0/2
 group-member 25GE1/0/3
 group-member 25GE1/0/4
 group-member 25GE1/0/5
 group-member 25GE1/0/6
 group-member 25GE1/0/7
 group-member 25GE1/0/8
……
 group-member 25GE1/0/23
 group-member 25GE1/0/24
#
port-group spine_using
 group-member 100GE1/0/1
 group-member 100GE1/0/2
 group-member 100GE1/0/3
 group-member 100GE1/0/4
#
return
Spine1的配置脚本
#
sysname Spine1
#                                                              
dcb pfc
 priority 4                                                          
 priority 4 turn-off threshold 5
 priority 4 deadlock-detect time 10    //安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ支持该命令。
 priority 4 deadlock-recovery time 10    //安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ支持该命令。
#
dcb pfc deadlock-detect interval 10    //安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ支持该命令。
#
dcb pfc deadlock-detect timer 100    //安装了P系列单板、SAN系列单板的CE16800和CE6866、CE6860-SAN、CE6866K、CE6860-HAM、CE8851-32CQ8DQ-P、CE8850-SAN、CE8851K、CE8850-HAM支持该命令。
dcb pfc deadlock-recovery timer 100    //安装了P系列单板、SAN系列单板的CE16800和CE6866、CE6860-SAN、CE6866K、CE6860-HAM、CE8851-32CQ8DQ-P、CE8850-SAN、CE8851K、CE8850-HAM支持该命令。
#
dcb pfc dscp-mapping enable slot 1    //仅安装了P系列单板、SAN系列单板、J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL普通转发模式、CE6885-T、CE6863E-48S8CQ支持本命令，如果用户入方向映射选择信任报文的DSCP映射内部优先级，还需要使用此命令，使能PFC功能基于DSCP映射后的优先级进行反压。
#
qos buffer headroom-pool size 4 mbytes slot 1    //仅安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ需要配置本命令。
#
diffserv domain ds1  
 ip-dscp-inbound 24 phb af4 green
 ip-dscp-inbound 25 phb cs6 green
#
interface 100GE1/0/1
 dcb pfc enable mode manual
 qos phb marking dscp enable 
#
interface 100GE1/0/2
 dcb pfc enable mode manual
 qos phb marking dscp enable 
#
interface 100GE1/0/3
 dcb pfc enable mode manual
 qos phb marking dscp enable 
#
interface 100GE1/0/4
 dcb pfc enable mode manual
 qos phb marking dscp enable 
#
ai-service
 #
 ai-ecn
  ai-ecn enable
  assign queue 4
#
port-group all_using        
 group-member 100GE1/0/1
 group-member 100GE1/0/2
 group-member 100GE1/0/3
 group-member 100GE1/0/4
#
return
Spine2的配置脚本
#
sysname Spine2
#                                                              
dcb pfc
 priority 4                                                          
 priority 4 turn-off threshold 5
 priority 4 deadlock-detect time 10    //安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ支持该命令。
 priority 4 deadlock-recovery time 10    //安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ支持该命令。
#
dcb pfc deadlock-detect interval 10    //安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ支持该命令。
#
dcb pfc deadlock-detect timer 100    //安装了P系列单板、SAN系列单板的CE16800和CE6866、CE6860-SAN、CE6866K、CE6860-HAM、CE8851-32CQ8DQ-P、CE8850-SAN、CE8851K、CE8850-HAM支持该命令。
dcb pfc deadlock-recovery timer 100    //安装了P系列单板、SAN系列单板的CE16800和CE6866、CE6860-SAN、CE6866K、CE6860-HAM、CE8851-32CQ8DQ-P、CE8850-SAN、CE8851K、CE8850-HAM支持该命令。
#
dcb pfc dscp-mapping enable slot 1    //仅安装了P系列单板、SAN系列单板、J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL普通转发模式、CE6885-T、CE6863E-48S8CQ支持本命令，如果用户入方向映射选择信任报文的DSCP映射内部优先级，还需要使用此命令，使能PFC功能基于DSCP映射后的优先级进行反压。
#
qos buffer headroom-pool size 4 mbytes slot 1    //仅安装了J系列单板的CE16800和CE8855、CE8851-32CQ4BQ、CE6855-48XS8CQ、CE6885、CE6885-SAN、CE6885-LL、CE6885-T、CE6863E-48S8CQ需要配置本命令。
#
diffserv domain ds1  
 ip-dscp-inbound 24 phb af4 green
 ip-dscp-inbound 25 phb cs6 green
#
interface 100GE1/0/1
 dcb pfc enable mode manual
 qos phb marking dscp enable 
#
interface 100GE1/0/2
 dcb pfc enable mode manual
 qos phb marking dscp enable 
#
interface 100GE1/0/3
 dcb pfc enable mode manual
 qos phb marking dscp enable 
#
interface 100GE1/0/4
 dcb pfc enable mode manual
 qos phb marking dscp enable 
#
ai-service
 #
 ai-ecn
  ai-ecn enable
  assign queue 4
#
port-group all_using        
 group-member 100GE1/0/1
 group-member 100GE1/0/2
 group-member 100GE1/0/3
 group-member 100GE1/0/4
#
return