360案例精选：通信失效导致DCS系统半瘫痪，惊魂一刻

内容来源：《仪表问答 案例汇编》第三章第一节集散控制系统故障分析及处理方法 161页（书籍详情见文末）

01 基本情况

1.装置名称

离子膜烧碱装置和环氧氯丙烷装置

2.离子膜烧碱 装置工况简介

原盐与热水混合溶解成315g/l的盐水，加入精制剂除去钙镁硫酸根后进入二次盐水树脂塔进一步除去钙镁，产出钙镁＜20ppb的精盐水。精盐水进入电解槽在直流电 电解下阳极生成氯气和淡盐水，阴极生成氢氧化钠 和氢气。淡盐水回到化盐重复利用，氯气经除水干燥后液化成液氯外售。

3.环氧氯丙烷装置工况简介

甘油与氯化氢 气体在反应釜内生成粗二氯丙醇，再经常压塔减压塔 处理后得到精二氯丙醇。精二氯丙醇与石灰水在混合器混合后进入皂化塔，生成粗环氧氯丙烷和氯化钙 。粗环氧经脱水塔脱轻塔出去水份和杂质，再经精馏塔精馏后得到环氧氯化丙烷。氯化钙水经压滤除去废渣，再经多效蒸发提浓后外售。电解槽阴极通入纯水调节氢氧化钠浓度至32%后外售，氢气经除水后压缩后自用及外售。

4.仪表情况

控制系统：离子膜烧碱装置及环氧氯丙烷装置均为浙江中控ECS-100系统，其中烧碱装置仪表测点1400余点、环氧氯丙烷装置1200余点，实现了主要工艺参数 如温度、压力、流量、液位 等参数的显示、记录、累计、报警和联锁功能。

两套装置均为独立的控制室，且2套装置之间通过光缆连接，为MES（制造执行系统 ）提供采集信息。全厂智能化建设网络拓扑图如图1-1所示。

DCS（集散控制系统 ）是工厂自动化运行的关键系统，系统部件的损坏可能直接导致工艺停工事故，故DCS安全稳定直接决定了生产工艺的安全运行。

02 故障描述与处理过程

1.故障前DCS情况

DCS系统自投用以来一直运行平稳，从没有发生过异常。

2.故障现象及描述

2018年4月12日，仪表工在巡检时发现离子膜烧碱装置DCS通讯卡件故障灯全亮，系统故障自诊断信息显示A\B网络通讯全部故障，响应指示灯故障报警，工程师站与操作员站均无法操作，仪表值班人员立即通知生产调度和操作工注意操作。

3.故障影响范围

导致DCS处于半瘫痪状态，所有操作员站显示*号及出现屏幕滚动乱跳现象，“操作”画面无法操作。

4.仪表及系统处理过程

（1）故障发生后，仪表工立即组织检查所有交换机、工程师站、操作员站、主控卡、以及与MES相连的OPC（对象链接与接入过程控制 ）服务器等工作情况，经过一系列排查后，基本排除硬件故障原因导致。

（2）对DCS进行重新编译、下载后，也没有发现问题。

（3）公司新上的MES系统服务器安装在离子膜烧碱控制室，环氧氯丙烷装置DCS的采集数据通过两套装置之间的光缆传到MES。两套装置均为独立的生产装置，都设有各自的工程师站。整个局域网内因出现了两个工程师站，导致DCS通讯发生冲突，形成网络串网，通讯瘫痪。另说明：为两套生产装置的操作员站网址分配都是独立的站号，不存在冲突。

（4）考虑到问题的严重性，浙大中控的技术人员先后3次来公司进行现场检查诊断，最终提出了以下整改方案：2个装置的控制室各增加一台交换机 ，专门用作DCS与MES的数据采集，最后将数据再汇集到MES的交换机进行数据交换 ，投用后DCS恢复正常。

5.故障性质

这是一起因DCS系统与第三方系统设备通讯造成的通信中断故障，属通信失效故障类型。

03故障原因分析

1.故障前仪表可靠性评价

公司MES的数据收集 是通过两个装置DCS之间的光缆采集的，项目实施前，没有明确的设计，任由MES供货商技术人员进行系统对接，同时DCS技术人员和MES技术人员沟通不到位，交换机数据接收混乱，导致数据传输错乱，DCS通信出现故障。

2.失效分析

离子膜烧碱装置和环氧氯丙烷装置之间用光缆连接，为MES提供数据，因两个装置为相互独立的装置，存在两个工程师站，这就会引发通信冲突，使得数据错乱，通信中断。

（1）主要原因：系统存在两个工程师站，都在不停地收发数据，出现数据碰撞，通讯没有方向，导致系统瘫痪。

（2）次要原因：与第三方系统（MES）连接时没有进行技术交底，DCS与MES应该敷设独立的通信线路、交换机等，才能避免故障的发生。

（3）管理原因：施工设计图纸不明确，各专业之间缺乏技术交底。

04 防范措施及建议

1.经验总结

（1）DCS与第三方系统【MES、AMS（应用管理系统）等】对接时，所有的连接都必须是独立的，而且要做好工控网络安全 防护工作。

（2）DCS与第三方系统（MES、AMS等）对接时，必须要进行系统评估，邀请设计院、DCS厂家和第三方厂家技术人员现场进行技术交流，最终形成可行性文件，上交公司领导批示方可实施。

2.防范措施

（1）DCS扩容时，增加的仪表点数建议不能超过系统的60%以上，防止系统盘大，造成数据堵塞；平均分配I/O点数量和调节回路，使同一系统各DPU（数据处理器 ）工作负荷趋于均等。

（2）与第三方系统（MES、AMS等）对接时，必须加设防火墙、杀毒软件等安全防护措施。

（3）按照DCS厂家的技术要求对DCS组态，例如：在线清空下载程序、修改DCS控制方案、修改“操作”画面、增加报警趋势等，制定切实的安全措施，严格按照规程操作，可大大减少因DCS故障引起的非计划停运 。

（4）DCS控制器工作负荷及网络通讯负荷应该在设计阶段进行严格计算和规范，设计变更时应充分考虑I/O点的冗余、调节回路、报警数量等因素对DCS性能及安全性的影响，同时需要在生产装置调试阶段或停工检修时对DCS整体性能进行测试和验证。

（5）尽量减少DCS不同I/O站间数据交换及与电气网络控制间的数据通讯 ，要尽可能的改为硬接线 输入/输出，以降低数据传输负荷。

（6）建立健全仪表控制系统瘫痪应急预案，定期组织桌面推演、实际操作演练。仪表控制系统被病毒“感染”时， 应第一时间中断与数采网连接，防止事件扩大。

3.改进建议

（1）新增仪表点数如果超过系统的60%以上，需要重新设计，增加控制柜，确保系统平稳运行，减少站间通讯。

（2）与第三方系统（MES、AMS等）对接时，网络和交换机及网线全部采用冗余配置，并增加安全防护软件。

（3）定期检查系统风扇是否工作正常，风道有无阻塞；各通信线路连接是否牢固，通信接口 是否正常；定期对各通信模块、端子进行试验，保证通信模件的正常工作；做好设备运行中的维护和巡视，检查通信状态，防止通讯故障；定期对控制器、数据总线 的负荷率进行在线测试，其负荷率应满足集散控制系统在线验收测试 规程的要求。

05 知识拓展

1.通信网络故障

（1）通信接头接触不良会引起通信故障，确认有该故障发生后，可以利用专用工具重做接头。

（2）由于各通信单元有地址设置，通信维护时，确认网卡、主控卡、数据转发卡的地址设置是否正确。

（3）交换机、光纤收发器故障、通信卡、通讯线等故障，应定期进行测试检查，并配备备品备件 ，防止通信失效等故障的发生。

2.现场设备故障

操作人员应将自控回路切为手动，阀门维修时，应启用旁路阀。

3.系统出现I/O卡件（或模块）故障时

（1）应将相应控制回路、控制程序 、联锁立即切手动，并由系统维护人员立即更换故障卡件，确认故障消除后方可再次将系统投入自动。

（2）卡件更换前，应将地址、配电、冗余、等开关或跳线（如控制器电池保护跳线）拨到原卡件位置。

（3）带联锁的控制回路应该设置冗余卡件，否则一出故障可能导致联锁动作。对于非冗余的输出卡件故障，故障卡对应的阀门、设备等在DCS端无法操作，需通知现场操作人员进行现场操作，待故障排除后方可进行DCS操作。

（4）在工厂供电系统 出现异常中断时，应根据工艺要求 ，处理好动设备、阀门等仪表设备后，然后按系统断电步骤给DCS断电。

（5）为防止控制系统出现故障导致系统瘫痪（此情况甚少），应预先制定事故处理预案。

《仪表问答 案例汇编》是聚焦实操、凝练经验的精萃集，是解决“本领恐慌”问题、“能力不足”危险的工具书。书中呈现了近百个自动化仪表典型案例，是“仪表圈”数十万深耕于行业内的仪表人的经验与思考。

仪表的计量和校准如何做？需要用到哪些工具？点击下方预约课程学习！

文章来源：微信公众号 仪表圈