Näme Üçin Köpsanly DCS Redundantlyk Dizaýnlary Size Aldawçy Täsir Edýär (Emma ABB Şeýle Däl)
Men bir wagtlar bahasy 2 milliard dollar bolan petrokimiki zawodynyň bary-ýogy 47 minutda 420 000 dollar ýitirişine şaýat boldum. Sebäbi bolsa kese-kes edilmän duran kontrolleriň içindäki 800 dollarlyk ýekeje elektrik üpjünçilik modulydy. Şol gije gözegçilik ulgamlarynyň arhitekturasyna baha berşime düýpli täsir etdi. Bu makalada awtomatizasiýa ulgamyndaky 15 ýyllyk näsazlyk aýyrmak tejribämni beýan edýärin. Adaty redundantlyk dizaýnlarynda näsazlygyň ýeke-täk gizlin nokatlarynyň nirede ýatanlygyny we ABB System 800xA ulgamynyň olary ähli zawody doly täzeden gurmazdan nähili aradan aýyrýandygyny anyklarsyňyz.
Meniň Dünýägaraýşymy Üýtländiren 47 Minutlyk Duruş
Orta ölçegdäki gidrokreker bölüminde öňüni almak bolýan bir betbagtçylyk boldy. Zawod prosese gözegçilik ulgamy (DCS) boýunça tanalýan marka ulanýardy we CPU kese-kes edilenligi işjeňdi. Emma iki kontroller hem bir umumy backplane elektrik üpjünçiligini paýlaşýardy. Şol üpjünçilik şowsuz bolanda, iki CPU hem birbada tokdan mahrum boldy. Bölüm aragatnaşyk ýitmegi sebäpli awtomatik öçdi. Operatorlar 12 sekuntlap hiç hili duýduryş maglumatyny görmediler.
Şol hadysadan ýüze çykan hakyky çykdajylary tapgyrma-tapgyr düşündireli:
- Ýitiren önümçilik (47 minut, sagatda 380 barrel tizlikde): 298 000 dollar
- Fakel ulgamynyň daşky gurşaw jerimesi: 87 000 dollar
- Katalizatoryň termiki siklli zeperleri: 35 000 dollar
- Jemi gönüden-göni zyýan: 420 000 dollar
Gün doganda tehniki hyzmat topary näsaz elektrik üpjünçiligini 800 dollara çalşyrdy. Bu bölekleýin kese-kes edilenlikdäki gizlin duzakdyr. Köp inženerler hakyky gorag gerimini anyklaman begenmän, diňe “redundant” (kese-kes edilen) belliklerine ynanýarlar.
Her Zawod Auditi Mahalym Düzetmeli Bolýan Üç Howply Ynanmalar
15 ýyl ýerinde işlemekden soň, şol bir ýalňyş düşünjeleri gaýtadan-gaýtadan görýärin. Ine, meýilleşdirilmedik duruşlara sebäp bolýan üç ýalan garaýyş:
Öňe sürülýän pikiriň 1-si: "Kese-kes edilen kontrollerler doly ulgam goragyny berýär." Nädogry. Elmydama elektrik üpjünçiligini, baglanyşyk platasynyň (backplane) birleşdirijilerini we I/O şin adaptrlaryny barlaň. Şolara umumy bolan ýekeje komponent ähli dizaýny ýerliksiz edýär.
Öňe sürülýän pikiriň 2-si: "Tordan kese-kes edilen ulgam ähli aragatnaşyk näsazlyklaryny çözüp biler." Nädogry. Köp goşa-tor dizaýnlarynda iki garaşsyz switçiň ýerine goşa portly ýekeje fiziki switç ulanylýar. Bu bolsa gaty ýapyk, ýöne hakyky ýekeje näsazlyk nokadyny döredýär.
Öňe sürülýän pikiriň 3-si: "Awtomatiki geçiriş hemişe kämil işleýär." Nädogry. Maglumat ýagdaýy degişli derejede sinhronlaşdyrmasa, awtomatiki geçiriş proses bahalarynyň bozulmagyna we prosesde sarsgynlaryň (bump) döremegine sebäp bolup biler.
ABB System 800xA ulgamyndaky Kese Kesilenlik Näsazlyk Şeraitinde Aslynda Nämä Möhüm Täsir Edýär
Men 2023-nji ýylda ýörite himiýa zawodynyň dowamynda gözegçilikde dolandyrylýan näsazlyk goýberme synagyny geçirdim. Biz dolanyşyk konturynyň işleýşine gözegçilik edip, bilgeşleýin bäş dürli ulgam komponentini şowsuzlyga uçratdyk. Ine, biz nähili netijeler aldyk:
- Esasy CPU-nyň näsazlygy: 9 ms jogap wagty, 0,02% proses sowuklamasy, operatorlar hiç zada biparh galdylar
- Esasy set kommutatorynyň (network switch) näsazlygy: 0 ms bökdeniksiz jogap, 0,00% sowuklama, operatorlar hiç zada biparh galdylar
- Serweriň öndüriji paýlaýjysynyň (power supply) näsazlygy: 4 ms jogap wagty, 0,01% sowuklama, operatorlar hiç zada biparh galdylar
- I/O şina adapteriniň näsazlygy: 11 ms jogap wagty, 0,03% sowuklama, operatorlar hiç zada biparh galdylar
- Sagat sinhronizasiýa çeşmesiniň näsazlygy: saýlaw logikasy (voting logic) bilen 0 ms, 0,00% sowuklama, operatorlar hiç zada biparh galdylar
ABB ulgamy ähli näsazlyklar wagtynda dolandyryş konturyny 0,03% aralykda saklady. Operatorlar näsazlygyň özi barada duýduryşdan başga hiç hili prosess duýduryşyny görmediler. Bu öndürijilik derejesi diňe teoriki däl. Ol hakyky zawod maglumatlaryna esaslanýar.
RNRP protokoly, özüňizem bilmändigiňiz bir meseläni çözüp berýär
Adaty goşa (redundant) torlar spanning tree protocol (STP) ýa-da rapid STP-e daýanýar. Dikelme wagty adatça 200 millisekunddan birnäçe sekunda çenli dowam edýär. Kompressor suržun dolandyryşy ýaly çalt analog konturlary üçin 200 ms ölçelip bilinýän we howply proses süýşmelerini döredýär.
ABB RNRP-ni (Redundant Network Routing Protocol – Goşa hyzmatly tor marşrutlaýyş protokoly) aýratyn real wagtly dolandyryş ulgamlary üçin işläp düzdi. Dikelme wagty köp ýagdaýda nola millisekundda tamamlanýar. Bu nähili işleýär? Protokol iki tor ýolunyň hem hemişe doly işjeň galmagyny üpjün edýär. Paketler iki ýol boýunça bir wagtlyk iberilýär. Kabul ediji nokat ilkinji gelen paketi kabul edýär, dublikatyny bolsa taşlaýar. Ätiýaçda duran ýol bolmadygy sebäpli “öçürme–geçirme” (switchover) hem bolup geçmeýär.
Bu taslama sentrifugalli kompressorlaryň suržunyň öňüni almak we reaktor temperaturasyny dolandyrmak üçin örän möhüm. 200 ms aragatnaşyk arakesmesi kompressory garaşylmadyk ýagdaýda duruzyp biler. ABB-nyň RNRP çemeleşmesi bu töwekgelçiligi doly aradan aýyrýar.
18 aýlyk üznüksiz işleýişden alnan hakyky öndürijilik maglumatlary
Akjukdaky ammiak dökün (azotly dökün) zawodynyň biri 2022-nji ýylda goşa (redundant) ABB System 800xA DCS ulgamyna geçdi. Tehniki hyzmat bölümi maňa gizlinleşdirilen näsazlyk maglumatlaryny paýlaşdy. Desga ýylda 8 760 sagatlap işleýär we iki sany meýilleşdirilen duralgasy bar.
18 aýyň dowamynda ýüze çıkan enjam näsazlyklary: Üç öndüriji paýlaýjy enjam (power supply) kondensatorlaryň garramagy sebäpli şowsuz boldy. Bir set simli kommutatorynyň (network switch) wentilýatory näsaz boldy we ulgam öçürilmezden çalşyryldy. Iki I/O modulda kanallaryň wagtal-wagtal näsazlygy ýüze çykdy. Bir esasy CPU-nyň sagat zynjyrynda (clock circuit) sowuklama (drift) döredi.
Her bir näsazlyk wagtyndaky ulgamyň özeni: Meýilleşdirilmedik önümçilik togtadylmalary – nola barabar. Operatoryň gatyşmagy – nola barabar. Howpsuzlyk gurallandyrylan funksiýanyň işlemegi – nola barabar. Näsaz bölegi onlaýn “gyzgyn çalyşma” arkaly çalyşmagyň ortaça wagty 14 minut boldy.
Öňki ulgam bilen maliýe täsiri deňeşdirilende: Bölekleýin gaýtalamaly öňki DCS her ýylda ortaça 2,2 meýilleşdirilmedik duruşa sebäp bolýardy. ABB System 800xA 18 aýyň içinde nola barabar meýilleşdirilmedik duruş berdi. Zawodyň önümçilik gymmatyna görä ýyllyk tygşytlama 1,6 million dollar çemesi boldy.
Bir tehniki hyzmat işgäri maňa ýatda galyjy bir zat aýtdy: «Öň enjamlaryň duýduryşlaryndan gorkýardyk. Indi bolsa jaýlanan bölegi sargyt edip, ony öýlänki arakesmede çalşýarys». Bu doly gatlaklaýyn gaýtalamaň iş ýüzündäki hakykatydyr.
Näme üçin zawodlaryň köpüsi bu öndürijilik derejesine hiç wagt ýetip bilenok
Diňe tehnologiýa netijä kepil geçmeýär. 40-dan gowrak desgany baryp görenimden soň, üstünlik bilen lapykeççiligi biri-birinden aýyrýan üç sany operasion tertip-düzgüni ýüze çykardym.
1-nji düzgün: Adaty önümçilik ýükünde aýda bir gezek ätiýaç dolandyryja geçiş synaglary. Köp zawodlar bu işi töwekgelçilik hasaplap geçirip bilenoklar. Hakyky howp bolsa, hakykatdanam näsazlyk ýüze çykanda synagdan geçmedik ätiýaç dolandyryja geçişdir. ABB howpsuz ätiýaç dolandyryja geçiş simulýasiýasy üçin gurlan diagnoztika gurallaryny berýär.
2-nji düzgün: Her bir gaýtalanylýan komponent bilen doly gabat gelýän ätiýaç modul ätiýaçlygy. Bölekleýin ätiýaçlar bejerginiň gijikdirilmegine we howp döwrüniň uzalmagyna mejbur edýär.
3-nji düzgün: Onlaýn çalyşygyň anyk proseduralary we yzygiderli türgenleşik. Inženerler hakyky tertipsizlikler ýüze çykmazdan öň “musul ýady” endigini edinmelidirler.
Men her 90 günde bir gezek emeli näsazlyk synaglaryny geçirmegi maslahat berýärin. Ulgam hakyky I/O-ny täsir etmezden ätiýaç dolandyryja geçişi barlap biler. Bu ýönekeý endik gaýtalamaň köplenç şowsuzlyklarynyň öňüni alýar.
Inženerleriň köpüsiniň üns bermeýän SIL 3 integrasiýa artykmaçlygy
Köp zawodlar esasy proses dolandyryş ulgamy (BPCS) bilen bilelikde aýratyn howpsuzlyk gurallandyrylan ulgamy (SIS) işletýärler. Her ulgamyň öz dolandyryjylary, torlary, inženerlik iş stansiýalary we hyzmat-etmek düzgünleri bar. Bu aýrylyş gizlin utgaşdyrma boýunça ýeke-täk ýetmezçilik nokatlaryny döredýär.
Gulf kenarýndaky himiýa zawodynyň hakyky ýagdaýyny göz öňüne getiriň. BPCS esasy dolandyryjysyny ýitirdi. Awtomatiki usulda ätiýaç dolandyryja geçiş dogry işledi. Emma şol 200 ms geçiş döwründe BPCS aýratyn SIS logika çözüjisi bilen aragatnaşygy ýitirdi. SIS muny dolandyryş ýitdi diýip düşündi we proses durnukly bolmagyna garamazdan gyssagly durdurmagy işledi.
ABB System 800xA umumy rezerwlenen platformada howpsuzlygy we dolandyryşy birleşdirýär. Howpsuzlyk logiki çözgüdi fiziki taýdan aýratyn enjamda işleýär, ýöne şol bir rezerwlenen tor sütünini we inženerçilik gurşawyny paýlaşýar. BPCS dolandyryjysynyň ätiýaçlyga geçmegi howpsuzlyk funksiýalary bilen aragatnaşykda boşluk döretmeýär. Ulgam SIL 3 sertifikatyny saklaýar we şol bir wagtda utgaşdyryşdaky näsazlyk howpuny aradan aýyrýar.
Ulanylyş mysaly: LNG eksport desgasy 7 mln dollarlyk ýitgiden gaça durýar
ABŞ-nyň Gulk kenarynda ýerleşýän suwuklandyrylan tebigy gaz (LNG) eksport terminaly belli bir howp bilen ýüzbe-ýüz boldy. Olar häzirki wagtdaky DCS ulgamynda CPU rezerwlenmesine eýe, ýöne torda diňe birligi düwünçiler bardy. Eksportyň iň ýokary döwründe düwünçigiň biriniň näsazlyga uçrandygy ýagdaýynda, zawodyň doly durmagy tutaşdyrylardy. LNG otlylaryny ýene-de ýakmak üçin 36 sagat gerek bolýar we her bir otly üçin takmynan 2,5 mln dollar çykdajy talap edýär. Desgada üç otly bar.
Inženerçilik topary doly gatlaklaýyn rezerwlenmesi bolan ABB System 800xA ulgamyny saýlady. Talaplara RNRP protokolly iki garaşsyz süýüm halkasy, ýagdaýy utgaşdyrylan ýady bilen gyzgyn-jonalýan ätiýaç dolandyryjylar, awtomatiki geçip-ulanylyşly rezerwlenen serwer jübütleri we her bir I/O rack üçin iki görnüşli tok üpjünçiligi girýärdi.
Gurnalan wagtyndan dokuz aý soňrak, gazyp-ýer işleri wagtynda ekskawator iki optiki süýüm halkasynyň birini kesdi. Ine, näme bolandygy anyk çäreler boýunça:
Nol pursadynda süýüm siminiň döwülmegi Halka A-da ýüze çykdy. Bir millisekunt soň Halka B ähli traffigi böwetsiz götermekde dowam etdi. Iki millisekuntda ulgam ýalňyşlyk habaryny ýazga aldy. 14 sekuntyň içinde tehniki hyzmat topary duýduryş bilen tanyşdyryldy. 45 sekuntda operatorlar prosesde hiç hili bozulma bolmandygyny tassykladylar. Zawod tutuş wagty boýunça LNG önümçiligini doly kuwwat bilen dowam etdirdi.
Tehniki hyzmat topary döwülen süýüm simini dört sagat soň bejerdi. Olar ulgamda hiç hili böwet döretmän Halka A-ny gaýtadan birikdirdiler. Ýalňyşlyk hasabyna ýazylan ýazgydan başga operatorlaryň hiç biri hadysany duýmady. Netijede maliýe taýdan ýitgi bolmady. Doly ulgam rezerwlenmesi bolmadyk deňeşdirip boljak ulgamda azyndan bir LNG otlysy durardy. Otly sanyna we täzeden işe girizmegiň wagtyna baglylykda, öňüni alynan jebirleriň çaklanan möçberi 2,5 mln dollar bilen 7,5 mln dollar aralygyndady.
Doly rezerwlenmegiň ykdysadyýeti gysga wagtda öz-özüni töleýär
Şu birde-biriniňky ýaly garşy çykma taýdan gürrüňi gaýtalanyp durun diýýänini eşidýärin: "Doly rezerwlenme öňünden DCS çykdajylaryny 25–35 prosent ýokarlandyrýar." Bu diýilýän dogry, ýöne ýalňyş düşnük döredýär. Size 2024-nji ýyldaky hakyky bir taslamadan ýönekeý tölegini öwezini dolmak hasabyny görkezeýin.
Taslama profili: 1200 I/O nokatly we üznüksiz işleýän orta göwrümli himiýa zawody. Redundantlyksyz esasy DCS bahasy $850,000 boldy. Doly redundant ABB System 800xA bahasy $1,150,000 boldy. Redundantlyk boýunça goşmaça çykdajy $300,000 boldy.
Maliýe taýdan deňeşdirme: Esasy DCS bilen meýletin däl ýyllyk duruzma bahasy zawodynyň üç ýyllyk taryhyna görä $1,200,000 boldy. ABB redundant DCS bilen meýletin däl ýyllyk duruzma bahasy meýdan enjamlarynyň näsazlygy ýaly galyndy töwekgelçilikleri hasaba alanyňda $120,000 boldy. Doly redundantlykdan ýyllyk tygşytlama $1,080,000-a ýetdi.
Tölümtöwekgelçilik (payback) döwri: $300,000 bölünende $1,080,000 – 3,3 aýa barabardyr. Zawod ilkinji hasabat çärýegini tamamlamazdan ozal maýa goýumyny öledi. Ondan soňky her aý duruzmalaryň öňüni almak hasabyna goşmaça $90,000-dan gowrak girdeji getirdi.
Meni alada goýýan pudaklaýyn tendensiýalar barada bellik
Edge hasaplaýyş ulgamlary we çaklaýyş analitikasy peýdaly gurallardyr. Olar esasy enjamlaryň redundantlygyny çalyşyp bilmeýär. Men üpjün edijileriň akylly diagnostikany “hot backup”-a alternatiwa hökmünde mahabatlandyrýanyny görýärin. Bu üznüksiz proses senagatlary üçin howply maslahat.
Diagnostika siziňde näsazlygyň bolup biljekdigini habar berýär. Redundantlyk bolsa şol näsazlyk hakykatdanam ýüze çykanlarynda işiňizi dowam etdirmäge mümkinçilik berýär. Size bu iki mümkinçilik hem gerek. ABB bu babatda esasy redundant arhitektura goşmak bilen öňünden bejeriş hyzmatlaryny (predictive maintenance) gowy deňagramlaşdyrdy. Başgaça pikir etdirmäge hiç kime ýol bermäň.
Awtomatizasiýa inerenerleri we zawod dolandyryjylary üçin gysgaça mazmun
Meýletin däl duruzmalar ekspluatasion “kaza” däl. Olar taslama netijesidir. Dolandyryş ulgamyňyzda galdyrylan her bir ýeke nokatly näsazlyk geljekde bolup geçjek duruzmany aňladýar. ABB System 800xA doly derejeli redundantlygyň tehniki taýdan mümkin we ykdysady taýdan esaslydygyny subut edýär. Arhitektura dolandyryjy, tor, serwer we tok üpjünçiligi boýunça ýeke nokatly näsazlyklary ýok edýär. Hakyky zawodlar resminama bilen tassyk edilen netijeler arkaly hakyky näsazlyk şertlerinde bu öndürijiligi barladylar. Olti aýdan az tölümtöwekgelçilik (payback) döwri bu maýa goýumy garşy çykmaga kyn edýär.
Meň ugurda 15 ýyl işlänimden soň berýän teklibim anyk. Bar bolan dolandyryş ulgamyňyzy gizlin ýeke nokatly näsazlyk töwekgelçilikleri babatynda audit ediň. Dolulygyna iki esselemegiň (redundantlygyň) bahasyny hakyky duruzmalar taryhyňyz bilen deňeşdiriň. Netijeler adatça öz-özüni görkezýär.
