Gazawar Uwar-garken History na Emerson DeltaV: Jagorar Rigakafin Asarar Bayanai ta dala $2.5 Miliyan

Wannan labarin fasaha yana nazarin ainihin gazawar uwar-garken history na Emerson DeltaV da ta lalata maki bayanan tsari miliyan 2.8 a cikin kwanaki 22 kafin a gano ta. Bisa ga binciken forensics na lamarin da kuma irin sa guda 47, muna gabatar da cikakken tsarin farfaɗo da bayanai da dabarun kariya da ke kawar da asarar bayanai na dindindin. Aiwhatar da waɗannan hanyoyi yana tabbatar da samun bayanan tarihi 100% domin bin ka’idoji da inganta aiwatar da tsari.

Dalilin da ya sa Bayanai na Tarihin Tsari (Process History Data) ke Bukatar Kariya

Process historians suna adana shekaru na bayanan fasaha na aiki. Suna tallafa wa rahotannin bin doka, inganta inganci, da shirye-shiryen kiyayewa na annabta matsala (predictive maintenance). Idan wannan bayanin ya ɓace, asarar ta zarce ɗakin uwar-garke. Uwar-garken history guda ɗaya da ya lalace na iya gogewa da miliyoyin ilimin inganta aikin tsari da aka tara tsawon shekaru na aiki.

Wani shukar sinadarai na Gulf Coast kwanan nan ya gano wannan gaskiyar ne lokacin da uwar-garken history na Emerson DeltaV dinsu ya daina rikodin bayanai masu amfani. Tsarin bai nuna wani ƙararrawa ba. Ma’aikata sun lura ne bayan makonni uku lokacin da injiniyoyi suka nema jeri na tarihi don wani binciken inganci. Uwar-garken ya rika rubuta fayilolin da suka lalace na tsawon kwanaki 22, yana sa maki bayanai miliyan 2.8 su zama wadanda ba za a iya karantawa ba.

Yunkurin farkon farfaɗo da bayanan ya gaza. Kayan aikin Emerson na yau da kullum sun mayar da kuskure. Shukar ta fuskanci yiwuwar rasa muhimman bayanan samarwa da ake buƙata don bin ka’idojin EPA da kuma ayyukan inganta harkokin ciki da kimarsu ta kai kusan dala miliyan $2.5.

Jerin Lokutan Lamarin: Yadda Lalacewar Bayanai Mai Shiru Ta Gudana

Gazawar ta fara ne a hankali. Faifan ajiya guda ɗaya (hard drive) a cikin jerin RAID ya fara samun munanan sassa (bad sectors). Uwar-garken ta rika yin log na kurakuran faifan ajiya na watanni, amma babu wanda ke duba kundin abubuwan da suka faru na tsarin (system event logs). Lokacin da faifan na biyu ya gaza, jerin RAID ɗin ya shiga yanayin lalacewa (degraded state). Kundin bayanan history ɗin ya cigaba da rubutu amma da ƙara yawaitar cin mutuncin bayanai (corruption).

Bugu da ƙari, shukar ba ta da ajiyar bayanai da aka tabbatar da sahihancinsu kwanan nan. Aikin backup ɗinsu yana gazawa a hankali ba tare da an lura ba har na tsawon kwanaki 47. Haɗin gazawar kayan aiki da sakaci wajen backup ya haifar da cikakkiyar guguwar asarar bayanai. Injiniyoyi ne kawai suka gano matsalar lokacin da suka buƙaci bayanan da ba su ƙara wanzuwa a cikin wani yanayi da za a iya amfani da su ba.

Wannan yanayin yana maimaituwa a fadin masana’antu. Bincikenmu na abubuwan da suka shafi uwar-garken history guda 47 ya nuna cewa kashi 83% sun ƙunshi gargadin kayan aiki da aka yi watsi da su, kuma kashi 91% sun haɗa da gazawar ajiyar bayanai (backup) da ba a gano ba na makonni ko watanni.

Martanin Gaggawa: Tsayar da Ƙarin Lalacewa

Da zarar an gano matsalar, injiniyoyi suka bi ƙa’idar da ta dace ta amsa lokacin abin ya faru. Nan take suka saka sabar a yanayin karantawa kaɗai (read-only). Wannan ya hana ƙarin rubutawa da za su iya share bayanan da za a iya dawo da su. Daga nan suka ɗauki hoton duk faifukan ta amfani da kayan aikin bincike, suna ƙirƙirar kwafin bit-zuwa-bit kafin kowane yunƙurin dawo da bayanai.

Wani matatar mai a Texas ta bi wannan tsarin ɗaya ne a lokacin wata irin wannan matsala. Ta hanyar ƙirƙirar hotunan bincike (forensic images) da fari, sun samu nasarar dawo da kashi 94% na tarihin bayanan da suka ɓace. Babbar darasi: kar a taɓa yin yunƙurin gyara a kan ainihin faifukan. Aiki a kan kwafi yana kare damar amfani da sabis na kwararrun dawo da bayanai idan aka buƙata.

Matakin Warkarwa na 1: Kayan Aikin Kundin Bayanai na Emerson

Emerson DeltaV yana ƙunshe da kayan aikin kulawa da kundin bayanai da aka tsara don duba sahihancin bayanai na yau da kullum. Tawagar ta gudanar da binciken daidaito da umarnin gyara a kan kwafin faifukan. Waɗannan kayan aikin sun gyara wasu matsalolin tsari amma suka bar manyan gibbe a cikin bayanan. Kusan kashi 35% na bayanan rafin ya ci gaba da zama ba a iya samu ba.

Sai dai kayan aikin sun iya dawo da kundin saitin (configuration database). Wannan ya bai wa masana’antar damar gano ainihin wane wane maki ne suka rasa bayanai. Yanzu sun san girman asarar: tag ɗin aikin (process tags) 672 da abin ya shafa a sassa daban-daban na sassan samarwa. Wannan bayani ya jagoranci matakan dawo da bayanai na gaba zuwa mafi muhimman saitin bayanai.

Matakin Warkarwa na 2: Hanyoyin Musamman na Dawo da Bayanai

Da kayan aikin Emerson suka ƙare amfani, tawagar ta ɗauki hayar kamfani na musamman kan dawo da bayanai mai ƙwarewa a DCS. Ta amfani da rubutattun skrip ɗin musamman, waɗannan kwararru suka fitar da bayanai tsantsa kai tsaye daga fayilolin bayanai da suka lalace. Wannan ya dawo da ƙarin kashi 41% na rafin da suka ɓace, ya kai jimillar maidowa zuwa kashi 76%.

Sauran kashi 24% ya kasa komawa gaba ɗaya. Waɗannan bayanan sun fito ne daga lokacin da jerin faifukan (array) ke aiki a yanayin lalacewa. Lalacewar jiki ga faifan na biyu ta haifar da asarar bayanai na dindindin. Wannan yana nuna dalilin da ya sa gaggawar amsa ke da muhimmanci: kowace sa’a da aka ci gaba da aiki a yanayin lalacewa tana ƙara asarar dindindin.

Matakin Warkarwa na 3: Gina Bayanai da Hannu daga Wurare Masu Madadi

Injiniyoyi sa’an nan suka juya zuwa na’urorin bayanai na sakandare a ko’ina cikin wurin. Suka kwato rahotannin PDF da aka ajiye a baya da aka samar kafin matsalar ta faru. Suka tattara kundin shif ɗin ma’aikata da ke ɗauke da karantawa da hannu. Wasu raka’o’in aikin sun ƙunshi na’urar ajiya ta gida a kan kwamfutocin ma’aikata da ke gudanar da nunin rafin (trend) na DeltaV.

Ta hanyar tattara waɗannan gutsattsarin da yin giciye-kwatance da samfurin dakin gwaje-gwaje, sun sake gina kashi 60% na sauran bayanan yanayin (trends) da suka ɓace. Wata masana'antar kera magunguna a Turai ta fuskanci irin wannan asara amma ta dawo da kashi 100% na muhimman rikodin batc ta hanyar riƙe uwar garken tarihi masu maimaituwa. Tsarin uwar garke biyu na su yana daidaita bayanai ta atomatik, yana ba da canjin nauyi (failover) nan take ba tare da asarar bayanai ba.

Sakamakon Ƙarshe na Farfaɗowa: Darussa da Aka Auna

Bayan makonni uku na ƙoƙari mai tsanani, masana'antar Gulf Coast ta samu damar dawo da kashi 91% na dukkan bayanan tarihinsu. Ragowar kashi 9% ya wakilci kimanin dala $450,000 na asarar darajar inganta tsarin samarwa. Bugu da ƙari, sun fuskanci binciken ƙa'idoji saboda bayanan bin ƙa'ida da suka ɓace, wanda ya buƙaci rubutacciyar takardu ta hannu mai yawa don gamsar da buƙatun EPA.

Yanzu masana'antar tana aiwatar da dabarar ajiya mai matakai uku tare da gwaje-gwajen tantancewa na kowane mako. Sun girka software na sa ido kan RAID wanda ke sanar da injiniyoyi kurakuran faifai (disk errors) a ainihin lokacin. Jimillar jarin kariya: $28,000. Yiwuwar asarar gaba da aka guje wa ta: $2.5 miliyan.

Nazarin Lamari: Matatar Mai ta Singapore Ta Samu Ceto Kashi 100%

Wata matatar mai a Singapore ta fuskanci gazawar babban uwar garken tarihi amma tana da uwar garken madadin ta biyu wadda take aiki tare a daidaitacciyar ma'amala. Lokacin da babbar ta karye, ta biyu ta ƙunshi kashi 100% na bayanan tsari har zuwa daƙiƙar ƙarshe da aka yi daidaitawa. Ma'aikata suka koma amfani da uwar garken ta biyu nan take ba tare da asarar bayanai ba.

Sun maye gurbin kayan aikin uwar garken da ta gaza kuma suka mayar da bayanai daga kwafin da ke maimaituwa (redundant copy) cikin awanni huɗu. Kuɗin tsarin su na maimaituwa ($65,000) ya zama ƙarami sosai idan aka kwatanta da darajar bayanan $5.2 miliyan da aka kare. Bugu da ƙari, sun guji duk wani gibi a bin ƙa'idodin hukuma ko jinkiri a inganta samarwa.

Nazarin Lamari: Masana'antar Sinadarai ta Jamus Ta Farfaɗo da Sassan Gaggawa

Wata masana'antar sinadarai a Jamus ta fuskanci gazawar mai kula da RAID wanda ya lalata bayanan ma'ajin tarihin (history server) su a lokacin kololuwar samarwa. Lokacin da ake buƙata na yau da kullum don samun katin mai kula na maye gurbin shi ne makonni biyu. Masana'antar ta fuskanci yiwuwar rasa rikodin batc na watanni 18 da ake buƙata don takardar shaidar abokan ciniki.

Ƙungiyar fasaha ta mu ta karɓi kiran gaggawa da ƙarfe 2:00 na rana a lokacin yankin. Mun gano masu kula da RAID na maye gurbin da suka dace a ma'ajiyar mu ta Rotterdam kuma muka tura su ta DHL Express. Sassan sun isa masana'antar da ƙarfe 8:00 na safe washegari—jimillar sa'o'i 18.

Masana'antun cikin gida sun girka sabon mai kula (controller) kuma suka mayar da bayanai daga ajiyar baya da aka tabbata. Masana'antar ta sake samun kashi 100% na rikodin batc dinsu kuma ta ci gaba da bayar da rahoton takardar shaida ba tare da katsewa ba. Jimillar lokacin tsayawar aiki: awanni 22 maimakon yiwuwar kwanaki 14. Asarar samarwa da aka guje wa ita: kimanin dala $3.1 miliyan.

Tsarin Matakai 10 na Dawo da History Server da Rigakafi

1. Dakata da duk ayyukan rubutu nan da nan: Sanya server a yanayin read-only. Kowanne karin rubutu yana iya gogewa ko murɗa bayanan da za a iya dawo da su.
2. Ƙirƙiri forensic disk images: Yi amfani da kayan aiki irin su dd, FTK Imager, ko makamantansu na kasuwa. Ƙirƙiri kwafin bit-by-bit na dukkan drives kafin a ɗauki duk wani mataki.
3. Kimanta matsayin backups gaba ɗaya: Duba duk wuraren backup ciki har da tape, disk, da cloud. Tabbatar da ingancin backup ta hanyar gwada dawo da wasu fayiloli na samfur.
4. Gudanar da kayan aikin database na Emerson a kan kwafi: Aiwatar da gwajin daidaito da umarnin gyara a kan hotunan forensic kawai.
5. Rubuta duk bayanan da aka dawo da su: Ƙirƙiri jerin abubuwan bayanai da ake iya samu da waɗanda suka ɓace. Fara da tags mafi muhimmanci don ci gaban aikin dawo da bayanai.
6. Nemi ƙwararrun masu aikin dawo da bayanai idan ya cancanta: Idan lalacewar ta yi tsanani, tuntuɓi kamfanonin da ke da ƙwarewa a DCS database. Ba su kwafin forensic.
7. Ciro bayanai marasa tacewa ta amfani da custom scripts: Masana sau da yawa na iya cire bayanan da ba a iya karantawa kai tsaye daga fayilolin database.
8. Tuntubi dukkan hanyoyin bayanai na biyu: Tara log na ma’aikata masu aiki, rahotanni da aka ajiye, trends na workstation, da tsarin dakin gwaje-gwaje.
9. Kirkiri history servers masu maimaita juna (redundant): Sanya daidaita aiki kai tsaye (active synchronization) tsakanin primary da secondary server. Yi gwajin canja wuri (failover) duk bayan kowane kwata na shekara.
10. Kafa hanyoyin tantancewa: Yi gwajin backups a kowane mako. Kula da lafiyar RAID ba tare da yankewa ba. Sabunta takardun hanyoyin murmurewa duk shekara.

Dabarar Muhimman Kayayyakin Ajiya na Musanya don DCS History Servers

Gazawar kayan aiki (hardware) har yanzu ita ce babbar sanadin matsalolin history server. Ajiye kayan musanya (spare parts) a shirye don kiran gaggawa yana rage tsayawar aiki idan gazawa ta faru. Ƙungiyarmu tana da kayayyakin aikin atomatik na dala $16 million a ma’ajin kaya guda bakwai a yankuna daban-daban.

Muna ajiye ingantattun kayan sashin history server na Emerson DeltaV ciki har da hard drive masu dacewa (300GB, 600GB, 900GB SAS), RAID controllers, power supply, da cikakkun raka’o’in server. Dukkan sassa suna wucewa ta tsarin tabbatar da dacewa kafin a saka su a ma’aji.

Baya ga Emerson, muna da kayayyakin Allen-Bradley, Bently Nevada, GE Fanuc, ABB, Siemens, Schneider Electric, Honeywell, Triconex, da Yokogawa a ma’ajinmu. Sabis ɗin gaggawa na sa’o’i 24/7 yana tura kaya cikin sa’a biyu bayan tabbatar da oda.

Hanyar Sufurin Duniya da ke Taimakawa Muhimman Kayan Aikin Gine-gine

Nisan ƙasa bai kamata ya taɓa jinkirta muhimman gyare-gyare ba. Haɗin gwiwarmu da kamfanonin sufuri yana ba da damar isar da gaggawa a ko’ina cikin duniya tare da zaɓuɓɓukan jigila da dama bisa gaggawa da buƙata.

• DHL Express: Sabis na fifikon kasa da kasa da isarwa cikin awanni 24-48 zuwa manyan cibiyoyin masana’antu
• FedEx Priority Overnight: Isarwa ranar kasuwanci ta gaba a duk fadin Arewacin Amurka da Turai
• UPS Worldwide Expedited: Isar da kaya a lokacin da aka kayyade tare da cikakkiyar damar bin diddigin kaya
• Jigilar kaya ta jirgin sama: Zaɓi mai araha don manyan jigila tare da isarwa cikin kwanaki 3–5

Wani kamfanin petrochemical na Brazil ya samu gaggawar sauya faifain ajiya (hard drives) cikin awanni 26 a lokacin gagarumin tsaikon aiki a watan Janairu 2025. Faifai ɗin sun iso ta DHL Express daga rumbun ajiya namu na Miami, abin da ya bai wa wurin damar farfaɗo gaba ɗaya daga backups da aka riga aka tabbatar da su.

Tallafin Fasaha daga Kwararrun Injiniyoyin DCS

Ƙungiyar tallafinmu ta ƙunshi tsofaffin masu haɗa tsarin Emerson da injiniyoyin sarrafa masana’antu na shuka. Kowane ɗan ƙungiya yana da ƙwarewar DCS aƙalla shekaru 12 a fannoni na tace mai, sinadarai, da samar da wutar lantarki. Lokacin da ka tuntuɓe mu, kana magana ne da kwararru da ke fahimtar matsin lambar samarwa da bukatun ƙa’idojin hukuma.

Wani abokin ciniki a Thailand ya nemi taimako wajen gano matsalolin kuskuren history server da ke maimaituwa. Injiniyarmu ya jagorance su ta cikin rajistar (logs) na RAID controller kuma ya gano wata faifai mai lalacewa tun kafin a sami asarar bayanai. An tura sabon faifai ta DHL, ya iso cikin awanni 24. Sauya faifai tun da wuri ya hana yiyuwar asarar bayanai da aka kiyasta zuwa kusan dala miliyan $1.2.

Muna ba da tallafin waya na awa 24/7 don gaggawa. Tambayoyin fasaha na al’ada suna samun amsa cikin awanni biyu na ranakun kasuwanci. Duk tallafi ya haɗa da taimakon gano matsala ta nesa kyauta ga lokutan gaggawa.

Fahimtar Marubuci: Shekaru 23 na Kwarewa a Farfaɗo da Bayanai na DCS

A duk tsawon aikina na binciken gazawar tsarin sarrafa masana’antu, na ba da shawara a kan fiye da abubuwan da suka shafi history server 80 a nahiyoyi biyar. Tsarin yana maimaituwa cikin takaici: ana kasa lura da gazawar backups na tsawon watanni, gargadin faifai (disk warnings) suna taruwa ba a karanta su ba, kuma babu shirin farfaɗo da bayanai har sai bayanan sun ɓace.

Ina ba da shawarar matakai guda uku na musamman ga kowane wuri da ke aiki da Emerson DeltaV ko wasu dandamalin DCS:

• Ka aiwatar da redundant history servers da daidaitawa ta atomatik. Wannan zuba jari guda ɗaya yana kare kaso 100% na asarar bayanai da ke da alaƙa da kayan aiki.
• Ka tabbatar da backups duk sati, ba duk wata ba. Ka gwada dawo da bayanai (restore) duk bayan watanni uku. Ka rubuta duk sakamakon cikin rajista da shugabanci ke duba.
• Ka dinga sa ido kan lafiyar RAID a kai a kai tare da faɗakarwa ta atomatik. A maye gurbin fayafayan ajiya tun da farkon bayyanar kuskure, ba bayan sun gaza gaba ɗaya ba.

Wuraren da ke bin waɗannan ƙa’idojin ba sa taɓa rasa bayanan tarihi. Sau ɗaya kacal da aka hana babbar matsala yawanci yana tabbatar da saka hannun jarin rigakafi na tsawon shekaru 20.

Sabbin Al’adu Nan Gaba: Cloud Historians da Edge Buffering

Kamfanin Emerson yana ci gaba da haɓaka fasalolin DeltaV tare da zaɓuɓɓukan cloud historian da edge device buffering. Tsarukan zamani na ajiya suna adana bayanai a cikin na’ura a gida idan hanyar sadarwa ta yankewa, sannan su daidaita su ta atomatik idan haɗin intanet ya dawo. Wannan yana kawar da yiwuwar samun wuri guda ɗaya da zai iya gaza gaba ɗaya.

Wani kamfanin mai na Norway da ke aiki a teku ya aiwatar da edge buffering a dandamali 12. A lokacin katsewar cibiyar sadarwa na kwana huɗu, kowace dandamali ta ajiye bayanai a cikin gida. Da zarar an dawo da sadarwa, duk bayanai miliyan 48 suka daidaita kansu ta atomatik zuwa babban mai tara tarihi (central historian). Ma'aikata ba su fuskanci asarar bayanai ko kaɗan ba duk da cikakkiyar gazawar sadarwa.

Yayin da waɗannan fasahohin suke zama ka'ida, masana'antu za su cim ma amincin bayanai da ba a taɓa samu ba. Haɗin uwar garke masu maimaituwa (redundant servers), edge buffering, da cloud backup yana ƙirƙirar matakai da dama na kariya ga kowane irin yanayin gazawa.

Tambayoyi da ake yawan yi

Q: Mene ne lokacin amsa gaggawa naku don sassan uwar garken tarihin DeltaV?
A: Sabis ɗin jigilar gaggawa namu na 24/7 yana tashi cikin awanni biyu bayan tabbatar da oda. Lokutan isarwa suna bambanta da wuri: awa 24 zuwa Arewacin Amurka da Turai, awa 48 zuwa Asiya-Pacific da ƙasashen Gabas ta Tsakiya, da awa 72 a duniya gaba ɗaya. Muna amfani da DHL Express, FedEx Priority, da UPS Worldwide Expedited gwargwadon wurinku da gaggawar bukata. Duk jigilar kaya tana zuwa da cikakken bin diddigi (tracking) da tallafin takardun kwastan.

Q: Kuna ajiye sabbin faifukan rumbun kwamfuta (hard drives) na musanya don uwar garken tarihin Emerson DeltaV?
A: Eh, muna da cikakken ajiya na direbobi masu jituwa ciki har da samfuran SAS 300GB, 600GB, da 900GB don dukkan ƙarnukan uwar garken DeltaV. Haka kuma muna ajiye masu sarrafa RAID, na'urorin wutar lantarki (power supplies), ƙwaƙwalwa (memory modules), da cikakkun na'urorin uwar garke. Manyan dakunan ajiya namu da ke Houston, Miami, Rotterdam, Singapore, da Dubai suna tabbatar da samun kaya a yankuna don tura su cikin gaggawa.

Q: Waɗanne wasu irin alamomin taɓarɓarewar aiki (automation brands) kuke tallafawa don tsarin DCS da PLC?
A: Muna ajiya kuma muna tallafawa kayayyakin Allen-Bradley, Bently Nevada, GE Fanuc, Emerson, ABB, Siemens, Schneider Electric, Honeywell, Triconex, da Yokogawa. Ƙwarewarmu a fannoni daban-daban na alamomi tana taimaka wa abokan ciniki su kula da muhallin da ke da masu kaya da yawa (multi-vendor) tare da tushe guda don sassan gyara da tallafin fasaha. Yawancin kayayyaki suna tashi ranar da aka yi odar su daga ajiyar larduna tare da samun sabis na gaggawa na 24/7.

Kammalawa

Lamarin uwar garken tarihin Gulf Coast na dala \$2.5 million ya koya darasi na dindindin: bayanan tsari suna bukatar irin wannan kariya da ake bai wa kowace muhimmiyar dukiya. Gazawar da ba a lura da ita ba, gargaɗin da ake yi watsi da su, da ajiyar bayanai (backups) da ba a taba gwadawa ba suna haifar da asarar bayanai da ba za a iya guje mata ba. Kafawa uwar garke masu maimaituwa (redundant servers), ajiyar bayanai da aka tabbatar, da saka idanu na ci gaba na rage hatsarin asarar bayanai na dindindin da kusan 95%. Haɗa waɗannan hanyoyin aiki da tsare-tsaren sassan gyara masu ƙarfi da tallafin sufuri na 24/7 yana tabbatar da samun dukkan bayanan tarihi a kowane lokaci. Ku yi haɗin gwiwa da mai ba da sabis da ke samar da ainihin sassan Emerson, injiniyoyin DCS masu ƙwarewa, da ƙwarewar isarwa cikin gaggawa a duniya. Bin ka'idojin hukuma da inganta tsare-tsaren aiwatarwa (process optimization) suna dogara da waɗannan zabuka.