EMI ir (arba) PFI trikdžiai duomenų centruose per kelias minutes gali sukelti katastrofiškus sistemos gedimus, duomenų sugadinimą ir milijonines prastovos išlaidas.
Tinkamai parinkus ir sumontavus EMC kabelių riebokšlius, mūsų kliento duomenų centre buvo pašalintos 95% elektromagnetinių trukdžių problemos, atkurtas sistemos stabilumas ir užkirstas kelias būsimiems atitikties pažeidimams.
Prieš tris mėnesius Hasanas man paskambino apimtas panikos - jo naujajame duomenų centre atsitiktinai sutriko serverių veikimas ir tinklo nestabilumas, o tai kėlė grėsmę visam jo verslui.
Turinys
- Kas sukėlė EMI/RFI problemas šiame duomenų centre?
- Kaip nustatėme elektromagnetinių trukdžių šaltinius?
- Kokius EMC sprendimus įdiegėme, kad užtikrintume didžiausią efektyvumą?
- Kokių rezultatų pasiekėme po EMC atnaujinimo?
Kas sukėlė EMI/RFI problemas šiame duomenų centre?
Norint įgyvendinti veiksmingus ilgalaikius sprendimus, labai svarbu suprasti pagrindinę elektromagnetinių trukdžių priežastį.
Pagrindiniai EMI šaltiniai buvo neekranuoti kabelių įvadai, netinkamas įžeminimo tęstinumas ir aukšto dažnio komutavimo įranga, sukurianti elektromagnetinius laukus, kurie trukdė jautrioms serverio operacijoms.
Kritinė kliento situacija
Hasanas valdo 3 pakopos duomenų centras1 Dubajuje, kurioje veikia finansinių paslaugų ir e. prekybos platformos. Jo patalpose yra:
- Daugiau nei 200 blade serverių
- Didelio dažnio prekybos sistemos
- Rezerviniai maitinimo šaltiniai (UPS sistemos)
- Tankūs šviesolaidiniai tinklai
Pradinis problemos pasireiškimas
EMI problemos iš pradžių pasireiškė kaip iš pažiūros atsitiktiniai gedimai:
Sistemos lygmens simptomai
| Problemos tipas | Dažnis | Poveikio lygis | Sąnaudų poveikis |
|---|---|---|---|
| Serverio gedimai | 3-5 kartus per dieną | Kritinis | $50K/val. prastovos |
| Tinklo paketų praradimas | Nuolatinis | Aukštas | Duomenų vientisumo problemos |
| UPS klaidingi pavojaus signalai | 10 ir daugiau kartų per savaitę | Vidutinis | Pridėtinės techninės priežiūros išlaidos |
| Šviesolaidinio ryšio klaidos | Pertraukiamas | Aukštas | Paslaugų teikimo sutrikimas |
Aplinkos veiksniai
- Įrenginio amžius: 2 metų senumo pastatas su modernia įranga
- Galios tankis: 15 kW vienai spintai (didelio tankio konfigūracija)
- Aušinimo sistemos: Kintamo dažnio pavaros (VFD), užtikrinančios efektyvumą
- Išoriniai šaltiniai: Šalia esanti gamybinė įmonė, kurioje atliekamos suvirinimo operacijos
EMI šaltinių analizė
Atlikę sistemingą tyrimą nustatėme tris pagrindinius trukdžių šaltinius:
Vidiniai EMI šaltiniai
Komutaciniai maitinimo šaltiniai: Kiekvienoje serverių lentynoje buvo daugiau kaip 20 aukšto dažnio komutacinių šaltinių, veikiančių 100-500 kHz dažniu, kurie skleidė iki 30 MHz harmonines emisijas.
Kintamo dažnio pavaros2: Aušinimo sistemos VFD skleidė didelę laidžią ir spinduliuojamąją spinduliuotę 150 kHz-30 MHz diapazone.
Didelės spartos skaitmeninės grandinės: Serverių procesoriai ir atminties sistemos kelia plačiajuostį triukšmą nuo nuolatinės srovės iki kelių GHz.
Išoriniai EMI šaltiniai
Pramoninė įranga: Kaimyniniame objekte atliekant lankinio suvirinimo darbus buvo generuojami elektromagnetiniai impulsai 10 kHz-100 MHz spektre.
Transliavimo siųstuvai: Vietinės FM radijo stotys (88-108 MHz) jautriose dažnių juostose kūrė intermoduliacijos produktus.
Infrastruktūros pažeidžiamumai
Svarbiausias atradimas buvo tas, kad visame objekte buvo naudojamos standartinės plastikinės kabelių movos, kurios visiškai neekranavo elektromagnetinių spindulių. Kiekviena kabelio įėjimo vieta tapo elektromagnetinės spinduliuotės patekimo ir išėjimo keliu.
"Bepto" ne kartą pastebėjo šį modelį - gamyklos investuoja milijonus į EMC reikalavimus atitinkančią įrangą, tačiau nepastebi, kaip svarbu tinkamai užsandarinti kabelių įvadus 😉.
Kaip nustatėme elektromagnetinių trukdžių šaltinius?
Norint tiksliai diagnozuoti elektromagnetines trikdžių rūšis, reikia sistemingai atlikti bandymus ir naudoti specializuotą įrangą, kad būtų galima nustatyti visus trikdžių kelius.
Atlikome išsamius EMC bandymus naudodami spektro analizatoriai3, artimo lauko zondai ir srovės gnybtai, siekiant sudaryti elektromagnetinio lauko pasiskirstymo žemėlapį ir nustatyti konkrečius dažnių diapazonus, sukeliančius sistemos nestabilumą.
Diagnostikos įranga ir metodika
1 etapas: plačiajuosčio ryšio EMI tyrimas
Naudojama įranga:
- "Rohde & Schwarz FSW" spektro analizatorius (9 kHz-67 GHz)
- Artimojo lauko zondų rinkinys (magnetinis ir elektrinis laukas)
- Srovės gnybtų adapteriai laidžiosioms emisijoms
Matavimo vietos:
- Serverių stovo kabelių įvadai
- Maitinimo paskirstymo skydai
- Aušinimo sistemos valdymo spintos
- Šviesolaidiniai komutaciniai skydai
2 etapas: koreliacijos analizė
Norėdami nustatyti priežasties ir pasekmės ryšius, sinchronizavome EMI matavimus su sistemos žurnalais:
Kritinis atradimas: Serverio gedimai buvo susiję su 100% ir EMI šuoliais, viršijančiais -40 dBm 2,4 GHz dažnių juostoje, t. y. būtent ten, kur veikė serverių vidiniai laikrodžiai.
EMI matavimo rezultatai
Prieš valymą (baziniai matavimai)
| Dažnių diapazonas | Išmatuotas lygis | riba (EN 550324) | Marža | Statusas |
|---|---|---|---|---|
| 150 kHz-30 MHz | 65-78 dBμV | 60 dBμV | nuo -5 iki -18 dB | FAIL |
| 30-300 MHz | 58-71 dBμV | 50 dBμV | nuo -8 iki -21 dB | FAIL |
| 300MHz-1GHz | 45-62 dBμV | 40 dBμV | nuo -5 iki -22 dB | FAIL |
| 1-3 GHz | 38-55 dBμV | 35 dBμV | nuo -3 iki -20 dB | FAIL |
Kabelių įvesties taškų analizė
Naudodami artimojo lauko zondus, išmatavome elektromagnetinio lauko nuotėkį įvairiose kabelio įėjimo vietose:
Plastikinės kabelių movos (bazinės):
- Ekranavimo efektyvumas: 0-5 dB (praktiškai nėra ekranavimo)
- Lauko stipris 1 m atstumu: 120-140 dBμV/m
- Rezonansiniai dažniai: Keletas viršūnių dėl kabelio ilgio rezonansų
Ekranuotų ir neekranuotų kabelių palyginimas:
- Neekranuotas CAT6 laidas per plastikinį gyslą:
- Spinduliuojamoji spinduliuotė: 75 dBμV esant 100 MHz dažniui
- Bendrojo režimo srovė: 2,5 A rezonanso metu
- Ekranuotas CAT6 laidas per plastikinį įvadą:
- Spinduliuojamoji spinduliuotė: 68 dBμV esant 100 MHz dažniui
- Skydo veiksmingumui kenkia prastas nutraukimas
Pagrindinės priežasties nustatymas
Diagnostikos procesas atskleidė tobulą EMI pažeidžiamumų audrą:
Pagrindinė problema: Kabelio ekrano nutrūkimas
Kiekvienas į įrenginį įeinantis ekranuotas kabelis prarado elektromagnetinę apsaugą korpuso įėjimo vietoje dėl plastikinių kabelių įvorių, kurios negalėjo užtikrinti 360° ekrano užbaigimo.
Antrinė problema: Įžeminimo kilpos susidarymas
Netinkamai sujungus kabelių ekranus ir korpuso važiuoklę atsirado daug įžeminimo atskaitos taškų, todėl susidarė srovės kilpos, kurios veikė kaip veiksmingos antenos.
Tretinė problema: Rezonansinių kabelių ilgiai
Daugelio kabelių trasos probleminiais dažniais buvo tikslios ketvirčio bangos ilgio kartotinės dalys, todėl susidarė stovinčių bangų modeliai, kurie sustiprino EMI ryšį.
Mūsų pragmatiškas pirkimų vadovas Davidas iš pradžių abejojo, ar leisti pinigus "brangiems metaliniams riebokšliams", kol jam neparodėme koreliacijos duomenų. Įrodymai buvo nenuginčijami - kiekvienas sistemos gedimas sutapo su EMI šuoliais kabelių įvesties vietose.
Kokius EMC sprendimus įdiegėme, kad užtikrintume didžiausią efektyvumą?
Norint veiksmingai ištaisyti elektromagnetinio suderinamumo problemas, reikia sisteminio požiūrio, apimančio tinkamą komponentų pasirinkimą, montavimo būdus ir patikros bandymus.
Įgyvendinome visapusišką EMC kabelių riebokšlių atnaujinimą, naudodami nikeliuotus žalvarinius riebokšlius su 360° ekrano galais, pasiekėme >80 dB ekranavimo efektyvumą ir pašalinome įžeminimo kilpų susidarymą.
Sprendimų architektūra
Komponentų atrankos strategija
Pirminis sprendimas: EMC kabelių įvorės (žalvaris, nikeliuotas)
- Medžiaga: CW617N žalvaris su 5 μm nikelio danga
- Ekranavimo efektyvumas: >80dB (10MHz-1GHz)
- Siūlų tipai: Metrinės M12-M63, NPT 1/2″-2″
- IP klasė: IP68 aplinkos apsaugai
Pagrindinės techninės specifikacijos:
| Parametras | Specifikacija | Bandymo standartas |
|---|---|---|
| Ekranavimo efektyvumas | >80 dB (10MHz-1GHz) | IEC 62153-4-3 |
| Perdavimo varža | <1mΩ/m | IEC 62153-4-1 |
| Nuolatinės srovės varža | <2,5 mΩ | IEC 60512-2-1 |
| Sujungimo varža | <10mΩ | IEC 62153-4-4 |
Įrengimo metodika
1 etapas: infrastruktūros parengimas
- Korpuso paruošimas: Pašalinkite dažus ir (arba) dangą 25 mm spinduliu aplink kiekvieną riebokšlio vietą.
- Paviršiaus apdorojimas: Pasiekti Ra <0,8 μm paviršiaus apdailą, kad būtų užtikrintas optimalus elektrinis kontaktas
- Įžeminimo patikra: Užtikrinkite <0,1 Ω varžą tarp riebokšlio ir važiuoklės įžeminimo
2 etapas: EMC riebokšlio montavimas
Įrengimo seka, kad būtų užtikrintas optimalus EMC veikimas:
- Sriegius ir sandarinimo paviršius patepkite laidžiuoju tepalu.
- Rankomis priveržkite riebokšlio korpusą, tinkamai nustatydami O-žiedo padėtį
- Sukimo momentas pagal specifikaciją (15-25 Nm M20 riebokšliams)
- Patikrinkite tęstinumą: <2,5 mΩ varžos tarp riebokšlio ir važiuoklės
3 etapas: kabelio ekrano užbaigimas
Svarbiausias žingsnis, kurį dauguma diegimų atlieka neteisingai:
Tinkamas skydo užbaigimo būdas:
- Nuplėškite kabelio apvalkalą, kad atsidengtų 15 mm ekrano pynimo
- Sulenkite ekrano pynę atgal ant kabelio apvalkalo
- EMC suspaudimo žiedo uždėjimas ant sulankstyto skydo
- Užveržkite suspaudimo veržlę, kad sukurtumėte 360° elektrinį kontaktą
- Patikrinkite skydo vientisumą multimetru
Įgyvendinimo rezultatai pagal sritis
Serverių stovų atnaujinimas (1 prioritetas)
Apimtis: 25 serverių lentynos, daugiau kaip 200 kabelių įvadų
Naudojamos liaukos: M20 ir M25 EMC žalvariniai riebokšliai
Įrengimo laikas: 3 dienos su 2 žmonių komanda
EMI matavimai prieš ir po jų:
- Spinduliavimas sumažintas nuo 75 dBμV iki 32 dBμV
- Ekranavimo efektyvumas padidintas nuo 5 dB iki 85 dB
- Bendrojo režimo srovė, sumažinta 95%
Elektros paskirstymo skydai (2 prioritetas)
Iššūkis: Didelės srovės kabeliai su storais ekranais
Sprendimas: M32-M40 EMC riebokšliai su patobulintomis suspaudimo sistemomis
Rezultatas: Pašalintas VFD sukeliamas EMI ryšys su serverių sistemomis
Šviesolaidinių optinių kabelių užbaigimai (3 prioritetas)
Netgi optinio pluošto kabeliams reikėjo skirti dėmesio elektromagnetiniam suderinamumui dėl metalinių stiprio elementų ir laidžių apvalkalų:
Sprendimas: Specializuoti EMC riebokšliai hibridiniams pluošto ir vario kabeliams
Nauda: Pašalintos įžeminimo kilpos srovės per pluošto kabelio šarvą
Kokybės užtikrinimo protokolas
"Bepto" niekada nelaiko EMC diegimo užbaigtu be išsamaus patikrinimo:
EMC veikimo patikrinimas
1 bandymas: ekranavimo efektyvumo matavimas
- Metodas: Dviejų TEM kamerų metodas pagal IEC 62153-4-3
- Dažnių diapazonas: 10MHz-1GHz
- Priėmimo kriterijai: >80dB minimalus
2 bandymas: perdavimo varžos bandymas
- Metodas: Linijinė injekcija pagal IEC 62153-4-1
- Dažnių diapazonas: 1-100 MHz
- Priėmimo kriterijai: <1mΩ/m
3 bandymas: nuolatinės srovės varžos patikrinimas
- Matavimas: 4 laidų Kelvino metodas5
- Priėmimo kriterijai: <2,5mΩ tarpinė-šasi
- Dokumentai: Pateikiami individualūs bandymų sertifikatai
Hasanas buvo sužavėtas, kai pateikėme išsamias kiekvieno riebokšlio įrengimo bandymų ataskaitas - tai kokybės užtikrinimo lygis, kuris skiria profesionalius EMC sprendimus nuo paprasto kabelių valdymo.
Kokių rezultatų pasiekėme po EMC atnaujinimo?
Kiekybiškai įvertinami rezultatai rodo, kad tinkamas EMC kabelių riebokšlių diegimas kritinėse duomenų centrų aplinkose yra veiksmingas.
Atnaujinus EMC, buvo pašalinta 95% sistemos gedimų, pasiekta visiška EMC atitiktis ir klientas sutaupė daugiau nei $2M metinių prastovų išlaidų, kartu užtikrinant ilgalaikį veiklos stabilumą.
Veiklos patobulinimai
Sistemos stabilumo rodikliai
| Metrinis | Prieš atnaujinimą | Po atnaujinimo | Tobulinimas |
|---|---|---|---|
| Serverio gedimai per dieną | 3-5 | 0-1 per mėnesį | 99% sumažinimas |
| Tinklo paketų praradimas | 0.1-0.5% | <0,001% | 99.8% patobulinimas |
| UPS klaidingi pavojaus signalai | 10+ per savaitę | 0-1 per mėnesį | 95% sumažinimas |
| Sistemos prieinamumas | 97.2% | 99.97% | +2.77% |
EMC atitikties rezultatai
EMI matavimai po įrengimo:
| Dažnių diapazonas | Išmatuotas lygis | Ribinė vertė (EN 55032) | Marža | Statusas |
|---|---|---|---|---|
| 150 kHz-30 MHz | 45-52 dBμV | 60 dBμV | nuo +8 iki +15 dB | PASS |
| 30-300 MHz | 35-42 dBμV | 50 dBμV | nuo +8 iki +15 dB | PASS |
| 300MHz-1GHz | 28-35 dBμV | 40 dBμV | nuo +5 iki +12 dB | PASS |
| 1-3 GHz | 22-30 dBμV | 35 dBμV | nuo +5 iki +13 dB | PASS |
Finansinio poveikio analizė
Tiesioginis išlaidų taupymas
Prastovos laiko mažinimas:
- Ankstesnis prastovos laikas: 120 valandų per metus po $50K/val. = $6M per metus
- Dabartinis prastovos laikas: 8 valandos per metus, esant $50K/val. = $400K/metus
- Metinės santaupos: $5,6 MLN.
Techninės priežiūros išlaidų mažinimas:
- Pašalinti su EMI susiję trikdžiai: Sutaupyta $200 tūkst. eurų per metus
- Mažesnis komponentų keitimas dėl EMI įtampos: Sutaupoma $150 tūkst. per metus
- Iš viso sutaupyta veiklos lėšų: $350 tūkst. per metus
Investicijų susigrąžinimas
Projekto išlaidos:
- EMC kabelių riebokšliai ir priedai: $45K
- Montavimo darbai (3 dienos): $15K
- EMC bandymai ir sertifikavimas: $8K
- Bendra investicijų suma: $68K
Atsipirkimo laikotarpis: 4,2 dienos (vien dėl sutaupytų prastovų)
Ilgalaikė veiklos stebėsena
Praėjus šešiems mėnesiams po įrengimo toliau stebime pagrindinius EMC parametrus:
Nuolatinis EMC veikimas
Mėnesinės EMI apklausos pasižymi nuosekliu veikimu:
- Ekranavimo efektyvumas išlieka >80 dB visuose dažniuose
- EMC charakteristikos nesumažėja, nepaisant šiluminio ciklo
- Nulis su EMI susijusių sistemos gedimų nuo įdiegimo
Klientų pasitenkinimo rodikliai
Hassanas pateikė šį atsiliepimą: "EMC atnaujinimas mūsų duomenų centrą iš nuolatinio streso šaltinio pavertė patikimu pelno centru. Dabar mūsų klientai mums patiki savo svarbiausias programas, o mes išplėtėme savo verslą 40%, remdamiesi nauja patikimumo reputacija."
Įgyta patirtis ir geroji praktika
Kritiniai sėkmės veiksniai
- Išsami EMI diagnostika prieš įgyvendinant sprendimą
- Tinkamas komponentų pasirinkimas remiantis faktiniais EMC reikalavimais.
- Profesionalus montavimas su patikrintu elektros tęstinumu
- Veiklos patikrinimas atliekant standartizuotus EMC bandymus
Dažniausiai pasitaikantys spąstai, kurių vengiama
- Daliniai sprendimai: Atnaujinus tik kai kuriuos kabelių įvadus, lieka atviri elektromagnetinės spinduliuotės keliai
- Diegimo nuorodos: Dėl prasto ekrano užbaigimo prarandami brangūs EMC riebokšliai
- Netinkamas testavimas: Nepatikrinus, EMC veikimas yra tik teorinis.
Mastelio keitimo aspektai
Mūsų įgyvendinta sprendimo architektūra gali būti pritaikyta:
- 3 kartus didesnis nei dabartinis serverių tankis be EMC našumo sumažėjimo
- Ateities technologijų atnaujinimas (5G, aukštesni perjungimo dažniai)
- Plėtra į gretimus objektus taikant patikrintas metodikas
"Bepto" šis projektas tapo pavyzdiniu pavyzdžiu mūsų EMC inžinierių komandai. Nuo to laiko panašius sprendimus įdiegėme daugiau nei 15 duomenų centrų Artimuosiuose Rytuose ir Europoje ir pasiekėme puikių rezultatų 😉.
Pramonės pripažinimas
Sėkmingas projektas paskatino:
- Atvejo analizės publikacija žurnale "Data Center Dynamics
- EMC atitikties sertifikavimas iš "TUV Rheinland
- Pramonės apdovanojimas už novatorišką EMC problemų sprendimą
- Referencinės vietovės statusas būsimoms klientų demonstracijoms
Išvada
Sistemingas EMC kabelių riebokšlių atnaujinimas gali padėti pašalinti duomenų centrų trukdžių problemas ir užtikrinti išskirtinę investicijų grąžą dėl didesnio sistemos patikimumo ir atitikties reikalavimams.
DUK apie duomenų centro EMI/RFI sprendimus
K: Kaip sužinoti, ar mano duomenų centre yra EMI problemų?
A: Dažniausiai pasitaikantys simptomai yra atsitiktiniai sistemos gedimai, tinklo nestabilumas ir UPS klaidingi pavojaus signalai. Atliekant profesionalius EMI bandymus spektro analizatoriais galima nustatyti trikdžių šaltinius ir kiekybiškai įvertinti emisijos lygius, palyginti su teisės aktuose nustatytomis ribinėmis vertėmis.
K: Kuo skiriasi EMC kabelių riebokšliai nuo įprastų kabelių riebokšlių?
A: EMC kabelių movos užtikrina elektromagnetinį ekranavimą naudojant laidžias medžiagas ir 360° ekrano užbaigimą, užtikrinantį >80 dB ekranavimo efektyvumą. Įprasti įvadai užtikrina tik aplinkos apsaugą, bet neturi elektromagnetinių trikdžių slopinimo savybių.
K: Ar galima išspręsti EMC problemas nepakeitus visų kabelių riebokšlių?
A: Daliniai sprendimai dažnai būna nesėkmingi, nes EMI randa silpniausią įėjimo tašką. Visapusiškas EMC atnaujinimas, skirtas visiems kabelių įvadams, užtikrina patikimą, ilgalaikį trikdžių pašalinimą ir atitiktį teisės aktų reikalavimams.
K: Kiek laiko EMC kabelių movos išlaiko savo ekranavimo efektyvumą?
A: Kokybiškos EMC įvorės tinkamai sumontuotos išlaiko >80 dB ekranavimą daugiau kaip 10 metų. Nikelio danga apsaugo nuo korozijos, o tvirta žalvario konstrukcija užtikrina ilgalaikį elektrinį tęstinumą ir mechaninį vientisumą.
K: Kokius EMC bandymus reikia atlikti įdiegus riebokšlius?
A: Ekranavimo efektyvumo bandymas pagal IEC 62153-4-3, perdavimo varžos matavimas ir nuolatinės srovės varžos patikrinimas užtikrina tinkamą elektromagnetinio suderinamumo veikimą. Atliekant profesionalius EMC bandymus pateikiami atitikties dokumentai ir eksploatacinių savybių sertifikatai.
-
Sužinokite apie "Uptime Institute" duomenų centrų našumo ir patikimumo klasifikavimo sistemą. ↩
-
Susipažinkite su kintamojo dažnio pavarų (VFD) veikimo principais ir sužinokite, kaip jie valdo kintamosios srovės variklio greitį. ↩
-
Susipažinkite su spektro analizatoriaus veikimo pagrindais, kaip matuoti ir rodyti signalus dažnių srityje. ↩
-
Suprasti standarto EN 55032, skirto daugialypės terpės įrangos elektromagnetiniam suderinamumui, taikymo sritį ir reikalavimus. ↩
-
Sužinokite apie 4 laidų Kelvino metodą, kuriuo atliekami labai tikslūs mažos varžos matavimai. ↩
English 
Deutsch 
Français 
Italiano 
Español 
Português 
Русский 
العربية 
日本語 
한국어 
Bahasa Indonesia 
Türkçe 
Nederlands 
Ελληνικά 
Български 
Čeština 
Dansk 
Eesti 
Suomi 
Magyar 
Lietuvių kalba 
Latviešu valoda 
Polski 
Română 
Svenska 
Slovenčina 
Slovenščina 
Norsk bokmål 
Українська