T-Mobile z druhé strany, odhalená tajemství

Následující série článků vycházela v průběhu roku v časopise Mobility, ze kterého jsou také kompletně převzaty.

Mobilní síť sestává z miliónů mobilních telefonů, tisíců základnových stanic, desítek ústředen a nepředstavitelného množství rádiových i kabelových spojů, které umožní těmto prvkům vzájemně komunikovat. V tak složité struktuře se zákonitě musí občas něco pokazit. O to, aby pokažených částí bylo co nejméně a pokud možno je zákazník vůbec nezaznamenal, se stará dohledové centrum (Network Management Centre – NMC).

O dohledových centrech O2 (tehdy Eurotelu) a Vodafonu (tehdy Oskara) jsme už v Mobilitách kdysi psali, proto jsme tentokrát navštívili NMC, které ve své budově v Praze provozuje T-Mobile. Toto centrum monitoruje celou síť T-Mobile, i když některé nadnárodní služby monitorují podobná centra v zahraničí. Záložní centrum neexistuje, i když je samozřejmě vypracován plán, podle kterého se celé centrum v případě živelní pohromy přesune na jiné místo.

Jako v kosmickém středisku

I když na práci NMC závisí celá mobilní síť, jedná se v podstatě o běžnou kancelář typu open space. Jediným rozdílem je projekce nejzajímavějších informací na jednu stěnu kanceláře. Ve špičce dohlíží na síť pět až šest lidí, v noci či o víkendech se počet sníží jen na dva až tři. V případě očekávaných problémů se samozřejmě počet navyšuje. Navíc musíte počítat s dalšími lidmi, kteří zajišťují dispečink mobilních servisních týmů.

 
Celkový pohled na kancelář dohledového centra

Lidé mají podezřele mnoho monitorů se spoustou prapodivných informací

Záběr na pracoviště operátora NMC. Na stěně přehled alarmů, grafy zobrazující stav sítě a mapa Česka

Ve špičce dohlíží na síť pět až šest lidí, v noci či o víkendech se počet sníží jen na dva až tři

Operátoři v dohledovém centru vidí všechny informace, které aktuálně potřebují, přímo na jednom ze tří monitorů svých počítačů. Přesto jsou nejzajímavější sestavy zobrazovány ještě na čelní stěně kanceláře, aby je měl každý v případě potřeby hned na očích.

Na této stěně najdete přehled všech služeb, které operátor svým zákazníkům poskytuje (např. SMS, MMS, Internet 4G a podobně). Barva, kterou je daná služba zobrazena, vždy indikuje, v jakém se nachází stavu. Služby s drobnými problémy jsou označeny žlutě, kriticky nefunkční služby pak červeně.

Dále je na čelní stěně přehled všemožných alarmů, rozdělených podle výrobců daného síťového prvku (T-Mobile používá ve své síti zařízení Siemens a Motorola). I v tomto případě jsou alarmy barevně odlišeny podle závažnosti. Ne všechny vyžadují okamžitý zásah operátora, řada z těchto alarmů přísluší předem hlášeným a očekávaným zásahům servisních týmů. Může jednat například o výpadek napájení, otevření dveří vedoucích k BTS (Base Transceiver Station), poruchu mikrovlnného spojení mezi základnovou stanicí BTS a jejím nadřízeným prvkem BSC (Base Station Controller) a podobně.

Další tabulky informují formou přehledných grafů o vytíženosti sítě, dostupnosti jednotlivých služeb. Na stěně je většinou zobrazena mapa republiky a regionu, který je aktuálně důležitý, samozřejmě včetně barevného zobrazení aktuálního stavu sítě. Při boji s živly pomáhají záběry z meteorologického radaru.

Pozor, máme poplach

Co se přesně stane, když vznikne nějaký druh alarmu? Dejme tomu, že na BTS vypadne napájení. V sekci věnované alarmům vyskočí upozornění, že daná BTS je bez proudu. Operátor na svém počítači okamžitě uvidí další informace. Zjistí, jestli má BTS záložní baterii, jakou má tato baterie kapacitu, zda příslušnou oblast dokáží vykrýt okolní BTS a podobně.

Podle těchto informací rozhodne, jakou prioritu alarmu přidělí. Údaje z hlášení o alarmu se automaticky přenesou do systému SAP, kde vznikne takzvaný trouble ticket. Operátor do něj ručně doplní další informace, mimo jiné také způsob, jakým má být porucha vyřešena.

Výpadek napájení bude pravděpodobně předán na dispečink, který nejprve zavolá dodavateli elektrické energie v dané oblasti, aby ověřil, zda se nejedná například o plánovanou výměnu pojistek. V případě potřeby pak k dané BTS vyšle servisní tým, který poruchu opraví, případně k překonání dlouhodobějšího výpadku instaluje dieselový generátor.

Řadu problémů dokáže vyřešit operátor přímo z počítače; jednoduše zašle vzdálenému zařízení pokyn, aby se samo resetovalo. Teprve pokud to nepomůže, řeší alarm jinou cestou.

Všechny trouble tickety se samozřejmě podrobně evidují. Dle zadané priority mají poruchy stanovenou dobu, po jejímž uplynutí musí být vyřešeny. Nejzávažnější problémy s prioritou 1, tedy takové, které pocítí zákazníci, musí být odstraněny do dvou hodin. U závad s prioritou 2 mají operátoři na odstranění čtyři hodiny a tak dále. Drtivá většina zásahů se provádí v nočních hodinách, kdy je provoz v síti zcela minimální.

Jakmile operátor či servisní technik problém vyřeší, zkontroluje se, zda problém opravdu zmizel a trouble ticket se zavře. Nevyřízené trouble tickety se navíc určitou dobu před uplynutím stanovené lhůty zobrazují na čelní stěně dohledového centra, aby je operátoři měli na očích.

Všichni o všem vědí

Veškeré problémy, které se v síti vyskytnou, se samozřejmě ukládají do databáze, ke níž má přístup i oddělení péče o zákazníka (například infolinka). Jakmile na infolinku začnou volat nespokojení zákazníci, kteří se nemohou dovolat, může je operátorka uklidnit sdělením, že v dané lokalitě došlo k výpadku napájení, které bude během pár minut odstraněno.

Pokud operátoři infolinky nenajdou v databází žádný problém týkající se dané oblasti, upozorní dohledové centrum, které následně prověří, co se stalo. Může se totiž stát, že některé problémy nedokáží kontrolní systémy odhalit.

Jak vlastně dokáže dohledové centrum zjistit, co se v síti děje? Většina částí sítě má vlastní kontrolní systémy, takže může ohlásit například onu ji mnohokrát zmiňovanou ztrátu napájení. Prakticky všechny části jsou monitorovány vyššími prvky. Například vždy několik základnových stanic BTS je připojeno k jednomu kontrolním bodu (BSC). Pokud pak BSC ztratí spojení s některou BTS, okamžitě to nahlásí. A tak dále.

Kromě toho probíhá takzvané aktivní testování. V síti je několik testovacích zařízení, která se snaží simulovat činnost běžných zákazníků. Tato zařízení se například v pravidelných intervalech pokoušejí připojit k vybraným internetovým stránkám. Pokud se jim to nepodaří, pravděpodobně je problém v internetových službách (GPRS, EDGE, Internet 4G, podle toho, kterou technologii dané zařízení testuje). Jiná zařízení zase odesílají a stahují e-maily, čímž ověřují, zda správně fungují e-mailové služby.

Nebýt těch katastrof

Běžný zákazník přijde do styku s pracovníky prodejny, nanejvýš s operátory infolinky, řadu zaměstnanců skrytých v pozadí ani nevnímá. Počet zaměstnanců dohledového centra také netvoří nijak významný podíl na celkovém počtu zaměstnanců mobilního operátora.

Přesto jsou tito pracovníci pro provoz sítě nezbytní. Právě oni odhalí včas první příznaky vážných problémů, právě oni dokáží zajistit, že tyto problémy budou odstraněny pokud možno ještě dříve, než je zaznamenají zákazníci.

Největší problémy jim dělá počasí, taková vichřice Emma či povodně na Moravě je dokáží zaměstnat na pěkně dlouhou dobu.

Ve zkratce

Dohledové centrum mobilní sítě (Network Maintenance Centre) zajišťuje dohled nad provozem mobilní sítě. Jeho pracovníci v nepřetržitém provozu kontrolují veškeré poruchové stavy a ve spolupráci s dalšími pracovišti zajišťují jejich nápravu.

Požadavky na pracovníky dohledového centra:

• Středoškolské, nebo vysokoškolské vzdělání technického směru – telekomunikace
• Technické znalosti z oblasti telekomunikací. Přehled o nových technologiích a trendech v oblasti telekomunikací
• Znalost anglického jazyka na dobré úrovni
• Znalost prostředí MS Windows a produktů MS Office
• Znalost Unix výhodou
• Ochota pracovat ve směnném provozu.
• Rozhodnost