Vi oplever desværre i øjeblikket driftsforstyrrelser


**** LØST **** Problemer med SAN storage

23-06-2017 23:45:00

Vi oplever i øjeblikket problemer med ét af vores SANs (storage system). Problemerne bevirker at servere lider af langsom svartid fra disk, som igen påvirker generel hastighed og performance.

Problemerne ér lokaliseret, fejlretning ér påbegyndt og vi er i fuld gang med at flytte data væk fra det nødstedte SAN, vi har dog desværre ingen tidshorisont pt.

Da der er tale om et helt SAN med problemer, kan dette problem påvirke enkelte komponenter alle steder i platformen.

Opdateringer
24-06-2017 09:01:41
Flytning af data stadig i fuld gang.
24-06-2017 10:09:29
Vi arbejder stadig på højtryk for at finde løsninger der kan afhjælpe performanceproblemet. Men leverandørens teknikere mener ikke vi kan gøre noget for at det går drastisk hurtigere.

Så snart der er nyt i sagen opdaterer vi igen. Senest om en time.
24-06-2017 11:10:10
Den seneste time har vi været nødt til at lukke nogle systemer ned for at få processen på SAN'et til at gå hurtigere. Pt. arbejder leverandøren på at kigge på en tidslinje, så vi har noget mere konkret at arbejde ud fra.

De systemer der stadig kører på systemet nu kører bedre, men langt fra som normalt.

Så snart vi har go fra leverandøren omkring timing og belastning har vi en bedre ide om hvor hurtig vi kan flytte ting væk fra systemet og hvor når driften kan stabiliseres igen.
24-06-2017 11:59:10
Performance er væsentligt forbedret nu, da 2 af 3 fejl er rettet, vi afventer nu den sidste før vi kan sige vi er tilbage på normal.

Der er stadig systemer offline er ikke kunne holde til den dårlige performance. Såsnart vi kan bekræfte at vi er tilbage til normal vil disse naturligvis blive bragt online, mens vi følger performance meget meget tæt.

Samtidig er vi ved at køre ekstra kapacitet op ved siden at til at flytte workloads over på, for at sikre performance for systemerne fremadrettet indtil vi er 110% på at fejlen er rettet og leverandøren har fundet root-cause.
24-06-2017 13:10:54
Vi er nu kommet lidt videre og kan begynde at tænde enkelte virtuelle maskiner igen, processen skal dog kontrolleres meget tæt og ske under særlig overvågning, så det kommer til at tage tid før vi er tilbage til normal.

Vi tør ikke gætte på et faktisk tidspunkt, men arbejder på at få så meget online så hurtigt som overhovedet muligt.

Såfremt der er services der er super kritiske for Jeres forretning, så send en support ticket, så skal vi gøre alt hvad vi kan for at få systemet prioriteret, såfremt muligt.
24-06-2017 13:37:02
Status pt.: vi mangler at få Hosted Dynamics navision online, samt 3 webservere og nogle interne services.

Vi skal vente på den sidste fejlretning, der kører - vi kan desværre ikke få en status på hvor langt processen er igennem systemet eller fra producenten, da data ikke er tilgængelige for dette.

Så snart vi kan se performance er acceptabel vil disse komme online igen.
24-06-2017 16:59:22
Situationen er ikke blevet meget bedre, og leverandøren kan ikke komme nærmere et fix, da der er opstået endnu et problem under vejs.

Vi er stadig igang med at flytte servere, og efterhånden som de bliver flyttet til andre storage arrays kan vi tænde de sidste servere, pt. ser det ud til at vare 30-40 min endnu, for den næste omgang flytning.
24-06-2017 17:48:04
Den første del af flytningen er done og et par maskiner mere er tændt, vi fortsætter flytningen, og regner med at kunne få de næste flyttet og online inden for den næste times tid. Her efter en ny status hvor vi bør kunne have en endelig deadline for at have flyttet de aller sidste maskiner væk fra systemet.
24-06-2017 18:41:23
Sidste flytning har givet plads til lidt flere maskiner og vi kan inden for den næste time tænde alt undtagen 11 servere som vi arbejder på, disse er til Hosted Navision produktet.

Når vi har en ETA på disse opdaterer vi status her igen.
24-06-2017 19:27:02
De sidste webservere er ved at være online og hosted navision kommer stille og roligt online over den næste time til to alt efter hastigheden af de sidste flytninger.
24-06-2017 21:10:42
Vi arbejder stadig på at få de sidste servere online og stabilisere performance tilbage til acceptabelt niveau.
Det tager bare utrolig lang tid at hente data ud fra systemet, hvis ikke vi skal ødelægge det helt for de systemer der kører der på pt.
24-06-2017 21:52:17
Problemerne vil ingen ende tage - nu har leverandøren fundet endnu en fejl vi skal arbejde med, så performance er igen dalet. Tingene er stadig online, men performance er langt fra optimal pt.

Vi arbejder på fuld tryk for at finde årsagen og stabilisere systemet.
24-06-2017 22:19:22
Det sidste fejl der er fundet gør at processen kommer til at trække ud meget længere end vi kunne forudse.

Vi kommer til at kæmpe med performance op og ned hen over det næste halve til hele døgn er meldingen pt. og vi kan kun stabilisere det ved at flytte maskiner væk, men det tager lang tid, da der er utrolig meget data der skal flyttes.

Vi arbejder videre med flytning og prøver hele tiden at optimere performance så godt vi kan for de systemer der stadig ligger på storage systemet.
25-06-2017 00:00:40
Den seneste fejl betyder at vi skal slukke for maskiner igen her i nat for at prøve at gøre fejlretningen hurtigere, så vi håber vi kan få stabil drift hurtigere i morgen.

Det vil betyde at flere services vil være nede i løbet af natten og først komme online omkring kl. 06.00-07.00

Vi beklager meget den drastiske beslutning, men vi er nødt til at lade systemet arbejde på at løse fejlen uden for meget belastning.
25-06-2017 07:37:02
God morgen.

De sidste systemer er ved at være booted færdig og vi mangler nu kun det sidste Hosted Navision, som er ramt af en af fejlene der blev fundet i aftes/nat.

Performance er stadig ikke optimal, men bedre end tidligere.

Vi fortsætter med at flytte væk fra systemet for at give det luft og til sidst nedlægge det helt.

Næste opdatering kommer til formiddag.
25-06-2017 10:32:02
Nu er systemet stabiliseret med acceptabel performance, ikke fremragende, men acceptabelt. Samtidig er de sidste servere der manglede i Hosted Navision ved at starte op, da fejlen der berørte disse er løst.

Vi mangler stadig at køre nogle baggrunds-processer i løbet af i dag, som betyder performance vil være som den er nu resten af dagen.

Samtidig flytter vi stadig flere servere væk fra systemet, med henblik på at nedlægge det fuldstændigt.
25-06-2017 16:55:19
Alle fejl er nu rettet og systemet er tilbage til normal performance.

Vi fortsætter root cause analysen med leverandøren og fortsætter naturligvis flytningen til andre systemer, da systemet skal nedlægges på baggrund af denne sag.


Planlagte opdateringer

28-06-2017 00:30:00

Hosted Citrix - Systemarbejde

Der vil blive udført systemarbejde på vores NetScaler og Hosted Citrix (citrix.hostedservices.nu) vil derfor være utilgængelig i tidsrummet fra kl. 00:30 til 01:30.


Få driftsstatusnyheder i din indbakke