01-12-2019 22:25 Host crash Ede: Korte onderbreking / Short interruption

Korte onderbreking voor enkele klantservers door ESXi host crash in Ede. De server is tijdelijk uit ons cluster verwijderd. Virtuele machines op de gecrashte host zijn automatisch opnieuw opgestart op andere hosts.

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

Short disruption for several customerservers due to ESXi host crash in Ede. The server has been temporarily removed from our cluster. Virtual machines on the crashed host have been automatically restarted on other hosts.

If you have questions, please contact support@site4u.nl or call +31 – 85 – 30 30 999.

/door

01-12-2019 storing PowerDNS

Er vond tussen 10:56 en 11:12 een DDoS plaats op onze PowerDNS servers, waardoor onze DNS servers onbereikbaar waren. Deze DDoS is inmiddels voorbij.

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

Between 10:56 and 11:12 there was an interruption in our DNS servers. This was caused by an DDOS attack.

If you have questions, please contact support@site4u.nl or call +31 – 85 – 30 30 999.

/door

13-11-2019 [update] storing PowerDNS

Update 14-11-2019 11:54:
Om het DNS-DDOS probleem tegen te gaan zullen wij onze DDOS beveiliging verder aanscherpen.

Update 17:34: Er vond een DDoS plaats op 1 van onze domeinen, waardoor onze DNS servers onbereikbaar waren. Deze DDoS is inmiddels voorbij.

Tussen 16:42 en 17:00 was er een storing aan onze DNS servers. Vermoedelijk werd dit veroorzaakt door een aanval.

De toedracht wordt nog onderzocht. Updates zullen hier geplaatst worden.

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

Update 14-11-2019 12:21:
To mitigate the DNS-DDOS issue we will tighten our DDOS security policy.

Update 17:34: We have experienced a DDoS on one of our domains, which caused our DNS servers to go offline. This DDoS has stopped now.

Between 16:42 and 17:00 there was an interruption in our DNS servers. This was probably caused by an attack.

We are investigating the cause. Updates will be posted here.

If you have questions, please contact support@site4u.nl or call +31 – 85 – 30 30 999.

/door

29-10-2019 Spoed onderhoud Netwerk / Network maintenance outage Ede [UPDATE]

Momenteel is er een storing in ons netwerk in Ede. Eén van de core switches reageert niet meer.

Het heeft nog geen gevolgen voor onze klant omgeving, maar is er is wel met spoed onderhoud ingepland.

[Update]: 14:10 Helaas is er sinds 14:04 toch storing ontstaan door dit spoed onderhoud, er wordt hard gewerkt om dit zsm op te lossen.

[Update]: 15:06 In samenwerking met de leverancier van de hardware wordt er ingespannen gewerkt aan een oplossing.

[Update]: 15:56 In samenwerking met de leverancier van de hardware wordt een switch vervangen.

[Update]: 17:20 Het netwerk functioneert weer, alle systemen worden gecontroleerd

[Update]: 19:45 Alle systemen zijn gecontroleerd. Het incident zal geevalueerd worden en er zal een RFO opgesteld worden. Als deze beschikbaar is, wordt dit bij deze storing gemeld.

[Update]: de RFO is beschikbaar: https://status.site4u.nl/wp-content/uploads/RFO_incident_191029.pdf

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

We are currently experiencing a network outage in Ede. One of our core switches is down.

There have not yet been an impact for our customers, but immediate maintenance is required.

[Update]: 14:10 Unfortunately there has been a malfunction since 14:04 due to this emergency maintenance, we are working hard to resolve this asap.

[Update]: 15:06 In collaboration with the hardware supplier, efforts are being made to find a solution.

[Update]: 15:56 In collaboration with the hardware supplier, a switch is being replaced

[Update]: 17:20 the network is functioning again. all systems are being checked

[Update]: 19:45 All systems have been checked. The incident will be evaluated and an RFO will be drawn up. If this is available, this is reported in this status message

[Update]: RFO is available: https://status.site4u.nl/wp-content/uploads/RFO_incident_191029_ENG.pdf

If you have questions, please contact support@site4u.nl or call +31 – 85 – 30 30 999.

/door

27-09-2019 Netwerk storing / Network outage Zurich [UPDATE]

22:12 Korte onderbreking (3 min) netwerk Zurich. We onderzoeken nog wat het probleem is geweest.

Update: Dit was het gevolg van onderhoud waar wij helaas geen bericht van hadden gekregen.
Zie https://nexellentag.statuspage.io/incidents/44fdd9hbmk56

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

10:12PM Short disruption (3 min) network Zurich. We are still investigating the cause.

Update: Update: This was due to maintenance of which we unfortunately had not received a message.
See https://nexellentag.statuspage.io/incidents/44fdd9hbmk56

If you have questions, please contact support@site4u.nl or call +31 – 85 – 30 30 999.

/door

27-09-2019 storing PowerDNS en Zabbix EDE

Tussen 07:29 en 07:45 was er een korte storing met 1 van onze DNS servers en monitoring service (zabbix). Dit had verder geen gevolgen voor klantservers.

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

Between 7:29am and 7:45am there was an interruption in one of our DNS servers and monitoring service (zabbix). No impact for our customer servers

If you have questions, please contact support@site4u.nl or call +31 – 85 – 30 30 999.

/door

26-09-2019 storing MySite4U [UPDATE]

Sinds vanmorgen 10.00 is MySite4U slecht bereikbaar. Er wordt onderzoek gedaan naar de oorzaak van deze storing.

[Update] 10.56:
Het configuratie probleem is opgelost: MySite4U is weer volledig bereikbaar.

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

MySite4U has been difficult to reach since 10.00 this morning. Research is being done into the cause of this malfunction.

[Update] 10.56:
The configuration problem has been solved: MySite4U is fully accessible again.

If you have questions, please contact support@site4u.nl or call +31 – 85 – 30 30 999.

/door

06-08-2019 Outage BIT datacentrum Ede [UPDATE]

Op dit moment ervaren wij een probleem met onze infrastructuur in het datacenter in Ede. Wij hebben contact opgenomen met onze hosting provider.

[Update] 07-08-2019 15:34: BIT heeft een RFO gepubliceerd, welke te vinden is op: https://www.bit.nl/uploads/images/PDF-Files/Rapport-netwerk-20190806-164028.pdf

[Update] 06-08-2019 18:19: Problemen in het datacenter BIT zijn opgelost. Een volledige beschrijving kun je vinden op de status pagina van Bit.

Meer informatie hierover vind u op de status pagina van BIT:https://www.bit.org/status/

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

Currently, we are experiencing an issue with our infrastructure in our datacenter in Ede. We are in contact with our hosting provider.

[Update] 07-08-2019 15:34: BIT published an RFO for yesterdays outage: https://www.bit.nl/uploads/images/PDF-Files/Rapport-netwerk-20190806-164028.pdf

[Update] 6:18 PM: Outage in the datacenter BIT is resolved. A full explanation can be found on the status below.

More information with regard to this outage can be found on their status page: https://www.bit.org/status/

If you have questions, please contact support@site4u.nl or call +31 – 85 – 30 30 999.

/door

04-08-2019 DDOS aanval / DDOS attack datacenter haarlem

Vanmiddag 4 augustus 2019 was ons netwerk in Haarlem een tijd onbereikbaar door een DDoS-aanval. Hierbij zijn sessietabellen van de firewalls volgelopen. Er heeft een automatische failover plaatsgevonden.

We hebben hierop een handmatige failover terug naar de originele master gedaan.

De problemen hebben plaatsgevonden tussen 15:25 en 16:08.

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

______________________________

This afternoon August 4th 2019, our network in Haarlem was unavailable for a while due to a DDoS attack. Session tables of the firewalls were filled. An automatic failover has taken place.

We have done a manual failover back to the original master.

The problems took place between 15:25 and 16:08.

If you have questions, please contact support@site4u.nl or call 085 – 30 30 999.

/door

27-07-2019 Netwerk storing Zwitserland / Network outage Zurich [UPDATE]

Vanaf 18:03 was er een storing in ons netwerk in Zurich.
Een aantal klantmachines zullen hier ook hinder van ondervinden. De oorzaak wordt nog onderzocht.

[Update] : De storing is verholpen.

[Update]: terugkoppeling van de leverancier:

Incident beschrijving:
Met de geïnitieerde ondersteuning van de leverancier werden de logboeken van de getroffen switch geanalyseerd en bleek dat er geheugen problemen waren.
In coördinatie met de verkoper werd de betreffende schakelaar opnieuw opgestart, wat niet leidde tot een bevredigend resultaat.
In een tweede stap werd de schakelaar volledig verwijderd uit het cluster en de configuratie werd verwijderd. Na het opnieuw toevoegen aan het cluster en het opnieuw laden van de configuratie op de schakelaar, werd het netwerkverkeer op alle links weer normaal.
Incident Status:
De getroffen services zijn sinds de restauratie nauwlettend gevolgd en zijn stabiel.
Voorzorgsmaatregelen:
Op basis van de logboeken zal dit probleem samen met de leverancier nader worden onderzocht. Een dergelijk gedrag mag niet leiden tot dit soort situaties. Eventuele vereiste updates of patches die vanwege deze storing op de schakelaars geïnstalleerd moeten worden zullen worden aangekondigd en zullen plaats vinden in standaard onderhoudsvenster.

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

Since 6:03 pm we are facing a network outage in our network in Zurich.
Some customer machines are affected. We are investigating the cause.

[Update] : Outage is resolved.

[Update]: Feedback from the supplier:

Incident description:
The distribution network of nexellent is managed as a spine – leaf setup. Each spine switch is managed by the fabric (cluster). On 18.05h the nexellent monitoring indicated, that several services at the Glattbrugg datacenter not reachable anymore. The initiated analysis showed that one spine switch is not correctly managed by the fabric anymore (partly loss of sync between the switch and the fabric). As a consequence, all connected links indicated major drop / loss of packages or even loss of connection.
Incident resolution:
With the initiated support of the vendor, the logs of the affected switch got analyzed showing memory issues. In coordination with the vendor, the particular switch got rebooted, which did not lead into a satisfying result. In a second step, the switch got entirely removed from its cluster and the configuration got deleted. After the rejoining into the cluster and reload of the configuration on the switch, the network traffic of all links returned to normal.
Incident Status:
The affected services have been monitored closely since its restoration and are stable.
Preventive actions:
Based on the logs, there will be further investigation of this issue together with the vendor. This, since such a behavior should not lead into this kind of situation. Any updates or patches required to be installed on the switches because of this event and to prevent this type of outages will be announced in advance with a standard maintenance window.

If you have questions, please contact support@site4u.nl or call +31 – 85 – 30 30 999.

/door