[Update] 06-08-2019 Outage BIT datacentrum Ede

Op dit moment ervaren wij een probleem met onze infrastructuur in het datacenter in Ede. Wij hebben contact opgenomen met onze hosting provider.

[Update] 07-08-2019 15:34: BIT heeft een RFO gepubliceerd, welke te vinden is op: https://www.bit.nl/uploads/images/PDF-Files/Rapport-netwerk-20190806-164028.pdf

[Update] 06-08-2019 18:19: Problemen in het datacenter BIT zijn opgelost. Een volledige beschrijving kun je vinden op de status pagina van Bit.

Meer informatie hierover vind u op de status pagina van BIT:https://www.bit.org/status/

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

Currently, we are experiencing an issue with our infrastructure in our datacenter in Ede. We are in contact with our hosting provider.

[Update] 07-08-2019 15:34: BIT published an RFO for yesterdays outage: https://www.bit.nl/uploads/images/PDF-Files/Rapport-netwerk-20190806-164028.pdf

[Update] 6:18 PM: Outage in the datacenter BIT is resolved. A full explanation can be found on the status below.

More information with regard to this outage can be found on their status page: https://www.bit.org/status/

If you have questions, please contact support@site4u.nl or call +3185 – 30 30 999.

04-08-2019 DDOS aanval / DDOS attack datacenter haarlem

Vanmiddag 4 augustus 2019 was ons netwerk in Haarlem een tijd onbereikbaar door een DDoS-aanval. Hierbij zijn sessietabellen van de firewalls volgelopen. Er heeft een automatische failover plaatsgevonden.

We hebben hierop een handmatige failover terug naar de originele master gedaan.

De problemen hebben plaatsgevonden tussen 15:25 en 16:08.

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

______________________________

This afternoon August 4th 2019, our network in Haarlem was unavailable for a while due to a DDoS attack. Session tables of the firewalls were filled. An automatic failover has taken place.

We have done a manual failover back to the original master.

The problems took place between 15:25 and 16:08.

If you have questions, please contact support@site4u.nl or call 085 – 30 30 999.

[Update] 27-07-2019 Netwerk storing Zwitserland / Network outage Zurich

Vanaf 18:03 was er een storing in ons netwerk in Zurich.
Een aantal klantmachines zullen hier ook hinder van ondervinden. De oorzaak wordt nog onderzocht.

[Update] : De storing is verholpen.

[Update]: terugkoppeling van de leverancier:

Incident beschrijving:
Met de geïnitieerde ondersteuning van de leverancier werden de logboeken van de getroffen switch geanalyseerd en bleek dat er geheugen problemen waren.
In coördinatie met de verkoper werd de betreffende schakelaar opnieuw opgestart, wat niet leidde tot een bevredigend resultaat.
In een tweede stap werd de schakelaar volledig verwijderd uit het cluster en de configuratie werd verwijderd. Na het opnieuw toevoegen aan het cluster en het opnieuw laden van de configuratie op de schakelaar, werd het netwerkverkeer op alle links weer normaal.
Incident Status:
De getroffen services zijn sinds de restauratie nauwlettend gevolgd en zijn stabiel.
Voorzorgsmaatregelen:
Op basis van de logboeken zal dit probleem samen met de leverancier nader worden onderzocht. Een dergelijk gedrag mag niet leiden tot dit soort situaties. Eventuele vereiste updates of patches die vanwege deze storing op de schakelaars geïnstalleerd moeten worden zullen worden aangekondigd en zullen plaats vinden in standaard onderhoudsvenster.

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

Since 6:03 pm we are facing a network outage in our network in Zurich.
Some customer machines are affected. We are investigating the cause.

[Update] : Outage is resolved.

[Update]: Feedback from the supplier:

Incident description:
The distribution network of nexellent is managed as a spine – leaf setup. Each spine switch is managed by the fabric (cluster). On 18.05h the nexellent monitoring indicated, that several services at the Glattbrugg datacenter not reachable anymore. The initiated analysis showed that one spine switch is not correctly managed by the fabric anymore (partly loss of sync between the switch and the fabric). As a consequence, all connected links indicated major drop / loss of packages or even loss of connection.
Incident resolution:
With the initiated support of the vendor, the logs of the affected switch got analyzed showing memory issues. In coordination with the vendor, the particular switch got rebooted, which did not lead into a satisfying result. In a second step, the switch got entirely removed from its cluster and the configuration got deleted. After the rejoining into the cluster and reload of the configuration on the switch, the network traffic of all links returned to normal.
Incident Status:
The affected services have been monitored closely since its restoration and are stable.
Preventive actions:
Based on the logs, there will be further investigation of this issue together with the vendor. This, since such a behavior should not lead into this kind of situation. Any updates or patches required to be installed on the switches because of this event and to prevent this type of outages will be announced in advance with a standard maintenance window.

If you have questions, please contact support@site4u.nl or call +31 85 – 30 30 999.

24-06-2019 Korte onderbreking netwerk Ede (NL) / Short interruption network Ede (NL)

op 24-06-2019, tussen 12:07 en 12:09 was er een korte onderbreking in het netwerk van Bit. De oorzaak wordt achterhaald door de leverancier. Updates zullen hier geplaatst worden en op https://www.bit.nl/nl/over-bit/incidenten

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

On 24-06-2019, between 12:07 and 12:09 there was a short interruption in the network of Bit (NL). The cause is being investigated by our supplier. Updates will be posted here and on https://www.bit.nl/nl/over-bit/incidenten

If you have questions, please contact support@site4u.nl or call +31 85 – 30 30 999.

[Update] 24-06-2019 Mail storing support / Outage support mail

Vanwege een storing ontvangen we tijdelijk geen e-mail op het domein site4u.nl. Dit betekent ook dat mails die naar support@site4u.nl worden gestuurd op dit moment niet door ons worden ontvangen. Voor dringende zaken adviseren wij om ons te bellen op ons hieronder vermelde telefoonnummer.

Update

11.00 De storing is opgelost.
Mocht je geen ticketnummer terug hebben ontvangen in antwoord op je mail naar support adviseren wij om de mail nogmaals te versturen.

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

Due to an outage we are temporarily not receiving any email on the site4u.nl domain. This also means that mails sent to support@site4u.nl are not received by us at the moment. For urgent matters we advice to call us at our support phone number mentioned below.

Update

11.00 The malfunction has been resolved.
In case you have not received a ticket number in response to your mail to support, we advise you to send the mail again.

If you have questions, please contact support@site4u.nl or call +31 85 – 30 30 999.

[Update] 11-06-2019 Netwerk storing / Network autage Zurich

Vanaf 18:43 was er een storing in ons netwerk.
Een aantal klantmachines zullen hier ook hinder van ondervinden. De oorzaak wordt nog onderzocht.

Monitoring – After a fire incident (18:43 CEST) power on *one* feed at the GLB2 site was lost. Customers which with devices connected to both power-feeds were unaffacted by this issue, but could monitor power-errors beeing generated their equipment.

In the mean time (19:32 CEST) power has been restored to the failed feed and is temporarily provided by generators.
https://nexellentag.statuspage.io/

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

___________________________________________________________________________

Since 6:43 pm we are facing a network outage in our network.
Some customer machines are affected. We are investigating the cause.

Monitoring – After a fire incident (18:43 CEST) power on *one* feed at the GLB2 site was lost. Customers which with devices connected to both power-feeds were unaffacted by this issue, but could monitor power-errors beeing generated their equipment.

In the mean time (19:32 CEST) power has been restored to the failed feed and is temporarily provided by generators.
https://nexellentag.statuspage.io/

If you have questions, please contact support@site4u.nl or call +31 85 – 30 30 999.

[Update] 03-06-2019 Onderbreking/interruption network Zürich

Sinds 10:48 is er een storing op het netwerk in Zwitserland. Het probleem ligt bij het datacenter. Onze leverancier is hiervan op de hoogte en onderneemt zsm actie. Updates worden op deze pagina geplaatst.

[Update] Rond 11:04 reageerden een aantal services weer, maar er zijn nog steeds problemen. We zijn aan het uitzoeken wat er precies misgaat.

Rond 11:13 was alles weer te bereiken.

________________________

Since 10:48 am we are experiencing issues on our network in Switzerland. The problem lies at the datacenter. Our provider is aware of the problem and is going to take action asap. We will place updates on this page.

[Update] Around 11:04 am some services were available again, but there are still problems. We are in the process of finding out what exactly.

Around 11:13 everything was available again.

[Update] 30-05-2019 Spoedonderhoud storage platform Haarlem / Emergency maintenance storage on Haarlem platform

Vanwege een storing aan 1 van de batterijen van 1 van de controllers van 1 van de storage switches in Haarlem, zullen wij vanavond om 22:30 handmatig failoveren naar de andere controler. De verwachte impact is minimaal.

Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

Due to a faulty battery on a controller of one of our storage switches in Haarlem, we will manually failover to the other controller, tonight at 22:30. The expected impact is minimal.

If you have questions, please contact support@site4u.nl or call 085 – 30 30 999.

Updates zullen hier geplaatst worden / Updates will be posted here.

Update 06-06-2019

De failover is op de avond van 30-05 succesvol uitgevoerd. Om de betrouwbaarheid van het platform te kunnen garanderen, hebben we gistermiddag (05-06-2019) de gehele controller laten vervangen door de leverancier.

The planned failover on 30-05 has been succesfully executed. To ensure the stability and reliabilty of the platform we had our supplier place a new controller yesterday afternoon (05-06-2019).

4-4-2019 Onderbreking/interruption netwerk Ede

Vanochtend 4 april 2019 hebben we tijdens gepland onderhoud op een deel van ons netwerk een firewall failover moeten uitvoeren waarbij rond 7.46-7.53 de rest van ons netwerk in Ede hinder heeft ondervonden.


Heb je vragen, neem dan contact op met support@site4u.nl of bel naar 085 – 30 30 999.

This morning April 4th, during planned maintenance on a part of our network, we were forced to do a firewall failover. During this failover, the rest of our network in Ede was interrupted between 7.46-7.53 am.

If you have questions, please contact support@site4u.nl or call +31 – 85 – 30 30 999.

09-03-2019 Netwerkstoring / Network outage Ede [update]

Om 09:59 op zaterdag 09-03-2019 is er een storing in ons netwerk in Ede opgetreden. De oorzaak lijkt bij de leverancier te liggen. Die is de toedracht dan ook aan het onderzoeken.

Je kunt de status volgen op https://www.bit.org/status/

[update]: Het incident is opgelost.
Reguliere operationele wijzigingen aan het netwerk hebben een incident op een switch veroorzaakt. Een aantal virtual machines van klanten, shared services en BIT intern gebruikte infra hebben hier overlast van ondervonden. Deze diensten waren niet of gedeeltelijk onbeschikbaar voor de duur van 15 minuten. Nader onderzoek wordt verricht om te achterhalen waarom een beperkt incident op een switch problemen voor deze diensten heeft veroorzaakt.
_______________________________________________________________

At 09:59AM on saturday march 09 2019 an outage occured in our network in Ede. The cause seems to be on our suppliers end. They are investigating the cause.

You can follow the progression at https://www.bit.org/status/

[update]: The incident has been resolved.
Regular operational changes to the network caused a minor incident on one of the switches. This caused disruptions for a small number of virtual machines of customers, shared services and some BIT internally used infra. These services were unavailable or partly unavailable for a duration of approximately 15 minutes. Further investigation will be performed to find out why a minor incident caused problems for some other services.