De verbindingsproblemen die op maandag 12 mei zijn waargenomen bij een deel van onze klanten, zijn inmiddels volledig verholpen. Na grondige analyse door onze technische afdeling, in samenwerking met externe netwerkexperts en uiteindelijk met directe betrokkenheid van een senior engineer van Eurofiber en een engineer van Microsoft, is de bron van het probleem herleid tot een onvolledig doorgevoerde wijziging binnen het netwerk van Eurofiber.

Op vrijdag 9 mei heeft Eurofiber een wijziging doorgevoerd in het routeringsbeleid van een aantal IPv4-adressen. Deze wijziging betrof het verwijderen van een aantal oudere IP-ranges die inmiddels buiten gebruik waren. In dit proces is echter abusievelijk een essentiële filterregel niet opnieuw toegepast op enkele resterende, nog actief gebruikte IP-ranges. Deze filters zijn noodzakelijk om correcte routering richting Microsoft-diensten mogelijk te maken en bestaan onder andere uit toegangsregels die ICMP-communicatie en DNS-resolutie tussen het Eurofiber-netwerk en Microsoft-infrastructuur faciliteren.

Gedurende het weekend zijn hierop slechts sporadisch klachten binnengekomen, wat aanvankelijk geen directe aanleiding gaf om een grotere netwerkfout te vermoeden. Daarbij kwam ook nog eens dat op de website van allestoringen.nl een groot aantal meldingen waren inzake het niet functioneren van Microsoft diensten in zijn algemeenheid. Echter, en pas op maandagochtend, nam het aantal meldingen merkbaar toe, specifiek van klanten die gebruikmaken van Microsoft 365 en Exchange Online. Overige diensten, zoals standaard e-mailverkeer en HTTP/HTTPS-verbindingen, bleven wél volledig operationeel, waardoor de storing zich erg gefragmenteerd manifesteerde en de oorzaak moeilijker te traceren was. En laat netwerk c.q. routerings problemen nu één van de meest lastigste en meest tijdrovende zaken zijn om te troubleshooten.

Een diepgaande analyse bracht uiteindelijk aan het licht dat verbindingen naar Microsoft vanuit enkele IP-blokken abrupt eindigden bij een tussenstation in het Eurofiber-netwerk, dat normaal gesproken als laatste hop fungeert richting Microsoft’s infrastructuur. De traceroutes bevestigden dat pakketten daar niet verder kwamen en ook ICMP-verkeer en DNS-query’s richting Microsoft werden vanuit deze IP-ranges geblokkeerd, terwijl andere IP-ranges – waaronder oudere blokken die al langer actief zijn – geen enkel probleem ondervonden en volledige connectiviteit richting Microsoft 365-servers hadden. Deze stopte overduidelijke bij de volgende hop van Eurofiber: 89-20-160-93.static.ef-service.nl (89.20.160.93) 4.674 ms 4.662 ms 4.626 ms (89.20.160.64/27 range behoort toe aan Eurofiber Nederland).

Uit verder onderzoek bleek dat deze situatie is ontstaan doordat bij het verwijderen van oude IP-ranges de bijbehorende routeringsfilters (ACL's of prefix lists) niet opnieuw of onvolledig zijn toegepast op de resterende actieve IP-ranges. Hierdoor ontbrak een essentieel deel van de toegangsregels voor verkeer richting Microsoft, met als gevolg dat clients vanuit deze IP-ranges geen verbinding konden maken met Microsoft 365-servers, terwijl andere providers en IP-blokken wel gewoon toegang hadden.

Het herstellen van deze fout bleek complexer dan aanvankelijk gedacht. Eurofiber heeft het incident uiteindelijk geëscaleerd naar hun hoogste technische niveau. In de loop van de avond heeft een van hun senior netwerkengineers in samenwerking met een Microsoft-specialist een correctievoorstel opgesteld en dit eerst getest op één getroffen range. Nadat deze test succesvol bleek, is het fix-beleid uitgerold naar de overige getroffen IP-blokken. Rond 01:00 ’s nachts waren alle aanpassingen doorgevoerd en functioneerde de communicatie richting Microsoft 365 en Exchange Online weer zoals verwacht.

Deze storing was volledig het gevolg van een fout in de infrastructuur van Eurofiber, die als netwerkleverancier verantwoordelijk is voor de core routing in het datacenter waarin onze hardware is gehuisvest. Onze eigen routers, switches en servers functioneerden tijdens het gehele incident correct en zonder enige verstoring. Wij hebben dit probleem dan ook niet zelf kunnen verhelpen, daar de toegang tot de relevante routeringsinfrastructuur uitsluitend bij Eurofiber ligt.

Het feit dat dit pas na meer dan twaalf uur is opgelost, komt voort uit de complexiteit van het routeringsbeleid, de betrokkenheid van meerdere partijen (waaronder Microsoft) en het ontbreken van zichtbare netwerkproblemen buiten de Microsoft-diensten. Wij hebben dit incident intern geëvalueerd en zullen in overleg met Eurofiber nagaan hoe in de toekomst beter toezicht kan worden gehouden op kritieke routeringswijzigingen, en hoe communicatie en escalatie sneller kunnen verlopen bij soortgelijke situaties.

We beseffen dat dit voor de betrokken klanten zeer vervelend is geweest en danken iedereen voor het geduld en begrip. Deze situatie onderstreept het belang van zorgvuldig change management op netwerkniveau en het tijdig escaleren van netwerkfouten naar de juiste partijen. Hoewel wij als ISP afhankelijk zijn van de fysieke infrastructuur van derden, nemen wij onze coördinatierol hierin serieus en zullen wij blijven toezien op de kwaliteit en betrouwbaarheid van onze dienstverlening.

Het moge duidelijk zijn dat wij de impact van deze storing, die het gevolg was van handelen binnen het netwerk van Eurofiber, zeer serieus nemen. Dit is inmiddels het tweede incident binnen een relatief korte periode dat direct te herleiden is tot wijzigingen of werkzaamheden aan hun zijde, waarbij het vorige voorval in november 2024 werd veroorzaakt door onvolledig gecommuniceerde netwerkwerkzaamheden binnen hun infrastructuur. Wij begrijpen dat onvoorziene technische problemen kunnen optreden — ook bij gerenommeerde partijen — maar we vinden dat er sneller en adequater gereageerd mag worden op concrete bevindingen van onze technici, zeker wanneer die tijdig en onderbouwd worden aangedragen. In dit kader zullen wij in gesprek gaan met Eurofiber om te pleiten voor een directere en efficiëntere communicatielijn met hun technische support, zodat in soortgelijke situaties sneller kan worden gehandeld en de duur van een eventuele verstoring substantieel kan worden teruggebracht.

Hoewel netwerkstoringen zoals deze zeldzaam zijn, kunnen de gevolgen ervan aanzienlijk zijn. Het blijft een technisch complex en tijdrovend proces om de oorzaak van dergelijke verstoringen te identificeren, op te lossen en die oplossing vervolgens zorgvuldig in te voeren binnen een actief productienetwerk zonder nieuwe risico’s te introduceren. Wij doen er alles aan om onze infrastructuur in topconditie te houden: van tijdige vernieuwing van servers, opslag, geheugen en netwerkapparatuur tot het preventief vervangen van switches, routers en PDU’s bij de geringste signalen van slijtage of instabiliteit. Maar zoals geldt voor elke partij die actief is in een digitaal ecosysteem: volledige garantie op het uitblijven van storingen bestaat niet. De afhankelijkheid van talloze externe factoren, onderliggende systemen en leveranciers maakt dat zelfs een kleine verstoring op één schakel invloed kan hebben op kritieke diensten. Dit zien we niet alleen bij onszelf, maar ook terug bij andere grote partijen — van Cloudflare tot KPN, van banken tot overheden.

Wat wij wél kunnen garanderen, is dat we blijven investeren in preventie, responsiviteit en samenwerking met externe partijen, om de betrouwbaarheid van onze diensten op het hoogst mogelijke niveau te houden.

Nog een kleine toevoeging inzake "Microsoft 365 (zakelijk)"-gebruikers die problemen ervaren met het inloggen. Dit is geen probleem wat naar aan ons te herleiden valt, maar een probleem vanuit Microsoft. Zie ook Tweakers nieuwsbericht hierover: https://tweakers.net/nieuws/234860/ontwikkelaar-deelt-fix-voor-inlogproblemen-outlook-in-microsoft-365.html. Aldaar wordt het probleem ook bevestigd door diverse gebruikers en verder verwezen naar een Youtube filmpje welke de oplossing zou moeten bieden. Voor zover wij kunnen constateren betreft dit alleen zakelijke gebruikers van Microsoft 365 die gebruik maken van zogenamen tenants.

Laatste update inzake storing: 3:50. Laatste aanpassing uitleg 7:35.

In de maanden maart, april, mei, juni 2025 zijn er in verband met de feestdagen gewijzigde openingstijden.

• Vrijdag 18 april (Goede Vrijdag) - Gehele dag gesloten
• Maandag 21 april (2e Paasdag) - Gehele dag gesloten
• Maandag 5 mei (Bevrijdingsdag) - Gehele dag gesloten
• Donderdag 29 mei (Hemelvaartsdag) - Gehele dag gesloten
• Vrijdag 30 mei (in aansluiting op Hemelvaartsdag) - Gehele dag gesloten
• Maandag 9 juni (2e Pinksterdag) - Gehele dag gesloten

Support aangelegenheden worden gewoon opgepakt en verwerkt.

We hebben hier al reeds eerder melding van gemaakt (zie nieuws van 19 november 2024) en we hebben hier ook al een uitgebreid kennisbank artikel voor aangemaakt (zie hier), maar KPN klanten lezen dit blijkbaar niet. Dus bij deze nogmaals ook als nieuwsbericht, zodat er niet onnodige support tickets hiervoor aangemaakt worden. Bvd.

Het originele bericht van 19 november 2024 was als volgt:

Wij ontvangen meldingen van KPN-klanten die geen verbinding kunnen maken via FTP met hun hostingaccount of server. Dit probleem houdt verband met een recente update die door KPN is doorgevoerd en staat los van onze dienstverlening.

KPN heeft naar eigen zeggen op 13 november een beveiligingsupdate uitgevoerd, die heeft geleid tot het blokkeren van uitgaande FTP-verbindingen via de KPN-router. Deze maatregel valt onder het mom van "extra beveiliging", maar kan voor veel gebruikers tot ongemakken leiden, aangezien FTP wereldwijd als standaard communicatiemiddel wordt gebruikt voor het beheren van websites en servers.

Helaas kunnen wij vanuit onze kant weinig doen om dit probleem op te lossen, omdat wij geen toegang hebben tot uw KPN-routerinstellingen. Het probleem ligt dus niet bij onze servers, maar bij de instellingen van uw KPN-router. Om het probleem te verhelpen, dient u zelf in te loggen op uw KPN-router en de regel die uitgaande FTP-verbindingen blokkeert, te verwijderen. Meer informatie over deze situatie vindt u op het KPN-forum via de volgende link: https://community.kpn.com/modems-123/ftp-werkt-niet-meer-op-experia-box-v10-sinds-update-625186

Als u hulp nodig heeft bij het aanpassen van de instellingen, raden wij u aan om contact op te nemen met KPN. Zij kunnen u ondersteunen bij het ongedaan maken van deze wijziging, aangezien deze direct verband houdt met de door KPN doorgevoerde update. Dit staat geheel los van de bereikbaarheid van onze servers.

Dit heeft niks met onze servers en/of dienstverlening te maken, maar puur en alleen met uw KPN verbinding! Dit probleem is anno 2025 nog steeds actueel! Dus maak aub geen onnodige support tickets aan en volg de informatie hierboven op of bekijk het bijbehorende kennisbank artikel hierover: https://www.helpburo.eu/Knowledgebase/Article/View/met-een-kpn-verbinding-problemen-met-verbinden-naar-ftp.

Ter informatie: op de Plesk-server ns1.supersnel2.net heeft zich op gisterenmiddag/-avond en hedenochtend vroeg een storing voorgedaan. In eerste instantie leek het probleem door onze technici te zijn verholpen, maar er bleek nog een onderliggende verstoring te zijn met betrekking tot een specifieke PHP-versie.

In de vroege ochtenduren is deze storing volledig verholpen. De oorzaak is achterhaald: een klant binnen deze Plesk-serveromgeving had wijzigingen doorgevoerd in onder andere de system user, waardoor de configuratiebestanden van Plesk beschadigd raakten. De betreffende klant is hierover geïnformeerd, en er zijn passende maatregelen genomen om herhaling te voorkomen.

Sinds 09:00 uur vanochtend functioneren alle websites op deze server weer naar behoren. Onze excuses voor het eventuele ongemak.

Mocht u nog problemen ervaren en gebruikmaken van de Plesk-server ns1.supersnel2.net, dan verzoeken wij u vriendelijk een ticket in te dienen. Dit incident heeft geen enkele impact gehad op andere Plesk-servers binnen ons netwerk; het betrof uitsluitend deze specifieke serveromgeving.

Technici moeten onderhoud verrichten op de ns1.speedmailer.nl server aankomende vrijdag (14 maart 2025) dit omvat een migratie naar een nieuwer OS.
Het onderhoud zal rond 8:00 starten. Technici zullen de overlast tot een minimum beperken. Tijdens de werkzaamheden zullen de diensten die aan deze server gekoppeld zijn tijdelijke niet werken en/of bereikbaar zijn.

Downtime zal circa een uur zijn. Excuses voor het ongemak. Wij zullen hier status updates plaatsen.

Update (10:15) migratie is volledig afgerond en alle diensten zouden weer moeten werken. Technici zijn nog wel met een paar minimale aanpassingen bezig op de achtergrond. Nogmaals excuses voor het ongemak.

Wij hebben het reeds aangegeven in september 2024 (zie hier), maar bij deze nogmaals een reminder dat Plesk volledig gaat stoppen met Horde webmail.

Dat wil zeggen dat vanaf april 2025 Horde als webmail client niet meer gebruikt kan worden; deze zal dus automatisch op alle Plesk servers verwijderd worden.
De enige webmail die dan nog zal functioneren is Roundcube. Dit kan u zelf voordien omwisselen binnen uw Plesk interface (onder de "Mail Settings"-optie) of wachten totdat Plesk dit automatisch omzet.

Plesk is inmiddels ook al gestopt met het leveren van welke vorm van support dan ook op Horde en dat wil zeggen dat wij zeer beperkt support kunnen leveren op Horde webmail. Hou hier rekening mee aub.
Zie ook de roadmap van Plesk hier: https://docs.plesk.com/release-notes/obsidian/deprecation-plan/.

Inmiddels zijn er nog maar een paar klanten die daadwerkelijk Horde webmail gebruiken, dus dit zal gelukkig weinig impact hebben.