Fournisseurs d’emails, arrêtez de faire de la merde ! (#PasMonCaca)

Cet article fait écho à mon précédent article sur le pouvoir de nuisance des silos de mail.

Dans cet article, je pestais contre le pouvoir ahurissant que confère une grosse base d’utilisateurs à certains fournisseurs de mail (Gmail, Yahoo, etc).

En effet, il est quasiment impensable pour quiconque envoie des mails de passer outre leurs façons de faire, sous peine de se couper d’une grande partie des internautes.

Quand bien même on se conforme à leurs desiderata, quand bien même on met en place toutes les bonnes pratiques existantes, certains fournisseurs de mail ne font pas leur travail correctement…

Nota Bene : Framasoft n’est pas la seule structure à rencontrer les problèmes décrits ci-dessous. Des universités aux entreprises en passant par les google groups, on trouve des témoignages un peu partout sur le Web de mails qui n’arrivent pas à destination, et les administrateurs systèmes échangent souvent entre eux pour savoir si ça vient d’eux ou du serveur d’en face (vous aurez déjà deviné, d’après le titre de cet article, d’où vient généralement le problème).

“Postman.” par Alexander, William (1767-1816) licence CC0 1.0

Florilège

À tout seigneur, tout honneur, commençons par laposte.net.

laposte.net

La Poste avait tout pour fournir un service de mail propre et performant : son histoire dans les communications remonte à loin (on peut faire remonter sa généalogie au XVe siècle avec la première poste d’État de Louis XI) et si nous avons tous eu une lettre ou un colis qui s’est perdu dans les méandres des centres de tri, force est de constater que ça fonctionnait quand même très bien. En 2000, la Poste, encore entreprise publique, devait pouvoir fournir une adresse électronique à tous les Français⋅e⋅s.

Comment ne pas lui faire confiance ? Nous-mêmes, libristes avons, pendant longtemps, conseillé laposte.net à qui nous demandait un fournisseur de mail « propre », qui n’espionne pas les conversations, ne met pas de publicité…

Les choses ont bien changé.

Le prestataire de la Poste (ah bah oui, c’est un sous-traitant, vous n’imaginiez quand même pas que la Poste allait avoir des compétences en interne à l’heure des suppressions de postes de fonctionnaires ?) semble être, excusez le terme, un vrai branquignol : nous avons souvent des messages d’erreur comme 421 4.3.2 All server ports are busy (les serveurs ne sont pas correctement dimensionnés), 550 5.5.0 Service refuse. Veuillez essayer plus tard. service refused, please try later. LPN007_510 (« nope, on veut pas, revenez plus tard ») ou mon préféré, 451 4.7.1 Service unavailable – try again later (tout est vautré).

Ça fait des mois que les serveurs de laposte.net plantent régulièrement, avec en point d’orgue une panne qui a duré plusieurs jours en avril et une communication qui a mis plusieurs jours à arriver (un message pour dire qu’il y a un problème serait-il un aveu de faiblesse pour eux ?).

Résultat :

  • les mails s’accumulent sur nos serveurs, et comme on retente de les envoyer pendant quelques jours, eh bien ça ralentit le traitement des autres mails (bon, maintenant, j’ai mis en place des mailqueues séparées, mais ce n’est pas quelque chose que je devrais avoir à mettre en place !) ;
  • les utilisateurs ne reçoivent pas leurs mails de confirmation d’inscription à nos services ;
  • qui les utilisateurs contactent-ils ? Ah bah non, pas le support de la Poste, ce serait trop simple. Non, non, c’est nous. Et c’est usant. Non pas de vous répondre, mais le fait que ce soit 95 % du temps la faute à votre fournisseur de mail qui ne fait pas correctement son boulot.

Orange (wanadoo)

Ah, Orange. Tout un poème…

L’opérateur historique qui, lui aussi, a bénéficié de son aura d’ancien service public pour capter une grande majorité des internautes français lorsque vint l’heure de se choisir son premier FAI. Du coup, beaucoup de personnes ont encore une adresse wanadoo. Et comme Orange est le FAI majoritaire en France, encore plus de personnes ont une adresse orange.

J’avais déjà parlé dans mon précédent article de sa sale manie de ne pas accepter qu’on lui envoie trop de mails en une seule connexion. Imaginez un quidam qui refuse que son facteur lui apporte plus de trois lettres par tournée. Le facteur doit donc se représenter plusieurs fois s’il a plus de trois lettres à délivrer. C’est débile. Orange fait ça, mais pour le mail.

C’est le seul fournisseur que je connaisse qui impose ce genre de limite (qu’on ne vienne pas me dire que c’est pour lutter contre le spam : comment font les autres ? Hein ? Orange n’aurait pas les capacités financières et techniques de lutter plus proprement contre le spam ?).

Heureusement, ça se règle facilement, mais tout de même.

Et puis, de temps en temps, pouf, il rejette nos mails à coup de 550 5.2.0 Mail rejete. Mail rejected. ofr_506. Pourquoi ? Va savoir. Et ça se débloque tout seul au bout d’un temps.

Free

Après l’opérateur historique, voici celui qu’on surnomme le trublion du net. De temps en temps, celui-ci semble modifier les règles de son antispam, et nous voilà avec des mails 550 spam detected, quand bien même c’est le 300e mail quasi identique que nous envoyons de la journée. Et puis ça s’en va et ça revient.

Pareil avec 451 too many errors from your ip, ça bloque de temps en temps et ça repart comme c’est venu… alors qu’il s’agit majoritairement de mails de notification (framapiaf, framasphere, framagit…) et donc que les adresses ont été vérifiées ! Certes, il peut y avoir des erreurs, mais tellement peu dans le volume de mails que nous envoyons à Free… Ça arrive vraiment de façon aléatoire. Grmpf.

Facebook

On l’oublie, mais Facebook, en 2010, a proposé d’avoir une adresse mail @facebook.com (bon, ils ont arrêté les inscriptions en 2014, ce qui explique l’oubli). Et certaines personnes utilisent encore ces adresses.

Nos mails étaient bloqués de temps à autre avec un code 554 5.7.1 POL-P4 Connection refused, ce qui veut dire en gros « Revenez dans 24 ou 48 heures ». En soi, ce n’était pas forcément délirant, si jamais nous avions, pour une raison ou pour une autre, envoyé beaucoup de mails d’un coup à leurs serveurs. Mais depuis quelques semaines, il n’y a plus de déblocage : nos mails ne partent plus pour facebook.com, même en les faisant partir d’un autre serveur ou en diminuant la vitesse d’envoi.


Voilà pour les fournisseurs de mails qui font n’importe quoi avec leurs serveurs. Ils présentent tout de même l’avantage de nous permettre de comprendre pourquoi les destinataires n’ont pas reçu leurs mails, fût-ce pour de stupides raisons. Mais il y en a de plus vicieux…

Ceux qui n’amènent pas les mails à leurs destinataires (ou qui les cachent)

On ne les connaît pas bien, ce n’est que lorsque l’on nous contacte pour et que nous voyons que le mail est bien parti qu’on les repère : les fournisseurs de mails qui acceptent nos mails mais, pour une raison ou pour une autre, les envoient rejoindre le grand rien.

Eh oui, nos mails disparaissent parfois sur le serveur de votre fournisseur de messagerie. Vous ne les trouverez dans aucun dossier, pas même dans les spams.

Il s’agit le plus souvent de choix algorithmiques du fournisseur : l’antispam est vraiment sûr que ce message est frauduleux ? Bah, pas la peine d’embêter l’utilisateur, on le jette ! (ce qui est stupide car ne permettant pas la correction des faux positifs par les utilisateurs).

Encore mieux, Gmail. Comme expliqué dans notre FAQ, si vous recevez un mail identique à un que vous avez envoyé, comme un message à une framaliste à laquelle vous êtes inscrit, Gmail cachera le mail reçu de la liste. Vous l’avez envoyé, vous en connaissez le contenu, non ? Ah, vous vouliez voir quand le message arriverait, histoire d’être sûr qu’il a bien été traité par notre serveur de listes ? Pas de bol.

Ceux qui proposent une application pourrie

Les personnes qui utilisent l’application de mail Orange sur leur téléphone ont des soucis pour envoyer des messages à des framalistes. Après investigation, nous nous sommes rendus compte que l’application met l’adresse de la liste (enfin un dérivé, elle met l’adresse dédiée à la réexpédition des mails reçus par la liste) dans l’en-tête Sender.

Que cela veut-il dire et pourquoi est-ce un problème ? Cela fait croire que le mail provient du serveur des framalistes. Comme notre serveur n’est pas stupide, voyant un mail provenant soit-disant de lui-même mais passant par un serveur non-autorisé à envoyer des mails framalistes, celui-ci refuse le mail. Tout simplement. C’est une des techniques classiques de lutte contre le spam que d’agir ainsi.

“cow dung patties” par mary jane watson licence CC BY 2.0

Conclusion

Les problèmes face aux gros silos de mail sont nombreux, et sont loin d’être tous dus à une mauvaise configuration de votre serveur mail que vous chouchoutez vous-même (ou de ceux que nous configurons… Non vraiment, c’est pas nous qui pondons de telles bouses ! D’où ce joli hache-tague : c’est #PasMonCaca).

Je pense personnellement et sincèrement qu’il y a une part d’incompétence de la part de ces silos dans un certain nombre de cas. Si tout le monde jouait le jeu correctement, le mail ne serait pas aussi compliqué qu’aujourd’hui.

Que pouvez-vous faire ? Eh bien, à part changer de fournisseur de mail (connaissez-vous les CHATONS ?), vous pouvez contacter le support de votre fournisseur actuel, lui expliquer la situation et lui dire que ce n’est pas normal. Nous pouvons vous fournir, le cas échéant, les codes d’erreur retournés par son serveur pour les mails que nous vous envoyons. Peut-être qu’en étant suffisamment nombreux à râler, la situation évoluera.

Fun fact : combien des fournisseurs de mail évoqués dans cet article permettent de contacter leur serveur de mail en IPv6 ? Un seul — je vous laisse chercher lequel 😁

(Et si vous vous posez la question, oui, les serveurs de framasoft.org et framalistes.org sont accessibles en IPv6, comme toute l’infrastructure de Framasoft. Quand on veut, on peut.)

Image d’en-tête par barefootcollege, source.




Être un géant du mail, c’est faire la loi…

Google, Yahoo, Microsoft (Outlook.com & Hotmail) voient forcément vos emails. Que vous soyez chez eux ou pas, nombre de vos correspondant·e·s y sont (c’est mathématique !), ce qui fait que vos échanges finissent forcément par passer sur leurs serveurs. Mais ce n’est pas là le seul problème.

Quand les facteurs deviennent shérifs…

« Bonjour, c’est moi qui fais la loi ! »
Par Mennonite Church USA ArchivesAlta Hershey, Incoming Mail, 1957, No restrictions, Link

Ça, c’est côté public : « Tout le monde est chez eux, alors au final, que j’y sois ou pas, qu’est-ce que ça change ? ». En coulisses, côté serveurs justement, ça change tout. La concentration des utilisateurs est telle qu’ils peuvent de fait imposer des pratiques aux « petits » fournisseurs d’emails, de listes de diffusion, etc. Ben oui : si vous ne respectez pas les exigences de Gmail, les emails que vous enverrez vers tou·te·s leurs utilisateurs et utilisatrices peuvent passer en spam, voire être tout bonnement bloqués.

Comme pour Facebook, on se trouve face à un serpent qui se mord la queue : « Tous mes amis sont dessus, alors je peux pas aller sur un autre réseau… » (phrase entendue lors des début de Twitter, Instagram, Snapchat, et Framasphère*…). Sauf qu’en perdurant chez eux, on devient aussi une part de la masse qui leur confère un pouvoir sur la gouvernance – de fait – d’Internet !

Il n’y a pas de solutions idéale (et, s’il vous plaît, ne jugeons pas les personnes qui participent à ces silos… elles sont souvent pas très loin dans le miroir 😄) ; mais nous pensons que prendre conscience des enjeux, c’est faire avancer sa réflexion et sa démarche vers plus de libertés.

Nous reprenons donc ici un article de Luc, notre administrateur-système, qui a partagé sur son blog son expérience de « petit » serveur d’email (à savoir Framasoft, principalement pour Framalistes) face à ces Léviathans. Luc ayant placé son blog dans le domaine public, nous nous sommes permis de remixer cet article avec des précisions qu’il a faites en commentaires et des simplifications/explications sur les parties les plus techniques (à grands coups de notes intempestives 😜 ).

Le pouvoir de nuisance des silos de mail

Crédits : Illus­tra­tion de Vincent Van Gogh, Joseph Roulin assis

par Luc Didry, aka Framasky.

Quand on pense aux GAFAM, on pense surtout à leur vilaine habi­tude d’as­pi­rer les données de leurs utili­sa­teurs (et des autres aussi d’ailleurs) mais on ne pense pas souvent à leur poids déme­suré dans le domaine du mail.

Google, c’est gmail, Micro­soft, c’est hotmail, live, msn et je ne sais quels autres domaines, etc. [Outlook.com. On l’oublie souvent. – Note du Framablog]

Tout ça repré­sente un nombre plus que consé­quent d’uti­li­sa­teurs. Google reven­diquait en 2015 900 millions de comptes Gmail. Bon OK, il y en a une part qui ne doit servir qu’à avoir un compte pour son téléphone Android, mais quand même. C’est énorme.

Je n’ai pas de statis­tiques pour Micro­soft et Yahoo, mais c’est pareil : ils pèsent un certain poids dans les échanges mondiaux [nous, on en a trouvé : 1,6 milliard de comptes à eux trois en 2016 – NdF].

Ce qui nous ramène à une situa­tion des plus déplai­santes où un petit nombre d’ac­teurs peut en em***er une multi­tude.

WARNING : la liste à puce qui suit contient des exemples techniques un poil velus. Nos notes vous aideront à y survivre, mais vous avez le droit de la passer pour lire la suite des réflexions de Luc. Ah, et puis il a son franc-parler, le loustic. ^^ – NdF.

Petits exemples vécus :

  • Micro­soft bloque tout nouveau serveur mail qu’il ne connaît pas. C’est arrivé pour mon serveur perso, le serveur de mail de Frama­soft que j’ai mis en place, sa nouvelle IP [l’adresse qui permet d’indiquer où trouver un serveur – NdF] quand je l’ai migré, le serveur de listes de Frama­soft et sa nouvelle IP quand je l’ai migré. Ça me pétait une erreur 554 Message not allowed (de mémoire, je n’ai plus le message sous la main) [erreur qui fait que l’email est tout bonnement refusé – NdF]. Et pour trou­ver comment s’en débrouiller, bon courage : la page d’er­reur de Micro­soft n’in­diquait rien. Je n’ai même pas trouvé tout seul (et pour­tant j’ai cher­ché) : c’est un ami qui m’a trouvé la bonne adresse où se faire dé-black­lis­ter (notez au passage qu’il est impos­sible de faire dé-black­lis­ter une adresse ou un bloc d’adresses IPv6 [la nouvelle façon d’écrire les adresses IP, indispensable face à la croissance du nombre de machines connectées à Internet – NdF]).
  • Gmail qui, du jour au lende­main, décide de mettre tous les mails de mon domaine person­nel en spam. Ce qui ne serait pas trop gênant (hé, les faux posi­tifs, ça existe) si ce n’était pour une raison aber­rante (ou alors c’est une sacrée coïn­ci­dence) : ça s’est passé à partir du moment où j’ai activé DNSSEC [une façon de sécuriser les échanges avec les serveurs DNS [ces serveurs sont les annuaires qui font correspondre une adresse web avec l’adresse IP difficile à retenir pour les humains – NdF²]] sur mon domaine. Et ça s’est terminé dès que j’ai ajouté un enre­gis­tre­ment SPF [une vérification que les emails envoyés ne sont pas usurpés – NdF] à ce domaine. Or le DNSSEC et le SPF n’ont rien à voir ! Surtout pas dans cet ordre-là ! Qu’on ne fasse confiance à un enre­gis­tre­ment SPF que dès lors que le DNS est de confiance (grâce à DNSSEC), soit, mais pourquoi néces­si­ter du SPF si on a du DNSSEC ? [Oui, pourquoi ? – NdF qui laisse cette question aux spécialistes]
  • Yahoo. Ah, Yahoo. Yahoo a décidé de renfor­cer la lutte contre le spam (bien) mais a de fait cassé le fonc­tion­ne­ment des listes de diffu­sion tel qu’il était depuis des lustres (pas bien). En effet, quand vous envoyez un mail à une liste de diffu­sion, le mail arrive dans les boîtes des abon­nés avec votre adresse comme expé­di­teur, tout en étant envoyé par le serveur de listes [le serveur de listes se fait passer pour vous, puisque c’est bien vous qui l’avez envoyé par son intermédiaire… vous suivez ? – NdF]. Et Yahoo a publié un enre­gis­tre­ment DMARC [une sécurité de plus pour l’email… heureusement que Luc a mis des liens wikipédia, hein ? – NdF] indiquant que tout mail ayant pour expé­di­teur une adresse Yahoo doit impé­ra­ti­ve­ment prove­nir d’un serveur de Yahoo. C’est bien gentil, mais non seule­ment ça fout en l’air le fonc­tion­ne­ment des listes de diffu­sion, mais surtout ça met le bazar partout : les serveurs de mail qui respectent les enre­gis­tre­ments DMARC appliquent cette règle, pas que les serveurs de Yahoo. Notez qu’AOL fait la même chose.
  • Orange fait aussi son chieur à coup d’er­reurs Too many connections, slow down. OFR004_104 [104] [« trop de connexions, ralentissement », une erreur qui fait la joie des petits et des grands admin-sys – NdF]. C’est telle­ment connu que le moteur de recherche Google suggère de lui-même wanadoo quand on cherche Too many connections, slow down. Voici la solu­tion que j’ai utili­sée.

Pour s’en remettre, voici une image qui fait plaisir…

On peut le voir, le pouvoir de nuisance de ces silos est énorme. Et plus encore dans le cas de Yahoo qui n’im­pacte pas que les commu­ni­ca­tions entre ses serveurs et votre serveur de listes de diffu­sion, mais entre tous les serveurs et votre serveur de listes, pour peu que l’ex­pé­di­teur utilise une adresse Yahoo [on confirme : dès qu’une personne chez Yahoo utilisait Framalistes, ça devenait un beau bord… Bref, vous comprenez. Mais Luc a lutté et a fini par arranger tout cela. – NdF]. Et comme il y a encore pas mal de gens possé­dant une adresse Yahoo, il y a des chances que vous vous rencon­triez le problème un jour ou l’autre.

Je sais bien que c’est pour lutter contre le spam, et que la messagerie propre devient si compliquée que ça pourrait limite devenir un champ d’expertise à part entière, mais le problème est que quand un de ces gros acteurs tousse, ce sont tous les administrateurs de mail qui s’enrhument.

Si ces acteurs étaient de taille modeste, l’en­semble de la commu­nauté pour­rait soit leur dire d’ar­rê­ter leurs bêtises, soit les lais­ser crever dans leurs forte­resses injoi­gnables. Mais ce n’est malheu­reu­se­ment pas le cas. 🙁 « À grand pouvoir, grandes responsabilités »… Je crois avoir montré leur pouvoir de nuisance, j’aimerais qu’ils prennent leurs responsabilités.

Ils peuvent dicter leur loi, de la même façon qu’Internet Explorer 6 le faisait sur le web il y a des années et que Chrome le fait aujourd’hui (n’ayez pas peur, le titre de la vidéo est en anglais, mais la vidéo est en français). C’est surtout ça qui me dérange.

Une seule solu­tion pour faire cesser ce genre d’abus : la dégoo­gli­sa­tion ! Une décen­tra­li­sa­tion du net, le retour à un Inter­net d’avant, fait de petites briques et pas d’im­menses pans de béton.

 

PS : ne me lancez pas sur MailInB­lack, ça me donne des envies de meurtre.