Quand j’envoie une mailing, je reçois les rapports DMARC que soit disant j’envoie des mails en mon nom de domaine principal zw3b.net, (chose fausse, puisque je n’envoie AUCUN mail en ce nom de domaine (sauf bien sûr depuis ma boîte mail - et encore puisque j’envoie depuis le .fr) !
C’est quand (et seulement) quand j’envoie un mailing avec mon script PHP (donc, avec toujours, le même Sender (envoyeur d’emails : www-data@mon-serveur-web(dot)zw3b.net) que je reçois des alertes (des rapports DMARC) des serveurs destinataires - Rapports concernant un (mon) domaine et un (mon) sous-domaine, comme quoi certains (d’autres serveurs que le mien - avec d’autres IP enverraient des mails en mon nom de domaine - et que les serveurs destinataires me retourneraient une erreur).
Je reçois des rapports DMARC sur mon nom de domaine d’envoi d’emails ; mon serveur Web ; un sous domaine - et sur mon nom de de domaine (principal) user@zw3b.tld
Puis sinon, tous les autres jours, je ne reçois aucun rapport DMARC !? Comme si personne n’usurpé mon identité les autres jours
Je me demande, puis, je me dis que cela est (bien) bizarre !
Style personne n’envoie/ou me répond (les serveurs MX destinataires)… enfin personne (soit-disant) usurpe mon identité - sauf si j’envoie une mailing ?
Bizarre et IMPOSSIBLE que cela soit seulement à ce moment - seulement à ce/cet instant - seulement quand j’envoie un mailing !
Je vais attendre, un mois pour vérifier (peut-être que DMARC envoie les rapports mensuellement si il y a plus de « 100 » mails reçus par jour par un serveur destinataire) ce que je dis - comme si soit-disant c’était comme par hasard, un jour précis… incompréhensible puisque impossible !
Je m’aperçois que l’adresse IP 158.69.126.137 de mon serveur mail est déjà bloquée sur le serveur destinataire d’adresses email (at) free (dot) fr : https://postmaster.free.fr
Si on regarde la 1ère ligne du retour de la commande « qshape.pl deferred » qui me signale le temps ; en 21h (1280 / 60) je n’ai envoyé que 762 mails à l’ISP : 170 (il y a 21h) + 272 (il y a 10h) + 162 (il y a 5h) + 74 + 43 + 25 + 7 + 5 + 4.
J’ai déjà configuré mon script pour qu’il n’envoie qu’un seul mail par seconde.
Je ne vois pas - comment - ou qui contacter chez free (dot) fr pour qu’il accepte mes mails (en plus) conforment à DMARC
Qui me contacte en Message Privé Merci !
Bon weekend de Pâques - On n’est pas des cloches - ne buvez pas trop !
J’ai installé #DNSSEC sur une de mes zones déjà « zw3b.net.hosts » et toutes les autres - tous mes noms de domaines (20220521)
DNSSEC est une extension de sécurité du protocole DNS. Il s’agit d’une signature numérique sur les informations publiées par les DNS, mise en place par une paire de clé de chiffrement, rendant plus difficile la falsification, et donc plus sécurisée.
J’ai écris un code BaSH pour dé-zipper les fichiers DMARC dans le répertoire du mois
Cà permet de ne pas oubliez de fichiers non dézipper - Au cas où l’Humain que je suis en aurais oublié
Le script est le suivant : dmarc-file-dzip.sh
#!/bin/bash
#-------------------------------------------------------------
# Script pour dezipper les fichiers DMARC
# Author : O.Romain.Jaillet-ramey (orj (at) lab3w (dot) fr)
# Date Create : 20220527
#-------------------------------------------------------------
DIR="/var/pro/web_sites/zw3b_site/www/dmarc/"
YEAR="2022"
MONTH="06"
FOLDER="${DIR}/${YEAR}/${MONTH}"
FILE_OK=`/bin/ls ${FOLDER} | awk "/(gz|zip)/"`
NB_FILES=`/bin/ls ${FOLDER} | wc -l`
echo '+-----------------------------------------------'
echo NB FILES : ${NB_FILES} IN FOLDER
echo '+-----------------------------------------------'
echo ""
c=0;
for i in `ls ${FOLDER} | awk "/(gz|zip)/"`;
do
EXT=`echo ${i} | awk '{n=split($0,tab,"."); print tab[n];}'`
FILE_DZIPED="`echo ${i} | sed -E 's/\.(zip|gz)//g'`"
# echo "Extension : $EXT"
# file ${FOLDER}/${i};
if [ ${EXT} = 'zip' ];
then
# echo 'File Type : ZIP';
if [ `echo ${FILE_DZIPED} | grep "xml"` ];
then
FILE_DZIPED="${FILE_DZIPED}"
else
FILE_DZIPED="${FILE_DZIPED}.xml"
fi
fi
if [ ${EXT} = 'gz' ];
then
# echo 'File type : GZ';
FILE_DZIPED="${FILE_DZIPED}"
fi
# echo '+-----------------------------------------------'
# echo ""
# echo "FILE : "${i};
# echo "TYPE DZIPED : " ${FILE_DZIPED};
# echo ""
# echo '+--------------'
if [ ! -f "${FOLDER}/${FILE_DZIPED}" ] && [ -f "${FOLDER}/$i" ];
then
c=$(($c+1))
echo '+-----------------------------------------------'
echo -n "\ $c";
echo " - "${i};
echo " \ "
echo -n ' +-- Unzip file '
if [ ${EXT} = 'zip' ];
then
echo ' type : ZIP';
echo ""
unzip "${FOLDER}/${i}" -d ${FOLDER}
fi
if [ ${EXT} = 'gz' ];
then
echo ' type : GZ';
echo ""
gzip -dk "${FOLDER}/${i}"
fi
# echo '+-----------------------------------------------'
echo ""
fi
done;
echo '+-----------------------------------------------'
echo NB FILES : ${c} PROCESSED
echo '+-----------------------------------------------'
echo ""
Lancez la commande comme cela : sh dmarc-file-dzip.sh
On peut mieux faire hein
NdMoi-même : Ajout du 20220624 - Optimisation du script par @PengouinPdt.
time dmarc-file-dzip.sh
real
0m0,026s
user
0m0,029s
sys
0m0,003s
Donc, gentiment, @PengouinPdt a optimisé le script sous le nom extract-dmarc-file.bash
#!/bin/bash
#-------------------------------------------------------------
# Author : O.Romain.Jaillet-ramey (orj (at) lab3w (dot) fr)
# Contributor : Stephane Huc (PengouinPdt)
# Desc : Script pour dezipper les fichiers DMARC
# ATTENTION à la variable $DIR, elle est juste si ton script shell
# est bien à la racine de ton sous-répertoire "/dmarc"
# Date Create : 20220527
# Date modify : 20220622
#-------------------------------------------------------------
DIR="$(dirname "$(readlink -f -- "$0")")"
#DIR="/var/pro/web_sites/zw3b_site/www/dmarc/"
YEAR="2022"
MONTH="06"
FOLDER="${DIR}/${YEAR}/${MONTH}"
if [ ! -d "${FOLDER}" ]; then mkdir -p "${FOLDER}"; fi
## find . -maxdepth 1 -type f \( -iname "*.gz" -o -iname "*.zip" \) -printf '%f\n'
# build an array by listing the folder only with files *.(gz|zip)
readarray -d '' lists < <(find "${FOLDER}" -maxdepth 1 -type f \( -iname "*.gz" -o -iname "*.zip" \) -print0)
echo "+-----------------------------------------------"
echo "NB FILES : ${#lists[@]} IN FOLDER"
echo -e "+-----------------------------------------------\n"
c=0;
for name in "${lists[@]}"; do
#echo "name: ${name}"
EXT="${name##*.}"
# echo "EXT: ${EXT}"
FILE_DZIPED="$(basename "${name%.*}")"
# echo "Filename: ${FILE_DZIPED}"
case "${EXT}" in
'zip')
[ "$(echo "${FILE_DZIPED}" | grep -q "xml")" ] || FILE_DZIPED="${FILE_DZIPED}.xml"
;;
esac
if [ ! -f "${FOLDER}/${FILE_DZIPED}" ] && [ -f "${name}" ]; then
c=$((c+1))
echo "+-----------------------------------------------"
echo -n "\ $c";
echo " - ${name}";
echo " \ "
echo -n " +-- Unzip file "
echo -e " type : ${EXT} \n";
case "${EXT}" in
'gz')
gzip -dk "${name}"
;;
'zip')
unzip "${name}" -d ${FOLDER}
;;
esac
echo -e "\n"
fi
done;
echo "+-----------------------------------------------"
echo "NB FILES : ${c} PROCESSED"
echo -e "+-----------------------------------------------\n"
time extract-dmarc-file.bash
real
0m0,014s
user
0m0,014s
sys
0m0,001s
Et une autre version :
Super génial
#!/bin/bash
#-------------------------------------------------------------
# Author : O.Romain.Jaillet-ramey (orj (at) lab3w (dot) fr)
# Contributor : Stephane Huc (PengouinPdt)
# Desc : Script pour dezipper les fichiers DMARC
# Pour ne pas avoir à créer manuellement les répertoires de destination « AAAA/MM ».
# Ils seront créés à partir du timestamp récupéré depuis le nom de fichier compressé reçu
# Fichier GZ/IP dans le répertoire ./dmarc/
# Executer le script depuis le sous-répertoire ./dmarc/
# Date Create : 20220527
# Date modify : 20220622
#-------------------------------------------------------------
DIR="$(dirname "$(readlink -f -- "$0")")"
#DIR="/var/pro/web_sites/zw3b_site/www/dmarc/"
## find . -maxdepth 1 -type f \( -iname "*.gz" -o -iname "*.zip" \) -printf '%f\n'
# build an array by listing the folder only with files *.(gz|zip)
readarray -d '' lists < <(find "${DIR}" -maxdepth 1 -type f \( -iname "*.gz" -o -iname "*.zip" \) -print0)
echo "+-----------------------------------------------"
echo "NB FILES : ${#lists[@]} IN FOLDER"
echo -e "+-----------------------------------------------\n"
c=0;
for name in "${lists[@]}"; do
#echo "name: ${name}"
EXT="${name##*.}"
#echo "EXT: ${EXT}"
FILE_DZIPED="$(basename "${name%.*}")"
# echo "Filename: ${FILE_DZIPED}"
case "${EXT}" in
'zip')
[ "$(echo "${FILE_DZIPED}" | grep -q "xml")" ] || FILE_DZIPED="${FILE_DZIPED}.xml"
;;
esac
#echo "Filename: ${FILE_DZIPED}"
# get timestamp into filename to build folder
timestamp="$(echo "${FILE_DZIPED}" | awk -F '!' '{ print $3 }')"
#echo "timestamp: $timestamp"
datename="$(date +'%Y/%m' -d "@${timestamp}")"
#echo "date: $datename"
unset timestamp
FOLDER="${DIR}/${datename}"
#echo "Folder: $FOLDER"
unset datename
# mkdir folder if not exists
if [ ! -d "${FOLDER}" ]; then mkdir -p "${FOLDER}"; fi
if [ ! -f "${FOLDER}/${FILE_DZIPED}" ]; then
c=$((c+1))
echo "+-----------------------------------------------"
echo -n "\ $c";
echo " - ${name}";
echo " \ "
echo -n " +-- Unzip file "
echo -e " type : ${EXT} \n";
case "${EXT}" in
'gz')
gunzip -ck "${name}" > "${FOLDER}/${FILE_DZIPED}"
;;
'zip')
unzip "${name}" -d "${FOLDER}"
;;
esac
echo -e "\n"
fi
done;
echo "+-----------------------------------------------"
echo "NB FILES : ${c} PROCESSED"
echo -e "+-----------------------------------------------\n"
Je soulignais malgré tout que plus de 1000 fichiers dans un et même répertoire çà craind - çà rame - que je reçois par exemple environ 200 fichiers / mois - Il faudrait simplement déplacer les ZIP/GZ dans le répertoire à côté des XML dézipper - Pour celles et ceux qui auraient mis tous les fichiers DMARC de rapports GZ/ZIP dans un dossier sans savoir en faire quoi - Y’a un super tableau HTML maintenant, le PHPSource ici
Note de Moi-même du 20220620-21 : Création d’un fichier JSON des nombre d’emails envoyés depuis chaque IP des serveurs d’usurpateurs et autres.
Generate JSON FILE
Toutes les (n) secondes pour le mois en cours ou une seule fois pour les mois d’avant.
Execution de la fonction en bas de page/script PHP (ligne 1613)
Chez infomaniak - ils ne retournent pas l’auth_result sur DKIM - seulement sur les SPF - Ils retournent seulement la policy evaluated à « pass » - J’ai bien DKIM (configuré et valide)
NdMoi-même : J’ai remarqué cela en voyant sur le tableau HTML ci-joint de mes rapports DMARC.
Les XML :
Les tables :
Je trouvais cela bien d’analyser le fichier XML en vérifiant - l’auth_result puis la policy_evalued. C’est chiant !
Cà doit être leur politique de réception d’emails chez infomaniak - Pour le moment, ils ne doivent pas vérifier le protocol DKIM - tout simplement ou pas - Et, valident la politique DKIM - Bizarre
NdMoi-même 15h40 : J’ai mis à jour le PHPSource pour afficher « la value auth_result null qui n’existe pas » C’est mieux et on comprend mieux
PS : J’ai fais pareil pour les SPF - c’est toujours mieux de retourner ‹ null › s’il n’y a pas de valeur (et ‹ 0 › si elle a échouée).
NdMoi-même 20220624 : J’ai fais un « Mise À Jour » du fichier PHPSource avec « une constante » File identification name (mail server name) pour les JSON files
J’avais une « erreur » de génération du fichier JSON qui ne se créait pas une fois le mois passé - donc il manquait des jours de stats - par exemple si j’étais passé sur la page DMARC le 25 du mois.
C’est ce que je voulais faire (et qui est toujours actif) pour pas que le fichier JSON soit régénéré à chaque chargement de page du tableau HTML des rapports DMARC - des mois précédents.
J’ai ajouté une vérification pour que le fichier soit régénéré même le mois d’après (pour avoir les stats du mois complet).
PS : J’ai laissé en commentaire la ligne 531 : qui génère le fichier à chaque fois et modifié la vérification en ligne 535.
Note de Moi-même : L’intégration finale du tableau HTML des rapports DMARC sur mon site web est cette page écrite en Français | English | Español | العربية
NdMoi-même 20220710 : J’ai modifié le code PHPsource avec une demande de FQDN (Fully Qualified Domain Name) dans la visualisation des rapports mensuel - Pour avoir leur FQDN du mois courant - au cas où ils changeraient de nom - tous les mois - ou qu’ils couperaient leur serveur
Note de Moi-même 20220709 18h05 : Archives de fichiers GeoIP*.dat à mettre dans le répertoire /usr/share/GeoIP/ - Sauvegarder votre répertoire s’il contient déjà des fichiers
Dézipper le fichier comme cela : tar -xvf /home/orj/GeoIP-LAB3W.tar.gz -C /root/ pour le décompresser dans le répertoire /root/.
Je ne trouve pas de fichier GeoIPISP.dat valide - On peut le générer avec la commande /usr/lib/geoip/geoip-generator du paquet geoip-bin je crois depuis un CSV ? Comment-faire ?
Donc, ci-joint un essaie, le code PHPsource d’une API cliente RESTful pour lire le fichier au format JSON pour afficher la ressource serveur sur un autre site web (le client) - En Cross-origin resource sharing - par exemple d’ici - C’est en JS (JavaScript) - je n’aime pas trop . Il faudrait faire un client en PHP curL sur requête POST ce serait mieux - bien gérer l’authentification du client en POST toujours, le jeton (token) d’accès, le refresh etc…
API (Application Programming Interface ) est un ensemble normalisé de classes, de méthodes, de fonctions et de constantes qui sert de façade par laquelle un logiciel offre des services à d’autres logiciels.
CORS (Cross-Origin Resource Sharing) (littéralement « partage de ressources entre origines multiples ») est un mécanisme qui permet à des ressources restreintes d’une page web d’être récupérées par un autre domaine extérieur au domaine à partir duquel la première ressource a été servie.
C’est en développement côté serveur et client - çà va prendre du temps de bien tout sécuriser.
J’ai ajouté sur l’API serveur une authentification et ai créé un compte BETA-TESTEURS - qui peut utiliser l’application depuis n’importe quelle origine de sites/serveurs Web - pour qui, pour que vous puissiez récupérer le(s) JSON « normalement/facilement/fonctionnellement ».
Bonne journée, bon courage, bonnes vacances.
Note de Moi-même :
Qui me donnerait une URL de ses rapports d’analyse - en se créant un serveur API JSON de son côté ? Pour cumuler les « statistiques des adresses IP des serveurs mails d’usurpateurs de chacun de nous » Et faire, donc, une grande base de données internationale d’usurpateurs d’identité La première -
I’m sorry to have to inform you that your message could not
be delivered to one or more recipients. It’s attached below.
For further assistance, please send mail to postmaster.
If you do so, please include this problem report. You can
delete your own text from the attached returned message.
The mail system
address_mail@gmail.com: host gmail-smtp-in.l.google.com[142.251.16.26] said:
550-5.7.1 [158.69.126.137 18] Our system has detected that this
message is 550-5.7.1 likely suspicious due to the very low reputation of
the sending IP 550-5.7.1 address. To best protect our users from spam, the
message has been 550-5.7.1 blocked. Please visit 550 5.7.1 Why has Gmail blocked my messages? - Gmail Help for more information.
6-20020a05621420e600b004737906ac89si6565856qvk.438 - gsmtp (in reply to end
of DATA command)
Final-Recipient: rfc822; address_mail@gmail.com
Original-Recipient: rfc822;address_mail@gmail.com
Action: failed
Status: 5.7.1
Remote-MTA: dns; gmail-smtp-in.l.google.com
Diagnostic-Code: smtp; 550-5.7.1 [158.69.126.137 18] Our system has
detected that this message is 550-5.7.1 likely suspicious due to the very
low reputation of the sending IP 550-5.7.1 address. To best protect our
users from spam, the message has been 550-5.7.1 blocked. Please visit 550
5.7.1 Why has Gmail blocked my messages? - Gmail Help for more information.
6-20020a05621420e600b004737906ac89si6565856qvk.438 - gsmtp
Return-Path: address_mail@lab3w.fr
Received: from localhost (ip6-localhost [IPv6:::1])
by mail.zw3b.net (Postfix) with ESMTP id 1DC8A5650CC
for address_mail@gmail.com; Mon, 8 Aug 2022 14:02:13 +0200 (CEST)
Received: from mail.zw3b.net ([IPv6:::1])
by localhost (mail.zw3b.net [IPv6:::1]) (amavisd-new, port 10032)
with ESMTP id LxM5Uzfd3R-t for address_mail@gmail.com;
Mon, 8 Aug 2022 14:02:07 +0200 (CEST)
Received: from localhost (ip6-localhost [IPv6:::1])
by mail.zw3b.net (Postfix) with ESMTP id 75DC45650D0
for address_mail@gmail.com; Mon, 8 Aug 2022 14:02:07 +0200 (CEST)
DKIM-Filter: OpenDKIM Filter v2.10.3 mail.zw3b.net 75DC45650D0
DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=lab3w.fr;
s=D169D816-836E-11EC-0000-F2FADF2C65F6; t=1659960127;
bh=OZ/pG1T0eII60+331pet61zTvvsJYp0uhNIl8eSs/po=;
h=Message-ID:Date:MIME-Version:From:To;
b=ooaHSxqleiN8i1eX8wgyD3Ckqaxut7+BRq05YN3zfptBP7plBxzYhAdV0hZjZLbsP
JCAMeiZlD/dJExwo5VEDAT3r5QvwQmnR2rjBw5/TOOMN63bi/Y6INR64z9DXQNu+aC
ywCNCYXW+Q0BJWBKIUoGCZLs581RPPT3MpzzFJOJ/fpU2wSZln7+8eP1AUWDCyswZ9
4HeNzFx3uNU2/lF3iJegTTKVjqREZyfjh2hjy8rDH2Fpeu7Ud/QL5Hf0BYSyYj0xe5
Q7vK9TjaBCzZVM3wkulufb9phpxUpYhU9j4dL2bVOLGZ9jZ3UHdGg76SIG60Za3WJW
dLKtoVFY9Rmyw==
X-Virus-Scanned: amavisd-new at zw3b.net
Received: from mail.zw3b.net ([IPv6:::1])
by localhost (mail.zw3b.net [IPv6:::1]) (amavisd-new, port 10026)
with ESMTP id 8sIoKCqiUQaQ for address_mail@gmail.com;
Mon, 8 Aug 2022 14:02:06 +0200 (CEST)
Received: from [IPV6:2607:5300:60:9389:58:eeee:ffdd:1678] (unknown [IPv6:2607:5300:60:9389:58:eeee:ffdd:1678])
by mail.zw3b.net (Postfix) with ESMTPSA id 803AD5650CC
for address_mail@gmail.com; Mon, 8 Aug 2022 14:01:27 +0200 (CEST)
Content-Type: multipart/alternative;
boundary="------------f8qCs8gsFLfKH6nGxN7lPWzX"
Message-ID: 4cfabf3b-dbe6-a456-ffb4-fe55d02c2508@lab3w.fr
Date: Mon, 8 Aug 2022 14:00:57 +0200
MIME-Version: 1.0
User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:91.0) Gecko/20100101
Thunderbird/91.12.0
Content-Language: fr
From: « O.Romain.Jaillet-ramey » address_mail@lab3w.fr
To: address_mail@gmail.com
Subject: Solution pour « File Transfert » - Ile Maurice
C’est quoi que tu ne comprends pas dans cette ligne ?
Problème de DNS sur le sous-domaine pour le mail …
Après en étant listé chez UCEProtect … pas de bol c’est rat pour faire délister si t’arrive en niv2 chez eux, mais c’est sans doute l’AS de ton provider qui est listé et là ce sera plus compliqué …
J’ai remarqué aussi que tout le bloc IPv6::/32 du mon FAI OVH est black-listé : ce block 2607:5300:0:0:0:0:0:0/32
CF :
Votre adresse IP est dans une plage qui a été bloquée sur tous les wikis de la Fondation Wikimédia.
Le blocage a été réalisé par Trijnstel (meta.wikimedia.org). Le motif fourni est Open proxy: abused proxy by LTAs and spambots - should you be affected by this block, please email stewards (at) wikimedia (dot) org.
Début du blocage : 1 juin 2018 à 09:49
Expiration du blocage : 1 juin 2023 à 09:49
Le champs MX ne doit pas être positionné sur ton domaine mais sur ton sous-domaine si c’est lui qui émet les mails et porte le reverse DNS en acord avec le hostname qui envoi les mails.
En gros ton MX semble (c’est même sûr) positionné sur le mauvais enregistrement DNS.
Le bloc IPV4 est listé chez UCE Protect … change de provider pour les mails.
que plus de 1000 fichiers dans un et même répertoire çà craind - çà rame - que je reçois par exemple environ 200 fichiers / mois - Il faudrait simplement déplacer les ZIP/GZ dans le répertoire à côté des XML dézipper - Pour celles et ceux qui auraient mis tous les fichiers DMARC de rapports GZ/ZIP dans un dossier sans savoir en faire quoi 
- Y’a un super tableau HTML maintenant, le 
pour afficher « la value 
-
