S/MIME Partie 4 : Collecte des clés publiques des destinataires facilement – avec les webhooks de relais entrant SparkPost

Email

1 min read

S/MIME Partie 4 : Collecte des clés publiques des destinataires facilement – avec les webhooks de relais entrant SparkPost

Email

1 min read

S/MIME Partie 4 : Collecte des clés publiques des destinataires facilement – avec les webhooks de relais entrant SparkPost

Dans cette série, nous avons vu que l'inclusion d'une signature S/MIME est assez simple. L'envoi de courriels cryptés S/MIME est plus complexe car vous devez obtenir les clés publiques des destinataires. C'est une chose lorsque vous utilisez un client de messagerie pour les humains tel que Thunderbird – mais comment cela peut-il fonctionner avec des flux de courriels générés par des applications ?

Dans partie 1, nous avons fait un tour rapide de S/MIME, en regardant la signature et le chiffrement de nos flux de messages à travers une gamme de clients de messagerie. Partie 2 nous a guidés à travers un outil de ligne de commande simple pour signer et chiffrer des emails, puis les envoyer via SparkPost. La partie 3 a montré comment injecter des flux de mail sécurisés dans des plateformes locales telles que Port25 PowerMTA et Momentum.

Dans cette série, nous avons vu que l’inclusion d’une signature S/MIME est assez simple. Envoyer des mails chiffrés S/MIME est plus complexe car vous devez obtenir les clés publiques des destinataires. C'est une chose lorsque vous utilisez un client de mail pour les humains comme Thunderbird - mais comment cela peut-il fonctionner avec des flux de mail générés par des applications ?

Mais attendez – il y a une autre façon d'entrer dans Mordor pour obtenir ces clés. Votre service peut inviter vos clients (par email, bien sûr) à vous renvoyer un email signé à une adresse de service client connue. En utilisant les pouvoirs magiques des webhooks SparkPost Inbound Relay, nous extrairons et stockerons cette clé publique pour que vous puissiez l'utiliser.

Nous pouvons résumer cela dans un simple cas d'utilisation :

  • En tant que destinataire de messages, je fournis à votre service ma signature d'email personnelle par email, afin qu'à l'avenir, les emails puissent m'être envoyés sous forme chiffrée S/MIME.

À partir de cela, établissons quelques exigences plus détaillées :

  • Nous avons besoin d'un service d'email entrant toujours disponible et fiable pour recevoir ces emails signés.

  • Il ne doit y avoir aucune exigence particulière sur le format du mail, à part qu'il doit porter une signature S/MIME.

  • Parce que n'importe qui peut essayer d'envoyer un email à ce service, il doit être conçu de manière défensive, par exemple, pour rejeter les « messages d'usurpation » des mauvais acteurs. Il devra y avoir plusieurs couches de vérification.

  • Si tout est OK, le service stockera le certificat dans un fichier, en utilisant le format connu sous forme de texte simple Privacy-Enhanced Mail (PEM).

Il y a quelques exigences non fonctionnelles :

  • Les services d'API de webhook de machine à machine peuvent être difficiles à voir juste à partir des réponses à ce qui se passe à l'intérieur. Le service doit fournir des journaux d'application lisibles par l'homme. En particulier, l'analyse et la vérification des certificats doivent être enregistrées.

  • Nous ajoutons des cas de test pour les internes de l'application, en utilisant le joli cadre Pytest, et exécutons ces tests automatiquement lors de l'enregistrement à l'aide de l'intégration Travis CI avec GitHub.

D'accord - commençons !

1. Aperçu de la solution

Voici à quoi ressemblera la solution globale.

Diagram depicting a secure email flow illustrating how emails are verified using certificates for secure transmission.

2. Installer, configurer et démarrer l'application web

Nous allons commencer par cette partie, afin de la tester complètement avant de connecter les webhooks du relais entrant.

L'application web est incluse dans le même projet GitHub que les parties 1 à 3, donc si vous avez suivi ces parties, vous l'avez déjà. Voici les nouvelles parties :

  • Programme readSMIMEsig.py – lire un email et extraire les certificats intermédiaires et utilisateur.

  • Programme webapp.py – application web simple compatible Flask pour une utilisation avec SparkPost Inbound Relay Webhooks.

  • webapp.ini – fichier de configuration pour ce qui précède. Un fichier de configuration permet de transmettre facilement les mêmes valeurs aux applications en ligne de commande et web.

Vous devez vous assurer que votre hôte a le bon numéro de port TCP ouvert aux requêtes entrantes du monde extérieur afin que SparkPost puisse envoyer des messages POST à votre application. Si vous êtes hébergé sur AWS EC2, par exemple, vous devrez configurer le groupe de sécurité de votre instance.

Les instructions pour configurer et démarrer l'application web sont données ici – c'est assez facile. Pour vérifier que votre application fonctionne et est accessible depuis l'extérieur, vous pouvez envoyer des requêtes (vides) depuis un autre hôte en utilisant curl, par exemple :

curl -X POST https://app.trymsys.net:8855/

Vous devriez voir une réponse telle que :

{"message":"Unknown Content-Type in request headers"}

C'est une bonne chose – votre application fonctionne !

Dans webapp.log sur votre hôte, vous verrez une sortie similaire à celle-ci :

2019-01-15 00:11:07,575,root,INFO,Request from 38.96.5.10,scheme=https,path=/ 2019-01-15 00:11:07,575,root,INFO,| len(headers)=3,len(body)=None 2019-01-15 00:11:07,575,root,INFO,| Unknown Content-Type: None

Pour vous aider à utiliser immédiatement des données réelles dans votre application, vous pouvez importer cette requête Postman spécifique depuis le dépôt du projet. Cela simule ce que fera votre compte SparkPost, c'est-à-dire qu'il enverra une requête POST https contenant un e-mail avec un certificat spécifique et valide (appartenant à un compte test) à votre application.

Il vous suffit de changer l'adresse cible dans la requête (dans la boîte grise ci-dessus) pour qu'elle corresponde à votre installation. Si vous avez modifié la valeur du jeton dans webapp.ini, ajustez la valeur de l'en-tête dans Postman pour correspondre.

Si votre application fonctionne, vous verrez une réponse « 200 OK » de retour dans Postman. Votre fichier log webapp.log contiendra une sortie comme celle-ci :

2019-01-15 00:11:48,554,root,INFO,Request from 38.96.5.10,scheme=https,path=/ 2019-01-15 00:11:48,554,root,INFO,| len(headers)=10,len(body)=14778 2019-01-15 00:11:48,555,root,INFO,| msg_from=bob.lumreeker@gmail.com,rcpt_to=secureme@inbound.thetucks.com,len(email_rfc822)=9223 2019-01-15 00:11:48,599,root,INFO,| from=bob.lumreeker@gmail.com,DKIM passed 2019-01-15 00:11:48,600,root,INFO,| content-type=multipart/signed; protocol="application/pkcs7-signature"; micalg=sha-256; boundary="------------ms010908020707040304020406",content-description=None 2019-01-15 00:11:48,600,root,INFO,| content-type=text/plain; charset=utf-8; format=flowed,content-description=None 2019-01-15 00:11:48,600,root,INFO,| content-type=application/pkcs7-signature; name="smime.p7s",content-description=S/MIME Cryptographic Signature 2019-01-15 00:11:48,600,root,INFO,| filename=smime.p7s,bytes=3998 2019-01-15 00:11:48,601,root,INFO,| Certificate: subject email_address=['bob.lumreeker@gmail.com'],not_valid_before=2018-10-03 00:00:00,not_valid_after=2019-10-03 23:59:59,hash_algorithm=sha256,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Client Authentication and Secure Email CA'} 2019-01-15 00:11:48,602,root,INFO,| Certificate: subject email_address=[],not_valid_before=2013-01-10 00:00:00,not_valid_after=2028-01-09 23:59:59,hash_algorithm=sha384,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Certification Authority'} 2019-01-15 00:11:48,616,root,INFO,| written file ./bob.lumreeker@gmail.com.crt,bytes=1870,ok=True

Pour une vérification rapide, cherchez la dernière ligne – si elle indique « written file », alors tout va bien. Le reste montre le processus de vérification DKIM et de validation de certificat.

Nous allons commencer par cette partie, afin de la tester complètement avant de connecter les webhooks du relais entrant.

L'application web est incluse dans le même projet GitHub que les parties 1 à 3, donc si vous avez suivi ces parties, vous l'avez déjà. Voici les nouvelles parties :

  • Programme readSMIMEsig.py – lire un email et extraire les certificats intermédiaires et utilisateur.

  • Programme webapp.py – application web simple compatible Flask pour une utilisation avec SparkPost Inbound Relay Webhooks.

  • webapp.ini – fichier de configuration pour ce qui précède. Un fichier de configuration permet de transmettre facilement les mêmes valeurs aux applications en ligne de commande et web.

Vous devez vous assurer que votre hôte a le bon numéro de port TCP ouvert aux requêtes entrantes du monde extérieur afin que SparkPost puisse envoyer des messages POST à votre application. Si vous êtes hébergé sur AWS EC2, par exemple, vous devrez configurer le groupe de sécurité de votre instance.

Les instructions pour configurer et démarrer l'application web sont données ici – c'est assez facile. Pour vérifier que votre application fonctionne et est accessible depuis l'extérieur, vous pouvez envoyer des requêtes (vides) depuis un autre hôte en utilisant curl, par exemple :

curl -X POST https://app.trymsys.net:8855/

Vous devriez voir une réponse telle que :

{"message":"Unknown Content-Type in request headers"}

C'est une bonne chose – votre application fonctionne !

Dans webapp.log sur votre hôte, vous verrez une sortie similaire à celle-ci :

2019-01-15 00:11:07,575,root,INFO,Request from 38.96.5.10,scheme=https,path=/ 2019-01-15 00:11:07,575,root,INFO,| len(headers)=3,len(body)=None 2019-01-15 00:11:07,575,root,INFO,| Unknown Content-Type: None

Pour vous aider à utiliser immédiatement des données réelles dans votre application, vous pouvez importer cette requête Postman spécifique depuis le dépôt du projet. Cela simule ce que fera votre compte SparkPost, c'est-à-dire qu'il enverra une requête POST https contenant un e-mail avec un certificat spécifique et valide (appartenant à un compte test) à votre application.

Il vous suffit de changer l'adresse cible dans la requête (dans la boîte grise ci-dessus) pour qu'elle corresponde à votre installation. Si vous avez modifié la valeur du jeton dans webapp.ini, ajustez la valeur de l'en-tête dans Postman pour correspondre.

Si votre application fonctionne, vous verrez une réponse « 200 OK » de retour dans Postman. Votre fichier log webapp.log contiendra une sortie comme celle-ci :

2019-01-15 00:11:48,554,root,INFO,Request from 38.96.5.10,scheme=https,path=/ 2019-01-15 00:11:48,554,root,INFO,| len(headers)=10,len(body)=14778 2019-01-15 00:11:48,555,root,INFO,| msg_from=bob.lumreeker@gmail.com,rcpt_to=secureme@inbound.thetucks.com,len(email_rfc822)=9223 2019-01-15 00:11:48,599,root,INFO,| from=bob.lumreeker@gmail.com,DKIM passed 2019-01-15 00:11:48,600,root,INFO,| content-type=multipart/signed; protocol="application/pkcs7-signature"; micalg=sha-256; boundary="------------ms010908020707040304020406",content-description=None 2019-01-15 00:11:48,600,root,INFO,| content-type=text/plain; charset=utf-8; format=flowed,content-description=None 2019-01-15 00:11:48,600,root,INFO,| content-type=application/pkcs7-signature; name="smime.p7s",content-description=S/MIME Cryptographic Signature 2019-01-15 00:11:48,600,root,INFO,| filename=smime.p7s,bytes=3998 2019-01-15 00:11:48,601,root,INFO,| Certificate: subject email_address=['bob.lumreeker@gmail.com'],not_valid_before=2018-10-03 00:00:00,not_valid_after=2019-10-03 23:59:59,hash_algorithm=sha256,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Client Authentication and Secure Email CA'} 2019-01-15 00:11:48,602,root,INFO,| Certificate: subject email_address=[],not_valid_before=2013-01-10 00:00:00,not_valid_after=2028-01-09 23:59:59,hash_algorithm=sha384,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Certification Authority'} 2019-01-15 00:11:48,616,root,INFO,| written file ./bob.lumreeker@gmail.com.crt,bytes=1870,ok=True

Pour une vérification rapide, cherchez la dernière ligne – si elle indique « written file », alors tout va bien. Le reste montre le processus de vérification DKIM et de validation de certificat.

Nous allons commencer par cette partie, afin de la tester complètement avant de connecter les webhooks du relais entrant.

L'application web est incluse dans le même projet GitHub que les parties 1 à 3, donc si vous avez suivi ces parties, vous l'avez déjà. Voici les nouvelles parties :

  • Programme readSMIMEsig.py – lire un email et extraire les certificats intermédiaires et utilisateur.

  • Programme webapp.py – application web simple compatible Flask pour une utilisation avec SparkPost Inbound Relay Webhooks.

  • webapp.ini – fichier de configuration pour ce qui précède. Un fichier de configuration permet de transmettre facilement les mêmes valeurs aux applications en ligne de commande et web.

Vous devez vous assurer que votre hôte a le bon numéro de port TCP ouvert aux requêtes entrantes du monde extérieur afin que SparkPost puisse envoyer des messages POST à votre application. Si vous êtes hébergé sur AWS EC2, par exemple, vous devrez configurer le groupe de sécurité de votre instance.

Les instructions pour configurer et démarrer l'application web sont données ici – c'est assez facile. Pour vérifier que votre application fonctionne et est accessible depuis l'extérieur, vous pouvez envoyer des requêtes (vides) depuis un autre hôte en utilisant curl, par exemple :

curl -X POST https://app.trymsys.net:8855/

Vous devriez voir une réponse telle que :

{"message":"Unknown Content-Type in request headers"}

C'est une bonne chose – votre application fonctionne !

Dans webapp.log sur votre hôte, vous verrez une sortie similaire à celle-ci :

2019-01-15 00:11:07,575,root,INFO,Request from 38.96.5.10,scheme=https,path=/ 2019-01-15 00:11:07,575,root,INFO,| len(headers)=3,len(body)=None 2019-01-15 00:11:07,575,root,INFO,| Unknown Content-Type: None

Pour vous aider à utiliser immédiatement des données réelles dans votre application, vous pouvez importer cette requête Postman spécifique depuis le dépôt du projet. Cela simule ce que fera votre compte SparkPost, c'est-à-dire qu'il enverra une requête POST https contenant un e-mail avec un certificat spécifique et valide (appartenant à un compte test) à votre application.

Il vous suffit de changer l'adresse cible dans la requête (dans la boîte grise ci-dessus) pour qu'elle corresponde à votre installation. Si vous avez modifié la valeur du jeton dans webapp.ini, ajustez la valeur de l'en-tête dans Postman pour correspondre.

Si votre application fonctionne, vous verrez une réponse « 200 OK » de retour dans Postman. Votre fichier log webapp.log contiendra une sortie comme celle-ci :

2019-01-15 00:11:48,554,root,INFO,Request from 38.96.5.10,scheme=https,path=/ 2019-01-15 00:11:48,554,root,INFO,| len(headers)=10,len(body)=14778 2019-01-15 00:11:48,555,root,INFO,| msg_from=bob.lumreeker@gmail.com,rcpt_to=secureme@inbound.thetucks.com,len(email_rfc822)=9223 2019-01-15 00:11:48,599,root,INFO,| from=bob.lumreeker@gmail.com,DKIM passed 2019-01-15 00:11:48,600,root,INFO,| content-type=multipart/signed; protocol="application/pkcs7-signature"; micalg=sha-256; boundary="------------ms010908020707040304020406",content-description=None 2019-01-15 00:11:48,600,root,INFO,| content-type=text/plain; charset=utf-8; format=flowed,content-description=None 2019-01-15 00:11:48,600,root,INFO,| content-type=application/pkcs7-signature; name="smime.p7s",content-description=S/MIME Cryptographic Signature 2019-01-15 00:11:48,600,root,INFO,| filename=smime.p7s,bytes=3998 2019-01-15 00:11:48,601,root,INFO,| Certificate: subject email_address=['bob.lumreeker@gmail.com'],not_valid_before=2018-10-03 00:00:00,not_valid_after=2019-10-03 23:59:59,hash_algorithm=sha256,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Client Authentication and Secure Email CA'} 2019-01-15 00:11:48,602,root,INFO,| Certificate: subject email_address=[],not_valid_before=2013-01-10 00:00:00,not_valid_after=2028-01-09 23:59:59,hash_algorithm=sha384,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Certification Authority'} 2019-01-15 00:11:48,616,root,INFO,| written file ./bob.lumreeker@gmail.com.crt,bytes=1870,ok=True

Pour une vérification rapide, cherchez la dernière ligne – si elle indique « written file », alors tout va bien. Le reste montre le processus de vérification DKIM et de validation de certificat.

3. Configuration des webhooks de relais entrant SparkPost

Tout d'abord, nous sélectionnons un domaine à utiliser comme adresse de message entrant - ici, ce sera inbound.thetucks.com. Configurez votre domaine en suivant ce guide. Voici les étapes que j'ai utilisées en détail :

3.1 Ajouter des enregistrements MX

Vous aurez besoin d'accéder à votre compte fournisseur de services Internet spécifique. Une fois cela fait, vous pouvez les vérifier avec dig – voici la commande pour mon domaine.

dig +short MX inbound.thetucks.com

Vous devriez voir :

10 rx3.sparkpostmail.com. 10 rx1.sparkpostmail.com. 10 rx2.sparkpostmail.com.

3.2 Créer un domaine entrant

Utilisez le Postman API collection de SparkPost, en sélectionnant l'appel Inbound Domains / Create. Le corps de la requête POST contient votre domaine, par exemple :

{    "domain": "inbound.thetucks.com" }

Postman desktop application with an open tab displaying a 'Create an Inbound Domain' API request, featuring fields such as domain input, several header options, and a JSON payload, aimed at testing and automating API workflows.


3.3 Créer un Webhook Relay

Créez un webhook de relais entrant en utilisant l'appel pertinent de Postman. Le corps du message dans mon cas contient :

{ "name": "Certificate Collection Webhook", "target": "https://app.trymsys.net:8855/", "auth_token": "t0p s3cr3t t0k3n", "match": { "protocol": "SMTP", "domain": "inbound.thetucks.com" } }

Comme mentionné précédemment, je recommande de définir un auth_token à votre propre valeur secrète, tel qu'il est défini dans le fichier webapp.ini sur votre hôte.

La valeur de votre “target” doit correspondre à l'adresse de votre hôte et au port TCP où vous hébergerez l'application web.

La valeur de votre “domaine” doit correspondre à vos enregistrements MX configurés à l'étape 1.

Postman interface, showing the process of creating a relay webhook with detailed JSON configuration, with sections including request method, parameters, and code snippet.


Et voilà ! La tuyauterie est faite. Vous devriez maintenant pouvoir envoyer des certificats à votre adresse entrante, ils seront traités et apparaîtront sur votre hôte de l'application web – dans ce cas, un fichier nommé bob.lumreeker@gmail.com.crt.

Vous pouvez maintenant envoyer des emails chiffrés à Bob, en utilisant les outils décrits dans les parties 2 & 3 de cette série.

Vous pouvez examiner le contenu d'un certificat en utilisant :

openssl x509 -inform PEM -in bob.lumreeker\@gmail.com.crt -text -noout

4. Internals : vérification DKIM, validation des certificats

L'application vérifie que les e-mails reçus ont un DKIM valide et vérifie que les certificats eux-mêmes sont valides, comme décrit ici. Il y a aussi des notes d'implémentation là-dedans, et des idées pour des travaux futurs.

En résumé…

Nous avons vu comment les clés publiques des destinataires peuvent être facilement collectées en utilisant un email vers une adresse de webhooks de relais entrant. Une fois cela fait, ces destinataires peuvent recevoir leurs messages sous forme chiffrée S/MIME.

C'est tout pour le moment ! Bon envoi.

Connectons-vous avec un expert Bird.
Découvrez toute la puissance du Bird en 30 minutes.

En soumettant, vous acceptez que Bird puisse vous contacter au sujet de nos produits et services.

Vous pouvez vous désabonner à tout moment. Consultez la Déclaration de confidentialité de Bird pour plus de détails sur le traitement des données.

Company

Newsletter

Restez à jour avec Bird grâce aux mises à jour hebdomadaires dans votre boîte de réception.

Connectons-vous avec un expert Bird.
Découvrez toute la puissance du Bird en 30 minutes.

En soumettant, vous acceptez que Bird puisse vous contacter au sujet de nos produits et services.

Vous pouvez vous désabonner à tout moment. Consultez la Déclaration de confidentialité de Bird pour plus de détails sur le traitement des données.

Company

Newsletter

Restez à jour avec Bird grâce aux mises à jour hebdomadaires dans votre boîte de réception.

Connectons-vous avec un expert Bird.
Découvrez toute la puissance du Bird en 30 minutes.

En soumettant, vous acceptez que Bird puisse vous contacter au sujet de nos produits et services.

Vous pouvez vous désabonner à tout moment. Consultez la Déclaration de confidentialité de Bird pour plus de détails sur le traitement des données.

R

Atteindre

G

Grow

M

Manage

A

Automate

Company

Newsletter

Restez à jour avec Bird grâce aux mises à jour hebdomadaires dans votre boîte de réception.