S/MIME Partie 4 : Collecte des clés publiques des destinataires facilement – avec les webhooks de relais entrant SparkPost

Oiseau

1 févr. 2019

Email

1 min read

S/MIME Partie 4 : Collecte des clés publiques des destinataires facilement – avec les webhooks de relais entrant SparkPost

Oiseau

1 févr. 2019

Email

1 min read

S/MIME Partie 4 : Collecte des clés publiques des destinataires facilement – avec les webhooks de relais entrant SparkPost

Dans cette série, nous avons vu que l'inclusion d'une signature S/MIME est assez simple. L'envoi de courriels cryptés S/MIME est plus complexe car vous devez obtenir les clés publiques des destinataires. C'est une chose lorsque vous utilisez un client de messagerie pour les humains tel que Thunderbird – mais comment cela peut-il fonctionner avec des flux de courriels générés par des applications ?

Dans la partie 1, nous avons eu un aperçu rapide de S/MIME, en examinant la signature et le chiffrement de nos flux de messages à travers une gamme de clients de messagerie. La partie 2 nous a guidés à travers un outil en ligne de commande simple pour signer et crypter les e-mails, puis les envoyer via SparkPost. La partie 3 a montré comment injecter des flux de courrier sécurisés dans des plateformes sur site telles que Port25 PowerMTA et Momentum.

Dans cette série, nous avons vu comment inclure une signature S/MIME est assez simple. Envoyer du courrier chiffré S/MIME est plus complexe car vous devez obtenir les clés publiques des destinataires. C’est une chose lorsque vous utilisez un client de messagerie pour les humains tel que Thunderbird - mais comment cela fonctionne-t-il avec les flux d'e-mails générés par des applications ? Les e-mails générés par des applications, comme ceux utilisés par les plateformes de rencontres, nécessitent une stratégie soignée pour maximiser l'engagement. Voyez comment les applications de rencontre créent des expériences d'e-mail déclenchées captivantes.

Mais attendez - il y a un autre chemin vers la Comté pour obtenir ces clés. Votre service peut inviter vos clients (par e-mail, bien sûr) à vous renvoyer un courrier signé à une adresse de service client connue. En utilisant les pouvoirs magiques des webhooks de SparkPost Inbound Relay, nous allons extraire et stocker cette clé publique pour que vous puissiez l'utiliser.

Nous pouvons résumer cela dans un cas d'utilisation simple :

  • En tant que destinataire de messages, je fournis à votre service ma signature électronique personnelle par e-mail, afin que, à l'avenir, les e-mails puissent m'être envoyés sous forme chiffrée S/MIME.

A partir de cela, tirons quelques exigences plus détaillées :

  • Nous avons besoin d'un service de réception d'e-mails toujours actif et fiable pour recevoir ces e-mails signés.

  • Il ne devrait y avoir aucune exigence particulière sur le format de l'e-mail, si ce n'est qu'il doit contenir une signature S/MIME.

  • Parce que n'importe qui peut essayer d'envoyer un courrier à ce service, il doit être conçu de manière défensive, par exemple, pour rejeter les messages de «spoof» provenant de mauvais acteurs. Il devra y avoir plusieurs couches de vérification.

  • Si tout est en ordre, le service stockera le certificat dans un fichier, en utilisant le format texte brut bien connu Privacy-Enhanced Mail (PEM).

Il y a quelques exigences non fonctionnelles :

  • Les services de webhook machine à machine peuvent être difficiles à visualiser juste à partir des réponses à ce qui se passe à l'intérieur. Le service doit fournir des journaux applicatifs au niveau humain étendus. En particulier, l'analyse et la vérification des certificats doivent être enregistrées.

  • Nous ajoutons des cas de test pour les processus internes de l'application, en utilisant le charmant cadre Pytest, et exécutons ces tests automatiquement lors de l'enregistrement utilisant l'intégration Travis CI avec GitHub.

D'accord – commençons !

1. Aperçu de la solution

Voici à quoi ressemblera la solution globale.

Diagram depicting a secure email flow illustrating how emails are verified using certificates for secure transmission.

2. Installer, configurer et démarrer l'application web

Nous allons commencer par cette partie, afin de la tester complètement avant de connecter les webhooks du relais entrant.

L'application web est incluse dans le même projet GitHub que les parties 1 à 3, donc si vous avez suivi ces parties, vous l'avez déjà. Voici les nouvelles parties :

  • Programme readSMIMEsig.py – lire un email et extraire les certificats intermédiaires et utilisateur.

  • Programme webapp.py – application web simple compatible Flask pour une utilisation avec SparkPost Inbound Relay Webhooks.

  • webapp.ini – fichier de configuration pour ce qui précède. Un fichier de configuration permet de transmettre facilement les mêmes valeurs aux applications en ligne de commande et web.

Vous devez vous assurer que votre hôte a le bon numéro de port TCP ouvert aux requêtes entrantes du monde extérieur afin que SparkPost puisse envoyer des messages POST à votre application. Si vous êtes hébergé sur AWS EC2, par exemple, vous devrez configurer le groupe de sécurité de votre instance.

Les instructions pour configurer et démarrer l'application web sont données ici – c'est assez facile. Pour vérifier que votre application fonctionne et est accessible depuis l'extérieur, vous pouvez envoyer des requêtes (vides) depuis un autre hôte en utilisant curl, par exemple :

curl -X POST https://app.trymsys.net:8855/

Vous devriez voir une réponse telle que :

{"message":"Unknown Content-Type in request headers"}

C'est une bonne chose – votre application fonctionne !

Dans webapp.log sur votre hôte, vous verrez une sortie similaire à celle-ci :

2019-01-15 00:11:07,575,root,INFO,Request from 38.96.5.10,scheme=https,path=/ 2019-01-15 00:11:07,575,root,INFO,| len(headers)=3,len(body)=None 2019-01-15 00:11:07,575,root,INFO,| Unknown Content-Type: None

Pour vous aider à utiliser immédiatement des données réelles dans votre application, vous pouvez importer cette requête Postman spécifique depuis le dépôt du projet. Cela simule ce que fera votre compte SparkPost, c'est-à-dire qu'il enverra une requête POST https contenant un e-mail avec un certificat spécifique et valide (appartenant à un compte test) à votre application.

Il vous suffit de changer l'adresse cible dans la requête (dans la boîte grise ci-dessus) pour qu'elle corresponde à votre installation. Si vous avez modifié la valeur du jeton dans webapp.ini, ajustez la valeur de l'en-tête dans Postman pour correspondre.

Si votre application fonctionne, vous verrez une réponse « 200 OK » de retour dans Postman. Votre fichier log webapp.log contiendra une sortie comme celle-ci :

2019-01-15 00:11:48,554,root,INFO,Request from 38.96.5.10,scheme=https,path=/ 2019-01-15 00:11:48,554,root,INFO,| len(headers)=10,len(body)=14778 2019-01-15 00:11:48,555,root,INFO,| msg_from=bob.lumreeker@gmail.com,rcpt_to=secureme@inbound.thetucks.com,len(email_rfc822)=9223 2019-01-15 00:11:48,599,root,INFO,| from=bob.lumreeker@gmail.com,DKIM passed 2019-01-15 00:11:48,600,root,INFO,| content-type=multipart/signed; protocol="application/pkcs7-signature"; micalg=sha-256; boundary="------------ms010908020707040304020406",content-description=None 2019-01-15 00:11:48,600,root,INFO,| content-type=text/plain; charset=utf-8; format=flowed,content-description=None 2019-01-15 00:11:48,600,root,INFO,| content-type=application/pkcs7-signature; name="smime.p7s",content-description=S/MIME Cryptographic Signature 2019-01-15 00:11:48,600,root,INFO,| filename=smime.p7s,bytes=3998 2019-01-15 00:11:48,601,root,INFO,| Certificate: subject email_address=['bob.lumreeker@gmail.com'],not_valid_before=2018-10-03 00:00:00,not_valid_after=2019-10-03 23:59:59,hash_algorithm=sha256,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Client Authentication and Secure Email CA'} 2019-01-15 00:11:48,602,root,INFO,| Certificate: subject email_address=[],not_valid_before=2013-01-10 00:00:00,not_valid_after=2028-01-09 23:59:59,hash_algorithm=sha384,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Certification Authority'} 2019-01-15 00:11:48,616,root,INFO,| written file ./bob.lumreeker@gmail.com.crt,bytes=1870,ok=True

Pour une vérification rapide, cherchez la dernière ligne – si elle indique « written file », alors tout va bien. Le reste montre le processus de vérification DKIM et de validation de certificat.

Nous allons commencer par cette partie, afin de la tester complètement avant de connecter les webhooks du relais entrant.

L'application web est incluse dans le même projet GitHub que les parties 1 à 3, donc si vous avez suivi ces parties, vous l'avez déjà. Voici les nouvelles parties :

  • Programme readSMIMEsig.py – lire un email et extraire les certificats intermédiaires et utilisateur.

  • Programme webapp.py – application web simple compatible Flask pour une utilisation avec SparkPost Inbound Relay Webhooks.

  • webapp.ini – fichier de configuration pour ce qui précède. Un fichier de configuration permet de transmettre facilement les mêmes valeurs aux applications en ligne de commande et web.

Vous devez vous assurer que votre hôte a le bon numéro de port TCP ouvert aux requêtes entrantes du monde extérieur afin que SparkPost puisse envoyer des messages POST à votre application. Si vous êtes hébergé sur AWS EC2, par exemple, vous devrez configurer le groupe de sécurité de votre instance.

Les instructions pour configurer et démarrer l'application web sont données ici – c'est assez facile. Pour vérifier que votre application fonctionne et est accessible depuis l'extérieur, vous pouvez envoyer des requêtes (vides) depuis un autre hôte en utilisant curl, par exemple :

curl -X POST https://app.trymsys.net:8855/

Vous devriez voir une réponse telle que :

{"message":"Unknown Content-Type in request headers"}

C'est une bonne chose – votre application fonctionne !

Dans webapp.log sur votre hôte, vous verrez une sortie similaire à celle-ci :

2019-01-15 00:11:07,575,root,INFO,Request from 38.96.5.10,scheme=https,path=/ 2019-01-15 00:11:07,575,root,INFO,| len(headers)=3,len(body)=None 2019-01-15 00:11:07,575,root,INFO,| Unknown Content-Type: None

Pour vous aider à utiliser immédiatement des données réelles dans votre application, vous pouvez importer cette requête Postman spécifique depuis le dépôt du projet. Cela simule ce que fera votre compte SparkPost, c'est-à-dire qu'il enverra une requête POST https contenant un e-mail avec un certificat spécifique et valide (appartenant à un compte test) à votre application.

Il vous suffit de changer l'adresse cible dans la requête (dans la boîte grise ci-dessus) pour qu'elle corresponde à votre installation. Si vous avez modifié la valeur du jeton dans webapp.ini, ajustez la valeur de l'en-tête dans Postman pour correspondre.

Si votre application fonctionne, vous verrez une réponse « 200 OK » de retour dans Postman. Votre fichier log webapp.log contiendra une sortie comme celle-ci :

2019-01-15 00:11:48,554,root,INFO,Request from 38.96.5.10,scheme=https,path=/ 2019-01-15 00:11:48,554,root,INFO,| len(headers)=10,len(body)=14778 2019-01-15 00:11:48,555,root,INFO,| msg_from=bob.lumreeker@gmail.com,rcpt_to=secureme@inbound.thetucks.com,len(email_rfc822)=9223 2019-01-15 00:11:48,599,root,INFO,| from=bob.lumreeker@gmail.com,DKIM passed 2019-01-15 00:11:48,600,root,INFO,| content-type=multipart/signed; protocol="application/pkcs7-signature"; micalg=sha-256; boundary="------------ms010908020707040304020406",content-description=None 2019-01-15 00:11:48,600,root,INFO,| content-type=text/plain; charset=utf-8; format=flowed,content-description=None 2019-01-15 00:11:48,600,root,INFO,| content-type=application/pkcs7-signature; name="smime.p7s",content-description=S/MIME Cryptographic Signature 2019-01-15 00:11:48,600,root,INFO,| filename=smime.p7s,bytes=3998 2019-01-15 00:11:48,601,root,INFO,| Certificate: subject email_address=['bob.lumreeker@gmail.com'],not_valid_before=2018-10-03 00:00:00,not_valid_after=2019-10-03 23:59:59,hash_algorithm=sha256,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Client Authentication and Secure Email CA'} 2019-01-15 00:11:48,602,root,INFO,| Certificate: subject email_address=[],not_valid_before=2013-01-10 00:00:00,not_valid_after=2028-01-09 23:59:59,hash_algorithm=sha384,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Certification Authority'} 2019-01-15 00:11:48,616,root,INFO,| written file ./bob.lumreeker@gmail.com.crt,bytes=1870,ok=True

Pour une vérification rapide, cherchez la dernière ligne – si elle indique « written file », alors tout va bien. Le reste montre le processus de vérification DKIM et de validation de certificat.

Nous allons commencer par cette partie, afin de la tester complètement avant de connecter les webhooks du relais entrant.

L'application web est incluse dans le même projet GitHub que les parties 1 à 3, donc si vous avez suivi ces parties, vous l'avez déjà. Voici les nouvelles parties :

  • Programme readSMIMEsig.py – lire un email et extraire les certificats intermédiaires et utilisateur.

  • Programme webapp.py – application web simple compatible Flask pour une utilisation avec SparkPost Inbound Relay Webhooks.

  • webapp.ini – fichier de configuration pour ce qui précède. Un fichier de configuration permet de transmettre facilement les mêmes valeurs aux applications en ligne de commande et web.

Vous devez vous assurer que votre hôte a le bon numéro de port TCP ouvert aux requêtes entrantes du monde extérieur afin que SparkPost puisse envoyer des messages POST à votre application. Si vous êtes hébergé sur AWS EC2, par exemple, vous devrez configurer le groupe de sécurité de votre instance.

Les instructions pour configurer et démarrer l'application web sont données ici – c'est assez facile. Pour vérifier que votre application fonctionne et est accessible depuis l'extérieur, vous pouvez envoyer des requêtes (vides) depuis un autre hôte en utilisant curl, par exemple :

curl -X POST https://app.trymsys.net:8855/

Vous devriez voir une réponse telle que :

{"message":"Unknown Content-Type in request headers"}

C'est une bonne chose – votre application fonctionne !

Dans webapp.log sur votre hôte, vous verrez une sortie similaire à celle-ci :

2019-01-15 00:11:07,575,root,INFO,Request from 38.96.5.10,scheme=https,path=/ 2019-01-15 00:11:07,575,root,INFO,| len(headers)=3,len(body)=None 2019-01-15 00:11:07,575,root,INFO,| Unknown Content-Type: None

Pour vous aider à utiliser immédiatement des données réelles dans votre application, vous pouvez importer cette requête Postman spécifique depuis le dépôt du projet. Cela simule ce que fera votre compte SparkPost, c'est-à-dire qu'il enverra une requête POST https contenant un e-mail avec un certificat spécifique et valide (appartenant à un compte test) à votre application.

Il vous suffit de changer l'adresse cible dans la requête (dans la boîte grise ci-dessus) pour qu'elle corresponde à votre installation. Si vous avez modifié la valeur du jeton dans webapp.ini, ajustez la valeur de l'en-tête dans Postman pour correspondre.

Si votre application fonctionne, vous verrez une réponse « 200 OK » de retour dans Postman. Votre fichier log webapp.log contiendra une sortie comme celle-ci :

2019-01-15 00:11:48,554,root,INFO,Request from 38.96.5.10,scheme=https,path=/ 2019-01-15 00:11:48,554,root,INFO,| len(headers)=10,len(body)=14778 2019-01-15 00:11:48,555,root,INFO,| msg_from=bob.lumreeker@gmail.com,rcpt_to=secureme@inbound.thetucks.com,len(email_rfc822)=9223 2019-01-15 00:11:48,599,root,INFO,| from=bob.lumreeker@gmail.com,DKIM passed 2019-01-15 00:11:48,600,root,INFO,| content-type=multipart/signed; protocol="application/pkcs7-signature"; micalg=sha-256; boundary="------------ms010908020707040304020406",content-description=None 2019-01-15 00:11:48,600,root,INFO,| content-type=text/plain; charset=utf-8; format=flowed,content-description=None 2019-01-15 00:11:48,600,root,INFO,| content-type=application/pkcs7-signature; name="smime.p7s",content-description=S/MIME Cryptographic Signature 2019-01-15 00:11:48,600,root,INFO,| filename=smime.p7s,bytes=3998 2019-01-15 00:11:48,601,root,INFO,| Certificate: subject email_address=['bob.lumreeker@gmail.com'],not_valid_before=2018-10-03 00:00:00,not_valid_after=2019-10-03 23:59:59,hash_algorithm=sha256,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Client Authentication and Secure Email CA'} 2019-01-15 00:11:48,602,root,INFO,| Certificate: subject email_address=[],not_valid_before=2013-01-10 00:00:00,not_valid_after=2028-01-09 23:59:59,hash_algorithm=sha384,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Certification Authority'} 2019-01-15 00:11:48,616,root,INFO,| written file ./bob.lumreeker@gmail.com.crt,bytes=1870,ok=True

Pour une vérification rapide, cherchez la dernière ligne – si elle indique « written file », alors tout va bien. Le reste montre le processus de vérification DKIM et de validation de certificat.

3. Configuration des webhooks de relais entrant SparkPost

Tout d'abord, nous sélectionnons un domaine à utiliser comme adresse de message entrant - ici, ce sera inbound.thetucks.com. Configurez votre domaine en suivant ce guide. Voici les étapes que j'ai utilisées en détail :

3.1 Ajouter des enregistrements MX

Vous aurez besoin d'accéder à votre compte fournisseur de services Internet spécifique. Une fois cela fait, vous pouvez les vérifier avec dig – voici la commande pour mon domaine.

dig +short MX inbound.thetucks.com

Vous devriez voir :

10 rx3.sparkpostmail.com. 10 rx1.sparkpostmail.com. 10 rx2.sparkpostmail.com.

3.2 Créer un domaine entrant

Utilisez le Postman API collection de SparkPost, en sélectionnant l'appel Inbound Domains / Create. Le corps de la requête POST contient votre domaine, par exemple :

{    "domain": "inbound.thetucks.com" }

Postman desktop application with an open tab displaying a 'Create an Inbound Domain' API request, featuring fields such as domain input, several header options, and a JSON payload, aimed at testing and automating API workflows.


3.3 Créer un Webhook Relay

Créez un webhook de relais entrant en utilisant l'appel pertinent de Postman. Le corps du message dans mon cas contient :

{ "name": "Certificate Collection Webhook", "target": "https://app.trymsys.net:8855/", "auth_token": "t0p s3cr3t t0k3n", "match": { "protocol": "SMTP", "domain": "inbound.thetucks.com" } }

Comme mentionné précédemment, je recommande de définir un auth_token à votre propre valeur secrète, tel qu'il est défini dans le fichier webapp.ini sur votre hôte.

La valeur de votre “target” doit correspondre à l'adresse de votre hôte et au port TCP où vous hébergerez l'application web.

La valeur de votre “domaine” doit correspondre à vos enregistrements MX configurés à l'étape 1.

Postman interface, showing the process of creating a relay webhook with detailed JSON configuration, with sections including request method, parameters, and code snippet.


Et voilà ! La tuyauterie est faite. Vous devriez maintenant pouvoir envoyer des certificats à votre adresse entrante, ils seront traités et apparaîtront sur votre hôte de l'application web – dans ce cas, un fichier nommé bob.lumreeker@gmail.com.crt.

Vous pouvez maintenant envoyer des emails chiffrés à Bob, en utilisant les outils décrits dans les parties 2 & 3 de cette série.

Vous pouvez examiner le contenu d'un certificat en utilisant :

openssl x509 -inform PEM -in bob.lumreeker\@gmail.com.crt -text -noout

4. Internals : vérification DKIM, validation des certificats

L'application vérifie que les e-mails reçus ont un DKIM valide et vérifie que les certificats eux-mêmes sont valides, comme décrit ici. Il y a aussi des notes d'implémentation là-dedans, et des idées pour des travaux futurs.

En résumé…

Nous avons vu comment les clés publiques des destinataires peuvent être facilement collectées en utilisant un email vers une adresse de webhooks de relais entrant. Une fois cela fait, ces destinataires peuvent recevoir leurs messages sous forme chiffrée S/MIME.

C'est tout pour le moment ! Bon envoi.

Connectons-vous avec un expert Bird.
Découvrez toute la puissance du Bird en 30 minutes.

En soumettant, vous acceptez que Bird puisse vous contacter au sujet de nos produits et services.

Vous pouvez vous désabonner à tout moment. Consultez la Déclaration de confidentialité de Bird pour plus de détails sur le traitement des données.

Company

Newsletter

Restez à jour avec Bird grâce aux mises à jour hebdomadaires dans votre boîte de réception.

Connectons-vous avec un expert Bird.
Découvrez toute la puissance du Bird en 30 minutes.

En soumettant, vous acceptez que Bird puisse vous contacter au sujet de nos produits et services.

Vous pouvez vous désabonner à tout moment. Consultez la Déclaration de confidentialité de Bird pour plus de détails sur le traitement des données.

Company

Newsletter

Restez à jour avec Bird grâce aux mises à jour hebdomadaires dans votre boîte de réception.

Connectons-vous avec un expert Bird.
Découvrez toute la puissance du Bird en 30 minutes.

En soumettant, vous acceptez que Bird puisse vous contacter au sujet de nos produits et services.

Vous pouvez vous désabonner à tout moment. Consultez la Déclaration de confidentialité de Bird pour plus de détails sur le traitement des données.

R

Atteindre

G

Grow

M

Manage

A

Automate

Company

Newsletter

Restez à jour avec Bird grâce aux mises à jour hebdomadaires dans votre boîte de réception.