Product

Oplossingen

Resources

Company

Product

Oplossingen

Resources

Company

S/MIME Deel 4: Het eenvoudig verzamelen van ontvangers openbare sleutels – met SparkPost Inbound Relay Webhooks

Bird

1 feb 2019

E-mail

1 min read

S/MIME Deel 4: Het eenvoudig verzamelen van ontvangers openbare sleutels – met SparkPost Inbound Relay Webhooks

In deze serie hebben we gezien hoe het toevoegen van een S/MIME-handtekening vrij eenvoudig is. Het verzenden van S/MIME-versleutelde e-mails is complexer omdat je openbare sleutels van de ontvanger moet verkrijgen. Het is één ding wanneer je een mailclient gebruikt voor mensen zoals Thunderbird – maar hoe werkt dat met app-gegeneerde e-mailstromen?

In deel 1, maakten we een snelle rondleiding door S/MIME, waarbij we keken naar het ondertekenen en versleutelen van onze berichtstromen over een reeks mailclients. Deel 2 leidde ons door een eenvoudige opdrachtregeltool om e-mails te ondertekenen en versleutelen en deze vervolgens via SparkPost te verzenden. Deel 3 toonde aan hoe je veilige mailstromen kunt injecteren in on-premises platforms zoals Port25 PowerMTA en Momentum.

In deze serie hebben we gezien hoe het opnemen van een S/MIME-handtekening redelijk eenvoudig is. Het verzenden van S/MIME-versleutelde mail is complexer omdat je openbare sleutels van ontvangers moet verkrijgen. Het is één ding als je een mailclient voor mensen gebruikt zoals Thunderbird – maar hoe werkt dat met app-gegenereerde e-mailstromen? App-gegenereerde e-mails, zoals die worden gebruikt door datingplatforms, vereisen een zorgvuldige strategie om betrokkenheid te maximaliseren. Zie hoe dating-apps boeiende getriggerde e-mailexperiences creëren.

Maar wacht – er is een andere manier om die sleutels in Mordor te krijgen. Je dienst kan je klanten uitnodigen (via e-mail, natuurlijk) om je een ondertekende mail terug te sturen naar een bekend klantserviceadres. Door gebruik te maken van de magische krachten van SparkPost Inbound Relay-webhooks, zullen we die openbare sleutel voor jou extraheren en opslaan om te gebruiken.

We kunnen dit samenvatten in een eenvoudig gebruiksscenario:

  • Als ontvanger van berichten voorzie ik je dienst van mijn persoonlijke e-mailhandtekening via e-mail, zodat in de toekomst e-mails in S/MIME-versleutelde vorm naar mij verzonden kunnen worden.

Hieruit kunnen we enkele meer gedetailleerde vereisten afleiden:

  • We hebben een altijd-werkende, betrouwbare inkomende e-mailservice nodig om die ondertekende e-mails te ontvangen.

  • Er mogen geen bijzondere eisen aan het mailformaat zijn, behalve dat het een S/MIME-handtekening moet bevatten.

  • Aangezien iedereen een mail naar deze dienst kan proberen te sturen, moet deze defensief worden ontworpen, bijvoorbeeld om "spoof"-berichten van slechte actoren af te wijzen. Er moeten verschillende controlelagen zijn.

  • Als alles in orde lijkt, slaat de dienst het certificaat op in een bestand, gebruikmakend van het bekende plain-text Privacy-Enhanced Mail (PEM)-formaat.

Er zijn enkele niet-functionele vereisten:

  • Machine-to-machine webhook-diensten kunnen moeilijk te zien zijn alleen vanuit de reacties op wat er intern gebeurt. De dienst moet uitgebreide mensleesbare applicatielogboeken bieden. In het bijzonder moet de parsing en controle van het certificaat worden gelogd.

  • We voegen testcases toe voor de app-internals, gebruikmakend van het fijne Pytest framework, en voeren die tests automatisch uit bij check-in gebruikmakend van Travis CI integratie met GitHub.

OK – laten we beginnen!

1. Oplossingsoverzicht

Dit is hoe de algehele oplossing eruit zal zien.

Diagram depicting a secure email flow illustrating how emails are verified using certificates for secure transmission.

2. Installeren, configureren en starten van de web app

We beginnen met dit gedeelte, zodat we het volledig kunnen testen voordat we de inbound relay webhooks gaan aanpakken.

De webapp is opgenomen in hetzelfde GitHub-project als delen 1 – 3, dus als je die delen hebt gevolgd, heb je het al. Hier zijn de nieuwe onderdelen:

  • Programma readSMIMEsig.py – lees een e-mail en haal tussentijdse en gebruikerscertificaten eruit.

  • Programma webapp.py – eenvoudige Flask-compatibele webapplicatie voor gebruik met SparkPost Inbound Relay Webhooks.

  • webapp.ini – configuratiebestand voor het bovenstaande. Een configuratiebestand maakt het eenvoudig om dezelfde waarden door te geven aan zowel command-line als webapplicaties.

Je moet ervoor zorgen dat je host het juiste TCP-poortnummer open heeft voor inkomende verzoeken van buitenaf, zodat SparkPost berichten kan POSTen naar je app. Als je bijvoorbeeld gehost wordt op AWS EC2, moet je de Security Group van je instantie configureren.

Instructies voor het configureren en starten van de webapplicatie worden gegeven in onze setup guide – het is vrij eenvoudig. Om te controleren of je app actief is en toegankelijk is van buitenaf, kun je (lege) verzoeken sturen vanaf een andere host met behulp van curl, bijvoorbeeld:

curl -X POST https://app.trymsys.net:8855/

Je zou een antwoord zoals dit moeten zien:

{"message":"Unknown Content-Type in request headers"}

Dit is een goed teken – je app draait!

In webapp.log op je host zie je een uitvoer die lijkt op dit:

2019-01-15 00:11:07,575,root,INFO,Request from 38.96.5.10,scheme=https,path=/
2019-01-15 00:11:07,575,root,INFO,| len(headers)=3,len(body)=None
2019-01-15 00:11:07,575,root,INFO,| Unknown Content-Type: None

Om je te helpen meteen met echte gegevens in je app te spelen, kun je dit specifieke Postman-verzoek importeren uit de projectrepository. Dit simuleert wat je SparkPost-account zal doen, d.w.z. het stuurt een https POST met een e-mail met een specifiek, geldig certificaat (behorend tot mijn testaccount) naar je app.

Je hoeft alleen maar het doeladres in de aanvraag (in het grijze vak hierboven) te wijzigen zodat het overeenkomt met je installatie. Als je de tokenwaarde in webapp.ini hebt gewijzigd, pas dan de koptekstwaarde in Postman aan zodat ze overeenkomen.

Als je app werkt, zie je een “200 OK” reactie terug in Postman. Je host webapp.log bestand bevat uitvoer zoals dit:

2019-01-15 00:11:48,554,root,INFO,Request from 38.96.5.10,scheme=https,path=/
2019-01-15 00:11:48,554,root,INFO,| len(headers)=10,len(body)=14778
2019-01-15 00:11:48,555,root,INFO,| msg_from=bob.lumreeker@gmail.com,rcpt_to=secureme@inbound.thetucks.com,len(email_rfc822)=9223
2019-01-15 00:11:48,599,root,INFO,| from=bob.lumreeker@gmail.com,DKIM passed
2019-01-15 00:11:48,600,root,INFO,| content-type=multipart/signed; protocol="application/pkcs7-signature"; micalg=sha-256; boundary="------------ms010908020707040304020406",content-description=None
2019-01-15 00:11:48,600,root,INFO,| content-type=text/plain; charset=utf-8; format=flowed,content-description=None
2019-01-15 00:11:48,600,root,INFO,| content-type=application/pkcs7-signature; name="smime.p7s",content-description=S/MIME Cryptographic Signature
2019-01-15 00:11:48,600,root,INFO,| filename=smime.p7s,bytes=3998
2019-01-15 00:11:48,601,root,INFO,| Certificate: subject email_address=['bob.lumreeker@gmail.com'],not_valid_before=2018-10-03 00:00:00,not_valid_after=2019-10-03 23:59:59,hash_algorithm=sha256,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Client Authentication and Secure Email CA'}
2019-01-15 00:11:48,602,root,INFO,| Certificate: subject email_address=[],not_valid_before=2013-01-10 00:00:00,not_valid_after=2028-01-09 23:59:59,hash_algorithm=sha384,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Certification Authority'}
2019-01-15 00:11:48,616,root,INFO,| written file ./bob.lumreeker@gmail.com.crt,bytes=1870,ok=True

Voor een snelle controle, kijk naar de laatste regel – als deze zegt “written file”, dan zit je goed. De rest laat het DKIM-controle- en certificaatverificatieproces zien.

We beginnen met dit gedeelte, zodat we het volledig kunnen testen voordat we de inbound relay webhooks gaan aanpakken.

De webapp is opgenomen in hetzelfde GitHub-project als delen 1 – 3, dus als je die delen hebt gevolgd, heb je het al. Hier zijn de nieuwe onderdelen:

  • Programma readSMIMEsig.py – lees een e-mail en haal tussentijdse en gebruikerscertificaten eruit.

  • Programma webapp.py – eenvoudige Flask-compatibele webapplicatie voor gebruik met SparkPost Inbound Relay Webhooks.

  • webapp.ini – configuratiebestand voor het bovenstaande. Een configuratiebestand maakt het eenvoudig om dezelfde waarden door te geven aan zowel command-line als webapplicaties.

Je moet ervoor zorgen dat je host het juiste TCP-poortnummer open heeft voor inkomende verzoeken van buitenaf, zodat SparkPost berichten kan POSTen naar je app. Als je bijvoorbeeld gehost wordt op AWS EC2, moet je de Security Group van je instantie configureren.

Instructies voor het configureren en starten van de webapplicatie worden gegeven in onze setup guide – het is vrij eenvoudig. Om te controleren of je app actief is en toegankelijk is van buitenaf, kun je (lege) verzoeken sturen vanaf een andere host met behulp van curl, bijvoorbeeld:

curl -X POST https://app.trymsys.net:8855/

Je zou een antwoord zoals dit moeten zien:

{"message":"Unknown Content-Type in request headers"}

Dit is een goed teken – je app draait!

In webapp.log op je host zie je een uitvoer die lijkt op dit:

2019-01-15 00:11:07,575,root,INFO,Request from 38.96.5.10,scheme=https,path=/
2019-01-15 00:11:07,575,root,INFO,| len(headers)=3,len(body)=None
2019-01-15 00:11:07,575,root,INFO,| Unknown Content-Type: None

Om je te helpen meteen met echte gegevens in je app te spelen, kun je dit specifieke Postman-verzoek importeren uit de projectrepository. Dit simuleert wat je SparkPost-account zal doen, d.w.z. het stuurt een https POST met een e-mail met een specifiek, geldig certificaat (behorend tot mijn testaccount) naar je app.

Je hoeft alleen maar het doeladres in de aanvraag (in het grijze vak hierboven) te wijzigen zodat het overeenkomt met je installatie. Als je de tokenwaarde in webapp.ini hebt gewijzigd, pas dan de koptekstwaarde in Postman aan zodat ze overeenkomen.

Als je app werkt, zie je een “200 OK” reactie terug in Postman. Je host webapp.log bestand bevat uitvoer zoals dit:

2019-01-15 00:11:48,554,root,INFO,Request from 38.96.5.10,scheme=https,path=/
2019-01-15 00:11:48,554,root,INFO,| len(headers)=10,len(body)=14778
2019-01-15 00:11:48,555,root,INFO,| msg_from=bob.lumreeker@gmail.com,rcpt_to=secureme@inbound.thetucks.com,len(email_rfc822)=9223
2019-01-15 00:11:48,599,root,INFO,| from=bob.lumreeker@gmail.com,DKIM passed
2019-01-15 00:11:48,600,root,INFO,| content-type=multipart/signed; protocol="application/pkcs7-signature"; micalg=sha-256; boundary="------------ms010908020707040304020406",content-description=None
2019-01-15 00:11:48,600,root,INFO,| content-type=text/plain; charset=utf-8; format=flowed,content-description=None
2019-01-15 00:11:48,600,root,INFO,| content-type=application/pkcs7-signature; name="smime.p7s",content-description=S/MIME Cryptographic Signature
2019-01-15 00:11:48,600,root,INFO,| filename=smime.p7s,bytes=3998
2019-01-15 00:11:48,601,root,INFO,| Certificate: subject email_address=['bob.lumreeker@gmail.com'],not_valid_before=2018-10-03 00:00:00,not_valid_after=2019-10-03 23:59:59,hash_algorithm=sha256,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Client Authentication and Secure Email CA'}
2019-01-15 00:11:48,602,root,INFO,| Certificate: subject email_address=[],not_valid_before=2013-01-10 00:00:00,not_valid_after=2028-01-09 23:59:59,hash_algorithm=sha384,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Certification Authority'}
2019-01-15 00:11:48,616,root,INFO,| written file ./bob.lumreeker@gmail.com.crt,bytes=1870,ok=True

Voor een snelle controle, kijk naar de laatste regel – als deze zegt “written file”, dan zit je goed. De rest laat het DKIM-controle- en certificaatverificatieproces zien.

We beginnen met dit gedeelte, zodat we het volledig kunnen testen voordat we de inbound relay webhooks gaan aanpakken.

De webapp is opgenomen in hetzelfde GitHub-project als delen 1 – 3, dus als je die delen hebt gevolgd, heb je het al. Hier zijn de nieuwe onderdelen:

  • Programma readSMIMEsig.py – lees een e-mail en haal tussentijdse en gebruikerscertificaten eruit.

  • Programma webapp.py – eenvoudige Flask-compatibele webapplicatie voor gebruik met SparkPost Inbound Relay Webhooks.

  • webapp.ini – configuratiebestand voor het bovenstaande. Een configuratiebestand maakt het eenvoudig om dezelfde waarden door te geven aan zowel command-line als webapplicaties.

Je moet ervoor zorgen dat je host het juiste TCP-poortnummer open heeft voor inkomende verzoeken van buitenaf, zodat SparkPost berichten kan POSTen naar je app. Als je bijvoorbeeld gehost wordt op AWS EC2, moet je de Security Group van je instantie configureren.

Instructies voor het configureren en starten van de webapplicatie worden gegeven in onze setup guide – het is vrij eenvoudig. Om te controleren of je app actief is en toegankelijk is van buitenaf, kun je (lege) verzoeken sturen vanaf een andere host met behulp van curl, bijvoorbeeld:

curl -X POST https://app.trymsys.net:8855/

Je zou een antwoord zoals dit moeten zien:

{"message":"Unknown Content-Type in request headers"}

Dit is een goed teken – je app draait!

In webapp.log op je host zie je een uitvoer die lijkt op dit:

2019-01-15 00:11:07,575,root,INFO,Request from 38.96.5.10,scheme=https,path=/
2019-01-15 00:11:07,575,root,INFO,| len(headers)=3,len(body)=None
2019-01-15 00:11:07,575,root,INFO,| Unknown Content-Type: None

Om je te helpen meteen met echte gegevens in je app te spelen, kun je dit specifieke Postman-verzoek importeren uit de projectrepository. Dit simuleert wat je SparkPost-account zal doen, d.w.z. het stuurt een https POST met een e-mail met een specifiek, geldig certificaat (behorend tot mijn testaccount) naar je app.

Je hoeft alleen maar het doeladres in de aanvraag (in het grijze vak hierboven) te wijzigen zodat het overeenkomt met je installatie. Als je de tokenwaarde in webapp.ini hebt gewijzigd, pas dan de koptekstwaarde in Postman aan zodat ze overeenkomen.

Als je app werkt, zie je een “200 OK” reactie terug in Postman. Je host webapp.log bestand bevat uitvoer zoals dit:

2019-01-15 00:11:48,554,root,INFO,Request from 38.96.5.10,scheme=https,path=/
2019-01-15 00:11:48,554,root,INFO,| len(headers)=10,len(body)=14778
2019-01-15 00:11:48,555,root,INFO,| msg_from=bob.lumreeker@gmail.com,rcpt_to=secureme@inbound.thetucks.com,len(email_rfc822)=9223
2019-01-15 00:11:48,599,root,INFO,| from=bob.lumreeker@gmail.com,DKIM passed
2019-01-15 00:11:48,600,root,INFO,| content-type=multipart/signed; protocol="application/pkcs7-signature"; micalg=sha-256; boundary="------------ms010908020707040304020406",content-description=None
2019-01-15 00:11:48,600,root,INFO,| content-type=text/plain; charset=utf-8; format=flowed,content-description=None
2019-01-15 00:11:48,600,root,INFO,| content-type=application/pkcs7-signature; name="smime.p7s",content-description=S/MIME Cryptographic Signature
2019-01-15 00:11:48,600,root,INFO,| filename=smime.p7s,bytes=3998
2019-01-15 00:11:48,601,root,INFO,| Certificate: subject email_address=['bob.lumreeker@gmail.com'],not_valid_before=2018-10-03 00:00:00,not_valid_after=2019-10-03 23:59:59,hash_algorithm=sha256,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Client Authentication and Secure Email CA'}
2019-01-15 00:11:48,602,root,INFO,| Certificate: subject email_address=[],not_valid_before=2013-01-10 00:00:00,not_valid_after=2028-01-09 23:59:59,hash_algorithm=sha384,key_size=2048 bytes, issuer={'countryName': 'GB', 'stateOrProvinceName': 'Greater Manchester', 'localityName': 'Salford', 'organizationName': 'COMODO CA Limited', 'commonName': 'COMODO RSA Certification Authority'}
2019-01-15 00:11:48,616,root,INFO,| written file ./bob.lumreeker@gmail.com.crt,bytes=1870,ok=True

Voor een snelle controle, kijk naar de laatste regel – als deze zegt “written file”, dan zit je goed. De rest laat het DKIM-controle- en certificaatverificatieproces zien.

3. SparkPost inbound relay webhooks instellen

Eerst selecteren we een domein om te gebruiken als ons inkomende berichtadres – hier zal het inbound.thetucks.com zijn. Stel je domein in volgens deze handleiding. Hier zijn de stappen die ik in detail heb gebruikt:

3.1 Voeg MX-records toe

Je hebt toegang nodig tot je specifieke Internet Service Provider-account. Wanneer dat is gedaan, kun je ze controleren met dig – hier is de opdracht voor mijn domein.

dig +short MX inbound.thetucks.com

Je zou moeten zien:

10 rx3.sparkpostmail.com. 10 rx1.sparkpostmail.com. 10 rx2.sparkpostmail.com

3.2 Maak een Inbound Domein

Gebruik de SparkPost Postman API-collectie, waarbij je de Inbound Domains / Create .. oproep selecteert. De body van het POST-verzoek bevat je domein, bijvoorbeeld:

{ "domain": "inbound.thetucks.com" }
Postman desktop application with an open tab displaying a 'Create an Inbound Domain' API request, featuring fields such as domain input, several header options, and a JSON payload, aimed at testing and automating API workflows.


3.3 Maak een Relay Webhook

Maak een inkomende relay webhook met behulp van de relevante Postman-oproep. De berichtinhoud bevat in mijn geval:

{
  "name": "Certificate Collection Webhook",
  "target": "https://app.trymsys.net:8855/",
  "auth_token": "t0p s3cr3t t0k3n",
  "match": {
    "protocol": "SMTP",
    "domain": "inbound.thetucks.com"
  }
}

Zoals eerder vermeld, raad ik aan om een auth_token in te stellen op je eigen geheime waarde, zoals ingesteld in het webapp.ini-bestand op je host.

Je "target"-waarde moet overeenkomen met je hostadres en TCP-poort waar je de webapplicatie host.

Je "domein"-waarde moet overeenkomen met je MX-records ingesteld in stap 1.

Postman interface, showing the process of creating a relay webhook with detailed JSON configuration, with sections including request method, parameters, and code snippet.


Dat is het! De basisinstallatie is klaar. Je zou nu in staat moeten zijn om certificaten naar je inkomende adres te sturen, ze worden verwerkt en verschijnen op je webapplicatie-host – in dit geval, een bestand met de naam bob.lumreeker@gmail.com.crt.

Nu kun je versleutelde e-mails naar Bob sturen, met behulp van de tools die in deel 2 & 3 van deze serie worden beschreven.

Je kunt de inhoud van een certificaat bekijken met:

openssl x509 -inform PEM -in bob.lumreeker\@gmail.com.crt -text -noout

4. Internals: DKIM-controle, certificaatvalidatie

De app controleert of ontvangen e-mails geldige DKIM hebben en controleert of de certificaten zelf geldig zijn, zoals hier beschreven. Er zijn daar ook implementatieopmerkingen en ideeën voor verder werk.

Samenvattend…

We hebben gezien hoe openbare sleutels van ontvangers eenvoudig kunnen worden verzameld met een e-mail naar een inkomend relay-webhookadres. Zodra dit is gedaan, kunnen die ontvangers hun berichten in S/MIME versleutelde vorm ontvangen.

Dat is het voor nu! Vrolijk verzenden.

Andere nieuws

Lees meer uit deze categorie

A person is standing at a desk while typing on a laptop.

Het complete AI-native platform dat met uw bedrijf meegroeit.

Product

Oplossingen

Resources

Binnenkort beschikbaar

Sociaal

Nieuwsbrief

Blijf op de hoogte met Bird via wekelijkse updates in je inbox.

Signup

A person is standing at a desk while typing on a laptop.

Het complete AI-native platform dat met uw bedrijf meegroeit.

Product

Oplossingen

Resources

Sociaal

Nieuwsbrief

Blijf op de hoogte met Bird via wekelijkse updates in je inbox.

Signup