Construire un système d'archivage d'emails : Stocker le corps de l'email

Je suis désolé de vous décevoir mais je ne vais pas vous donner un tutoriel étape par étape sur la création d'un bucket S3 pour stocker les emails, ni décrire comment créer la clé d'accès nécessaire que vous devrez utiliser dans votre application pour télécharger du contenu vers votre bucket ; il existe de meilleurs tutoriels sur ce sujet que je ne pourrais jamais écrire.  Voici quelques articles qui pourraient vous aider :

https://docs.aws.amazon.com/quickstarts/latest/s3backup/step-1-create-bucket.html
https://aws.amazon.com/blogs/security/wheres-my-secret-access-key/

Ce que je vais faire est de souligner certains des paramètres que j'ai choisis qui se rapportent à un projet comme celui-ci.

1. Contrôle d'accès.  Vous devez non seulement définir la sécurité pour le bucket, mais aussi définir les autorisations pour les éléments eux-mêmes.  Dans mon projet, j'utilise une politique très ouverte de lecture publique parce que les données d'exemple ne sont pas personnelles et je voulais un accès facile aux données.  Vous voudrez probablement un ensemble de politiques ACL bien plus strict. Voici un bon article sur les paramètres ACL : https://docs.aws.amazon.com/AmazonS3/latest/dev/acl-overview.html

2. Archivage de l'Archive. Dans S3, il existe quelque chose appelé Gestion du cycle de vie.  Cela vous permet de déplacer des données d'un type de classe de stockage S3 à une autre.  Les différentes classes de stockage représentent la quantité d'accès dont vous avez besoin aux données stockées, avec des coûts inférieurs associés au stockage que vous accédez le moins. Une bonne description des différentes classes et de leur transition se trouve dans un guide AWS appelé, Transitioning Objects. Dans mon cas, j'ai choisi de créer un cycle de vie qui a déplacé chaque objet de Standard à Glacier après un an. L'accès Glacier est beaucoup moins cher que l'archive S3 standard et me permettra d'économiser de l'argent en frais de stockage.

Une fois que j'ai créé le bucket S3 et que mes paramètres sont en place, S3 est prêt à recevoir l'email conforme à la rfc822 que j'ai obtenu à partir du flux de données SparkPost Relay Webhook. Mais avant de télécharger la charge utile de l'email rfc822 vers S3, je dois créer un nom de fichier unique que j'utiliserai pour stocker cet email.

Pour le nom de fichier unique, je vais rechercher dans le corps de l'email l'identifiant caché que l'application d'envoi a inséré dans l'email et utiliser cet identifiant comme nom du fichier. Il existe des moyens plus élégants pour extraire le connectorId du corps HTML, mais pour la simplicité et la clarté, je vais utiliser le code suivant :

$start = strpos($htmlbody, $inputField);
if ($start !== false) {
    $start = strpos($htmlbody, 'value="', $start);
    if ($start !== false) {
        $start += 7; // Move past 'value="'
        $end = strpos($htmlbody, '"', $start);
        if ($end !== false) {
            $length = $end - $start;
            $UID = substr($htmlbody, $start, $length);
        }
    }
}

* nous supposons que $inputField contient la valeur « ArchiveCode » et a été trouvé dans mon fichier config.php.

Avec l'UID, nous pouvons alors créer le nom de fichier qui sera utilisé dans S3 :

$fileName = $ArchiveDirectory . '/' . $UID . '.eml';

Maintenant, je peux ouvrir ma connexion à S3 et télécharger le fichier. Si vous regardez dans le fichier s3.php du dépôt GitHub, vous verrez qu'il faut très peu de code pour télécharger le fichier.

Ma dernière étape est d'enregistrer cette entrée dans la table MYSQL.