Construindo um Sistema de Arquivamento de E-mails: Armazenando o Corpo do E-mail

Desculpe desapontá-lo, mas não vou dar um tutorial passo a passo sobre como criar um bucket S3 para armazenar o email, nem vou descrever como criar a chave de acesso necessária que você precisará em sua aplicação para fazer upload de conteúdo para o seu bucket; há tutoriais melhores sobre este assunto do que eu poderia escrever.  Aqui estão alguns artigos que podem ajudar:

https://docs.aws.amazon.com/quickstarts/latest/s3backup/step-1-create-bucket.html
https://aws.amazon.com/blogs/security/wheres-my-secret-access-key/

O que vou fazer é apontar algumas das configurações que escolhi que dizem respeito a um projeto como este.

1. Controle de Acesso.  Você não só precisa definir a segurança do bucket, mas precisa definir as permissões para os itens em si.  No meu projeto, uso uma política muito aberta de leitura pública porque os dados de amostra não são pessoais e eu queria acesso fácil aos dados.  Você provavelmente quererá um conjunto de políticas de ACL muito mais rigoroso. Aqui está um bom artigo sobre configurações de ACL: https://docs.aws.amazon.com/AmazonS3/latest/dev/acl-overview.html

2. Arquivando o Arquivo. No S3, há algo chamado Gerenciamento de Ciclo de Vida.  Isso permite que você mova dados de um tipo de classe de armazenamento S3 para outra.  As diferentes classes de armazenamento representam a quantidade de acesso que você precisa aos dados armazenados, com custos mais baixos associados ao armazenamento que você acessa menos. Um bom relatório sobre as diferentes classes e a transição entre elas pode ser encontrado em um guia da AWS chamado, Transição de Objetos. No meu caso, escolhi criar um ciclo de vida que movia cada objeto do Padrão para o Glacier após um ano. O acesso ao Glacier é muito mais barato do que o arquivo S3 padrão e me economizará dinheiro em custos de armazenamento.

Uma vez que eu tenha o bucket S3 criado e minhas configurações em ordem, o S3 está pronto para que eu faça upload do email compatível com rfc822 que obtive do fluxo de dados do Webhook do SparkPost Relay. Mas antes de fazer o upload da carga do email rfc822 para o S3, preciso criar um nome de arquivo único que usarei para armazenar esse email.

Para o nome de arquivo único, vou pesquisar o corpo do email pelo id oculto que a aplicação de envio colocou no email e usar esse id como o nome do arquivo. Existem maneiras mais elegantes de extrair o connectorId do corpo HTML, mas para simplicidade e clareza, vou usar o seguinte código:

$start = strpos($htmlbody, $inputField);
if ($start !== false) {
    $start = strpos($htmlbody, 'value="', $start);
    if ($start !== false) {
        $start += 7; // Move past 'value="'
        $end = strpos($htmlbody, '"', $start);
        if ($end !== false) {
            $length = $end - $start;
            $UID = substr($htmlbody, $start, $length);
        }
    }
}

* estamos assumindo que $inputField contém o valor “ArchiveCode” e foi encontrado no meu arquivo config.php.

Com o UID, podemos então criar o nome do arquivo que será usado no S3:

$fileName = $ArchiveDirectory . '/' . $UID . '.eml';

Agora posso abrir minha conexão com o S3 e fazer o upload do arquivo. Se você olhar o arquivo s3.php no repositório do GitHub, verá que leva muito pouco código para fazer o upload do arquivo.

Meu último passo é registrar esta entrada na tabela MYSQL.