Après avoir lu et validé les arguments du terminal, j'exécute le code suivant. Tout d'abord, je lis le fichier CSV des emails et compte chaque ligne. Il y a deux objectifs à cette fonction, 1) elle me permet de rendre compte précisément de la progression du fichier [comme nous le verrons plus tard], et 2) elle me permet d'arrêter un chronomètre lorsque le nombre d'emails dans le fichier est égal aux validations terminées. J'ai ajouté un chronomètre pour pouvoir exécuter des benchmarks et m'assurer d'obtenir de bons résultats.

let count = 0; //Line count require("fs") .createReadStream(myArgs[1]) .on("data", function (chunk) { for (let i = 0; i < chunk.length; ++i) if (chunk[i] == 10) count++; }) //Lit le fichier d'entrée et augmente le compteur pour chaque ligne .on("close", function () { //À la fin du fichier d'entrée, après que toutes les lignes aient été comptées, exécutez la fonction de validation des destinataires validateRecipients.validateRecipients(count, myArgs); });

 J'appelle ensuite la fonction validateRecipients. Notez que cette fonction est asynchrone. Après avoir vérifié que le fichier d'entrée et le fichier de sortie sont au format CSV, j'écris une ligne d'en-tête et démarre un chronomètre de programme en utilisant la bibliothèque JSDOM.

async function validateRecipients(email_count, myArgs) { if ( //Si les deux fichiers d'entrée et de sortie sont au format .csv extname(myArgs[1]).toLowerCase() == ".csv" && extname(myArgs[3]).toLowerCase() == ".csv" ) { let completed = 0; //Compteur pour chaque appel API email_count++; //Le compteur de lignes renvoie #lignes - 1, cela est fait pour corriger le nombre de lignes //Démarrer un chronomètre const { window } = new JSDOM(); const start = window.performance.now(); const output = fs.createWriteStream(myArgs[3]); //Fichier de sortie output.write( "Email,Valid,Result,Reason,Is_Role,Is_Disposable,Is_Free,Delivery_Confidence\n" ); //Écrire les en-têtes dans le fichier de sortie

Le script suivant est vraiment l'essentiel du programme donc je vais le décomposer et expliquer ce qui se passe. Pour chaque ligne du fichier d'entrée :

• Prendre asynchronement cette ligne et appeler l'API de validation des destinataires.

fs.createReadStream(myArgs[1]) .pipe(csv.parse({ headers: false })) .on("data", async (email) => { let url = SPARKPOST_HOST + "/api/v1/recipient-validation/single/" + email; await axios .get(url, { headers: { Authorization: SPARKPOST_API_KEY, }, }) //Pour chaque ligne lue dans le fichier d'entrée, appeler l'API SparkPost Recipient Validation

Ensuite, sur la réponse

• Ajouter l'email au JSON (pour pouvoir imprimer l'email dans le CSV)

• Valider si la raison est nulle, et si c'est le cas, remplir une valeur vide (c'est pour que le format CSV soit cohérent, car dans certains cas la raison est donnée dans la réponse)

• Définir les options et les clés pour le module json2csv.

• Convertir le JSON en CSV et le sortir (en utilisant json2csv)

• Écrire les progrès dans le terminal

• Enfin, si le nombre d'emails dans le fichier = validations complétées, arrêter le chronomètre et imprimer les résultats

  
  

.then(function (response) { response.data.results.email = String(email); //Ajouter l'email comme paire clé/valeur à la réponse JSON pour être utilisé pour la sortie response.data.results.reason ? null : (response.data.results.reason = ""); //Si la raison est nulle, la définir sur vide pour que le CSV soit uniforme //Utilise json-2-csv pour convertir le JSON en format CSV et le sortir let options = { prependHeader: false, //Désactive les valeurs JSON d'être ajoutées comme lignes d'en-tête pour chaque ligne keys: [ "results.email", "results.valid", "results.result", "results.reason", "results.is_role", "results.is_disposable", "results.is_free", "results.delivery_confidence", ], //Définit l'ordre des clés }; let json2csvCallback = function (err, csv) { if (err) throw err; output.write(`${csv}\n`); }; converter.json2csv(response.data, json2csvCallback, options); completed++; //Augmenter le compteur API process.stdout.write(`Terminé avec ${completed} / ${email_count}\r`); //Sortie de l'état de Terminé / Total sur la console sans afficher de nouvelles lignes //Si tous les emails ont été validés if (completed == email_count) { const stop = window.performance.now(); //Arrêter le chronomètre console.log( `Tous les emails ont été validés avec succès en ${ (stop - start) / 1000 } secondes` ); } })

Un problème final que j'ai trouvé était que cela fonctionnait très bien sur Mac, mais que j'ai rencontré l'erreur suivante en utilisant Windows après environ 10 000 validations :

Erreur : connect ENOBUFS XX.XX.XXX.XXX:443 – Local (non défini:non défini) avec l'email XXXXXXX@XXXXXXXXXX.XXX

Après avoir fait des recherches supplémentaires, il semble s'agir d'un problème avec le pool de connexions du client HTTP NodeJS qui ne réutilise pas les connexions. J'ai trouvé cet article Stackoverflow sur le problème, et après avoir creusé davantage, j'ai trouvé une bonne configuration par défaut pour la bibliothèque axios qui a résolu ce problème. Je ne suis toujours pas certain pourquoi ce problème ne survient que sur Windows et pas sur Mac.