Dopo aver letto e validato gli argomenti del terminale, eseguo il seguente codice. Innanzitutto, leggo il file CSV delle email e conto ogni riga. Ci sono due scopi per questa funzione, 1) mi permette di riportare accuratamente i progressi del file [come vedremo più avanti], e 2) mi permette di fermare un timer quando il numero di email nel file equivale alle validazioni completate. Ho aggiunto un timer per poter eseguire confronti e assicurarmi di ottenere buoni risultati.

let count = 0; //Conteggio righe require("fs") .createReadStream(myArgs[1]) .on("data", function (chunk) { for (let i = 0; i < chunk.length; ++i) if (chunk[i] == 10) count++; }) //Legge il file di input e aumenta il conteggio per ogni riga .on("close", function () { //Alla fine del file di input, dopo che tutte le righe sono state contate, eseguire la funzione di validazione dei destinatari validateRecipients.validateRecipients(count, myArgs); });

 Poi chiamo la funzione validateRecipients. Nota che questa funzione è asincrona. Dopo aver validato che il file di input e il file di output sono CSV, scrivo una riga di intestazione e avvio un timer del programma usando la libreria JSDOM.

async function validateRecipients(email_count, myArgs) { if ( //Se sia il file di input che quello di output sono in formato .csv extname(myArgs[1]).toLowerCase() == ".csv" && extname(myArgs[3]).toLowerCase() == ".csv" ) { let completed = 0; //Contatore per ogni chiamata API email_count++; //Il contatore di righe restituisce #lines - 1, questo viene fatto per correggere il numero di righe //Avvia un timer const { window } = new JSDOM(); const start = window.performance.now(); const output = fs.createWriteStream(myArgs[3]); //File di output output.write( "Email,Valid,Result,Reason,Is_Role,Is_Disposable,Is_Free,Delivery_Confidence\n" ); //Scrivi le intestazioni nel file di output

Lo script seguente è veramente il fulcro del programma, quindi lo spezzetterò e spiegherò cosa sta succedendo. Per ogni riga del file di input:

• Prendere asincronamente quella riga e chiamare la API di validazione del destinatario.

fs.createReadStream(myArgs[1]) .pipe(csv.parse({ headers: false })) .on("data", async (email) => { let url = SPARKPOST_HOST + "/api/v1/recipient-validation/single/" + email; await axios .get(url, { headers: { Authorization: SPARKPOST_API_KEY, }, }) //Per ogni riga letta dal file di input, chiamare la SparkPost Recipient Validation API

Quindi, sulla risposta

• Aggiungere l'email al JSON (per poter stampare l'email nel CSV)

• Verifica se il motivo è nullo, e se lo è, inserire un valore vuoto (questo per mantenere il formato CSV coerente, poiché in alcuni casi il motivo è fornito nella risposta)

• Imposta le opzioni e le chiavi per il modulo json2csv.

• Converti il JSON in CSV e output (utilizzando json2csv)

• Scrivi il progresso nel terminale

• Infine, se il numero di email nel file è uguale alle validazioni completate, fermare il timer e stampare i risultati

  
  

.then(function (response) { response.data.results.email = String(email); //Aggiunge l'email come coppia chiave/valore al JSON di risposta da utilizzare per l'output response.data.results.reason ? null : (response.data.results.reason = ""); //Se il motivo è nullo, impostalo a vuoto in modo che il CSV sia uniforme //Utilizza json-2-csv per convertire il JSON in formato CSV e output let options = { prependHeader: false, //Disabilita l'aggiunta dei valori JSON come righe di intestazione per ogni riga keys: [ "results.email", "results.valid", "results.result", "results.reason", "results.is_role", "results.is_disposable", "results.is_free", "results.delivery_confidence", ], //Imposta l'ordine delle chiavi }; let json2csvCallback = function (err, csv) { if (err) throw err; output.write(`${csv}\n`); }; converter.json2csv(response.data, json2csvCallback, options); completed++; //Incrementa il contatore API process.stdout.write(`Fatto con ${completed} / ${email_count}\r`); //Output stato di Completo / Totale alla console senza mostrare nuove righe //Se tutte le email hanno completato la validazione if (completed == email_count) { const stop = window.performance.now(); //Ferma il timer console.log( `Tutte le email validate con successo in ${ (stop - start) / 1000 } secondi` ); } })

Un ultimo problema che ho riscontrato è stato che mentre questo funzionava bene su Mac, ho incontrato il seguente errore su Windows dopo circa 10.000 validazioni:

Error: connect ENOBUFS XX.XX.XXX.XXX:443 – Local (undefined:undefined) con email XXXXXXX@XXXXXXXXXX.XXX

Dopo ulteriori ricerche, sembra essere un problema con il pool di connessioni del client HTTP di NodeJS che non riutilizza le connessioni. Ho trovato questo articolo su Stackoverflow sul problema e, dopo ulteriori approfondimenti, ho trovato un buon config predefinito per la libreria axios che ha risolto questo problema. Non sono ancora certo del perché questo problema si verifichi solo su Windows e non su Mac.