Después de leer y validar los argumentos del terminal, ejecuto el siguiente código. Primero, leo el archivo CSV de correos electrónicos y cuento cada línea. Hay dos propósitos de esta función, 1) me permite informar con precisión sobre el progreso del archivo [como veremos más adelante], y 2) me permite detener un temporizador cuando el número de correos electrónicos en el archivo es igual al de validaciones completadas. Agregué un temporizador para poder ejecutar benchmarks y asegurarme de obtener buenos resultados.

let count = 0; //Line count require("fs") .createReadStream(myArgs[1]) .on("data", function (chunk) { for (let i = 0; i < chunk.length; ++i) if (chunk[i] == 10) count++; }) //Reads the infile and increases the count for each line .on("close", function () { //Al final del infile, después de que todas las líneas han sido contadas, ejecuta la función de validación de destinatarios validateRecipients.validateRecipients(count, myArgs); });

 Luego llamo a la función validateRecipients. Note que esta función es asíncrona. Después de validar que tanto el infile como el outfile son CSV, escribo una fila de encabezado y comienzo un temporizador de programa usando la biblioteca JSDOM.

async function validateRecipients(email_count, myArgs) { if ( //Si tanto el infile como el outfile están en formato .csv extname(myArgs[1]).toLowerCase() == ".csv" && extname(myArgs[3]).toLowerCase() == ".csv" ) { let completed = 0; //Contador para cada llamada API email_count++; //El contador de líneas devuelve #lines - 1, esto se hace para corregir el número de líneas //Inicia un temporizador const { window } = new JSDOM(); const start = window.performance.now(); const output = fs.createWriteStream(myArgs[3]); //Outfile output.write( "Email,Valid,Result,Reason,Is_Role,Is_Disposable,Is_Free,Delivery_Confidence\n" ); //Escribir los encabezados en el outfile

El siguiente script es realmente el núcleo del programa, así que lo dividiré y explicaré qué está pasando. Por cada línea del infile:

• Tomar asíncronicamente esa línea y llamar al API de validación de destinatarios.

fs.createReadStream(myArgs[1]) .pipe(csv.parse({ headers: false })) .on("data", async (email) => { let url = SPARKPOST_HOST + "/api/v1/recipient-validation/single/" + email; await axios .get(url, { headers: { Authorization: SPARKPOST_API_KEY, }, }) //Para cada fila leída del infile, llamar al SparkPost Recipient Validation API

Luego, en la respuesta

• Agregar el correo electrónico al JSON (para poder imprimir el correo electrónico en el CSV)

• Validar si reason es nulo, y si es así, rellenar con un valor vacío (esto es para que el formato del CSV sea consistente, ya que en algunos casos se proporciona reason en la respuesta)

• Establecer las opciones y claves para el módulo json2csv.

• Convertir el JSON a CSV y sacar el resultado (utilizando json2csv)

• Escribir el progreso en el terminal

• Finalmente, si el número de correos electrónicos en el archivo = validaciones completadas, detener el temporizador e imprimir los resultados

  
  

.then(function (response) { response.data.results.email = String(email); //Agrega el correo electrónico como par valor/clave al JSON de respuesta para ser utilizado en la salida response.data.results.reason ? null : (response.data.results.reason = ""); //Si reason es nulo, configurarlo en blanco para que el CSV sea uniforme //Utiliza json-2-csv para convertir el JSON a formato CSV y sacar el resultado let options = { prependHeader: false, //Desactiva que los valores JSON sean añadidos como filas de encabezado para cada línea keys: [ "results.email", "results.valid", "results.result", "results.reason", "results.is_role", "results.is_disposable", "results.is_free", "results.delivery_confidence", ], //Establece el orden de las claves }; let json2csvCallback = function (err, csv) { if (err) throw err; output.write(`${csv}\n`); }; converter.json2csv(response.data, json2csvCallback, options); completed++; //Incrementar el contador de API process.stdout.write(`Done with ${completed} / ${email_count}\r`); //Sacar estado de Completado / Total al console sin mostrar nuevas líneas //Si todos los correos fueron validados completed == email_count) { const stop = window.performance.now(); //Detener el temporizador console.log( `Todos los correos electrónicos validados con éxito en ${ (stop - start) / 1000 } segundos` ); } })

Un problema final que encontré fue que, aunque esto funcionó muy bien en Mac, encontré el siguiente error usando Windows después de alrededor de 10,000 validaciones:

Error: connect ENOBUFS XX.XX.XXX.XXX:443 – Local (undefined:undefined) con el correo electrónico XXXXXXX@XXXXXXXXXX.XXX

Después de investigar más, parece ser un problema con el pool de conexiones del cliente HTTP de NodeJS que no reutiliza las conexiones. Encontré este artículo de Stackoverflow sobre el problema, y después de investigar más, encontré una buena configuración predeterminada para la biblioteca axios que resolvió este problema. Aún no estoy seguro por qué este problema solo ocurre en Windows y no en Mac.