Po przeczytaniu i zweryfikowaniu argumentów terminalu, uruchamiam następujący kod. Najpierw wczytuję plik CSV z e-mailami i zliczam każdą linię. Istnieją dwa cele tej funkcji: 1) pozwala mi dokładnie raportować postęp pracy z plikiem [co zobaczymy później], oraz 2) pozwala mi zatrzymać stoper, gdy liczba e-maili w pliku równa się ukończonym weryfikacjom. Dodałem stoper, aby móc przeprowadzać testy porównawcze i upewnić się, że uzyskuję dobre wyniki.

let count = 0; //Line count require("fs") .createReadStream(myArgs[1]) .on("data", function (chunk) { for (let i = 0; i < chunk.length; ++i) if (chunk[i] == 10) count++; }) //Reads the infile and increases the count for each line .on("close", function () { //At the end of the infile, after all lines have been counted, run the recipient validation function validateRecipients.validateRecipients(count, myArgs); });

 Następnie wywołuję funkcję validateRecipients. Należy zauważyć, że ta funkcja jest asynchroniczna. Po zweryfikowaniu, że infile i outfile są w formacie CSV, zapisuję wiersz nagłówkowy i uruchamiam stoper programu za pomocą biblioteki JSDOM.

async function validateRecipients(email_count, myArgs) { if ( //If both the infile and outfile are in .csv format extname(myArgs[1]).toLowerCase() == ".csv" && extname(myArgs[3]).toLowerCase() == ".csv" ) { let completed = 0; //Counter for each API call email_count++; //Line counter returns #lines - 1, this is done to correct the number of lines //Start a timer const { window } = new JSDOM(); const start = window.performance.now(); const output = fs.createWriteStream(myArgs[3]); //Outfile output.write( "Email,Valid,Result,Reason,Is_Role,Is_Disposable,Is_Free,Delivery_Confidence\n" ); //Write the headers in the outfile

Następujący skrypt jest naprawdę główną częścią programu, więc podzielę go i wyjaśnię, co się dzieje. Dla każdej linii w pliku wejściowym:

• Asynchronicznie pobierz tę linię i wywołaj API walidacji odbiorców.

fs.createReadStream(myArgs[1]) .pipe(csv.parse({ headers: false })) .on("data", async (email) => { let url = SPARKPOST_HOST + "/api/v1/recipient-validation/single/" + email; await axios .get(url, { headers: { Authorization: SPARKPOST_API_KEY, }, }) //For each row read in from the infile, call the SparkPost Recipient Validation API

Następnie, na odpowiedzi

• Dodaj e-mail do JSON (aby móc wydrukować e-mail w CSV)

• Sprawdź, czy powód jest null, a jeśli tak, uzupełnij pustą wartość (jest to konieczne, aby format CSV był spójny, ponieważ w niektórych przypadkach powód jest podany w odpowiedzi)

• Ustaw opcje i klucze dla modułu json2csv.

• Konwertuj JSON na CSV i wyprowadź (wykorzystując json2csv)

• Zapisz postęp w terminalu

• Wreszcie, jeśli liczba e-maili w pliku = ukończone weryfikacje, zatrzymaj stoper i wydrukuj wyniki

  
  

.then(function (response) { response.data.results.email = String(email); //Adds the email as a value/key pair to the response JSON to be used for output response.data.results.reason ? null : (response.data.results.reason = ""); //If reason is null, set it to blank so the CSV is uniform //Utilizes json-2-csv to convert the JSON to CSV format and output let options = { prependHeader: false, //Disables JSON values from being added as header rows for every line keys: [ "results.email", "results.valid", "results.result", "results.reason", "results.is_role", "results.is_disposable", "results.is_free", "results.delivery_confidence", ], //Sets the order of keys }; let json2csvCallback = function (err, csv) { if (err) throw err; output.write(`${csv}\n`); }; converter.json2csv(response.data, json2csvCallback, options); completed++; //Increase the API counter process.stdout.write(`Done with ${completed} / ${email_count}\r`); //Output status of Completed / Total to the console without showing new lines //If all emails have completed validation if (completed == email_count) { const stop = window.performance.now(); //Stop the timer console.log( `All emails successfully validated in ${ (stop - start) / 1000 } seconds` ); } })

Ostatnim problemem, który znalazłem, było to, że działało to świetnie na Mac, ale napotkałem następujący błąd podczas korzystania z Windows po około 10 000 weryfikacji:

Błąd: connect ENOBUFS XX.XX.XXX.XXX:443 – Lokalny (undefined:undefined) z e-mailem XXXXXXX@XXXXXXXXXX.XXX

Po dokładniejszych badaniach wydaje się, że jest to problem z puli połączeń klienta HTTP NodeJS nie ponownie używającego połączeń. Znalazłem ten artykuł na Stackoverflow na temat tego problemu, a po dalszych poszukiwaniach znalazłem dobrą konfigurację domyślną dla biblioteki axios, która rozwiązała ten problem. Nadal nie jestem pewien, dlaczego ten problem występuje tylko na Windows, a nie na Mac.