
Dla kogoś, kto szuka prostego, szybkiego programu, który przyjmuje plik CSV, wywołuje API weryfikacji odbiorcy i zwraca plik CSV, ten program jest dla Ciebie.
Podczas tworzenia aplikacji e-mailowych, deweloperzy często muszą integrować wiele usług i interfejsów API. Rozumienie podstaw API e-mail w infrastrukturze chmurowej zapewnia podstawy do tworzenia solidnych narzędzi, takich jak system masowej walidacji, który stworzymy w tym przewodniku.
Jedno z pytań, które czasami otrzymujemy, brzmi: jak mogę masowo walidować listy e-mail z walidacją odbiorcy? Istnieją dwie opcje: jedna to przesłanie pliku przez UI SparkPost do walidacji, a druga to wykonywanie pojedynczych wywołań dla każdego e-maila do API (ponieważ API to walidacja pojedynczego e-maila).
Pierwsza opcja działa świetnie, ale ma ograniczenie do 20 MB (około 500 000 adresów). Co jeśli ktoś ma listę e-mail zawierającą miliony adresów? Może to oznaczać podzielenie tego na tysiące przesyłek plików CSV.
Ponieważ przesłanie tysięcy plików CSV wydaje się mało prawdopodobne, zastanowiłem się, jak szybko mogę zmusić API do działania. W tym wpisie na blogu wyjaśnię, co próbowałem i jak w końcu doszedłem do programu, który mógłby wykonać około 100 000 weryfikacji w 55 sekund (podczas gdy w UI zdobyłem około 100 000 weryfikacji w 1 minutę 10 sekund). I chociaż zajmie to jeszcze około 100 godzin, aby ukończyć około 654 milionów weryfikacji, ten skrypt może działać w tle, oszczędzając znaczną ilość czasu.
Ostateczną wersję tego programu można znaleźć tutaj.
My first mistake: używanie Python
Python jest jednym z moich ulubionych języków programowania. Wyróżnia się w wielu obszarach i jest niezwykle prosty. Jednak jednym obszarem, w którym nie wyróżnia się, są procesy równoległe. Chociaż python ma możliwość uruchamiania funkcji asynchronicznych, posiada to, co jest znane jako Global Interpreter Lock Pythona, czyli GIL.
„Global Interpreter Lock Pythona, czyli GIL, w prostych słowach to mechanizm mutex (lub blokada), który pozwala tylko jednemu wątkowi na kontrolowanie interpretera Pythona.
Oznacza to, że tylko jeden wątek może być w stanie wykonywania w danym momencie. Wpływ GIL nie jest widoczny dla programistów, którzy wykonują programy jednowątkowe, ale może być wąskim gardłem wydajnościowym w kodzie zależnym od CPU i wielowątkowym.
Ponieważ Global Interpreter Lock (GIL) pozwala na wykonywanie w danym momencie tylko jednego wątku, nawet na systemach wielordzeniowych, zyskał reputację „niesławnej” cechy Pythona (zobacz artykuł Real Python na temat GIL).
Na początku, nie byłem świadomy GIL, więc zacząłem programować w pythonie. Na końcu, mimo iż mój program był asynchroniczny, został zablokowany i niezależnie od tego, ile dodałem wątków, nadal uzyskiwałem tylko około 12-15 iteracji na sekundę.
Główna część funkcji asynchronicznej w Python można zobaczyć poniżej:
Więc zrezygnowałem z używania Pythona i wróciłem do tablicy kreślarskiej...
Zdecydowałem się na wykorzystanie NodeJS ze względu na jego zdolność do wykonywania operacji i/o bez blokowania. Inną doskonałą opcją do obsługi asynchronicznego przetwarzania API jest budowa konsumentów webhooków bezserwerowych z Azure Functions, które mogą efektywnie obsługiwać zmienne obciążenia. Jestem również dość zaznajomiony z programowaniem w NodeJS.
Wykorzystując asynchroniczne aspekty Node.js, podejście to działało dobrze. Więcej szczegółów na temat programowania asynchronicznego w Node.js można znaleźć w przewodniku RisingStack na temat programowania asynchronicznego w Node.js.
Mój drugi błąd: próba odczytania pliku do pamięci
Rozbijanie końcowego kodu
Po przeczytaniu i zweryfikowaniu argumentów terminala, uruchamiam następujący kod. Najpierw odczytuję plik CSV z emailami i zliczam każdą linię. Istnieją dwa cele tej funkcji: 1) pozwala mi dokładnie raportować postęp pliku [jak zobaczymy później], oraz 2) pozwala mi zatrzymać stoper, gdy liczba emaili w pliku równa się zakończonym walidacjom. Dodałem stoper, aby móc przeprowadzać testy wydajności i upewnić się, że otrzymuję dobre wyniki.
Następnie wywołuję funkcję validateRecipients. Należy zauważyć, że funkcja ta jest asynchroniczna. Po zweryfikowaniu, że infile i outfile są w formacie CSV, zapisuję wiersz nagłówkowy i uruchamiam stoper programu korzystając z biblioteki JSDOM.
Następujący skrypt to naprawdę główna część programu, więc podzielę go i wyjaśnię, co się dzieje. Dla każdej linii pliku infile:
Asynchronicznie pobierz tę linię i wywołaj recipient validation API.
Następnie, na odpowiedzi
Dodaj email do JSON (aby móc wydrukować email w formacie CSV)
Sprawdź, czy reason jest puste, a jeśli tak, wprowadź wartość pustą (po to, aby format CSV był spójny, ponieważ w niektórych przypadkach reason jest podawane w odpowiedzi)
Ustaw opcje i klucze dla modułu json2csv.
Skonwertuj JSON na CSV i wyprowadź (wykorzystując json2csv)
Zapisz postęp w terminalu
Ostatecznie, jeśli liczba emaili w pliku = zakończone walidacje, zatrzymaj stoper i wydrukuj wyniki
Jedynym problemem, który znalazłem, było to, że podczas gdy to działało świetnie na Macu, napotkałem następujący błąd podczas używania Windows po około 10 000 walidacji:
Error: connect ENOBUFS XX.XX.XXX.XXX:443 – Local (undefined:undefined) with email XXXXXXX@XXXXXXXXXX.XXX
Po przeprowadzeniu dalszych badań, wydaje się, że problem tkwi w zestawie połączeń HTTP klienta NodeJS, który nie ponownie używa połączeń. Znalazłem ten artykuł na Stackoverflow na temat tego problemu, a po dalszym zgłębianiu, znalazłem dobrą domyślną konfigurację dla biblioteki axios, która rozwiązała ten problem. Nadal nie jestem pewien, dlaczego ten problem występuje tylko na Windows i nie na Mac.
Następne Kroki
Dla kogoś, kto szuka prostego szybkiego programu, który przyjmuje plik csv, wykorzystuje API walidacji odbiorców, a następnie zapisuje wynik jako CSV, ten program jest dla Ciebie.
Do programu można dodać następujące elementy:
Zbuduj front-end lub łatwiejszy interfejs użytkownika
Lepsza obsługa błędów i ponowne próby, ponieważ jeśli z jakiegoś powodu API zgłasza błąd, program obecnie nie ponawia wywołania
Rozważ wdrożenie jako serverless Azure Function dla automatycznego skalowania i zmniejszonego zarządzania infrastrukturą
Byłbym również ciekaw, czy można osiągnąć szybsze rezultaty z innym językiem programowania, takim jak Golang lub Erlang/Elixir. Oprócz wyboru języka, ograniczenia infrastruktury mogą również wpływać na wydajność - nauczyliśmy się tego z pierwszej ręki, kiedy napotkaliśmy niemadokumentowane limity DNS w AWS, które wpłynęły na nasze systemy przetwarzania dużej ilości e-maili.
Dla deweloperów zainteresowanych łączeniem przetwarzania API z narzędziami do wizualnego przepływu pracy, sprawdź, jak zintegrować Flow Builder z Google Cloud Functions dla bezkodowych przepływów automatyzacji.
Proszę, nie wahaj się przesłać mi uwag lub sugestii dotyczących rozszerzenia tego projektu.