Ini adalah demonstrasi sederhana menggunakan Google Cloud Functions dan Flows untuk melakukan pengenalan gambar pada gambar yang dikirim di Telegram.

Flows dan Lebih Banyak Lagi

sebagai pengembang Flows, saya sering berpikir siapa pengguna kami, mengapa mereka menggunakan Flows, dan apa yang perlu mereka capai untuk mencapai tujuan mereka; dan kemudian, fitur apa yang perlu kami implementasikan untuk melayani pengguna tersebut dengan sebaik-baiknya.

Flows adalah mesin otomatisasi yang kuat untuk membuat alur komunikasi. Kami awalnya memikirkan ini sebagai solusi tanpa kode, tetapi kami menemukan banyak pengguna yang bisa mendapatkan perilaku yang sangat kuat dengan menulis beberapa kode untuk kasus penggunaan tertentu.   Potongan kode ini dapat berada di dalam Flows, atau mereka bisa menjadi fungsi cloud pihak ketiga seperti AWS Lambda atau Google Cloud Functions. 

Kasus penggunaan menarik: Pengenalan Gambar 

Untuk contoh singkat dan lucu, saya akan menunjukkan kepada Anda bagaimana mengimplementasikan aplikasi yang mengenali hot dog. Kami akan mengatur alur di Flows, yang akan menerima gambar dari pengguna dan memutuskan, apakah mereka mengirimkan hotdog atau tidak.

Untuk banyak pelanggan kami, jenis pengenalan gambar ini bisa sangat kuat. Bayangkan Anda menjalankan layanan pengiriman dan Anda ingin memverifikasi pengiriman yang berhasil secara otomatis. Mirip dengan apa yang akan saya tunjukkan, Anda bisa menggunakan data lokasi, foto paket, dan bahkan tanda tangan penerima untuk membuat alur verifikasi di Flows. 

Rencana untuk Sukses

Pertama, kami akan mengatur fungsi cloud, yang menerima permintaan dengan URL ke gambar, kemudian menggunakan API pengenalan gambar untuk memproses gambar,  dan merespons apakah ada hotdog dalam gambar tersebut atau tidak.

Kemudian kami akan membangun alur, yang menerima pesan dari pengguna melalui saluran pesan (Telegram dalam hal ini), mengeksekusi fungsi cloud di atas, dan merespons kepada pengguna apakah ada hotdog dalam gambar yang dia kirim.

Menyiapkan Fungsi Google Cloud

Pertama,  kita perlu menyiapkan fungsi cloud. Untuk memulai dengan cepat, buat fungsi cloud menggunakan tutorial ini: https://cloud.google.com/functions/docs/quickstart-console. Sebagai ‘Trigger’ pilih pemicu HTTP, lingkungan eksekusi: Node.js 10, dan di kolom kode sumber masukkan potongan kode. Ini adalah kode sederhana, yang memeriksa apakah permintaan mengandung kode JSON dan menjawab ya atau tidak. 

Selanjutnya, Anda perlu menerapkan fungsi ini. Untuk mengujinya di dalam Google Cloud Platform, ikuti langkah-langkah dari tutorial. 

‍

Untuk menguji dari browser Anda, pergi ke URL berikut dengan memasukkan alamat spesifik untuk fungsi Anda:

https://alamat-fungsi-anda.cloudfunctions.net/HotDogOrNot/?url=hello harus mengembalikan {“isHotDog”: true} dan alamat https://alamat-fungsi-anda.cloudfunctions.net/HotDogOrNot harus mengembalikan {“isHotDog”: false}.

Kerja bagus! Anda telah menyiapkan fungsi google cloud. Sekarang kita perlu membuat fungsi cloud kita lebih pintar.

Menyiapkan Google Vision API

Untuk membuatnya lebih pintar mari kita tambahkan pengenalan gambar. Untuk tujuan ini kita akan menggunakan Google Vision API. Untuk memulai, ikuti langkah 1-4 tutorial ini: https://cloud.google.com/vision/docs/quickstart-client-libraries. Dalam tutorial ini, Anda akan mengaktifkan API Vision dan membuat akun layanan untuk menggunakannya.

Sekarang kembali ke fungsi cloud yang Anda buat. Ubah “Variabel lingkungan, jaringan, waktu habis dan lainnya” dan di file “Akun layanan” pilih akun layanan VisionAPI yang baru saja Anda buat. Sekarang kita bisa mengakses API Vision di dalam fungsi kita.

Sekarang mari kita ubah kodenya. Di tab “Package.json”, masukkan kode ini. Ini akan menambahkan pustaka Google Vision API sebagai ketergantungan untuk fungsi Anda, dan di tab "Index.js" perbarui kode yang ada dengan potongan kode berikut.

Apa perbedaan dibandingkan versi sebelumnya? Kami menambahkan permintaan ke VisionAPI, yang mengembalikan ‘label’ yang ditemukan di gambar.  Kemudian kita memfilter label ini berdasarkan deskripsi: jika itu mengandung “hot dog” dan jika memiliki kepercayaan lebih dari 60% pada label tersebut. Jika ada setidaknya 1 label yang tersisa setelah pemfilteran, itu berarti kita menemukan hotdog di gambar.

Untuk memahami cara kerja Google VisionAPI dan bagaimana responsnya terlihat, periksa dokumentasi mereka, https://cloud.google.com/vision/docs

Setelah itu, terapkan versi baru fungsi kita. Untuk mengujinya dari browser Anda, temukan gambar hotdog apapun dan simpan URL-nya. Sekarang pergi ke URL fungsi Anda (memasukkan alamat yang benar untuk fungsi Anda) https://alamat-fungsi-anda.cloudfunctions.net/HotDogOrNot?url=url_ke_gambar dan ganti  “url_ke_gambar” dengan URL ke gambar yang ditemukan. Jika ada hotdog di gambar, halaman akan mengembalikan {“isHotDog”: true}.

Sekarang mari kita hubungkan fungsi ini ke Flow Builder.

Membuat alur di Flows

Masuk ke dasbor Bird atau daftar akun jika Anda belum memilikinya.

Jika Anda baru di Flows dan belum memiliki saluran yang disiapkan, Anda perlu pergi ke halaman pengaturan Saluran, dan memilih untuk menyiapkan saluran Telegram. Saya memilih Telegram untuk demo ini karena mudah dan cepat untuk diatur.

Sekarang Anda memiliki saluran yang dapat kita gunakan di Flows. Pergi ke halaman Flows, buat alur kustom baru, dan pilih pemicu saluran “Telegram”.

Anda akan diarahkan ke halaman alur, di mana Anda harus memilih saluran Telegram Anda sebagai pemicu, dalam hal ini adalah “Hotdog”. Silakan tambahkan 2 langkah: “Ambil variabel” dan “Balas pesan saluran”.

Di dalam langkah “Ambil variabel”, kita akan memanggil fungsi cloud kita dan mengambil respons ke dalam variabel “isHotDog” yang akan berisi “true” atau “false” sebagai respons dari fungsi Google Cloud. Di kolom URL  silakan masukkan URL fungsi Anda https://alamat-fungsi-anda.cloudfunctions.net/HotDogOrNot dan isi semua kolom lain seperti pada gambar