Pelajaran dari Merilis Aplikasi AI ke Produksi
Menyetel prompt hanyalah sepuluh persen pekerjaan. Tinjauan praktis tentang fallback deterministik, penegakan skema, cache latensi, dan harness evaluasi.
Demo AI yang menakjubkan sering runtuh begitu bertemu pengguna sungguhan. Selisihnya ada pada hal-hal yang jarang dibicarakan.
Keluaran harus terstruktur
Minta model mengembalikan JSON dengan skema yang ketat, lalu validasi di sisi server. Jangan percaya teks bebas untuk alur yang butuh kepastian.
Selalu sediakan fallback
Saat model gagal, lambat, atau ragu, sistem tetap harus memberi jawaban yang aman. Aturan deterministik sederhana sering lebih berguna daripada jawaban yang salah dengan nada percaya diri.
Ukur dengan dataset evaluasi
Setiap perubahan prompt perlu diuji terhadap kumpulan kasus nyata. Tanpa itu, perbaikan di satu kasus diam-diam merusak kasus lain.
Cache dan latensi
Banyak permintaan berulang. Cache yang cermat memangkas biaya dan membuat produk terasa jauh lebih cepat.