Permintaan AI yang berulang dapat menambah latensi dan biaya, terutama saat sistem menjawab pertanyaan umum atau memproses input yang sama. Cache berpotensi mengurangi pekerjaan berulang, tetapi respons AI tidak selalu aman untuk disimpan atau digunakan kembali. Jawaban dapat bergantung pada identitas pengguna, dokumen yang sedang diizinkan, waktu, versi model, atau konteks percakapan.
Pilih permintaan yang cocok
Mulai dari respons publik dan stabil, seperti definisi umum, teks bantuan, atau hasil pemrosesan konfigurasi tanpa data pengguna. Hindari cache global untuk respons yang memuat informasi akun, dokumen privat, hasil pencarian personal, atau keluaran yang bergantung pada izin dinamis. Untuk konteks campuran, pisahkan komponen publik dari komponen khusus pengguna.
Rancang cache key secara tepat
Cache key harus membedakan faktor yang dapat mengubah hasil: versi prompt, model, parameter generasi, bahasa, versi sumber data, dan ruang lingkup akses bila relevan. Jangan memasukkan token rahasia mentah ke key atau log. Normalisasi input hanya jika tidak mengubah makna; pertanyaan yang tampak mirip belum tentu meminta jawaban sama. Ukur cache hit sekaligus kesalahan akibat hasil yang kedaluwarsa.
Tentukan masa berlaku dan invalidasi
Respons berbasis pengetahuan yang sering berubah memerlukan TTL pendek atau versi sumber yang jelas. Bersihkan cache ketika dokumen dicabut, izin pengguna berubah, prompt diperbarui, atau model diganti. Untuk sistem retrieval, simpan versi indeks atau identitas dokumen yang relevan agar hasil lama tidak digunakan setelah sumber berubah.
Jaga batas keamanan
Pisahkan cache lintas tenant, periksa izin di server sebelum memberikan hasil, dan hindari menyimpan data sensitif jika manfaatnya kecil. Respons cache tetap bisa membocorkan informasi meskipun model tidak dipanggil ulang. Terapkan batas ukuran, enkripsi bila diperlukan, retensi jelas, serta mekanisme penghapusan. Untuk pengelolaan akses dan biaya model, lihat panduan AI Gateway.
Cache yang baik bukan sekadar menurunkan angka latensi. Ia harus mempertahankan kebenaran, izin, dan konteks. Uji perubahan sumber serta hak akses, lalu gunakan jalur tanpa cache ketika key tidak dapat dibentuk dengan aman.