Few-Shot Compression

Introduction

Few-shot prompting berarti memberi beberapa contoh input dan output agar AI meniru pola. Teknik ini sangat kuat untuk klasifikasi, transformasi gaya, ekstraksi data, atau format khusus. Namun few-shot juga mudah boros token. Banyak pengguna memasukkan lima contoh panjang padahal satu atau dua contoh ringkas sudah cukup.

Few-shot compression adalah cara mengecilkan contoh tanpa kehilangan sinyal penting. Tujuannya bukan menghapus contoh, tetapi mempertahankan pola yang harus ditiru: label, struktur, gaya, dan batasan. Contoh yang baik seperti sampel resep; cukup menunjukkan bahan utama dan hasil akhir, tidak perlu menceritakan sejarah masakannya.

Concepts

Contoh few-shot harus mewakili variasi yang penting. Jika tugasnya mengklasifikasikan tiket support menjadi billing, bug, atau feature request, gunakan contoh pendek untuk tiap label. Jika tugasnya mengubah gaya tulisan, gunakan satu contoh sebelum/sesudah yang benar-benar menunjukkan transformasi.

Kompresi dilakukan dengan tiga cara. Pertama, pendekkan input contoh. Kedua, pendekkan output contoh. Ketiga, ganti contoh berulang dengan aturan eksplisit. Jika tiga contoh hanya menunjukkan "jawab maksimal 2 kalimat", tulis aturan itu sekali.

Jangan mengompresi sampai pola hilang. Contoh terlalu pendek seperti "Input: A, Output: B" tidak mengajarkan apa pun. Kompresi yang baik tetap mempertahankan kata kunci, struktur label, dan ciri gaya.

Examples

Klasifikasikan tiket support. Contoh 1: Saya sudah memasukkan kartu kredit dan pembayaran berhasil, tetapi invoice belum muncul di dashboard saya. Output: billing. Contoh 2: Ketika saya klik tombol export CSV, halaman langsung blank dan saya harus refresh browser. Output: bug. Contoh 3: Akan sangat membantu kalau aplikasi punya integrasi WhatsApp agar tim sales bisa follow up otomatis. Output: feature_request. Sekarang klasifikasikan: paket saya sudah upgrade tapi limit masih lama.

Klasifikasi tiket: billing | bug | feature_request.
Ex: 'bayar sukses invoice hilang' => billing; 'export CSV blank' => bug; 'minta integrasi WhatsApp' => feature_request.
Input: paket upgrade tapi limit belum naik.

Versi setelah tetap memberi tiga label dan pola, tetapi contoh dipadatkan menjadi frasa inti. Model tidak membutuhkan cerita lengkap untuk memahami kategori.

Ubah kalimat marketing menjadi lebih spesifik. Contoh: Produk kami membantu bisnis tumbuh lebih cepat dan efisien. Output: Otomatiskan follow-up lead dalam 5 menit agar tim sales tidak kehilangan prospek panas. Contoh: Platform kami mudah digunakan semua orang. Output: Buat invoice, cek pembayaran, dan kirim pengingat tanpa training teknis. Ubah: Solusi kami meningkatkan produktivitas tim.

Rewrite klaim generik => manfaat spesifik + aksi + hasil.
Ex: 'bisnis tumbuh efisien' => 'follow-up lead 5 menit...'
Ex: 'mudah digunakan' => 'buat invoice... tanpa training'.
Rewrite: Solusi kami meningkatkan produktivitas tim.

Prompt setelah tidak mengulang instruksi panjang. Ia mengekstrak prinsip transformasi, lalu memberi contoh pendek sebagai jangkar gaya.

Practical Tips

Gunakan dua contoh jika pola sederhana, tiga sampai lima jika label banyak atau variasi tinggi. Lebih dari lima contoh sering perlu alasan kuat. Jika output mulai konsisten, jangan tambahkan contoh lagi; tambahkan aturan singkat untuk kasus tepi.

Pilih contoh yang ekstrem dan jelas, bukan contoh ambigu. Contoh ambigu mengajarkan kebingungan. Untuk klasifikasi, sertakan minimal satu contoh negatif jika model sering salah. Untuk gaya bahasa, gunakan contoh yang menunjukkan panjang, tone, dan struktur.

Pisahkan aturan dari contoh. Aturan menjelaskan prinsip; contoh menunjukkan penerapan. Jika contoh panjang, hapus kata yang tidak memengaruhi label atau gaya. Jika contoh berisi data sensitif, anonimisasi sebelum masuk prompt.

Few-shot compression juga berguna untuk biaya API. Contoh yang dikirim di setiap request akan berulang ribuan kali. Mengurangi 100 token per request bisa menjadi penghematan besar pada volume tinggi. Simpan contoh stabil di template, lalu kirim input baru secara ringkas.

Summary

Few-shot membantu AI meniru pola, tetapi contoh harus padat. Pertahankan sinyal: label, struktur, gaya, dan variasi penting. Hapus cerita, duplikasi, dan detail yang tidak mengubah keputusan. Prompt menjadi lebih murah tanpa kehilangan akurasi.