Context Window Management

Introduction

Context window adalah jumlah informasi yang bisa dibaca model dalam satu interaksi. Semakin besar konteks, semakin banyak dokumen, riwayat chat, atau data yang bisa dimasukkan. Namun ruang besar bukan alasan untuk memasukkan semuanya. Konteks berlebihan membuat prompt mahal, memperlambat respons, dan dapat mengaburkan informasi penting.

Context window management adalah teknik memilih, meringkas, dan menata konteks agar model fokus. Prinsipnya mirip membawa dokumen ke rapat. Anda tidak membawa seluruh arsip perusahaan; Anda membawa halaman yang relevan, ringkasan keputusan sebelumnya, dan data pendukung yang diperlukan.

Concepts

Ada tiga jenis konteks: instruksi, data kerja, dan riwayat. Instruksi menjelaskan tugas. Data kerja adalah teks, kode, tabel, atau transkrip yang dianalisis. Riwayat adalah keputusan sebelumnya. Ketiganya bersaing menggunakan token yang sama, jadi harus diprioritaskan.

Mulailah dengan pertanyaan: informasi mana yang mengubah jawaban? Jika dokumen panjang hanya memiliki dua bagian relevan, ambil dua bagian itu. Jika riwayat chat panjang hanya berisi satu keputusan final, ringkas menjadi satu kalimat. Jika data mentah terlalu besar, ekstrak field penting sebelum dikirim.

Urutan juga penting. Letakkan instruksi dan tujuan di awal, data relevan setelahnya, lalu format output. Untuk konteks sangat panjang, gunakan heading agar model dapat membedakan sumber, batasan, dan tugas.

Examples

Saya akan menempelkan seluruh transkrip meeting 45 menit tentang roadmap produk, termasuk obrolan pembuka, diskusi teknis, debat pricing, dan catatan kecil. Tolong cari keputusan penting, tugas yang harus dilakukan, siapa PIC-nya, dan hal yang belum disepakati. Transkrip lengkap ada di bawah ini...

Ringkas meeting roadmap dari kutipan relevan saja.
Konteks: diskusi pricing + timeline Q3.
Output: keputusan, action item+PIC, open questions.
Abaikan obrolan pembuka dan detail teknis non-roadmap.

Versi setelah tidak mengirim sinyal bahwa semua transkrip sama penting. Prompt mengarahkan pemilihan konteks: pricing, timeline, keputusan, PIC, dan pertanyaan terbuka.

Berikut seluruh riwayat percakapan saya dengan AI tentang membuat artikel SEO, mulai dari ide awal, beberapa revisi judul, diskusi keyword, pilihan tone, dan draft yang belum final. Tolong lanjutkan dari pembahasan sebelumnya dan buat outline yang lebih baik.

Riwayat relevan: topik artikel = keamanan password UMKM; keyword utama = 'password manager bisnis'; tone = edukatif praktis. Tugas: buat outline H2/H3 untuk artikel SEO 1200 kata.

Prompt setelah mengganti riwayat panjang dengan state final. Model tidak perlu membaca semua percobaan yang sudah dibatalkan.

Practical Tips

Gunakan ringkasan progres untuk percakapan panjang. Setelah beberapa iterasi, tulis: "Keputusan sejauh ini" dan "Yang masih perlu dikerjakan". Ini lebih hemat daripada mempertahankan seluruh chat. Untuk dokumen panjang, gunakan retrieval: ambil bagian yang relevan berdasarkan pertanyaan, bukan seluruh dokumen.

Pisahkan konteks faktual dari instruksi. Tandai sumber dengan heading seperti Data, Kebijakan, Pertanyaan, dan Format. Jika ada data yang tidak boleh diubah, tulis jelas: "Gunakan hanya fakta di bagian Data." Jika ada informasi lama yang tidak berlaku, jangan sertakan; konteks usang bisa lebih berbahaya daripada konteks kurang.

Saat bekerja dengan kode, jangan kirim seluruh repository. Kirim file terkait, error utama, langkah reproduksi, dan batasan perubahan. Saat bekerja dengan bisnis, jangan kirim semua metrik. Kirim metrik yang berhubungan dengan keputusan.

Ukuran konteks harus mengikuti risiko. Untuk keputusan hukum, medis, atau finansial, konteks relevan perlu lebih lengkap dan sumber harus jelas. Untuk brainstorming ringan, konteks cukup berupa tujuan, audiens, dan batasan.

Summary

Context window management bukan sekadar memotong token. Ini seni memilih informasi yang membuat jawaban benar. Ringkas riwayat, ambil data relevan, buang noise, dan susun konteks dengan heading. Model yang fokus menghasilkan output lebih baik dan lebih murah.