Chatbot AI bagi tim dokumentasi teknis yang membutuhkan jawaban yang dikutip sumber dan lebih sedikit tiket dukungan. ChattyBox menjawab pertanyaan seperti “Bagaimana cara mengautentikasi permintaan API?” langsung dari dokumentasi Anda dan menautkan halaman yang digunakannya — tanpa RAG khusus dan tanpa migrasi.
Chatbot AI serbaguna mencoba menjadi pemandu percakapan. Tanpa landasan sumber, mereka dapat menjawab dengan percaya diri dari konteks yang salah.
Kami menggunakan retrieval-augmented generation pada docs yang dipublikasikan dan konten situs Anda, lalu menampilkan tautan sumber asal jawaban.
Untuk tim yang membutuhkan bukti terlihat di setiap jawaban, bandingkan alur untuk chatbot AI dengan kutipan sumber yang menjaga trafik dokumentasi tetap terhubung ke halaman pendukung.
Chatbot dokumentasi mendapatkan kepercayaan dengan menjawab pertanyaan berulang yang sudah dilihat oleh dukungan dan saluran komunitas Anda — dan mengutip halaman yang digunakannya. Ini adalah contoh penanganan ChattyBox dari konten dokumen yang diindeks.
Susun set pengujian dari tugas dokumentasi nyata, lampirkan sumber acuan dan fakta yang diharapkan pada setiap pertanyaan yang dapat dijawab, serta sertakan pertanyaan yang harus ditolak oleh asisten. Nilai setiap kategori secara terpisah agar hasil API yang kuat tidak menutupi panduan migrasi atau autentikasi yang lemah.
Jalankan ulang rangkaian pengujian sebelum peluncuran, setelah perubahan penting pada dokumentasi atau pengambilan informasi, dan pada sampel bulanan terjadwal setelah peluncuran.
| Area pertanyaan | Skenario pengujian | Kondisi kelulusan |
|---|---|---|
| API | Endpoint, bidang wajib, struktur respons, dan batas laju. | Menggunakan metode dan jalur yang didokumentasikan; nilai wajib dan kutipan sesuai dengan referensi. |
| SDK | Instal dan inisialisasi satu versi SDK yang didukung. | Paket, impor, inisialisasi, dan sintaks kode sesuai dengan bahasa dan versi tersebut. |
| CLI | Instal, lakukan autentikasi, jalankan perintah, dan tafsirkan output. | Flag dan urutannya valid; jawaban tidak mengarang prompt interaktif. |
| Autentikasi | Lokasi kredensial, format header, cakupan, dan satu alur yang dilarang. | Tidak pernah mengekspos rahasia, membedakan penggunaan klien dan server, serta mengutip persyaratan keamanan. |
| Paginasi | Halaman pertama, kelanjutan, halaman terakhir, dan ukuran halaman maksimum. | Menggunakan model cursor atau offset yang didokumentasikan dan hanya menyatakan batas yang terdokumentasi. |
| Kesalahan | Kode kesalahan yang diketahui, kemungkinan penyebab, langkah pemulihan, dan kode yang tidak diketahui. | Memetakan kesalahan yang diketahui dengan benar dan menggunakan fallback untuk penyebab yang tidak didokumentasikan. |
| Migrasi | Perubahan yang merusak kompatibilitas, prasyarat, langkah berurutan, dan catatan rollback. | Mempertahankan urutan dan peringatan tanpa mencampur prosedur lama dan baru. |
| Dokumentasi berversi | Ajukan pertanyaan perilaku yang sama untuk versi saat ini, sebelumnya, dan yang tidak ditentukan. | Menjawab sesuai versi yang disebutkan, bertanya jika ambigu, dan mengutip versi tersebut. |
Publikasikan aturan sebelum pengujian. Peninjau harus mencapai hasil yang sama berdasarkan jawaban, fakta yang diharapkan, dan sumber yang dikutip tanpa bergantung pada seberapa meyakinkan respons tersebut terdengar.
| Dimensi | Terima hanya jika |
|---|---|
| Kualitas jawaban | Semua fakta yang diperlukan benar, relevan, tidak saling bertentangan, dan menggunakan versi API, SDK, CLI, atau dokumentasi yang diminta. |
| Akurasi kutipan | Setiap klaim penting memiliki kutipan yang dapat diakses dan mendukungnya secara langsung pada halaman berversi yang benar. |
| Perilaku fallback | Bukti yang tidak ada, ambigu, bertentangan, atau tidak diizinkan menghasilkan batasan yang jelas dan langkah berikutnya yang berguna, bukan tebakan. |
| Gerbang peluncuran | Tidak ada klaim kritis tentang autentikasi atau migrasi yang tidak didukung, kelulusan 100% untuk kasus kritis, penerimaan keseluruhan minimal 90%, dan akurasi kutipan minimal 95%. |
Metode: tulis 24 pertanyaan sebelum menjalankan asisten, tiga untuk setiap area matriks. Untuk setiap pertanyaan, catat versi yang dimaksud, halaman acuan, fakta wajib, klaim terlarang, dan apakah fallback diharapkan. Dua peninjau menilai jawaban tetap secara independen, menyelesaikan perbedaan berdasarkan sumber, serta menyimpan prompt dan output untuk pengujian regresi.
Angka di bawah adalah contoh hasil untuk skenario 24 pertanyaan ini, bukan rata-rata produksi ChattyBox yang terukur atau janji kinerja mendatang.
| Hasil yang diamati | Interpretasi |
|---|---|
| 22 dari 24 diterima (91.7%) | Mencakup 20 jawaban yang didukung dan dua fallback yang benar. |
| 20 dari 22 jawaban substantif mengutip halaman yang mendukung secara langsung (90.9%) | Di bawah gerbang peluncuran 95%; peringkat versi perlu diperbaiki. |
| 2 dari 2 fallback yang diharapkan sudah benar (100%) | Tidak ada kasus yang dapat dijawab tetapi keliru menggunakan fallback dalam skenario kecil ini. |
| 1 dari 24 memuat detail paginasi yang tidak didukung (4.2%) | Peluncuran tetap diblokir hingga klaim yang tidak didukung dihapus dan pengujian regresi lulus. |
Alur kerja yang dirancang khusus untuk menjaga jawaban tetap akurat, dapat ditelusuri, dan berguna bagi pengguna teknis.
Masukkan URL dokumentasi, situs web, atau peta situs Anda. ChattyBox merayapi dan mengindeks halaman yang sudah dibaca pengguna.
Alur jawaban dikonfigurasi untuk menggunakan konteks yang diambil dan menghindari klaim tanpa dukungan tentang API, fitur, harga, atau kebijakan.
Jawaban dapat menyertakan tautan kembali ke halaman dokumentasi tempat informasi relevan berada.
Perlakukan peluncuran sebagai rilis dokumentasi dengan penanggung jawab, gerbang, observabilitas, dan jalur rollback.
Segmentasikan setiap metrik berdasarkan topik, versi dokumentasi, locale, dan audiens jika ukuran sampel memungkinkan. Tren dan sampel yang ditinjau lebih berguna daripada satu skor agregat.
| Metrik | Definisi dan tindakan |
|---|---|
| Tingkat jawaban | Proporsi pertanyaan yang menerima jawaban substantif. Tinjau topik dengan tingkat rendah untuk mencari konten yang hilang; jangan meningkatkan angka dengan memperlemah fallback. |
| Pertanyaan yang belum terselesaikan | Pertanyaan dengan fallback, masukan negatif, pengungkapan ulang berulang, atau eskalasi. Ambil sampelnya setiap minggu untuk menemukan cacat jawaban dan pengambilan informasi. |
| Kesenjangan konten | Kelompok masalah yang belum terselesaikan karena tidak ada halaman otoritatif. Masukkan ke backlog dokumentasi beserta frekuensi dan dampaknya terhadap pengguna. |
| Tingkat dukungan kutipan | Klaim penting yang ditinjau dengan kutipan pendukung langsung. Selidiki penurunan berdasarkan sumber dan versi. |
| Pengalihan tiket | Sesi yang memenuhi syarat dan terselesaikan tanpa tiket dukungan, diukur dalam rentang waktu yang ditentukan dan dibandingkan dengan tolok dasar. Laporkan hubungan kecuali eksperimen membuktikan kausalitas. |
Gunakan panduan arsitektur dan evaluasi RAG untuk mendiagnosis pengambilan informasi, alur kerja kutipan untuk meninjau bukti, panduan dokumentasi pengembang untuk kasus penggunaan khusus rekayasa, serta daftar periksa peluncuran teknis untuk langkah deployment.
Jawaban ini merangkum cara ChattyBox membaca konten sumber, mengutip halaman dokumentasi, menangani informasi yang hilang, dan menginstal bersama tumpukan dokumen yang ada.
ChattyBox merayapi dokumen, situs web, peta situs, CMS, atau halaman pusat bantuan yang Anda terbitkan, mengekstrak teks yang dapat dibaca, dan mengambil bagian yang relevan ketika pengunjung mengajukan pertanyaan.
Ya. Ketika materi sumber tersedia, ChattyBox dapat menampilkan tautan kembali ke halaman dokumentasi yang digunakan untuk jawabannya sehingga pengguna dapat memverifikasi detailnya dan terus membaca.
Asisten dirancang untuk menghindari klaim yang tidak didukung dan dapat mundur ketika konten yang diindeks tidak menyertakan jawabannya. Kesenjangan tersebut dapat menjadi masukan bagi pembaruan dokumentasi di masa mendatang.
Tidak. Anda dapat menyimpan tumpukan dokumen Anda saat ini dan menyematkan widget ChattyBox setelah merayapi dan menguji jawaban yang dikutip dari sumber.
Gunakan ChattyBox untuk menjawab pertanyaan dokumentasi yang berulang dari konten sumber dan mengarahkan kesenjangan kembali ke backlog dokumentasi Anda.
