RAG (Generasi yang Diperkaya Retrieval) adalah standar terbaik untuk AI yang akurat. ChattyBox memberi Anda pipeline RAG siap produksi tanpa perlu menulis satu baris kode pun.
RAG menggabungkan kekuatan model bahasa besar dengan data Anda sendiri. Alih-alih hanya mengandalkan data pelatihan, AI mengambil konten yang relevan dari situs web Anda sebelum menghasilkan setiap respons.
Jika prioritas Anda adalah kepercayaan jawaban, padukan alur retrieval ini dengan chatbot AI berbasis sumber yang menghindari jawaban karangan melalui batasan sumber dan perilaku fallback.
Saat pengguna mengajukan pertanyaan, kami menelusuri konten Anda yang telah divektorisasi untuk menemukan potongan yang paling relevan.
Kami menyisipkan potongan-potongan relevan tersebut sebagai konteks ke dalam prompt LLM.
Model menghasilkan jawaban yang ringkas dan dapat menyertakan tautan sumber sehingga pengunjung dapat memverifikasi detailnya.
Sistem RAG yang andal adalah rangkaian tahap yang dapat diuji, bukan satu panggilan model. Arsitektur referensi ini memisahkan persiapan konten, pengambilan informasi, pembuatan jawaban, dan kutipan agar tim dapat menemukan kegagalan serta mengindeks ulang sumber yang berubah tanpa melatih ulang model.
Ditinjau ketika perilaku pengambilan informasi berubah dan setidaknya setiap enam bulan.
| Tahap | Yang terjadi | Kontrol yang harus diverifikasi |
|---|---|---|
Tahap 1. Crawling | Yang terjadi Temukan halaman yang diizinkan dari URL dan sitemap. | Kontrol yang harus diverifikasi URL yang diharapkan tersedia; jalur yang dikecualikan dan privat tidak tersedia. |
Tahap 2. Parsing | Yang terjadi Ekstrak judul, prosa, daftar, tabel, kode, URL kanonis, dan metadata. | Kontrol yang harus diverifikasi Gangguan navigasi dihapus tanpa menghilangkan perintah atau label versi. |
Tahap 3. Pemotongan | Yang terjadi Bagi konten menjadi bagian koheren yang mempertahankan identitas halaman dan bagian. | Kontrol yang harus diverifikasi Setiap bagian dapat dipahami secara mandiri dan mempertahankan prasyarat. |
Tahap 4. Embedding | Yang terjadi Representasikan bagian untuk pencocokan semantik dan simpan metadata sumber. | Kontrol yang harus diverifikasi Setiap vektor dipetakan ke satu bagian sumber terkini yang diizinkan. |
Tahap 5. Pengambilan | Yang terjadi Beri peringkat pada sekumpulan kecil bagian berdasarkan pertanyaan pengunjung. | Kontrol yang harus diverifikasi Pengujian Recall@k menempatkan bagian acuan dalam set konteks. |
Tahap 6. Prompt | Yang terjadi Gabungkan pertanyaan, bagian, metadata sumber, dan aturan fallback. | Kontrol yang harus diverifikasi Instruksi tidak dapat memperluas izin atau mengesampingkan aturan fallback. |
Tahap 7. Jawaban | Yang terjadi Buat hanya detail yang didukung atau tolak jika bukti tidak memadai. | Kontrol yang harus diverifikasi Klaim penting mengikuti konteks; bukti yang hilang memicu fallback. |
Tahap 8. Kutipan | Yang terjadi Lampirkan halaman dan bagian kanonis yang mendukung respons. | Kontrol yang harus diverifikasi Tautan dapat diakses, sesuai dengan versi, dan mendukung klaim secara langsung. |
Perubahan sumber tidak dapat diambil hingga halaman yang terdampak di-crawl, di-parse, dipotong, dan di-embed kembali. Lacak revisi sumber, ganti chunk usang alih-alih menambahkan duplikat, hapus halaman yang telah dihapus, dan uji jawaban representatif setelah pengindeksan ulang. Atur frekuensi crawling ulang berdasarkan rentang jawaban usang terpendek yang masih dapat diterima untuk harga, kebijakan, dan dokumentasi berversi.
Halaman publik dapat berbagi satu cakupan crawling. Data privat, tenant, karyawan, atau akun memerlukan penyerapan data terautentikasi dan otorisasi saat pengambilan sebelum bagian memasuki prompt. Aturan robots bukan kontrol akses. Jangan pernah mengindeks rahasia, dan uji bahwa identitas tanpa otorisasi tidak dapat mengambil judul, cuplikan, URL, atau detail jawaban dari sumber terbatas.
Gunakan set pertanyaan berversi dengan bagian sumber yang diketahui, klaim yang diharapkan, dan kasus fallback yang diharapkan. Jalankan setelah perubahan sumber, chunking, embedding, peringkat, atau prompt, lalu periksa kegagalan berdasarkan tahap.
| Sinyal | Cara mengukurnya | Kegagalan yang diungkap |
|---|---|---|
Sinyal Recall@k | Cara mengukurnya Proporsi pertanyaan yang dapat dijawab ketika bagian acuan muncul dalam k hasil teratas. | Kegagalan yang diungkap Cakupan crawling yang kurang, chunk yang lemah, ketidakcocokan kosakata, atau embedding usang. |
Sinyal Kualitas peringkat | Cara mengukurnya Catat reciprocal rank atau nDCG untuk bagian yang dinilai relevan. | Kegagalan yang diungkap Halaman yang relevan tersedia, tetapi gangguan atau versi usang memiliki peringkat lebih tinggi. |
Sinyal Dukungan klaim | Cara mengukurnya Tinjau setiap klaim penting terhadap bagian yang diberikan kepada model. | Kegagalan yang diungkap Jawaban mencampurkan asumsi dengan bukti atau melebih-lebihkan sumber. |
Sinyal Akurasi kutipan | Cara mengukurnya Verifikasi bahwa setiap kutipan dapat diakses dan secara langsung mendukung klaim terkait. | Kegagalan yang diungkap Jawaban yang benar menautkan ke halaman yang hanya berkaitan atau ke versi yang salah. |
Sinyal Presisi dan recall fallback | Cara mengukurnya Sertakan pertanyaan yang tidak dapat dijawab dan memiliki sumber bertentangan; nilai penolakan yang benar dan jawaban yang terlewat. | Kegagalan yang diungkap Bot menebak tanpa bukti atau menolak meskipun bukti memadai. |
Sinyal Jeda kebaruan | Cara mengukurnya Ukur waktu sejak perubahan sumber dipublikasikan hingga jawaban yang diambil menjadi benar. | Kegagalan yang diungkap Penundaan crawling ulang, duplikasi chunk usang, atau kegagalan propagasi penghapusan. |
| Metode | Paling sesuai | Batas penting |
|---|---|---|
Metode Pencarian kata kunci atau situs | Paling sesuai Pengguna menginginkan halaman berperingkat dan akan membaca sumbernya sendiri. | Batas penting Tidak menyintesis jawaban dan dapat melewatkan kecocokan semantik. |
Metode RAG | Paling sesuai Pengetahuan berubah, kutipan penting, dan jawaban mencakup beberapa bagian. | Batas penting Kualitas bergantung pada cakupan crawling, pengambilan informasi, izin, dan kualitas sumber. |
Metode Fine-tuning | Paling sesuai Ajarkan gaya, format, klasifikasi, atau perilaku tugas yang stabil. | Batas penting Bukan pengganti yang andal untuk fakta terkini, kutipan, atau penghapusan sumber. |
Metode Prompting konteks panjang | Paling sesuai Set dokumen terbatas muat dalam konteks dan setiap item relevan. | Batas penting Biaya dan gangguan meningkat seiring konteks; izin dan kebaruan tetap memerlukan kontrol. |
Tidak ada pilihan terbaik yang universal. Uji kesetiaan sitasi, perilaku fallback, kesegaran sumber, konten yang bertentangan, eskalasi, batas konteks privat, analitik, integrasi, dan upaya penerapan dengan pertanyaan dukungan yang sama.
Chatbot RAG terfokus dapat menjawab pertanyaan berulang dari dokumentasi dan artikel bantuan yang disetujui dengan sitasi serta perilaku fallback yang konservatif.
Pilih rangkaian dukungan yang lebih luas jika Anda memerlukan tindakan akun terautentikasi, perutean tiket, SLA, ruang kerja agen, atau operasi lintas kanal.
Sertakan pertanyaan yang tidak memiliki jawaban, sudah usang, bertentangan, privat, dan berdampak tinggi. Catat URL yang dikutip, penolakan, alih tangan, dan catatan peninjau alih-alih menerbitkan skor yang belum diverifikasi.
Rencanakan batas dukungan dan eskalasi · Evaluasi bukti sumber yang tertaut · Gunakan daftar periksa pengurangan halusinasi
Misalkan halaman instalasi yang diindeks menyatakan bahwa skrip widget harus ditempatkan tepat sebelum tag body penutup. Pengambilan informasi harus memilih bagian tersebut, prompt harus melarang saran penempatan yang tidak didukung, dan jawaban harus menyatakan instruksi itu dengan halaman instalasi terlampir sebagai bukti.
Lanjutkan dengan panduan tentang kutipan sumber, Docusaurus AI Obrolan, chatbot dokumentasi pengembang, dan Chatbot AI untuk MkDocs dengan Kutipan Sumber.
Konten Anda diubah menjadi Embeddings dan disimpan dalam database vektor berperforma tinggi untuk pencarian semantik yang cepat.
Kami menggunakan model embedding tercanggih untuk memahami makna semantik dari konten Anda.
Waktu retrieval biasanya di bawah 100 ms. Kami menemukan 3-5 potongan konten yang paling relevan untuk setiap kueri.
Kami menggunakan prompt sistem yang disusun dengan cermat untuk menginstruksikan LLM agar hanya menggunakan konteks yang disediakan.
Setiap respons menyertakan tautan ke halaman sumber, sehingga pengguna dapat memverifikasi informasi.
Saat tidak ada konten relevan yang ditemukan, bot dengan jujur mengatakan 'Saya tidak tahu' alih-alih berhalusinasi.
Chatbot umum menjawab dari memori model yang luas dan terdengar percaya diri tentang hal-hal yang tidak diketahuinya. Chatbot RAG mengambil dari halaman Anda terlebih dahulu, sehingga jawabannya terkait dengan konten yang Anda terbitkan dan dapat diperiksa.
Jika kutipan menjadi prioritas, gunakan chatbot AI dengan kutipan sumber yang menautkan jawaban yang didukung ke halaman sumbernya.
Membangun RAG dari nol memerlukan waktu berminggu-minggu. ChattyBox memberi Anda RAG siap produksi hanya dalam hitungan menit.
Mulai Gratis - Tanpa Kartu KreditWe use optional analytics and tag-management tools to understand site use. Choose whether to allow Ahrefs Web Analytics, PostHog, and Google Tag Manager. Turning analytics off reloads this page so the change takes effect cleanly. Essential site functionality and error monitoring are not controlled by this choice. Read our privacy policy.
