Lewati ke konten utama
ChattyBox Logo
ChattyBox

Pengikisan Konten

Atur cara ChattyBox merayapi situs web Anda dan mengindeks konten untuk respons AI.

Mode Scraping​

ChattyBox mendukung tiga mode scraping:

1. Homepage Saja​

Mengikis hanya homepage Anda. Paling cocok untuk landing page sederhana atau saat Anda ingin hanya sedikit konten yang diindeks.

2. Mode Sitemap (Direkomendasikan)​

Sediakan URL peta situs dan ChattyBox akan mengikis semua halaman yang tercantum di peta situs tersebut. Ini adalah cara paling andal untuk memastikan semua halaman Anda diindeks.

https://example.com/sitemap.xml

3. URL Manual​

Tentukan URL yang tepat untuk dikikis, satu per baris. Gunakan ini saat Anda menginginkan kontrol yang presisi atas halaman mana yang diindeks.

https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq

Batas Halaman​

Jumlah halaman yang dapat dikikis bergantung pada paket Anda:

PaketHalaman per Situs
Free10
Starter50
Pro500
Business2,000

Ekstraksi Konten​

ChattyBox mengekstrak:

  • Judul halaman - Tag <title>
  • Konten utama - Teks dari <main>, <article>, atau <body>
  • Heading - Semua tag <h1> sampai <h6>
  • Paragraf - Semua konten dalam <p>
  • Daftar - Item dalam <ul> dan <ol>

Konten yang Diabaikan​

ChattyBox secara otomatis mengabaikan:

  • Menu navigasi
  • Konten footer
  • Skrip dan style
  • elemen tersembunyi
  • banner cookie

Pemecahan Masalah​

Halaman tidak dikikis?​

  • Pastikan bahwa URL dapat diakses publik
  • Pastikan robots.txt Anda mengizinkan perayap kami
  • Pastikan halaman tersebut tidak memerlukan autentikasi

Konten tidak muncul dalam respons?​

  • Kikis ulang halaman untuk mendapatkan konten terbaru
  • Pastikan bahwa konten tidak dimuat melalui JavaScript (kami merender JS)
  • Pastikan konten berada di bagian utama halaman, bukan di iframe

Perlu kontrol lebih?​

Untuk kebutuhan pengikisan tingkat lanjut (autentikasi, konten dinamis, dll.), hubungi kami di [email protected].