Sisällön haravointi

Määritä, miten ChattyBox haravoi verkkosivustosi ja indeksoi sisällön AI-vastauksia varten.

Julkisen sisällön käyttöönottoa varten tutustu verkkosivuston AI-chatbot-oppaaseen ja opi valitsemaan luotettavat dokumentit, ohjeartikkelit, tuotesivut ja usein kysytyt kysymykset ennen viitteellisten vastausten testaamista.

Kaavintatilat

Tallenna ensin Website URL kohdassa General Settings ja valitse sitten tila sekä Maximum Pages kohdassa Scraping Configuration. Lomakkeet tallennetaan erikseen. ChattyBoxissa on neljä kaavintatilaa:

1. Vain etusivu

Haravoi vain sinun etusivusi. Paras yksinkertaisille laskeutumissivuille tai kun haluat indeksoida vain vähän sisältöä.

2. Sivustokarttatila (suositeltu)

Anna sivustokartan URL-osoite sivujen löytämistä varten, myös lapsisivukartoista. Vain Website URL -osoitteen originissa olevat sivut säilytetään, ja suodattimet, sivurajat sekä päivityskiintiöt ovat edelleen voimassa. Sivustokartta on löytämislähde, ei takuu siitä, että kaikki luetellut URL-osoitteet indeksoidaan.

https://example.com/sitemap.xml

Jos Sitemap URL on tyhjä, ChattyBox kokeilee ensin /sitemap.xml- ja sitten /sitemap_index.xml-osoitetta. Jos kummastakaan ei löydy URL-osoitteita, käytetään vain tallennettua Website URL -osoitetta. Nimenomaisesti annettu tyhjä sivustokartta epäonnistuu eikä palaa etusivulle.

3. Crawl-tila

Aloita julkisesta URL-osoitteesta ja anna ChattyBoxin löytää saman sivuston sivuja. Crawl-tila yrittää ensin tavanomaisia /sitemap.xml- ja /sitemap_index.xml-sivukarttoja. Jos niistä ei löydy URL-osoitteita, se seuraa aloitussivun saman originin linkkejä määritettyyn syvyyteen asti (oletus 3). Jos sivustokartta tuottaa URL-osoitteita, linkkejä ei seurata puutteiden täydentämiseksi.

4. Manuaaliset URL-osoitteet

Määritä tarkat URL-osoitteet haravointia varten, yksi per rivi. Käytä tätä, kun haluat hallita tarkasti, mitkä sivut indeksoidaan.

https://example.com/pricing
https://example.com/features
https://example.com/about
https://example.com/faq

---

Sivurajoitukset

maxPages tallentaa pyynnön; jokainen ajo rajoittaa ulospäin suuntautuvan löytämisen ja valinnan arvoon min(pyyntö, max(tarjoajan nykyinen sivukapasiteetti, tunnetut olemassa olevat projektisivut)). Nolla- tai evätyllä kapasiteetilla vain tunnetut olemassa olevat sivut voivat päivittyä; ilman niitä tuntemattomia sivuja ei löydetä ulospäin. Tämä ei muuta omistajapoolin käyttöoikeuksia.

Se, kuinka monta sivua voit haravoida, riippuu sinun paketistasi:

Paketti	Sisältyvä sivukiintiö	Kuukausittainen sivupäivityskiintiö	Nopein päivitystahti
Free	10	500	Viikoittain
Starter	150	5 000	Päivittäin
Pro	5 000	100 000	Päivittäin
Business	25 000	250 000	Päivittäin

Maximum Pages rajoittaa yhden ajon valittuja URL-osoitteita ja tilaa uusille sivuille. Se ei takaa, että kaikki pyydetyt sivut tallennetaan. Tallennetut sivut ja kuukausittainen päivitystyö ovat eri kiintiöitä; lähteen muuttaminen tai rajan laskeminen ei poista vanhoja sivuja automaattisesti.

---

Sisällön poiminta

ChattyBox hakee julkista HTML:ää. Se ei aja selainta tai renderöi JavaScriptiä eikä tällä hetkellä lue tai noudata robots.txt-tiedostoa. Lähetä vain sisältöä, jonka indeksointiin sinulla on oikeus; todennus, CAPTCHA-ratkaisut ja yksityisverkkojen haravointi eivät ole tuettuja.

ChattyBox poimii:

• Sivun otsikko - <title>-tagi
• Pääsisältö - ensisijaisesti <main>-, sitten <article>- tai role="main"-elementistä ja lopuksi body-tekstistä
• Otsikot - kaikki <h1>–<h6>-tagit
• Kappaleet - kaikki <p>-sisältö
• Luettelot - <ul>- ja <ol>-luetteloiden kohdat
• Koodi ja taulukot - tekstisisältö, jossa esimuotoiltujen koodilohkojen välilyönnit säilyvät

Ohitettava sisältö

ChattyBox ohittaa automaattisesti:

• Navigaatiovalikot
• Alatunnisteen sisältö
• Skriptit ja tyylitiedostot
• Piilotetut elementit
• Evästebannerit
• Iframet, canvas, SVG ja upotetut objektit

---

Vianmääritys

Eivätkö sivut haravoidu?

• Tarkista, että URL on julkisesti saatavilla
• Tarkista valittu tila, origin, URL-osoitteet, sivukiintiö ja kuukausittainen päivityskiintiö; robots.txt-tiedostoa ei käytetä
• Tarkista, ettei sivu ole kirjautumisen takana

Puuttuuko sisältö vastauksista?

• Haravoi sivu uudelleen sisällön julkaisun jälkeen, kun päivitysten jäähdytysaika sallii sen
• Tarjoa tärkeä sisältö alkuperäisessä HTML:ssä; vain JavaScriptillä ladattua sisältöä ei renderöidä
• Varmista, että sisältö on sivun varsinaisessa sisällössä, ei iframeissa

Tarvitsetko enemmän hallintaa?

Jos haravointitarpeesi ovat edistyneempiä (todennus, dynaaminen sisältö jne.), ota meihin yhteyttä osoitteessa support@chattybox.ai. Completed tarkoittaa, että ajo päättyi, ei että jokainen valittu URL onnistui. Vertaa tallennettuja sivuja odotettuihin URL-osoitteisiin ja odota erillisen embedding-työn valmistumista ennen vastausten testaamista. Jos poimittu teksti ylittää 512 KiB:n UTF-8-rajan, vain alku säilytetään osittain; jaettu pitkä lähdesivu pienempiin julkisiin sivuihin.