AI-chatbot teknisen dokumentaation tiimeille, jotka tarvitsevat lähdeviitteellisiä vastauksia ja vähemmän tukipyyntöjä. ChattyBox vastaa kysymyksiin kuten "Kuinka todennan API-pyynnöt?" suoraan dokumentaatiostasi ja linkittää käyttämänsä sivun – ilman omaa RAG-ratkaisua ja ilman siirtoa.
Yleiskäyttöiset AI-chatbotit pyrkivät olemaan keskustelukumppaneita. Ilman lähdepohjaisuutta ne voivat vastata itsevarmasti väärästä kontekstista.
Käytämme retrieval-augmented generationia julkaistua dokumentaatiotasi ja sivustosisältöäsi vasten ja näytämme sitten lähdelinkit, joista vastaukset tulivat.
Tiimeille, jotka tarvitsevat näkyvän todisteen joka vastauksessa, vertaa työnkulkua lähteitä siteeraavalle AI-chatbotille joka pitää dokumentaatioliikenteen yhteydessä tukisivuihin.
Dokumentaatio-chatbot ansaitsee luottamusta vastaamalla toistuviin kysymyksiin, jotka tuki ja yhteisön kanavat jo näkevät – ja mainitsemalla käyttämänsä sivun. Nämä ovat esimerkkejä ChattyBox käsittelevistä indeksoiduista asiakirjoista.
Muodosta testisarja todellisista dokumentaatiotehtävistä, liitä jokaiseen vastattavaan kysymykseen oikea lähde ja odotetut tiedot ja sisällytä kysymyksiä, joihin avustajan pitää kieltäytyä vastaamasta. Arvioi jokainen luokka erikseen, jotta vahva API-tulos ei peitä heikkoja migraatio- tai todennusohjeita.
Suorita sarja uudelleen ennen julkaisua, merkittävien dokumentaatio- tai hakumuutosten jälkeen sekä kuukausittain ajastetulla otoksella julkaisun jälkeen.
| Kysymysalue | Testitapaus | Hyväksymisehto |
|---|---|---|
| API | Päätepiste, pakolliset kentät, vastauksen muoto ja nopeusrajoitus. | Käyttää dokumentoitua menetelmää ja polkua; vaaditut arvot ja viittaus vastaavat viittausta. |
| SDK | Asenna ja alusta yksi tuettu SDK-versio. | Paketti, tuonti, alustus ja koodin syntaksi vastaavat kyseistä kieltä ja versiota. |
| CLI | Asenna, todenna, suorita komento ja tulkitse tulos. | Valitsimet ja niiden järjestys ovat kelvollisia, eikä vastaus keksi vuorovaikutteisia kehotteita. |
| Todennus | Tunnistetietojen sijainti, otsakkeen muoto, käyttöoikeusalueet ja yksi kielletty työnkulku. | Ei koskaan paljasta salaisuutta, erottaa asiakkaan ja palvelimen käytön ja mainitsee turvallisuusvaatimuksen. |
| Sivutus | Ensimmäinen sivu, jatko, päätesivu ja sivun enimmäiskoko. | Käyttää dokumentoitua kohdistinta tai offset-mallia ja ilmoittaa vain dokumentoidut rajat. |
| Virheet | Tunnettu virhekoodi, todennäköinen syy, palautusvaihe ja tuntematon koodi. | Yhdistää tunnetut virheet oikein ja käyttää varavastausta dokumentoimattomille syille. |
| Migraatiot | Rikkova muutos, ennakkoehto, vaiheiden järjestys ja palautusta koskeva huomautus. | Säilyttää järjestyksen ja varoitukset sekoittamatta vanhoja ja uusia menettelyjä. |
| Versioidut asiakirjat | Esitä sama toimintakysymys nykyiselle, aikaisemmille ja määrittelemättömille versioille. | Vastaa nimettyyn versioon, kysyy, jos se on epäselvä, ja lainaa sitä. |
Julkaise säännöt ennen testausta. Arvostelijoiden tulisi päästä samaan tulokseen vastauksesta, odotetuista tosiseikoista ja lähteestä luottamatta siihen, kuinka vakuuttavalta vastaus kuulostaa.
| Ulottuvuus | Hyväksy vain silloin, kun |
|---|---|
| Vastauksen laatu | Kaikki vaaditut tiedot ovat oikein, olennaisia ja ristiriidattomia, ja niissä käytetään pyydettyä API-, SDK-, CLI- tai dokumentaatioversiota. |
| Lainauksen tarkkuus | Jokaisella olennaisella väitteellä on toimiva lähdeviite, joka tukee sitä suoraan oikealla versioidulla sivulla. |
| Varakäyttäytyminen | Puuttuva, moniselitteinen, ristiriitainen tai luvaton todiste tuottaa selkeän rajoituksen ja hyödyllisen seuraavan askeleen arvauksen sijaan. |
| Julkaisuportti | Ei kriittisiä tukemattomia todennus- tai migraatioväitteitä, kriittisten tapausten varavastaus toimii 100-prosenttisesti, yleinen hyväksymisaste on vähintään 90 % ja lähdeviitteiden tarkkuus vähintään 95 %. |
Menetelmä: kirjoita 24 kysymystä ennen avustajan suorittamista, kolme jokaiselle matriisin alueelle. Merkitse jokaiseen kysymykseen tarkoitettu versio, oikea lähdesivu, vaaditut tiedot, kielletyt väitteet ja se, odotetaanko varavastausta. Kaksi arvioijaa pisteyttää tallennetut vastaukset itsenäisesti, ratkaisee erimielisyydet lähteen perusteella ja säilyttää kehotteet sekä vastaukset regressiotestausta varten.
Alla olevat luvut ovat havainnollistavia tuloksia tälle 24 kysymykselle, eivät mitattu ChattyBox-tuotannon keskiarvo tai lupaus tulevasta suorituskyvystä.
| Havaittu tulos | Tulkinta |
|---|---|
| 22/24 hyväksytty (91,7 %) | Sisältää 20 tuettua vastausta ja kaksi oikeaa varavaihtoehtoa. |
| 20 vastauksessa 22:sta oli suora viite väitettä tukevalle sivulle (90,9 %) | Alle 95 prosentin julkaisuportin; versioiden luokittelu on korjattava. |
| Molemmat odotetut varavastaukset olivat oikein (100 %) | Yksikään vastattavissa oleva tapaus ei saanut virheellistä varavastausta tässä pienessä testisarjassa. |
| 1/24 sisälsi sivutustiedot, joita ei tueta (4,2 %) | Julkaisu pysyy estettynä, kunnes tukematon väite on poistettu ja regressiotesti läpäistään. |
Tarkoitukseen suunnitellut työnkulut pitävät vastaukset tarkkoina, jäljitettävinä ja hyödyllisinä teknisille käyttäjille.
Anna dokumentaatiosi, verkkosivustosi tai sivustokartan URL-osoite. ChattyBox haravoi ja indeksoi sivut, joita käyttäjät jo lukevat.
Vastausprosessi on määritetty käyttämään haettua kontekstia ja välttämään tukemattomia väitteitä API:sta, ominaisuuksista, hinnoittelusta tai käytännöistä.
Vastaukset voivat sisältää linkkejä dokumentaatiosivuille, joilla olennainen tieto sijaitsee.
Käsittele käynnistämistä dokumentaatiojulkaisuna, jossa on omistajat, portit, tarkkailtavuus ja palautuspolku.
Segmentoi jokainen mittari aiheen, dokumentaatioversion, maan ja yleisön mukaan otoskoon salliessa. Trendit ja tarkistetut näytteet ovat hyödyllisempiä kuin yksi kokonaispistemäärä.
| Mittari | Määritelmä ja toiminta |
|---|---|
| Vastausprosentti | Niiden kysymysten osuus, jotka saavat sisältöön perustuvan vastauksen. Tarkista matalan vastausasteen aiheista puuttuva sisältö; älä paranna lukua heikentämällä varavastauksia. |
| Ratkaisemattomia kysymyksiä | Kysymykset, joihin liittyy varavastaus, kielteinen palaute, toistuva uudelleenmuotoilu tai eskalointi. Tarkista niistä viikoittainen otos vastaus- ja hakuvirheiden varalta. |
| Sisällön aukkoja | Ratkaisemattomien kysymysten ryhmät, joille ei ole ensisijaista lähdesivua. Ohjaa ne dokumentaation työjonoon yleisyyden ja käyttäjävaikutuksen perusteella. |
| Lainaustukiprosentti | Tarkistettu materiaaliväitteet suoralla tukiviittauksella. Tutki pudotuksia lähteen ja version mukaan. |
| Tukipyyntöjen välttäminen | Hyväksytyt istunnot, jotka ratkeavat ilman tukipyyntöä, mitattuna määritetyllä aikavälillä ja verrattuna lähtötasoon. Ilmoita korrelaatio, ellei koe osoita syy-yhteyttä. |
KäytäRAG-arkkitehtuuri- ja arviointiopasnoudon diagnosoimiseksisitaatin työnkulkutarkastella todisteita,kehittäjädokumenttien opassuunnittelukohtaisiin käyttötapauksiin jatekninen käynnistyksen tarkistuslistakäyttöönottovaiheita varten.
Nämä vastaukset tiivistävät kuinka ChattyBox lukee lähdesisältöä, lainaa dokumentaatiosivuja, käsittelee puuttuvia tietoja ja asentaa olemassa olevan asiakirjapinon rinnalle.
ChattyBox indeksoi julkaistut asiakirjat, verkkosivustot, sivustokartat, sisällönhallintajärjestelmän tai ohjekeskuksen sivut, poimii luettavaa tekstiä ja hakee asiaankuuluvia kohtia vierailijan kysyessä kysymyksen.
Kyllä. Kun lähdemateriaalia on saatavilla, ChattyBox voi näyttää linkkejä vastauksessa käytetyille dokumentaatiosivuille, jotta käyttäjät voivat tarkistaa tiedot ja jatkaa lukemista.
Assistentti on suunniteltu välttämään tukemattomia väitteitä, ja se voi palata, jos indeksoitu sisältö ei sisällä vastausta. Nämä aukot voivat auttaa tulevissa asiakirjojen päivityksissä.
Ei. Voit säilyttää nykyisen dokumentaatiopinon ja upottaa ChattyBox-widgetin, kun olet indeksoinut ja testannut lähdeviitteelliset vastaukset.
Käytä ChattyBoxia vastaamaan toistuviin dokumentaatiokysymyksiin lähdesisällöstä ja ohjaa puutteet takaisin dokumentaation työjonoon.
