AI chatbot pro týmy technické dokumentace, které potřebují odpovědi citované ze zdroje a méně požadavků na podporu. ChattyBox odpovídá na otázky jako „Jak ověřím požadavky API?“ přímo z vaší dokumentace a odkazuje na stránku, kterou použil — bez vlastního RAG a bez migrace.
AI chatboti pro obecné použití se snaží být konverzátoři. Bez opory ve zdrojích mohou sebevědomě odpovídat ze špatného kontextu.
Používáme retrieval-augmented generation nad vaší publikovanou dokumentací a obsahem webu a poté ukazujeme odkazy na zdroje, odkud odpovědi pocházejí.
Pro týmy, které potřebují viditelné důkazy v každé odpovědi, porovnejte workflow pro AI chatbot s citacemi zdrojů který udržuje návštěvnost dokumentace propojenou s podpůrnými stránkami.
Dokumentační chatbot si získává důvěru tím, že odpovídá na opakované otázky, které vaše podpora a kanály komunity již vidí – a cituje stránku, kterou použil. Toto jsou příklady popisovačů ChattyBox z obsahu indexovaných dokumentů.
Sestavte testovací sadu ze skutečných úloh v dokumentaci, ke každé zodpověditelné otázce připojte referenční zdroj a očekávaná fakta a zahrňte i otázky, které musí asistent odmítnout. Každou kategorii hodnoťte zvlášť, aby dobrý výsledek pro API nemohl skrýt slabé pokyny k migraci nebo ověřování.
Sadu spusťte znovu před uvedením do provozu, po podstatných změnách dokumentace nebo vyhledávání a po spuštění také každý měsíc na plánovaném vzorku.
| Oblast otázek | Testovací zadání | Podmínka úspěchu |
|---|---|---|
| API | Koncový bod, povinná pole, struktura odpovědi a omezení počtu požadavků. | Používá zdokumentovanou metodu a cestu; požadované hodnoty a citace souhlasí s odkazem. |
| SDK | Nainstalujte a inicializujte jednu podporovanou verzi SDK. | Balíček, import, inicializace a syntaxe kódu odpovídají tomuto jazyku a verzi. |
| CLI | Nainstalujte nástroj, přihlaste se, spusťte příkaz a interpretujte výstup. | Přepínače a jejich pořadí jsou platné; odpověď si nevymýšlí interaktivní výzvy. |
| Autentizace | Umístění pověření, formát záhlaví, rozsahy a jeden zakázaný tok. | Nikdy neodhaluje tajemství, rozlišuje použití klienta a serveru a uvádí požadavek na zabezpečení. |
| Stránkování | První stránka, pokračování, poslední stránka a maximální velikost stránky. | Používá dokumentovaný model kurzoru nebo posunu a uvádí pouze dokumentované limity. |
| Chyby | Známý kód chyby, pravděpodobná příčina, krok obnovy a neznámý kód. | Známé chyby vykládá správně a u nezdokumentovaných příčin přizná, že odpověď nezná. |
| Migrace | Nekompatibilní změna, předpoklad, seřazené kroky a poznámka k návratu zpět. | Zachovává pořadí a varování bez prolínání starých a nových postupů. |
| Verzované dokumenty | Položte stejnou otázku k chování aktuální, předchozí a neurčené verze. | Odpoví na pojmenovanou verzi, zeptá se, když je nejednoznačná, a cituje tuto verzi. |
Před testováním zveřejněte pravidla. Recenzenti by měli dosáhnout stejného výsledku z odpovědi, očekávaných faktů a citovaného zdroje, aniž by se spoléhali na to, jak přesvědčivě zní odpověď.
| Dimenze | Přijměte pouze tehdy |
|---|---|
| Kvalita odpovědi | Všechny požadované údaje jsou správné, relevantní, neodporují si a používají požadovanou verzi API, SDK, CLI nebo verzi dokumentace. |
| Přesnost citace | Každé podstatné tvrzení má funkční citaci, která je přímo dokládá na stránce správné verze. |
| Záložní chování | Chybějící, nejednoznačné, protichůdné nebo neautorizované důkazy vytvářejí jasné omezení a užitečný další krok namísto hádání. |
| Spouštěcí brána | Žádná nepodložená kritická tvrzení o ověřování nebo migraci, 100% úspěšnost kritických případů, alespoň 90% celková úspěšnost a alespoň 95% přesnost citací. |
Metoda: před spuštěním asistenta připravte 24 otázek, tři pro každou oblast matice. U každé otázky zaznamenejte zamýšlenou verzi, referenční stránku, požadovaná fakta, zakázaná tvrzení a zda se očekává odmítnutí odpovědi. Dva hodnotitelé nezávisle posoudí neměnné odpovědi, neshody vyřeší podle zdroje a zadání i výstupy uchovají pro regresní testování.
Níže uvedená čísla jsou pouze ilustrativním výsledkem této sady 24 otázek, nikoli naměřeným průměrem ChattyBox v produkci ani příslibem budoucího výkonu.
| Pozorovaný výsledek | Výklad |
|---|---|
| 22 z 24 přijato (91,7 %) | Zahrnuje 20 podložených odpovědí a dvě správná odmítnutí. |
| 20 z 22 věcných odpovědí citovalo přímo podpůrné stránky (90,9 %) | Pod 95% startovací bránou; hodnocení verzí vyžaduje opravu. |
| 2 ze 2 očekávaných odmítnutí byla správná (100%) | V této malé sadě nebyla chybně odmítnuta žádná zodpověditelná otázka. |
| 1 z 24 obsahovalo nepodporované podrobnosti stránkování (4,2 %) | Spuštění zůstává zablokované, dokud nebude nepodložené tvrzení odstraněno a regresní test neprojde. |
Účelově navržené pracovní postupy, které zajišťují, že odpovědi jsou přesné, dohledatelné a užitečné pro technické uživatele.
Zadejte adresu URL své dokumentace, webu nebo souboru Sitemap. ChattyBox projde a zaindexuje stránky, které vaši uživatelé už čtou.
Tok odpovědí je nastaven tak, aby používal načtený kontext a vyhýbal se nepodloženým tvrzením o API, funkcích, cenách nebo pravidlech.
Odpovědi mohou obsahovat odkazy zpět na stránky dokumentace, kde se nacházejí relevantní informace.
Ke spuštění přistupujte jako k vydání dokumentace: určete vlastníky, podmínky, sledování i postup návratu zpět.
Segmentujte každou metriku podle tématu, verze dokumentace, národního prostředí a publika, pokud to velikost vzorku dovoluje. Trendy a recenzované vzorky jsou užitečnější než jedno souhrnné skóre.
| Metrika | Definice a akce |
|---|---|
| Míra odpovědí | Podíl otázek, které dostaly věcnou odpověď. U témat s nízkou mírou odpovědí hledejte chybějící obsah; číslo nezvyšujte oslabením pravidel pro odmítnutí. |
| Nevyřešené otázky | Otázky s odmítnutou odpovědí, negativní zpětnou vazbou, opakovaným přeformulováním nebo eskalací. Každý týden z nich vyberte vzorek a hledejte vady odpovědí a vyhledávání. |
| Obsahové mezery | Skupiny nevyřešených dotazů, pro které neexistuje žádná autoritativní stránka. Předejte je do plánu dokumentace spolu s četností a dopadem na uživatele. |
| Míra podpory citací | Podíl zkontrolovaných podstatných tvrzení s přímou podpůrnou citací. Poklesy prověřujte podle zdroje a verze. |
| Odklon požadavků na podporu | Podíl relevantních relací vyřešených bez požadavku na podporu, měřený v definovaném časovém okně a porovnaný s výchozím stavem. Pokud experiment neprokáže příčinnou souvislost, uvádějte pouze korelaci. |
Použijte Průvodce architekturou a hodnocením RAG k diagnostice vyhledávání, citační pracovní postup ke kontrole důkazů, průvodce dokumentací pro vývojáře pro technické případy použití a kontrolní seznam technického spuštění pro kroky nasazení.
Tyto odpovědi shrnují, jak ChattyBox čte zdrojový obsah, cituje stránky dokumentace, zpracovává chybějící informace a instaluje se vedle existujícího zásobníku dokumentů.
ChattyBox prochází vaše publikované dokumenty, webové stránky, mapy webu, CMS nebo stránky centra nápovědy, extrahuje čitelný text a načte relevantní pasáže, když návštěvník položí otázku.
Ano. Když je k dispozici zdrojový materiál, ChattyBox může zobrazit odkazy zpět na stránky dokumentace použité pro odpověď, takže uživatelé mohou ověřit podrobnosti a pokračovat ve čtení.
Asistent je navržen tak, aby se vyhnul nepodporovaným nárokům a může se vrátit, když indexovaný obsah nezahrnuje odpověď. Tyto mezery mohou informovat o budoucích aktualizacích dokumentace.
Ne. Po procházení a testování odpovědí citovaných ze zdroje si můžete ponechat svůj aktuální zásobník dokumentů a vložit widget ChattyBox.
Použijte ChattyBox k odpovídání na opakující se dotazy k dokumentaci ze zdrojového obsahu a vraťte zjištěné mezery zpět do plánu dokumentace.
