Chatbot AI dla zespołów dokumentacji technicznej, które potrzebują odpowiedzi z cytatami źródeł i mniejszej liczby zgłoszeń do wsparcia. ChattyBox odpowiada na pytania typu „Jak uwierzytelnić żądania API?” prosto z Twojej dokumentacji i linkuje wykorzystaną stronę — bez własnego RAG i bez migracji.
Chatboty AI ogólnego przeznaczenia próbują być rozmówcami. Bez oparcia w źródłach mogą pewnie odpowiadać z niewłaściwego kontekstu.
Używamy retrieval-augmented generation na Twojej opublikowanej dokumentacji i treściach witryny, a następnie pokazujemy linki źródłowe, z których pochodzą odpowiedzi.
Dla zespołów, które potrzebują widocznych dowodów w każdej odpowiedzi, porównaj proces dla chatbota AI z cytowanymi źródłami który kieruje ruch z dokumentacji do stron źródłowych.
Chatbot dokumentacyjny zyskuje zaufanie, odpowiadając na powtarzające się pytania, które widzą już Twoje kanały wsparcia i społeczności, i cytując stronę, z której skorzystał. Oto przykłady obsługiwane przez ChattyBox z zindeksowanej treści dokumentacji.
Zbuduj zestaw testowy na podstawie rzeczywistych zadań dokumentacyjnych, do każdego pytania, na które można odpowiedzieć, dołącz źródło wiedzy i oczekiwane fakty oraz uwzględnij pytania, które asystent musi odrzucić. Oceń każdą kategorię osobno, aby dobry wynik API nie mógł ukryć słabych wskazówek dotyczących migracji lub uwierzytelniania.
Uruchom ponownie pakiet przed uruchomieniem, po zmianach w dokumentacji materiałowej lub pobraniu oraz w ramach zaplanowanej comiesięcznej próbki po uruchomieniu.
| Obszar pytań | Urządzenie testowe | Warunek zaliczenia |
|---|---|---|
| API | Punkt końcowy, wymagane pola, kształt odpowiedzi i limit szybkości. | Używa udokumentowanej metody i ścieżki; wymagane wartości i cytat są zgodne z odniesieniem. |
| SDK | Zainstaluj i zainicjuj jedną obsługiwaną wersję SDK. | Składnia pakietu, importu, inicjalizacji i kodu jest zgodna z tym językiem i wersją. |
| CLI | Zainstaluj, uwierzytelnij, uruchom polecenie i zinterpretuj dane wyjściowe. | Obowiązują flagi i porządek; odpowiedź nie wymyśla interaktywnych podpowiedzi. |
| Uwierzytelnianie | Lokalizacja danych uwierzytelniających, format nagłówka, zakresy i jeden zabroniony przepływ. | Nigdy nie ujawnia tajemnicy, rozróżnia użycie klienta i serwera i powołuje się na wymagania bezpieczeństwa. |
| Paginacja | Pierwsza strona, kontynuacja, strona końcowa i maksymalny rozmiar strony. | Używa udokumentowanego modelu kursora lub przesunięcia i określa tylko udokumentowane limity. |
| Błędy | Znany kod błędu, prawdopodobna przyczyna, etap odzyskiwania i nieznany kod. | Prawidłowo mapuje znane błędy i cofa się w przypadku nieudokumentowanych przyczyn. |
| Migracje | Przerywająca zmiana, wymagania wstępne, uporządkowane kroki i uwaga dotycząca wycofania. | Zachowuje sekwencję i ostrzeżenia bez łączenia starych i nowych procedur. |
| Wersjonowane dokumenty | Zadaj to samo pytanie dotyczące zachowania w przypadku wersji bieżącej, wcześniejszej i nieokreślonej. | Odpowiada na nazwaną wersję, pyta, kiedy jest niejednoznaczna, i cytuje tę wersję. |
Opublikuj reguły przed testowaniem. Recenzenci powinni osiągnąć ten sam wynik na podstawie odpowiedzi, oczekiwanych faktów i cytowanego źródła, nie polegając na tym, jak przekonująca brzmi odpowiedź.
| Wymiar | Akceptuj tylko wtedy, gdy |
|---|---|
| Jakość odpowiedzi | Wszystkie wymagane fakty są prawidłowe, istotne, niesprzeczne i korzystają z żądanej wersji API, SDK, CLI lub dokumentacji. |
| Dokładność cytowania | Każde istotne twierdzenie ma rozstrzygający cytat, który bezpośrednio je potwierdza, na odpowiedniej stronie z odpowiednią wersją. |
| Zachowanie rezerwowe | Brakujące, niejednoznaczne, sprzeczne lub nieautoryzowane dowody powodują wyraźne ograniczenie i użyteczny kolejny krok zamiast domysłów. |
| Kryterium dopuszczenia do wdrożenia | Zero niepopartych twierdzeń dotyczących krytycznych kwestii uwierzytelniania lub migracji, 100% zaliczonych przypadków krytycznych, co najmniej 90% ogólnej akceptacji i co najmniej 95% dokładności cytowań. |
Metoda: przed uruchomieniem asystenta przygotuj 24 pytania, po trzy dla każdego obszaru macierzy. Dla każdego pytania zapisz docelową wersję, wzorcową stronę, wymagane fakty, niedozwolone twierdzenia oraz informację, czy oczekiwana jest odpowiedź zastępcza. Dwóch recenzentów niezależnie ocenia zapisane odpowiedzi, rozstrzyga różnice na podstawie źródła oraz zachowuje prompty i wyniki do testów regresyjnych.
Poniższe liczby są przykładowym wynikiem tego zestawu 24 pytań, a nie zmierzoną średnią produkcyjną ChattyBox ani obietnicą przyszłej skuteczności.
| Zaobserwowany wynik | Interpretacja |
|---|---|
| Zaakceptowano 22 z 24 odpowiedzi (91.7%) | Zawiera 20 obsługiwanych odpowiedzi i dwie prawidłowe odpowiedzi zastępcze. |
| 20 z 22 merytorycznych odpowiedzi zawierało cytaty bezpośrednio potwierdzające je na stronach źródłowych (90.9%) | Poniżej bramki startowej 95%; ranking wersji wymaga korekty. |
| 2 z 2 oczekiwanych rozwiązań awaryjnych były prawidłowe (100%) | W tym małym zestawie testowym żaden przypadek, na który można było odpowiedzieć, nie otrzymał błędnie odpowiedzi zastępczej. |
| 1 z 24 odpowiedzi zawierała niepoparty szczegół dotyczący paginacji (4.2%) | Wdrożenie pozostaje zablokowane, dopóki niepoparte twierdzenie nie zostanie usunięte, a test regresji nie zakończy się powodzeniem. |
Specjalnie zaprojektowane przepływy pracy, dzięki którym odpowiedzi są dokładne, możliwe do prześledzenia i przydatne dla użytkowników technicznych.
Wpisz adres URL swojej dokumentacji, witryny lub mapy witryny. ChattyBox przeszukuje i indeksuje strony, które użytkownicy już czytają.
Przepływ odpowiedzi jest skonfigurowany tak, aby używać pobranego kontekstu i unikać niepopartych twierdzeń o API, funkcjach, cenach lub zasadach.
Odpowiedzi mogą zawierać linki do stron dokumentacji, na których znajduje się odpowiednia informacja.
Traktuj uruchomienie jako wydanie dokumentacji z właścicielami, bramami, obserwowalnością i ścieżką wycofywania.
Segmentuj wszystkie dane według tematu, wersji dokumentacji, lokalizacji i odbiorców, jeśli pozwala na to wielkość próbki. Trendy i sprawdzone próbki są bardziej przydatne niż jeden zbiorczy wynik.
| Metryka | Definicja i działanie |
|---|---|
| Odsetek odpowiedzi | Odsetek pytań otrzymujących merytoryczną odpowiedź. Przejrzyj tematy z niskim wynikiem pod kątem brakujących treści; nie poprawiaj wyniku przez osłabianie reguł odpowiedzi zastępczej. |
| Nierozwiązane pytania | Pytania zakończone odpowiedzią zastępczą, negatywną opinią, wielokrotnym przeformułowaniem lub eskalacją. Co tydzień analizuj ich próbkę pod kątem błędów odpowiedzi i wyszukiwania. |
| Luki w treści | Nierozwiązane klastry, w których nie istnieje żadna wiarygodna strona. Przekaż je do zaległości w dokumentach, podając częstotliwość i wpływ na użytkowników. |
| Wskaźnik wsparcia cytowań | Sprawdzone istotne twierdzenia z bezpośrednim cytatem potwierdzającym. Zbadaj spadki według źródła i wersji. |
| Ograniczenie liczby zgłoszeń | Kwalifikujące się sesje zakończone rozwiązaniem problemu bez zgłoszenia do pomocy technicznej, mierzone w określonym oknie czasowym i porównywane z wartością bazową. Raportuj korelację, chyba że eksperyment potwierdzi związek przyczynowy. |
Skorzystaj zPrzewodnik po architekturze i ewaluacji RAG do diagnozowania wyszukiwania, przepływ cytowańw celu przeglądu dowodów,przewodnik po dokumentacji programistydla zastosowań specyficznych dla inżynierii orazlista kontrolna uruchomienia technicznegodla etapów wdrażania.
Odpowiedzi te podsumowują sposób, w jaki ChattyBox odczytuje treść źródłową, cytuje strony dokumentacji, obsługuje brakujące informacje i instaluje się wraz z istniejącym stosem dokumentów.
ChattyBox przeszukuje opublikowane dokumenty, witrynę internetową, mapę witryny, system CMS lub strony Centrum pomocy, wyodrębnia czytelny tekst i pobiera odpowiednie fragmenty, gdy odwiedzający zadaje pytanie.
Tak. Gdy materiał źródłowy jest dostępny, ChattyBox może wyświetlić linki do stron dokumentacji użytych do odpowiedzi, aby użytkownicy mogli zweryfikować szczegóły i czytać dalej.
Asystent ma na celu unikanie nieuzasadnionych roszczeń i może się wycofać, gdy zaindeksowana treść nie zawiera odpowiedzi. Luki te mogą stanowić podstawę przyszłych aktualizacji dokumentacji.
Nie. Możesz zachować bieżący stos dokumentów i osadzić widżet ChattyBox po przeszukaniu i przetestowaniu odpowiedzi cytowanych w źródle.
Użyj ChattyBox, aby odpowiadać na powtarzające się pytania dokumentacyjne na podstawie treści źródłowej i kierować luki z powrotem do listy zadań dokumentacyjnych.
