Saruna un piekļuves
Noskaidrojam, ko risinājumam vajadzētu darīt, kas nestrādā un kādas piekļuves ir pieejamas.
Ja AI čatbots atbild nepareizi, aģents rīkojas neparedzami, integrācija apstājas vai izmaksas aug ātrāk nekā rezultāts, pārņemam risinājumu, atrodam cēloņus un sakārtojam to. AI risinājuma pārņemšana ir iespējama neatkarīgi no tā, vai to veidojis cits izstrādātājs, iekšējā komanda vai bezkoda rīks.
Noskaidrojam, ko risinājumam vajadzētu darīt, kas nestrādā un kādas piekļuves ir pieejamas.
Pārbaudām risinājumu ar reāliem lietotāju jautājumiem un uzdevumiem un pierakstām, kur tas kļūdās.
Sakārtojam datus, instrukcijas, integrācijas un modeļu izvēli, sākot ar to, kas visvairāk traucē.
Pēc katras izmaiņas risinājumu pārbaudām ar to pašu jautājumu kopu un salīdzinām rezultātus.
Vienojamies par uzturēšanu, kvalitātes pārbaudēm un turpmāko attīstību.
AI risinājums nestrādā tā, kā solīts?
Atbildam vienas darba dienas laikā.
Čatbots izdomā atbildes, jo nav piesaistīts uzņēmuma datiem vai dati ir novecojuši. Aģents veic darbības bez pārbaudes punktiem. Integrācija apstājas pēc API izmaiņām, un neviens to nepamana. Izmaksas aug, jo katram jautājumam tiek izmantots dārgākais modelis. Šīs problēmas var salabot, nesākot no nulles.
Ja risinājums uzbūvēts uz rīka, kas neļauj kontrolēt datus vai izmaksas, to pateiksim godīgi un salīdzināsim uzlabošanu ar jaunu risinājumu pēc izmaksām un riskiem.
Biežākie iemesli ir novecojuši vai pretrunīgi avoti, mainīta modeļa versija, instrukcijas, kas laika gaitā sakrājušās bez pārbaudes, vai jauni jautājumu veidi. Ar testa jautājumu kopu nosakām, kur atbildes pasliktinājušās, un novēršam cēloni.
Bieži jā. Izmaksas var samazināt, izvēloties uzdevumam atbilstošu modeli, saīsinot nevajadzīgi garas instrukcijas un kontekstu, izmantojot kešošanu un ierobežojot atkārtotus pieprasījumus. Pirms izmaiņām izmērām, kā tās ietekmēs atbilžu kvalitāti.