Mullista yritystietosi ChatGPT:llä: seuraavan sukupolven sovellukset Azure OpenAI:lla ja kognitiivisella haulla (2023)

Kesti alle viikon, ennen kuin OpenAI:n ChatGPT tavoitti miljoona käyttäjää, ja se ylitti 100 miljoonan käyttäjän rajan alle kahdessa kuukaudessa. Kiinnostus ja jännitys tämän tekniikan ympärillä on ollut huomattavaa. Käyttäjät ympäri maailmaa näkevät mahdollisuuksia soveltaa näitä suuria kielimalleja monenlaisiin skenaarioihin.

Yrityssovellusten yhteydessä kuulemme useimmin kysymyksen"Kuinka voin rakentaa jotain, kuten ChatGPT:tä, joka käyttää omia tietojani vastaustensa perustana?"

YhdistelmäAzure Cognitive SearchjaAzure OpenAI -palvelutarjoaa tehokkaan ratkaisun tähän skenaarioon. Se integroi Azuren yritystason ominaisuudet, kognitiivisen haun kyvyn indeksoida, ymmärtää ja hakea oikeita tietojasi suurista tietokannoista sekä ChatGPT:n vaikuttavan kyvyn olla vuorovaikutuksessa luonnollisella kielellä vastatakseen kysymyksiin tai vuorotellen keskustelussa.

Tässä blogiviestissä kuvailemme yllä olevaa ratkaisumallia keskustelun organisoinnin ja tietopohjan sisäisistä näkökohdista käyttökokemukseen liittyviin näkökohtiin, jotka ovat tarpeen, jotta loppukäyttäjät voivat arvioida vastaukset ja niitä tukevat tosiasiat asianmukaisesti. Tavoitteemme on tarjota sinulle työkalut, joita tarvitaan ChatGPT-pohjaisten sovellusten rakentamiseen tästä päivästä alkaen käyttämällä "gpt-35-turbo" -mallia, joka on nyt esikatselussa. Julkaisemme myös aGitHub-repo esimerkkeineen, mukaan lukien UX, orkestrointi, kehotteet jne., joita voit käyttää lisätietoihin tai oman sovelluksesi lähtökohtana.

Keskustele omilla tiedoillasi

Tapa, jolla käytät suuria kielimalleja, kuten ChatGPT:tä, käyttää luonnollista kieltä, antaa mallille "kehotteen" ja pyytää sitä täydentämään sen. Tämä voi olla kysymys, keskustelun käänne, laajentamismalli jne. Näin käytettäessä saamasi vastaukset perustuvat siihen, mitä malli on oppinut koulutuksen aikana, mikä voi olla hyödyllistä yleistietokysymyksissä tai epävirallisessa keskustelussa, mutta ei sitä, mitä haluat, jos rakennat sovellusta, jossa käyttäjien pitäisi nähdä vastaukset omiin tietoihisi perustuen. Tässä esimerkissä (kysymys työntekijöiden terveydenhuoltosuunnitelmista) ChatGPT-perusmallia käyttäen vastaus (vihreä) ei ole hyödyllinen, koska se ei ota huomioon yrityksen omaa etuuspolitiikkaa:

<|im_start|>systemAssistant auttaa Contoso Inc:n työntekijöitä heidän sisäisiin terveydenhuoltosuunnitelmaan liittyvissä kysymyksissä. <|im_end|><|im_start|>käyttäjäKattaako suunnitelmani vuotuiset silmätutkimukset?<|im_end|><|im_start|>assistenttiEn valitettavasti pääse käsiksi tiettyihin terveydenhuoltosuunnitelmatietoihisi. Monet terveydenhuoltosuunnitelmat kattavat kuitenkin vuosittaiset silmätutkimukset. Suosittelen tarkistamaan suunnitelmasi etujen yhteenvedon tai ottamaan yhteyttä suunnitelman ylläpitäjään saadaksesi lisätietoja.

Yksi tapa saada ChatGPT luomaan vastauksia omien tietojesi perusteella on yksinkertainen: lisää nämä tiedot kehotteeseen. ChatGPT voi lukea tiedot sekä kaikki ohjeet, kontekstin tai kysymykset ja vastata niiden mukaisesti. Tämä lähestymistapa ei vaadi mallin uudelleenkoulutusta tai hienosäätöä, ja vastaukset voivat heti heijastaa taustalla olevien tietojen muutoksia.

Tämä on kuitenkin uusi haaste: näillä malleilla on rajoitus tukemaansa "kontekstin pituuteen" (nykyinen ChatGPT-malli voi viedä jopa 4 000 merkkiä kehotteessa), ja vaikka niillä ei olisi näitä rajoja, ei olisi käytännöllistä lisätä Gts:n verran dataa tekstikehotteeseen jokaisessa vuorovaikutuksessa. Vaihtoehtona on säilyttää kaikki tiedot ulkoisessa tietokannassa, josta voi hakea nopeasti ja asianmukaisesti osuvia osia, juuri sitä, mitä varten Kognitiivinen haku on suunniteltu. Aloituskehote ja vastaus voisivat näyttää tältä:

<|im_start|>systemAssistant auttaa Contoso Inc:n työntekijöitä heidän sisäisiin terveydenhuoltosuunnitelmaan liittyvissä kysymyksissä. Vastaa kysymyksiin vain alla lueteltujen tosiasioiden perusteella. Jos alla olevat tosiasiat eivät vastaa kysymykseen, sano, ettet tiedä. Jokainen faktalause on numeroitu. Liitä aina viittaus tosiasianumeroon muodossa [numero], kun vastaat.1. Työntekijät voivat valita kahdesta suunnitelmasta, PlanA ja PlanB, ja heillä on erilaisia ​​etuja.2. PlanA sisältää vuosittaisten silmä- ja kuulotutkimusten kattavuuden.3. Ne, joilla on PlanB, ovat omavastuuosuus rutiininomaisista silmätutkimuksista ja näköon liittyvistä ostoksista, kuten silmälaseista.4. Sekä PlanA että PlanB kattavat ennaltaehkäisevät hoitokäynnit.<|im_end|><|im_start|>käyttäjäKattaako suunnitelmani vuotuiset silmätutkimukset?<|im_end|><|im_start|>assistenttiPlanA sisältää vuosittaisten silmä- ja kuulotutkimusten kattavuuden. [2]

Esimerkissä siniset osat haettiin kognitiivisesta hausta käyttäjän kysymyksen ja mahdollisesti soveltuvan kertyneen kontekstin perusteella, vihreä osa on mallin luoma vastaus ja loput kehotemalli, jota käytimme mallin ohjeiden antamiseen.

Tämä haulla laajennettu sukupolven lähestymistapa avaa oven yksinkertaiselle aloittamiselle ja kehittymiselle tarpeen mukaan. On olemassa monia vaihtoehtoja kehotteiden muodostamiseen, kyselyjen muotoiluun tietokannasta tehokkaaseen hakuun ja edestakaisen vuorovaikutuksen järjestämiseen ChatGPT:n ja tietokannan välillä. Ennen kuin perehdymme niihin, puhutaan vielä yhdestä vaatimuksesta: käyttäjien auttaminen vahvistamaan, että vastaukset ovat luotettavia.

Luotettavia vastauksia

Oletamme, että nämä suuret kielimallit, kehotteet ja orkestrointijärjestelmät eivät ole täydellisiä, ja näemme niiden tuottamat vastaukset ehdokasvastauksina, joiden pitäisi sisältää oikeat tiedot loppukäyttäjän tarkistettavaksi. Osana tämän aiheen tutkimista otimme käyttöön 3 yksinkertaista kokemusta lähtökohdista. Tämä ei tarkoita, että nämä ovat ainoita; Otamme mielellämme vastaan ​​ideoita ja palautetta parhaan tavan antaa käyttäjille parempia työkaluja varmistaakseen, että järjestelmän tulokset ovat tosiasiallisesti oikeita.

Kuten alla olevasta kuvasta näet, kun tuotamme vastauksen esimerkeissämme, tarjoamme käyttäjälle myös 3 "drill down" -työkalua:

1. Lainaukset: Jokainen vastauksen lausunto sisältää viittauksen ja linkin lähdesisältöön. Näet lainaukset kontekstissa (yläindeksinumerot) sekä linkit alareunassa. Kun napsautat jotakin, näytämme alkuperäisen sisällön, jotta käyttäjä voi tarkistaa sen.
2. Tukeva sisältö: Jokaisessa ChatGPT:n luomassa vastauksessa tai chat-kuplassa on vaihtoehto (muistikirjan kuvake) näyttää kaikki kehotteeseen syötetty alkuperäinen sisältö faktoina.
3. Orkesteriprosessi: Jokaisessa vastauksessa tai chat-kuplassa on myös vaihtoehto (lamppukuvake) nähdäksesi koko vuorovaikutusprosessin, mukaan lukien välitulokset ja luodut kehotteet.

Jokainen näistä vaihtoehdoista saattaa olla hyödyllinen käyttäjille yleisön mukaan. On myös muita vaihtoehtoja tarjota läpinäkyvyyttä ja validointityökaluja, jotta käyttäjät voivat luottaa vastauksiin. Erityisesti tässä blogikirjoituksessa ja esimerkkikoodin alkuperäisessä versiossa emme käsittele kriittistä aihetta menetelmistä, jotka voidaan ottaa käyttöön sovelluksessa, jotta voidaan arvioida vastausten laatua ja mahdollisesti hylätä tai yrittää uudelleen tapauksia, jotka eivät täytä tiettyjä ehtoja. Kannustamme sovelluskehittäjiä tutkimaan tätä aihetta erikseen jokaisen sovelluskokemuksen yhteydessä.

Uusia vuorovaikutusmalleja

Lähestymistapoja tehokkaampaan pikasuunnitteluun, hakukyselyn rakentamiseen ja komponenttien välisiin vuorovaikutusmalleihin tulee nopeasti. Tämä on syntymässä oleva tila, jossa odotamme näkevän paljon nopeaa edistystä. Tässä on pieni näyte kehotteen ja kyselyn luomisen aloituskohdista sekä viittauksia kirjallisuuteen niille, jotka ovat kiinnostuneita tarkemmin:

• Hae-sit-lue: yksinkertainen aloituskohta kertaluonteisille Q&A-skenaarioille, joissa käyttäjän kysymys sisältää tarpeeksi tietoa ehdokkaiden hakemiseksi hakuhakemistosta. Tässä lähestymistavassa kysymys yksinkertaisesti noudetaan hakemistosta, otetaan muutamia parhaita ehdokkaita ja lisätään ne kehotteeseen ohjeiden ja itse kysymyksen kanssa.
• Lue sisältö ja konteksti ennen hakemista: Monissa tapauksissa pelkkä käyttäjän kysymys ei riitä haettavaksi. Esimerkiksi keskusteluasetuksissa käyttäjän viimeinen vuoro voi koostua vain muutamasta sanasta, jotka edustavat seurantakohtaa tai kysymystä, eikä sitä voida käyttää aiheeseen liittyvän tiedon hakemiseen tehokkaasti. Jopa yhden laukauksen vuorovaikutuksessa konteksti on otettava huomioon. Näissä tapauksissa mielenkiintoinen lähestymistapa on käyttää ChatGPT:tä hakukyselyn luomiseen pyytämällä työkalua luomaan yhteenveto keskustelusta hakua varten ja huomioimaan minkä tahansa kontekstin, jonka haluat lisätä.
• Toiminnot, työkalut ja paljon muuta: usein yksi vuorovaikutus käyttäjän syötteen, ohjeiden ja tietokannan välillä ei riitä. On esimerkiksi osoitettu, että suurten kielimallien pyytäminen jakamaan vastaukset pieniin vaiheisiin parantaa vastausten laatua ja välttää tietyt virhemallit. Kun kysymys on hajotettu, pienempiä ja tarkempia kysymyksiä voidaan esittää ulkoisille lähteille joko jäsentelemättöminä hakuina, kuten olemme tehneet tähän mennessä, tai tosiasiallisina kysymysvastausvaiheina (esim. Semantic Answersin tukemana kognitiivisessa haussa) tai hakuina ulkoisissa järjestelmissä (esim. työntekijätaulukko sisäisessä sovelluksessa tai asiakastukisovelluksen tapahtumataulukko). Tämä on laaja tutkimustila, ja paljon varhaista kokeellista työtä tehdään. Mielenkiintoista luettavaa mmCoT-kehotuksen (chain of idea) käyttöönottoja sitä seuraava työ,ReAct lähestymistapayhdistää CoT työkaluihin jaToolformer lähestymistapaopettaa malleja käyttämään useita työkaluja vastauksen tuottamiseen.

Tämän blogikirjoituksen mukana olevat näytteet toteuttavat osan näistä joko suoraan tai avoimen lähdekoodin kirjastojen, kuten esim.Langchain. Yksittäisen esimerkin valitsemiseksi: käyttäjän chat-käännös "Minulla on plussuunnitelma" alla olevassa kuvakaappauksessa ei antaisi hyvää vastausta käyttämällä naiivia hae ja lue -lähestymistapaa, mutta toimii hyvin hieman kehittyneemmällä toteutuksella, joka sisältää keskustelujen kontekstin:

Tietokannan haun parantaminen

Koska vastaukset perustuvat viime kädessä siihen, mitä pystymme hakemaan tietokannasta, haun laadusta tulee tärkeä näkökohta näissä ratkaisuissa. Tässä on muutamia huomioita:

1. Semanttinen sijoitus: oletuksena kognitiivinen haku käyttää avainsanahakua yhdistettynä yksinkertaiseen todennäköisyysmalliin pisteytykseen. Voit ottaa käyttöön semanttisen sijoituksen, joka käyttää kehittynyttä syväoppivaa toissijaista sijoitustasoa tarkkuuden parantamiseksi.
2. Asiakirjan paloittelu: kun indeksoit sisältöä kognitiivisessa haussa ChatGPT-skenaarioiden tehostamiseksi, haluat sisällön olevan oikean pituinen. Jos jokainen asiakirja on liian lyhyt, siitä puuttuu konteksti. Jos se on liian pitkä, ChatGPT:n on vaikea löytää oikeita osia "lukemista varten". Suosittelemme kohdistamaan muutaman lauseen (esim. ~1/4–1/3 sivusta) liukuvalla teksti-ikkunalla aloituskohtana, jos tietosi sen sallivat. Joissakin tapauksissa, kuten osaluetteloissa, on järkevää olla ryhmittelemättä tietoja ja antaa jokaisen asiakirjan sisältää yhden osan täydellisen kuvauksen.
3. Yhteenveto: jopa paloittelun jälkeen haluat joskus lisätä kehotteeseen enemmän ehdokkaita tekemällä jokaisesta ehdokkaasta lyhyemmän. Voit saavuttaa tämän käyttämällä yhteenvetovaihetta. Muutamia vaihtoehtoja tähän ovat käyttöSemanttiset kuvatekstit(kyselyn asiayhteyteen perustuva yhteenvetovaihe, jota tuetaan suoraan kognitiivisessa haussa), käyttämälläosuma korostus(leksikaalisempi, ei semanttinen mekanismi katkelmien poimimiseen) tai hakutulosten jälkikäsittely ulkoisella yhteenvetomallilla.

Mukana oleva esimerkkikoodi sisältää toiminnot, joiden avulla voit helposti kokeilla joitain yllä olevista vaihtoehdoista (napsautusasetuskuvake ikkunan oikeassa yläkulmassa).

Lisää skenaarioita

Tässä blogiviestissä keskityimme keskusteluihin ja kysymyksiin vastaamiseen liittyviin skenaarioihin, joissa Azure OpenAI:n ChatGPT yhdistetään Azure Cognitive Searchiin tietopohjana ja hakujärjestelmänä. On olemassa muita tapoja, joilla Azure OpenAI Service ja Cognitive Search voidaan yhdistää parantamaan olemassa olevia skenaarioita tai mahdollistamaan uusia. Esimerkkejä ovat luonnollisen kielen käyttäminen kyselyn muotoilussa, luetteloiden selauskokemusten tehostaminen ja Azure OpenAI:n käyttö indeksointihetkellä tietojen rikastamiseksi. Suunnittelemme jatkossakin ohjeiden ja esimerkkien julkaisemista havainnollistamaan, kuinka monet näistä voidaan saavuttaa.

Kokeile tätä tänään omilla tai meidän tiedoillamme

Julkaisimme muutaman esimerkin, mukaan lukien tässä blogiviestissä näkyvän täydellisen UX:nGitHub repo. Aiomme laajentaa tätä repoa jatkuvasti keskittyen kattamaan enemmän skenaarioita.

Voit kloonata tämän repon ja joko käyttää mukana toimitettuja näytetietoja tai muokata sitä omaa käyttöä varten. Suosittelemme ottamaan iteratiivisen lähestymistavan. Tietojen valmistelu kestää muutaman yrityksen. Aloita lataamalla mitä sinulla on ja kokeile kokemusta.

Olemme innoissamme mahdollisista parannetuista ja täysin uusista skenaarioista, jotka perustuvat suurten kielimallien saatavuuteen yhdistettynä tiedonhakutekniikkaan. Odotamme innolla, mitä tulet rakentamaan Azure OpenAI:n ja Azure Cognitive Searchin avulla.