MI-hallucináció: Az MI-hallucináció jelentése: olyan hihetőnek hangzó, de téves vagy kitalált tartalom, amelyet egy mesterségesintelligencia-rendszer magabiztos válaszként ad elő.
A „hallucináció” itt nem emberi érzékelési élményt jelent. A generatív MI a megadott szöveg és tanult minták alapján állít elő választ, de a folyékony megfogalmazás nem bizonyítja a tartalom helyességét. Előfordulhat, hogy a rendszer nem létező adatot, hivatkozást vagy részletet ír le, illetve ellentmond a megadott forrásnak. A NIST ezt a jelenséget téves vagy hamis tartalom magabiztos előállításaként írja le.
Rendelői környezetben ez szervezési kockázatot jelenthet: például a páciensnek szóló szöveg hibás nyitvatartást, szolgáltatást vagy foglalási feltételt közölhet. Ezért az MI által készített tájékoztató szöveget érdemes összevetni a rendelő jóváhagyott adataival, mielőtt közzéteszi vagy páciensnek küldi. Az MI-válasz önmagában nem igazolja egy állítás pontosságát, még akkor sem, ha forrást is megnevez.
Válasszon olyan munkafolyamatot, amelyben a bizonytalan vagy nem lefedett kérdés munkatárshoz kerül. Egészségügyi kérdés esetén az automatikus válasz ne helyettesítse az orvosi tájékoztatást, a pácienst irányítsa orvoshoz. A MI átláthatósága és a nyelvi modell működése segítenek a korlátok megértésében.
Hogyan csökkenthető a kockázat?
A leghatékonyabb, ha a rendszer csak a rendelő jóváhagyott tartalmából válaszol, például a nyitvatartásból, az árlistából és a foglalási szabályokból, és ha egy kérdésre ott nincs válasz, ezt megmondja, nem talál ki egyet. Érdemes rendszeresen visszanézni a beszélgetéseket, és a téves vagy hiányos válaszok alapján frissíteni a tudásbázist. Ha valami változik, például a nyitvatartás, először a forrásadatot kell átírni.