Robot temeljen na umjetnoj inteligenciji svakako je brži, ali Stack Overflow je i dalje puno točniji
To što ChatGPT može pružiti razgovorne odgovore na bilo koje pitanje u bilo koje vrijeme čini taj chatbot praktičnim resursom.
Ipak, nedavno je istraživanje (PDF) pokazalo kako se na njega ne možete baš osloniti. Barem ne ako želite pisati softver.
vezane vijesti
Prije uspona razgovornih robota temeljenih na umjetnoj inteligenciji web odredište Stack Overflow bilo je glavni resurs za programere koji su trebali savjet za svoje projekte, s modelom pitanja i odgovora sličnim ChatGPT-ju.
Međutim, na Stack Overflowu morate čekati da netko odgovori na vaše pitanje, dok s ChatGPT-om ne morate. Zbog toga su brojni softverski inženjeri i programeri uputili svoja pitanja ChatGPT-ju.
Krivi su dobro artikulirani odgovori
Pošto nije bilo poznato koliko je ChatGPT učinkovit u odgovaranju na te vrste upita, istraživači pri Sveučilištu Purdue su odlučili pokušati to razotkriti.
Ubacili su u ChatGPT 517 pitanja sa Stack Overflowa, pa su potom ispitali točnost i kvalitetu dobivenih odgovora.
Više od pola odgovora na 512 pitanja - 259 (52 posto) - bilo je netočno, dok je 248 (48 posto) bilo točno.
Uz to, više od tri četvrtine (77 posto) odgovora bilo je opširno, a njih 65 posto bilo je iscrpno i pokrilo je sve aspekte problema kojim se pitanje bavilo.
Kako bi dodatno analizirali kvalitetu ChatGPT odgovora, istraživači su zamolili 12 sudionika s različitim razinama stručnosti u programiranju da daju svoje uvide u odgovore.
Iako su sudionici preferirali odgovore Stack Overflowa u odnosu na ChatGPT-ove u različitim kategorijama, sudionici nisu uspjeli ispravno identificirati netočne odgovore koje je generirao ChatGPT u 39,34 posto slučajeva.
Ljudi su previdjeli netočne informacije koje im je servirala umjetna inteligencija jer su, istaknuli su istraživači, odgovori bili dobro artikulirani, piše ZDNet.
