Roba da pivelli

Roba da pivelli

@aitech - Magari non ci si può fidare degli LLM, ma quando la loro risposta si può verificare indipendentemente dov'è il il problema?

https://wp.me/p6hcSh-9dO

@mau@poliversity.it @aitech@feddit.it se non si può escludere che il LMM che si sta usando in un dato momento sia inaffidabile nelle risposte, allora ogni volta che se ne usa uno è necessario verificarne indipendentemente le risposte, quindi le sue risposte (hanno valore semantico nullo, e inoltre) fanno sprecare tempo e risorse

@6al no. Se io ci metto 10t per trovare una risposta, il chatbot ci mette t sbagliando nel 10% dei casi e io ci metto t a verificare la risposta mi conviene usare il chatbot. @aitech

@mau@poliversity.it @aitech@feddit.it ma devi sapere in anticipo che è così! altrimenti rischi di fidarti di un chatbot che non ha quelle caratteristiche (tecnicamente direi "non soddisfa quelle specifiche di prestazione")

@6al quello in genere lo puoi stimare a priori.

@aitech

@mau@poliversity.it @aitech@feddit.it servirebbe un'Authority che stabilisse la % di affidabilità delle risposte, come fanno (o facevano?) gli scienziati quando pubblicano i loro paper
Altrimenti facciamo a fidarci ...

@mau @aitech

Provo a parafrasare la tua domanda: magari non puoi fidarti di un venditore senza scrupoli, ma se puoi verificare indipendentemente la qualità di quel che ti vende, dov'è il problema?

(sottotitolo: chissenefrega se qualcun altro ci casca, io me la cavo perché so come fare)

La questione non è solo tecnica e, secondo me, una valutazione che si limita a probabilità e qualità è di parte, anche se in maniera non evidente.

@pgo @aitech attenzione. In questo caso chiunque sa come fare, o almeno spero che chiunque sappia fare una ricerca standard per verificare la risposta del chatbot: e se non la sa fare il problema è molto più a monte del chatbot.

@mau @aitech hai colto perfettamente il punto del mio commento.

Le competenze richieste per o anche solo la semplice curiosità/prudenza che ti portano a verificare la risposta, non sono diffuse.

@pgo @aitech ribadisco: questo è un problema che c'era da ben prima dei chatbot. Pensa solo a tutti quelli che si fermano al primo risultato di una ricerca.

@mau @aitech con i chatbot però ci sono antropomorfizzazione e autorevolezza percepita, che sono aggravanti non da poco del problema che già esisteva.

Secondo me il problema è questo, con l'aggravante che chi li spaccia, gli avvertimenti li mette a fondo pagina, in corpo 6, grigetto su fondo bianco.

Una volta chi veniva scoperto a credere al primo risultato di google un pò si vergognava; oggi le risposte di chatgpt e simili finiscono in tesi di dottorato, articoli scentifici, testi di legge.

@pgo @aitech sì, ma qual è la risposta? richiedere una patente per usare i chatbot? obbligarli a scrivere all'inizio di ciascuna risposta che potrebbe essere sbagliata? bloccarli del tutto?
(Fare opera di divulgazione è come svuotare l'oceano con un bicchiere: non è una scusa per non farlo, ma si sa già che i risultati saranno minimi)