Esperimento cieco e doppio cieco

Scrivendo per un portale online sul benessere circa l’effetto placebo e nocebo mi è venuto in mente di approfondire qui un aspetto/tecnica metodologica utilizzata in ambito medico per testare l’efficacia dei farmaci: l’esperimento cieco e doppio cieco.

Piccola premessa: un placebo è una sostanza che non ha alcun effetto a livello fisico,ma viene presentata come tale. L’effetto placebo è l’insieme degli effetti fisici che il soggetto avverte pur non essendo scatenati da alcuna reazione “reale”. Ovviamente per comprendere se un farmaco abbia dei reali benefici o effetti e per quantificarne la portata occorre eliminare queste conseguenze della nostra suggestione (detto solo per semplificare, ma il placebo non si riduce a questo). Per questo si usano i disegni sperimentali chiamati “cieco” e “doppio cieco“.

I protagonisti sono:

  • lo sperimentatore, colui che ha ideato e che raccoglie i dati, li analizza e li interpreta,
  • il compare, cioè l’aiutante dello sperimentatore,
  • il gruppo sperimentale, cioè coloro che in modo casuale ricevono il farmaco,
  • il gruppo di controllo, coloro che pur credendo di ricevere il farmaco ricevono il placebo.

Nel disegno cieco, lo sperimentatore e il compare sono la stessa figura. Chi crea l’esperimento, incontra le persone, raccoglie i dati e soprattutto conosce chi tra i partecipanti appartiene al gruppo sperimentale e chi di controllo.

Disegno cieco

Quali sono le conseguenze di questo disegno? I punti deboli stanno nei segnali sociali minimi (i cenni, la velocità con cui si porge la terapia, l’entusiasmo nella voce) che seppure controllati possono emergere (perchè la natura ci ha resi sensibili ad essi) e quindi far comprendere al soggetto a quale gruppo appartiene. Addio alla scomparsa della suggestione!

Disegno doppio cieco
Disegno doppio cieco

Per questo il metodo più valido è il disegno doppio cieco. In questo caso è il compare che si presenta ai partecipanti somministrando loro una sostanza senza sapere di cosa si tratti. Quindi lo sperimentatore è in grado di raccogliere dei dati puliti dalle aspettative di entrambi i versanti della ricerca. Il doppio cieco resta il metodo migliore attraverso il quale comprendere se una sostanza abbia reali effetti oppure sia tutto frutto dei potenti mezzi della mente.

 

images by Flaticon

Questionario: e le percentuali di risposta non bastano?

Quando si elabora un questionario spesso si pone molta attenzione alle domande e si pensa di meno a cosa si farà dopo.

Una volta raccolti i dati, cosa ci facciamo?? Una delle risposte più semplici è quella di contare le risposte, calcolare delle percentuali e confrontarle tra di loro. La via è semplice, ma poco fruttuosa. Ecco un video sul perchè a volte le percentuali non bastano!

https://www.youtube.com/watch?v=t78_Sy-0GbM&feature=youtu.be

Frequenze e percentuali

frequenze e percentuali
frequenze e percentuali

Avete scritto un bel progetto e ora è il momento della verità: occorre verificare, VERIFICARE,  che i risultati siano in attesa con le ipotesi o almeno con le aspettative. Proprio per questo avete raccolto dei dati e cosa ne fate?

  • avete raccolto dati al termine del progetto
  • definite dei gruppi e contate le frequenze (di comportamenti vari o qualunque altro elementi sia al centro dei vostri interessi) che specificano ogni gruppo in modo ordinato, per evidenziarne le differenze
  • andate oltre e calcolate in modo preciso le percentuali da mostrare eventualmente in un grafico per far comprendere in modo più semplice le differenze!

Fatto tutto questo? Allora proviamo ad andare avanti e a procedere ad un livello superiore, per dare maggiore robustezza e il giusto rilievo al lavoro fatto. Il primo passaggio no è buttarsi a capofitto su qualcos’altro, ma comprendere perchè quanto abbiamo fatto non fa al caso nostro in questo momento

Quali sono i limiti di questo approccio?

1- la verifica di un cambiamento necessita di un confronto. I dati devono essere raccolti prima e dopo il nostro intervento e non solo alla fine. Vi sembra banale? Vi assicuro che non lo è; un pò perchè si pensa alla fase di valutazione in corso d’opera, un pò perchè so dà per scontato che l’intervento funzioni, un pò perchè si crede che qualunque cambiamento abbia a che fare con il nostro intervento.

2- ordinare i dati, raggrupparli in modo da creare gruppi omogenei per alcune caratteristiche (fascia d’età, genere, interessi, ecc.) è sicuramente utile e necessario per enfatizzare le differenze, ma la numerosità dei gruppi deve essere simile e soprattutto non è semplice farlo quando i numeri diventano grandi. Due è la metà di quattro, ma che rapporto c’è tra 195 e 142? è una differenza che ha senso? Ha senso da sola o solo sul totale?

3- per ovviare a questi problemi potreste aggiungere delle percentuali, magari da rappresentare graficamente attraverso degli istogrammi. Ma anche in questo caso, una bella grafica e l’uso di termini matematici non è sufficiente, non sempre. Certo io possono ridurre 195 e 142 a delle percentuali, ma torna il problema di quando la differenza abbia senso. Facciamo due esempi.

Nel gruppo A il cambiamento sperato si osserva nel 10% dei casi e nel gruppo B nel 89%. Banale? La differenza è esagerata, ma qual è la numerosità totale. Se il gruppo A è composti di 19 soggetti e il gruppo B 89, è ancora così semplice?

Secondo esempio, a quanto ammonta la differenza perchè sia significativa? in un gruppo di 10.000 persone totale una differenza del 10% copre molti individui, centinaia, ma è “solo” il 10%. è significativo o no?

Quindi se volete essere sicuri che i vostri risultati siano certi, non affidatevi solo a percentuali o frequenze, sebbene siano un ottimo punto di partenza!

10 errori da evitare per le interviste!

si_no

Uno dei grandi problemi della psicologia e dei metodi che utilizza è l’uso di termini quotidiani che hanno un significato differente quando inseriti nella professione. L’intervista è uno di questi, che in termini giornalistici ha un senso, ma se usata come tecnica di raccolta dati ne ha un altro.
Un’Intervista è un insieme di domande tese a raccogliere informazioni in modo tale da rispondere ad una domanda di ricerca. Tendenzialmente viene fatta faccia a faccia (ma non è necessario) e può essere molto strutturata o del tutto libera, ma non viene sottoposta ad un processo di valutazione così rigido come il questionario, il test, uno strumento che nasce per misurare!

Allora vediamo alcuni errori da cui guardarci per fare una buona intervista!

1- Scegliere la forma scritta o orale a seconda di quanto siano “scomodi” gli argomenti e di quanta formazione si possa fare agli intervistatore
2- Minore è la esperienza, maggiore è la necessità di una buona struttura dell’intervista
3- Adeguare il linguaggio al campione
4- Somministratevi l’intervista prima di farla agli altri, ne troverete i difetti e testerete la difficoltà e la lunghezza
5- Ragionate sull’ordine degli argomenti: prima le domande più leggere e quelle più pesanti vanno messe in fondo.
6- Inserite un paio di domande di controllo: il senso è lo stesso di una domanda precedente, ma viene formulata in modo differente o in negativo.
7 – In caso di soggetti con difficoltà verbali (bambini, ad esempio) o per rendere meno noiosa l’intervista usate stimoli visivi o immagini
8- Usate una sola scala di risposta
9- Le domande che vertono sui comportamenti sono più precise e più verificabili.
10- Usate frasi in positivo, così come io ho evitato di dirvi cosa non fare per non sbagliare!

Cosa ci dice un buon disegno sperimentale!

statistica e disegno sperimentale

Tempo fa ho lasciato un post in arretrato..o meglio, ho lasciato l’esempio in arretrato. L’oggetto era l’uso di un disegno sperimentale come base per valutare la buona riuscita di un progetto. Avete un’idea grandiosa? Volete chiedere un finanziamento? Dovete garantire la riuscita del vostro progetto o almeno pensare a come valutarlo? Forse questa tabella vi aiuterà e un buon esempio potrebbe rendere tutto più semplice.

Spesso i progetti con cui si opera nel sociale cercano, pensando alla bontà degli effetti, di cercare di raggiungere il maggior numero di persone in modo indiscriminato, ma se realmente si vuole capire la portata degli effetti del progetto sarebbe meglio suddividere il campione in modo tale da avere un gruppo di controllo.

Esempio: un’associazione eroga un corso per genitori (aiutare i figli a navigare in sicurezza su internet), pensando ad una specifica azione che potrebbe fare la differenza. Il “trattamento”, cioè l’elemento che dà valore all’intervento, è un esercizio da fare a casa con regolarità e un diario in cui annotare gli effetti. Il corso è di 4 giornate e sono stati reclutati 80 genitori. A tutti viene presentata la teoria (comunque utile), ma solo a metà di loro viene assegnato il compito a casa. Sarebbe meglio divide il campione in due gruppi della stessa numerosità assegnando a caso il gruppo cui appartenere i genitori, ma è più credibile che i genitori scelgano da soli. Nelle due immagini trovate prima lo schema del disegno sperimentale classico generale e poi quello “riempito” con l’esempio.

disegno-classico
Il disegno classico
disegno-esempio
Il disegno “esempio”

 

 

 

 

 

 

 

 

 

 

 

Come misuriamo il miglioramento? Usiamo i dati dei software di parental tracking per verificare se ci sono dei cambiamenti quantitativi sulla modalità di navigazione dei siti dei due gruppi. Indicativamente si usano quelle analisi che confrontano le medie di gruppi. La tecnica specifica viene valutata a seconda della tipologia di dati, ma pensiamo ad un’analisi della varianza.

Lo so, a molti di voi l’idea di non coinvolgere tutte le persone non piace, d’altra parte un intervento buono dovrebbe essere erogato a tutti. Bene, allora forse quello che fa per voi è un altro tipo di disegno sperimentale: il disegno a misure ripetute….lo vediamo un’altra volta!