La capacità predittive di Tapoi

In questo breve articolo riassumiamo i risultati di un esperimento creato con l’obiettivo di testare l’abilità di Tapoi nel predire gli interessi personali degli utenti.

Tapoi è un innovativo servizio di customer intelligence per portali web ed applicazioni mobile. Permette di avere accesso ad informazioni chiave riguardanti interessi ed attitudini dei propri visitatori digitali. Grazie a queste informazioni diventa possibile proporre servizi personalizzati ottimizzando l’esperienza degli utenti ed migliorando la propria conversione.
Tapoi è in grado di raccogliere le attività che gli utenti effettuano sui Social Network più comuni (Facebook e Twitter) e costruisce profili dettagliati.

L’esperimento

L’esperimento ha visto partecipi più di 150 utenti ed è stato eseguito in collaborazione con EIT Digital e SmartCrowds, un laboratorio con sede a Trento che ha come obiettivo quello di rendere i cittadini parte della ricerca e innovazione tecnologica.

Agli utenti è stato chiesto di accedere utilizzando il proprio account Facebook su di un portale dedicato sul quale hanno potuto visualizzare il proprio profilo creato tramite Tapoi. Gli utenti hanno poi potuto completare un questionario che ci ha permesso di valutare l’accuratezza del processo di profilazione.

Gli obiettivi dell’esperimento sono stati:

  • testare l’accuratezza dei profili generati tramite Tapoi;
  • raccogliere feedback chiave per il migliorare le prestazioni predittive di Tapoi;
  • studiare la reazione degli utenti a contatto con un processo di profilazione live.

I passi dell’esperimento

I profili costruti da Tapoi sono basati su modelli. Formalmente, un modello è una computazione che prede come input le azioni social di un utente (post, like, share, ecc) e produce una serie di indicatori quantitativi.

Concretamente un modello permette a Tapoi di misurare l’interesse dimostrato da un utente verso un particolare dominio.

I tre modelli considerati per l’esperimento sono stati:

  • interessi generali, che include le categorie tecnologiasportintrattenimentoscienzapolitica;
  • intrattenimento, che include le categorie teatro, musica, cartoni animati, serie tv e musical;
  • sport che include le categorie macchine, sport invernali, ciclismo, motociclismo e calcio.

I passi principali dell’esperimento sono stati tre:

  1. raccolta esplicita degli interessi dell’utente riguardo i domini analizzati;
  2. confronto degli interessi espressi dall’utente con quelli calcolati da Tapoi;
  3. raccolta di feedback.

Raccolta delle informazioni

Agli utenti è stato chiesto di esprimere i propri interessi personali ed i propri interessi social (quelli seguiti come utente su Facebook) secondo le categorie dei modelli dell’esperimento. Per ogni dimensione ogni utente ha potuto esprimere un valore da 1 (nessun interesse) a 10 (è la mia passione).

Confronto con gli interessi calcolati da Tapoi

Agli utenti è stato mostro un riassunto delle proprie informazioni assieme affiancate ai dati di profilo calcolati da Tapoi.
Il confronto è stato possibile grazie ad un grafico a tela di ragno e ad una nuvola di parole contenente quelle parole utilizzate nelle attività social riconosciute come rilevanti da Tapoi.

Raccolta di feedback

Come ultimo passo gli utenti hanno avuto la possibilità di valutare l’accuratezza percepita nella stima dei loro interessi. Alcuni hanno anche sfruttato la possibilità di lasciarci un messaggio testuale facoltativo.

Gli utenti hanno anche avuto la possibilità di evidenziare gli errori effettuati da Tapoi in fasi di valutazione selezionando e cancellando dalla nuvola quelle parole che:

  • non risultavano rilevanti nel contesto di analisi
  • non appartenevano alla dimensione a cui esano state associate

Questo ultimo passo si è rivelato chiave per poter migliorare le capacità di modellazione di Tapoi.

I risultati dell’esperimento

L’esperimento ha avuto una durata di 7 giorni e vi hanno partecipato 161 utenti (84 uomini e 77 donne). Il loro feedback ci ha permesso di raccogliere dati importanti riguardo la soddisfazione generale riguardante l’accuratezza della nostra modellazione.

Tapoi ha totalizzato una media del 63% per il valore di soddisfazione così diviso sui tre modelli utilizzati durante l’esperimento:

  • interessi generali: 64%
  • sport: 57%
  • intrattenimento: 68%

L’accuratezza obiettiva è stata calcolata confrontando i valori di di interesse social raccolti inseriti personalmente dagli utenti con quelli calcolati da Tapoi. Con una media del 73%, l’accuratezza è così distribuita sui modelli:

  • interessi generali: 70%
  • sport: 80%
  • intrattenimento: 69%

Conclusioni

L’esperimento ci ha permesso di raccogliere informazioni chiave riguardo la percezione su creazione ed uso di profili. L’esperimento ha inoltre dimostrato come Tapoi sia in grado di identificare interessi e preferenze con alta precisione analizzando i contenuti delle attività social degli utenti.