Apprendimento approfondito per intervenire dove conta

Come abbiamo costruito un ciclo di feedback per ottimizzare i suggerimenti di apprendimento

(Marianne Sorba) (14 agosto 2018)

Lapprendimento non è facile. Per renderlo un po più semplice, abbiamo lanciato (Guida in corso), fornendo spunti comportamentali e pedagogici mentre gli studenti si muovono attraverso il materiale del corso. In questo post, trattiamo il nostro processo e i nostri apprendimenti nellimplementazione di un ciclo di feedback sullapprendimento automatico per personalizzare e ottimizzare questi stimoli.

Nella prima implementazione della Guida in corso, tutti gli studenti in un dato punto in un dato Il corso, ad esempio, completando la lezione 9 del corso A o fallendo il quiz 3 del corso B, ha ricevuto lo stesso messaggio. Questo ci ha permesso di intervenire in modi che erano utili in media e ha spostato lago sul progresso e la conservazione del corso.

Ma abbiamo anche osservato leterogeneità dellimpatto tra studenti e messaggi. Di conseguenza, in un mondo in cui tutti gli studenti in un dato punto di un determinato corso hanno ricevuto il messaggio, eravamo cauti nel lanciare troppi messaggi.

Per limplementazione successiva, abbiamo creato un ciclo di feedback intelligente per controllare quali studenti hanno ricevuto ogni messaggio. Il modello è una rete neurale che prende come input una vasta gamma di funzionalità, tra cui le seguenti:

  • Percentuali di clic passate dello studente per vari messaggi
  • I suoi dati demografici ( ad es. sesso, età, paese, livello di occupazione, livello di istruzione)
  • I suoi dati comportamentali sulla piattaforma (ad es. se liscrizione è pagata, lingua del browser, numero di corsi completati)
  • Caratteristiche a livello di corso (ad es. Dominio, difficoltà, valutazione)

Utilizzando queste funzionalità, il modello prevede quanto è probabile che uno studente specifico trovi un tipo specifico di messaggio pop-up utile in un punto particolare del suo apprendimento. Se prevede che il messaggio avrà un impatto sufficientemente positivo, innesca il messaggio; altrimenti trattiene il messaggio. I pesi del modello e le sue previsioni si aggiornano ogni notte mentre il nostro team di data science dorme: un grande miglioramento rispetto alla linea di base di test A / B annidati complessi e di lunga durata, con il team che apporta aggiustamenti manuali agli interventi sulla base dei risultati osservati. Il sistema di feedback loop si estende naturalmente per permetterci di scegliere tra più versioni di un messaggio che possono essere inviate nello stesso punto allo stesso discente, attivando solo la versione che si prevede avrà il risultato più positivo per lo studente.

Oggi abbiamo due livelli di filtro: un filtro a livello di elemento di corso per decidere quali messaggi tenere in giro perché sono sufficientemente utili e un filtro a livello di stato di elemento di corso per utente per personalizzare quali messaggi vanno a quali studenti in un dato momento di apprendimento.

In breve, per ogni possibile spinta sullo stato di ogni elemento in ogni corso, il modello del livello del corso-elemento-stato prevede la probabilità media che uno studente trovi il messaggio utile in base alle interazioni passate con il messaggio e i dati a livello di corso. Intuitivamente, se il modello prevede che il messaggio non è sufficientemente utile, tratteniamo del tutto quel messaggio in quel punto di attivazione (a condizione che il numero di impressioni sia sufficientemente grande). Questo filtro a livello di trigger è particolarmente utile quando espandiamo il nostro inventario di messaggi perché rileva e filtra automaticamente i messaggi che non sono utili o non sono per una particolare classe o punto trigger.

Lelemento del corso- Il modello a livello di stato è stratificato sotto un ciclo di feedback simile che filtra a livello di utente-corso-elemento-stato. Facciamo un semplice esempio: vogliamo sapere se inviare un messaggio particolare ad Alan in un punto particolare del suo viaggio di apprendimento. Per lesposizione, prendi in considerazione un messaggio per il quale stiamo raccogliendo direttamente la disponibilità auto-riferita dallo studente. Nellattuale implementazione, ci sono tre possibilità.

  1. Alan potrebbe essere scelto a caso (oggi con probabilità del 10%) per ricevere il messaggio qualunque cosa ; questo garantisce che abbiamo abbastanza dati imparziali da consentire al modello di continuare ad apprendere e migliorare ogni notte.
  2. Alan potrebbe essere scelto a caso (oggi con probabilità del 90%) per ricevere potenzialmente il messaggio, ma Alan è un nuovo studente e ha interagito a malapena con i nostri messaggi. Poiché non abbiamo dati sufficienti su di lui per fare una previsione affidabile, gli inviamo il messaggio per raccogliere dati.
  3. Alan potrebbe essere scelto casualmente (con la stessa probabilità del 90%) per ricevere potenzialmente il messaggio, e ha interagito con un numero sufficiente di messaggi ALICE affinché il modello possa fare una previsione affidabile.Quindi, sulla base dei dati del profilo dello studente di Alan e delle sue precedenti interazioni con i messaggi della Guida in corso, il modello fornisce tre probabilità: a) la probabilità che Alan faccia clic, “Sì, è stato utile”; b) la probabilità che Alan faccia clic su “No, questo non è stato utile”; c) la probabilità che Alan non interagisca con il messaggio.

Inviamo il messaggio se e solo se a) supera sufficientemente b) ec). Oggi, il ciclo di feedback trattiene circa il 30% dei messaggi e aumenta il rapporto tra rapporti utili e rapporti non utili del 43%.

Allora, qual è il prossimo?

Innanzitutto, stiamo iterando sulla funzione di ottimizzazione. Lesempio sopra considera lottimizzazione per una ricezione positiva dellinvito allazione (la segnalazione del messaggio è stata utile o il clic sulla raccomandazione). Per alcune sollecitazioni, tuttavia, la funzione di ottimizzazione può e deve essere più a valle. Ad esempio, se invitiamo lo studente a rivedere materiale importante, il suo clic sul collegamento fornito non ci fornisce informazioni sufficienti sul fatto che quel materiale di revisione abbia effettivamente aiutato i suoi risultati di apprendimento, ma solo se ha seguito la nostra raccomandazione. Per questi tipi di interventi, stiamo estendendo la funzione di ottimizzazione per incorporare i risultati dellapprendimento a valle come gli elementi completati.

In secondo luogo, con questo sistema di sicurezza integrato, stiamo facendo il brainstorming e lanciando nuovi tipi di interventi. Poiché il modello sceglie automaticamente quali spinte continuare a correre, dove e per chi, possiamo esplorare nuovi modi per coinvolgere gli studenti, sicuri che quelli che non sono utili verranno efficacemente trattenuti.

Interessato a fare domanda dalla scienza dei dati allistruzione? Coursera sta assumendo !

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *