Djupt lärande att ingripa där det räknas

Hur vi byggde en återkopplingsslinga för att optimera inlärningssprutningar

(Marianne Sorba) (14 aug 2018)

Inlärning är inte lätt. För att göra det lite lättare lanserade vi (In-Course Help), som levererar beteendemässiga och pedagogiska knuffar när eleverna går igenom kursmaterialet. I det här inlägget täcker vi vår process och våra kunskaper om att implementera en återkopplingsslinga för maskininlärning för att personifiera och optimera dessa knuffar.

I den första implementeringen av kurshjälpen, alla elever vid en viss punkt i en given kurs – till exempel genomgång av föreläsning 9 i kurs A, eller misslyckad frågesport 3 i kurs B – fick samma meddelande. Detta gjorde det möjligt för oss att ingripa på sätt som var till hjälp i genomsnitt och rörde nålen på kursförlopp och retention.

Men vi observerade också heterogenitet av påverkan mellan elever och meddelanden. På motsvarande sätt, i en värld där alla elever vid en viss tidpunkt i en given kurs fick meddelandet, var vi försiktiga med att rulla ut för många meddelanden.

För nästa implementering skapade vi en smart återkopplingsslinga för att kontrollera vilka elever fick varje meddelande. Modellen är ett neuralt nätverk som tar som ett inslag ett brett spektrum av funktioner, inklusive följande:

  • Elevernas tidigare klickfrekvenser för olika meddelanden
  • Hennes demografi ( t.ex. kön, ålder, land, sysselsättningsnivå, utbildningsnivå)
  • Hennes beteendedata på plattformen (t.ex. om anmälan är betald, webbläsarspråk, antal genomförda kurser)
  • Kursnivåegenskaper (t.ex. domän, svårighet, betyg)

Med hjälp av dessa funktioner förutspår modellen hur sannolikt en specifik elev är att hitta en viss typ av popup-meddelande till hjälp en särskild punkt i hennes lärande. Om det förutspår att meddelandet kommer att ha en tillräckligt positiv inverkan, utlöser det meddelandet; annars håller det tillbaka meddelandet. Modellens vikter och dess förutsägelser uppdateras varje kväll medan vårt datavetenskapsteam sover – en stor förbättring från baslinjen för komplexa och långvariga kapslade A / B-tester, där teamet gör manuella justeringar av interventionerna baserat på observerade resultat. Feedback-loop-systemet sträcker sig naturligtvis också för att tillåta oss att välja mellan flera versioner av ett meddelande som kan skickas vid samma tidpunkt till samma inlärare, vilket endast utlöser den version som förutses ha det mest positiva resultatet för eleven.

Idag har vi två filtreringsnivåer: en filtrering av kurs-artikel-tillståndsnivå för att bestämma vilka meddelanden som ska behållas eftersom de är tillräckligt hjälpsamma och en filternivå för användarkurs-artikel-tillståndsnivå för att anpassa vilka meddelanden som går till vilka elever vid varje givet inlärningsmoment.

Kort sagt, för varje möjlig knuffning på varje artikelläge i varje kurs förutsäger kurs-artikel-tillståndsnivåmodellen den genomsnittliga sannolikheten för att en elev hittar meddelandet hjälpsam baserat på tidigare interaktioner med meddelandet och data på kursnivå. Om modellen förutspår att meddelandet inte är tillräckligt användbart, håller vi intuitivt tillbaka det meddelandet vid den utlösande punkten (förutsatt att antalet visningar är tillräckligt stort). Denna filtrering på triggernivå är särskilt användbar eftersom vi utökar vårt meddelandeinventering eftersom det automatiskt upptäcker och filtrerar bort meddelanden som inte är till hjälp – eller inte är för en viss klass eller triggerpunkt.

Kursobjektet- tillståndsnivåmodellen är lagrad under en liknande återkopplingsslinga som filtrerar på användarkurs-artikel-tillståndsnivå. Ta ett enkelt exempel: Vi vill veta om vi ska skicka ett visst meddelande till Alan vid en viss punkt i sin inlärningsresa. För redogörelse, överväga ett meddelande som vi direkt samlar in självrapporterad hjälpsamhet från eleven. I den nuvarande implementeringen finns det tre möjligheter.

  1. Alan kunde slumpmässigt väljas (idag med sannolikhet 10%) för att ta emot meddelandet oavsett vad ; detta säkerställer att vi har tillräckligt med opartisk data för att modellen ska kunna fortsätta lära – och förbättra – varje natt.
  2. Alan kan slumpmässigt väljas (idag med sannolikhet 90%) för att eventuellt ta emot meddelandet, men Alan är en ny elev och har knappt interagerat med våra meddelanden. Eftersom vi inte har tillräcklig information om honom för att göra en tillförlitlig förutsägelse skickar vi honom meddelandet för att samla in data.
  3. Alan kan väljas slumpmässigt (med samma sannolikhet 90%) för att eventuellt ta emot meddelandet, och har interagerat med tillräckligt många ALICE-meddelanden för att modellen ska kunna göra en tillförlitlig förutsägelse.Baserat på data från Alans lärandeprofil och hans tidigare interaktioner med hjälpmeddelanden i kursen ger modellen tre sannolikheter: a) sannolikheten att Alan klickar, ”Ja, det var till hjälp”; b) sannolikheten att Alan klickar, ”Nej, det här hjälpte inte”; c) sannolikheten för att Alan inte interagerar med meddelandet.

Vi skickar meddelandet om och endast om a) tillräckligt överstiger b) och c). Idag håller feedbackslingan tillbaka cirka 30% av meddelandena och ökar förhållandet mellan hjälpsamma och icke-hjälpsamma rapporter med 43%.

Så vad händer nu?

Först, itererar vi om optimeringsfunktionen. Exemplet ovan överväger att optimera för ett positivt intag av uppmaningen (antingen att rapportera meddelandet var till hjälp eller klicka på rekommendationen). För vissa knuffar kan och bör optimeringsfunktionen dock vara längre nedströms. Om vi ​​till exempel bjuder in eleven att granska viktigt material, ger hon oss inte tillräcklig information om huruvida det granskningsmaterialet verkligen hjälpte hennes lärandemål om hon klickade på länken, utan bara om hon följde vår rekommendation. För dessa typer av insatser utökar vi optimeringsfunktionen till att inkludera inlärningsresultat nedströms, såsom slutförda artiklar.

För det andra, med den här inbyggda felsäkerheten, brainstormar vi och lanserar nya typer av insatser. Eftersom modellen automatiskt väljer vilka knuffar som ska fortsätta springa var och för vem kan vi utforska nya sätt att engagera eleverna, övertygade om att de som inte är till hjälp kommer att hållas tillbaka effektivt.

Intresserad av att ansöka datavetenskap till utbildning? Coursera anställer !

Lämna ett svar

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *