Mon Parod DevMOOCDashboard · NorthwesternUniversity • Private$/$Big$Ten$ •...

Developing  an  Analy.cs  Dashboard  for  Coursera  MOOC  Discussion  Forums  

 CNI  Fall  2014  Membership  Mee.ng  

Bill  Parod  Northwestern  University  Informa7on  Technology  

Northwestern  University  

•  Private  /  Big  Ten  •  Campuses  in  Evanston,  Chicago,  Qatar  

•  12  Schools  and  Colleges  

•  19,000  Students  •  2,500  Full-­‐7me  Faculty  •  $1.9B  Budget  •  $7B  Endowment  

Northwestern    Coursera    MOOCs  

Coursera  Analy7cs  Dashboard  

Coursera  Data  Exports  

•  48  Tables:      •  Structure  &  Content  •  Users  •  Permissions  •  Assessments  •  Forums  •  Quiz  Submissions  •  Lecture  Views  

ER  Diagram  from  University  of  Michigan      

Ini.al  Analysis  Efforts  

•  Past  Project  Experience  –  Humani7es  Compu7ng  –  Corpus  Linguis7cs  –  Repository  Applica7ons  

•  Discussion  Forum  Analysis  and  Visualiza7on  –  Topic  Analysis  –  Sen7ment  Analysis  –  Geo-­‐loca7on  –  Data  Model  Simplifica7on  –  Dis7nguishing  Group  Sta7s7cs  –  Visualiza7on  Techniques  

Top  18  Topics  and  their  Keywords    

Topic  Modeling  UMass  Mallet    

TOPIC:  news  ar7cles  sources  local  newspaper  story  newspapers  …  

Topic  Modeling  UMass  Mallet    

Gephi  

Topics  /  Posts  Network  Graph  

Gephi  

Topics  /  Posts  Network  Graph  

Sen.ment  Analysis  AlchemyAPI    

IP-­‐Address  Geoloca.on    

 GeoLite2  +  KML  +  Google  Earth    

MOOC  Sta.s.cal  Analysis  

Dis.nguishing  Groups  All  Homeworks  Done  /    

Post  Votes    

Bubble  Graph  of  MOOC  Components  

Assignments  

Forums  Quizzes  Video  Lectures  

…  but  what  are  people  saying  in  the  Forums?  Well,  let’s  search  them!  

Full-­‐text  search  with  faceted  browsing  

Faceted  Browse  Applica.on  Framework  

•  Drupal  Interface  Components    •  Drupal  and  LDAP  Iden7ty  and  Access  Management  (IAM)  •  Solr  Indexing  and  Discovery  •  Google  Charts  and  D3  Visualiza7on  

•  …  but  can  we  offer  more  facets?  

Metadata  Enhancement  Services  

•  Named  En7ty  Recogni7on  (Stanford  NLPG  NER)  –  People  –  Place  Names  –  Organiza7ons  

•  Keyword  Extrac7on  (topia.termextract)  •  Sen7ment  Analysis  (local  impl.  of  Narayanan  et  al)  •  Topical  Analysis  (DMOZ  “Open  Directory  Project”)  •  IP  Address  to  Geographic  Loca7on  (MaxMind)  •  Place  Name  to  Geographic  Loca7on  (GeoNames)  

Enterprise  SOA  Meets  Humani.es  Compu.ng  

•  Enterprise  Service  Bus  and  Registry  –  Porkolio  of  services  –  Reuse  locally  developed  solware  –  Leverage  growing  abundance  of  external  services  

•  Flexible  Service  Orchestra7on  –  Compose  and  orchestrate  services  for  specific  needs  –  Obtain  low  incremental  cost  for  new  projects  –  Used  for  Metadata  Enhancement  &  Indexing  Pipeline  –  Leverage  Apache  Camel  /  Fuse  /  JMS  Messaging  

Service  Orchestra.on  

En7ty  Extrac7on  

Topic  Analysis  

Sen7ment  Analysis  

Event  Aggrega7on  

Keyword  Extrac7on  

Geo  Loca7on  

Metadata  Enhancement  Pipeline  

Metadata  Enhancement  Services  

Visualiza.on  Graphics  for  Result  Sets  

Streamgraph  of  Learner  Country  

United  States  

Streamgraph  of  OrganizaBons  MenBoned  

YouTube   Facebook  

Google  

LaBtude  /  Longitude  Heatmap  

Geographic  Coverage  by  Country  

Pie  Chart  for  any  Facet  Learner  City  Pivot  on  Learner  Country  (India)  

Word  Cloud  on  Keyword  Facet  

Word  Cloud  on  Keyword  Facet  

Word  Cloud  on  Places  MenBoned  Facet  

Remove,  Pivot,  and  Inspect  Posts  

3  Ideas…  

•  Rou7nize  Analysis  Services  with  SOA  –  Text  analysis  services  –  Geographic  lookup  services  –  Sen7ment  analysis  

•  Leverage  Analysis  Services  with  Orchestra7on  Layer  –  Metadata  enhancement  –  Metadata  and  full  text  indexing  

•  Applica7on  Framework  with  Visualiza7on  Graphics  –  Full  Text  and  Faceted  Discovery  –  Result  Set  Visualiza7on  

next  steps…  

Next  Steps  

•  Faculty  Feedback  –  More  demographic  fields  (skill  level,  educa7on,  7me  expecta7on,  etc…)  –  Train  classifiers  for  various  types  of  interac7on  –  Alert  systems  for  “On  Demand”  courses?  –  Geoloca7on  for  Place  Names  –  …  gather  more  feedback  –  We  just  recently  launched  

•  Applica7on  Framework  –  Evolve  applica7on  plakorm  (instead  of  Drupal)  –  Evaluate  other  “noSQL”  indexing  solu7ons  (instead  of  Solr)  

•  Learning  Analy7cs  –  LTI  Apps  for  Instructure  Canvas  Transi7on  Repor7ng  –  Early  Discussions  at  NU  and  CIC  about  Learning  Analy7cs  

Thank  You  

Ques.ons?  

bill-­‐parod@northwestern.edu  Northwestern  University  Informa.on  Technology