8. Edwin van Kempen, Afstudeeropdracht bachelor informatica

Webgebaseerde ontsluiting loggegevens van
IDEAS
Afstudeeropdracht bachelor informatica
David Beniers, Anand Mandhre, Michiel van Kempen
Bastiaan Heeren, Harold Pootjes

Inhoud
• Opdracht
• IDEAS
• Aanpak
• Taakverdeling
• Demonstratie (?)
• ABI Project
• Conclusie
• Vragen en discussie

Opdracht
• Web-applicatie
• Informatie over gebruik van IDEAS uit gelogde interacties
• Voor docenten, beleidsmakers, ontwikkelaars
Programma-eisen:
• Tonen gebruik door applicaties, hoe vaak, wanneer, performance
• Tonen interacties tussen applicaties en IDEAS
• Tonen gebruik door individuele gebruikers
• Open source software

IDEAS
• Interactive Domain-specific Exercise AssistantS
• Interactieve assistenten voor hulp aan studenten bij oplossen van
opgaven (wiskunde middelbare school, propositie logica, lineaire
algebra)
• Web-services bij CS UU
• Applicaties: oefenomgevingen (activemath, dwo, genexas,
mathdox)
• Project(en) bij Faculteit Computer Science, Open Universiteit en
Departement voor Informatie en Computing Sciences.
http://ideas.cs.uu.nl/ (Alex Gerdes, Bastiaan Heeren, Johan
Jeuring)

IDEAS: Applicaties
ActiveMath
(Math-Bridge
project)
DWO
Middelbare
school
wiskunde
(Freudenthal
Instituut)
Genexas
Logica
(Open
Universiteit)
Overbruggingscursussen
Programmeertutor
Programmeren
(Onderzoeksproject
Alex Gerdes)

Aanpak
• Non-intrusive approach
• Business Intelligence
• Gebruik bestaande software
– open source BI suite
– Pro/contra bestaande software
• Verdeling taken
– Data-import (Extractie, Transformatie, Laden)
– Data-analyse van modelleren DataWareHouse
– Analyse- en Presentatiemodules

Aanpak: Non-intrusive approach
• IDEAS ongemoeid
• Onafhankelijk van
IDEAS omgeving
• Enige afhankelijkheid
IDEAS database
(Lezen)
• Reden: performantie
en flexibiliteit

Aanpak: Business Intelligence
• Verzamelen van gegevens uit
bedrijfsprocessen en omzetten
in nuttige informatie voor
belanghebbenden
• Voorbeeld: opgeslagen
verkooptransacties omzetten in
jaaroverzichten vanuit
verschillende dimensies (filiaal,
product, balans)
• Bronnen: IDEAS database,
web-sites
Engine
WOLIP DWH
ETL
WOLIP ODS
CDC/EAI/ESB/…
IDEAS
SQLITE DB
Data Visualisatie
Reporting,
Dashboards, KPI &
Analysis
Datawarehouse
Integratie
Source
Te ontwikkelen

Aanpak: gebruik bestaande software
• Open source BI suite SpagoBI (http://www.spagoworld.org ,
http://spagobi.eng.it/SpagoBI)

Aanpak: gebruik bestaande software
• Verschuiving van ontwikkelen naar leren en configureren
• Modelleren DWH, softwareontwikkeling in ETL, ontwerpen
schermen en grafieken
• Pro en contra:
+ Veel meer functionaliteiten en mogelijkheden
+ Ondersteuning open source groep (forum, web-sites)
+ Dichter bij dagelijkse praktijk Software Engineering (leerdoel)
– Installatie en configuratie is complex
– Veel nieuwe kennis nodig (ETL, DWH)
– Veel uitzoekwerk (veel modules voor analyse en presentatie)

Taakverdeling
• Data import (Extractie,
Transformatie, Laden)
• Data analyse en modelleren
DataWareHouse
• Analyse- en Presentatiemodules
Engine
Data Visualisatie
Reporting,
Dashboards, KPI &
Analysis
WOLIP DWH
ETL
WOLIP ODS
Datawarehouse
Integratie
CDC/EAI/ESB/…
Te ontwikkelen
IDEAS
SQLITE DB
Source

Data analyse en
modelleren DataWareHouse (Bron)
Source Performance Location Date dimension en Usage
dimension dimension dimension Time dimension dimension
source service responsetime ipaddress time exerciseID input output
genexas generate 0.172323 131.211.150.16 2009-04-17 15:12:52.855854 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :
genexas generate 0.221545 131.211.150.16 2009-04-17 15:17:08.951817 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :
genexas generate 0.008267 131.211.150.16 2009-04-17 15:18:08.35103 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :
genexas derivation 0.0092 131.211.150.16 2009-04-17 15:19:45.33667 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params
genexas derivation 0.009747 131.211.150.16 2009-04-17 15:19:51.131017 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params
genexas onefirsttext 0.017016 131.211.150.16 2009-04-17 15:19:55.251186 logic.dnf { "source": "genexas", { "result": "method" [ } : "onefirsttext" , "param
genexas derivation 0.008835 131.211.150.16 2009-04-17 15:19:56.699745 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params
genexas derivation 0.008626 131.211.150.16 2009-04-17 15:19:57.911981 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params
genexas derivation 0.008613 131.211.150.16 2009-04-17 15:19:59.590795 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params
genexas derivation 0.00826 131.211.150.16 2009-04-17 15:21:08.515536 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params
genexas generate 0.041408 131.211.150.16 2009-04-17 15:22:21.249125 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :
genexas derivation 0.058158 131.211.150.16 2009-04-17 15:22:24.563867 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params
genexas generate 0.108355 131.211.150.16 2009-04-17 15:26:55.564809 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :
genexas derivation 0.153326 131.211.150.16 2009-04-17 15:26:58.246265 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params
genexas generate 0.032519 131.211.150.16 2009-04-17 15:29:08.371122 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :
genexas generate 0.346247 131.211.150.16 2009-04-17 15:29:36.006697 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :
genexas derivationtext 0.037005 131.211.150.16 2009-04-17 15:29:39.961166 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivationtext" , "para

Data analyse en
modelleren DataWareHouse
• Datawarehouse: database dat is gespecialiseerd voor rapportage
en analyse van operationele gegevens.
• Dimensional modeling: ontwerpen van datawarehouse m.b.v.
“dimensies” en “feiten”
• Dimensie: bron voor selecteren van gegevens (b.v. datum, tijd).
• Feit: kwantitatief (optelbaar) gegeven van “iets” (b.v. bedrag en
hoeveelheid van verkooptransacties).

Data analyse en
modelleren DataWareHouse

Data import (Extractie, Transformatie,
Laden)
• ETL zijn een processen en behelst …
– extractie van data van externe bronnen (IDEAS DB);
– transformatie naar analytisch database model;
– laden in datawarehouse
• ETL processen wordt periodiek uitgevoerd (configuratie SpagoBI)
• Implementatie ETL is softwareontwikkeling
• Eigen ontwikkelomgeving (TALEND Open Studio, Eclipse
gebaseerd)

Data import (Extractie, Transformatie,
Laden)
DWH
ETL
Datawarehouse
Data Visualisatie
& Presentatie
ODS
Integratie
ETL
IDEAS DB, XLS,
GEOIP data
Bronnen
Engine
Reporting,
Dashboards, KPI &
Analysis

Analyse- en Presentatiemodules
• OnLine Analytical Processing (Interactief, datakubus)
• Charts (Voorgedefinieerde interactieve grafieken)
• Reports (tabellen en tekst)
• Visual Query (Zelf bevragen en presenteren)
• Afhankelijk van gebruikerswensen

Demonstratie
• WOLIP applicatie

ABI project
Okt-dec 2011 Projectplan, aanpak BI
Dec 2011 Start verdiepingsopdrachten
Jan-mei 2012 Modelleren, ETL, schermen, prototype
Mei 2012 Demo prototype, evaluatie, extra programma-eisen
Mei-aug 2012 Nieuwe specificaties, modelleren, ETL, schermen
Jul-sept 2012 Hervatten verdiepingsopdrachten
Sept-nov 2012 Aanpassen ETL, installeren productieomgeving
Dec 2012 Afronding ?

Conclusie
• Toepassen bestaande software mogelijk
• Focus verschuift van programmeren naar leren en configureren
• BI geschikt als oplossing, maar is veel omvattend

Vragen en discussie