8. Edwin van Kempen, Afstudeeropdracht bachelor informatica
8. Edwin van Kempen, Afstudeeropdracht bachelor informatica
8. Edwin van Kempen, Afstudeeropdracht bachelor informatica
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
Webgebaseerde ontsluiting loggegevens <strong>van</strong><br />
IDEAS<br />
<strong>Afstudeeropdracht</strong> <strong>bachelor</strong> <strong>informatica</strong><br />
David Beniers, Anand Mandhre, Michiel <strong>van</strong> <strong>Kempen</strong><br />
Bastiaan Heeren, Harold Pootjes
Inhoud<br />
• Opdracht<br />
• IDEAS<br />
• Aanpak<br />
• Taakverdeling<br />
• Demonstratie (?)<br />
• ABI Project<br />
• Conclusie<br />
• Vragen en discussie
Opdracht<br />
• Web-applicatie<br />
• Informatie over gebruik <strong>van</strong> IDEAS uit gelogde interacties<br />
• Voor docenten, beleidsmakers, ontwikkelaars<br />
Programma-eisen:<br />
• Tonen gebruik door applicaties, hoe vaak, wanneer, performance<br />
• Tonen interacties tussen applicaties en IDEAS<br />
• Tonen gebruik door individuele gebruikers<br />
• Open source software
IDEAS<br />
• Interactive Domain-specific Exercise AssistantS<br />
• Interactieve assistenten voor hulp aan studenten bij oplossen <strong>van</strong><br />
opgaven (wiskunde middelbare school, propositie logica, lineaire<br />
algebra)<br />
• Web-services bij CS UU<br />
• Applicaties: oefenomgevingen (activemath, dwo, genexas,<br />
mathdox)<br />
• Project(en) bij Faculteit Computer Science, Open Universiteit en<br />
Departement voor Informatie en Computing Sciences.<br />
http://ideas.cs.uu.nl/ (Alex Gerdes, Bastiaan Heeren, Johan<br />
Jeuring)
IDEAS: Applicaties<br />
ActiveMath<br />
(Math-Bridge<br />
project)<br />
DWO<br />
Middelbare<br />
school<br />
wiskunde<br />
(Freudenthal<br />
Instituut)<br />
Genexas<br />
Logica<br />
(Open<br />
Universiteit)<br />
Overbruggingscursussen<br />
Programmeertutor<br />
Programmeren<br />
(Onderzoeksproject<br />
Alex Gerdes)
Aanpak<br />
• Non-intrusive approach<br />
• Business Intelligence<br />
• Gebruik bestaande software<br />
– open source BI suite<br />
– Pro/contra bestaande software<br />
• Verdeling taken<br />
– Data-import (Extractie, Transformatie, Laden)<br />
– Data-analyse <strong>van</strong> modelleren DataWareHouse<br />
– Analyse- en Presentatiemodules
Aanpak: Non-intrusive approach<br />
• IDEAS ongemoeid<br />
• Onafhankelijk <strong>van</strong><br />
IDEAS omgeving<br />
• Enige afhankelijkheid<br />
IDEAS database<br />
(Lezen)<br />
• Reden: performantie<br />
en flexibiliteit
Aanpak: Business Intelligence<br />
• Verzamelen <strong>van</strong> gegevens uit<br />
bedrijfsprocessen en omzetten<br />
in nuttige informatie voor<br />
belanghebbenden<br />
• Voorbeeld: opgeslagen<br />
verkooptransacties omzetten in<br />
jaaroverzichten <strong>van</strong>uit<br />
verschillende dimensies (filiaal,<br />
product, balans)<br />
• Bronnen: IDEAS database,<br />
web-sites<br />
Engine<br />
WOLIP DWH<br />
ETL<br />
WOLIP ODS<br />
CDC/EAI/ESB/…<br />
IDEAS<br />
SQLITE DB<br />
Data Visualisatie<br />
Reporting,<br />
Dashboards, KPI &<br />
Analysis<br />
Datawarehouse<br />
Integratie<br />
Source<br />
Te ontwikkelen
Aanpak: gebruik bestaande software<br />
• Open source BI suite SpagoBI (http://www.spagoworld.org ,<br />
http://spagobi.eng.it/SpagoBI)
Aanpak: gebruik bestaande software<br />
• Verschuiving <strong>van</strong> ontwikkelen naar leren en configureren<br />
• Modelleren DWH, softwareontwikkeling in ETL, ontwerpen<br />
schermen en grafieken<br />
• Pro en contra:<br />
+ Veel meer functionaliteiten en mogelijkheden<br />
+ Ondersteuning open source groep (forum, web-sites)<br />
+ Dichter bij dagelijkse praktijk Software Engineering (leerdoel)<br />
– Installatie en configuratie is complex<br />
– Veel nieuwe kennis nodig (ETL, DWH)<br />
– Veel uitzoekwerk (veel modules voor analyse en presentatie)
Taakverdeling<br />
• Data import (Extractie,<br />
Transformatie, Laden)<br />
• Data analyse en modelleren<br />
DataWareHouse<br />
• Analyse- en Presentatiemodules<br />
Engine<br />
Data Visualisatie<br />
Reporting,<br />
Dashboards, KPI &<br />
Analysis<br />
WOLIP DWH<br />
ETL<br />
WOLIP ODS<br />
Datawarehouse<br />
Integratie<br />
CDC/EAI/ESB/…<br />
Te ontwikkelen<br />
IDEAS<br />
SQLITE DB<br />
Source
Data analyse en<br />
modelleren DataWareHouse (Bron)<br />
Source Performance Location Date dimension en Usage<br />
dimension dimension dimension Time dimension dimension<br />
source service responsetime ipaddress time exerciseID input output<br />
genexas generate 0.172323 131.211.150.16 2009-04-17 15:12:52.855854 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :<br />
genexas generate 0.221545 131.211.150.16 2009-04-17 15:17:0<strong>8.</strong>951817 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :<br />
genexas generate 0.008267 131.211.150.16 2009-04-17 15:18:0<strong>8.</strong>35103 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :<br />
genexas derivation 0.0092 131.211.150.16 2009-04-17 15:19:45.33667 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params<br />
genexas derivation 0.009747 131.211.150.16 2009-04-17 15:19:51.131017 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params<br />
genexas onefirsttext 0.017016 131.211.150.16 2009-04-17 15:19:55.251186 logic.dnf { "source": "genexas", { "result": "method" [ } : "onefirsttext" , "param<br />
genexas derivation 0.008835 131.211.150.16 2009-04-17 15:19:56.699745 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params<br />
genexas derivation 0.008626 131.211.150.16 2009-04-17 15:19:57.911981 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params<br />
genexas derivation 0.008613 131.211.150.16 2009-04-17 15:19:59.590795 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params<br />
genexas derivation 0.00826 131.211.150.16 2009-04-17 15:21:0<strong>8.</strong>515536 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params<br />
genexas generate 0.041408 131.211.150.16 2009-04-17 15:22:21.249125 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :<br />
genexas derivation 0.058158 131.211.150.16 2009-04-17 15:22:24.563867 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params<br />
genexas generate 0.108355 131.211.150.16 2009-04-17 15:26:55.564809 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :<br />
genexas derivation 0.153326 131.211.150.16 2009-04-17 15:26:5<strong>8.</strong>246265 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivation" , "params<br />
genexas generate 0.032519 131.211.150.16 2009-04-17 15:29:0<strong>8.</strong>371122 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :<br />
genexas generate 0.346247 131.211.150.16 2009-04-17 15:29:36.006697 logic.dnf { "source": "genexas", { "result": "method" [ } :"generate", "params" :<br />
genexas derivationtext 0.037005 131.211.150.16 2009-04-17 15:29:39.961166 logic.dnf { "source": "genexas", { "result": "method" [ } : "derivationtext" , "para
Data analyse en<br />
modelleren DataWareHouse<br />
• Datawarehouse: database dat is gespecialiseerd voor rapportage<br />
en analyse <strong>van</strong> operationele gegevens.<br />
• Dimensional modeling: ontwerpen <strong>van</strong> datawarehouse m.b.v.<br />
“dimensies” en “feiten”<br />
• Dimensie: bron voor selecteren <strong>van</strong> gegevens (b.v. datum, tijd).<br />
• Feit: kwantitatief (optelbaar) gegeven <strong>van</strong> “iets” (b.v. bedrag en<br />
hoeveelheid <strong>van</strong> verkooptransacties).
Data analyse en<br />
modelleren DataWareHouse
Data import (Extractie, Transformatie,<br />
Laden)<br />
• ETL zijn een processen en behelst …<br />
– extractie <strong>van</strong> data <strong>van</strong> externe bronnen (IDEAS DB);<br />
– transformatie naar analytisch database model;<br />
– laden in datawarehouse<br />
• ETL processen wordt periodiek uitgevoerd (configuratie SpagoBI)<br />
• Implementatie ETL is softwareontwikkeling<br />
• Eigen ontwikkelomgeving (TALEND Open Studio, Eclipse<br />
gebaseerd)
Data import (Extractie, Transformatie,<br />
Laden)<br />
DWH<br />
ETL<br />
Datawarehouse<br />
Data Visualisatie<br />
& Presentatie<br />
ODS<br />
Integratie<br />
ETL<br />
IDEAS DB, XLS,<br />
GEOIP data<br />
Bronnen<br />
Engine<br />
Reporting,<br />
Dashboards, KPI &<br />
Analysis
Analyse- en Presentatiemodules<br />
• OnLine Analytical Processing (Interactief, datakubus)<br />
• Charts (Voorgedefinieerde interactieve grafieken)<br />
• Reports (tabellen en tekst)<br />
• Visual Query (Zelf bevragen en presenteren)<br />
• Afhankelijk <strong>van</strong> gebruikerswensen
Demonstratie<br />
• WOLIP applicatie
ABI project<br />
Okt-dec 2011 Projectplan, aanpak BI<br />
Dec 2011 Start verdiepingsopdrachten<br />
Jan-mei 2012 Modelleren, ETL, schermen, prototype<br />
Mei 2012 Demo prototype, evaluatie, extra programma-eisen<br />
Mei-aug 2012 Nieuwe specificaties, modelleren, ETL, schermen<br />
Jul-sept 2012 Hervatten verdiepingsopdrachten<br />
Sept-nov 2012 Aanpassen ETL, installeren productieomgeving<br />
Dec 2012 Afronding ?
Conclusie<br />
• Toepassen bestaande software mogelijk<br />
• Focus verschuift <strong>van</strong> programmeren naar leren en configureren<br />
• BI geschikt als oplossing, maar is veel omvattend
Vragen en discussie