Wat bracht EuroSTAR 2010? - Polteq

Presents…2010
Welkom

Sinds 2000
100 + medewerkers
100% testspecialist
100% onafhankelijk
Test management
Test engineering
Test outsourcing
Test advisering
Test opleiding
e-learning
“serving the world”
Belastingdienst
Aegon
Achmea
Essent
NOKIA
Ericsson
T-Mobile
KPN
Český Telecom
Philips
DUO
Unilever
Huawei
PepsiCo
Microsoft
KAS BANK
Novell
Daimler Chrysler
NATO
Statoil
TNT
KLM
HP
Barclays bank
ING
ABN-AMRO
RBS
Capital Group
RDW

“Passion for Testing”
Chair: John Fodeh, DK
Committee: Nathalie Rooseboom de
Vries van Delft, NL
Peter Morgan, UK
Rikard Edgren, SW
Metrics
• 18 de EuroSTAR conferentie, 3 de keer Copenhagen
• 433 inzendingen uit 27 landen
• 900+ deelnemers, samen 6500+ jaar testervaring
• 5 key notes, 39 tracks, 3 workshops, 4 minitracks,
1 live hot topic panel, 1 fun sessions, 2 power hours

Voorkeur voor …
• Tools – efficiënter testen
• Technieken – effectiever testen
• Verbetering – klaar zijn voor de toekomst
• Mensen – de vakmensen
• Leiderschap – innoveer, ontwikkel, stimuleer

Cartoon tester

Verschillende “reacties” op sessies
• Bevestiging van wat we al wisten
– Een boost voor het zelfvertrouwen!
• Geweldige presentatie, maar niet van toepassing
– Niet in lijn met hetgeen speelt bij onze organisatie…
• Jammer dat ik deze had gekozen…
– Er zit er altijd wel eentje tussen…
… nog beter voorbereiden?
• Direct toepasbaar op onze situatie!
– Wist de spreker dat ik in de zaal zou zitten?

Eerste reactie van uw verslaggevers
• In tegenstelling tot de afgelopen keer, beperkte
discussie, weliswaar levendig debat, maar geen “strijd”
– “Men is het met elkaar eens”
– “Levendig, maar geen tegenstellingen”
– “Er overheerst één smaak. Lekker, maar…”
• Overheersende smaak?
– Deel het op in hapklare brokken
– Agile, Lean, Reduce Waste
– Samenwerken…

Eerste reactie van uw verslaggevers
• In tegenstelling tot de afgelopen keer, beperkte
discussie, welisiwaar levendig debat, maar geen “strijd”
– “Men is het met elkaar eens”
– “Levendig, maar geen tegenstellingen”
– “Er overheerst één smaak. Lekker, maar…”
• Overheersende smaak?
– Deel het op in hapklare brokken
– Agile, Lean, Reduce Waste
– Samenwerken…
• Weinig nieuws over & vanuit het testen
• Vernieuwing komt van buiten
– Logisch vervolg op de “Agile” trend

Eerste reactie van uw verslaggevers
• Sommige smaken ontbraken
– E2E testen, Service Oriented Architecture, Cloud,
(Out)sourcing, Test Design

Polteq Vragenlijst
• Wat is het belangrijkste punt dat de spreker wil maken?
• Wat voor opvallends zit in de presentatie?
• Wat is het directe nut?
• Wat neem jij mee van de presentatie?
• Hoe groot schat je de impact op de toekomst van testen?
• Adviesscore 1 = wel op WBE 2010
2 = misschien op WBE 2010
3 = niet op WBE 2010

Welkom!
Presents…2010
Het moderne testen Ruud Teunissen
Testmanagement Gerard Numan
Techniek & Verbetering Kees Blokland
Kritisch denkgereedschap Gerard & Ruud
Afronding
Broodjes

Traditional roles change
Roles become dynamic
Collaboration is key

Passie? Passie!
• Wees hartstochtelijk, inspireer anderen
– Gebruik positieve woorden
– Daag anderen uit
– Laat je betrokkenheid zien
– Deel verhalen
– Wees een voorbeeld
– Wees enthousiast
• Zoek continu nieuwe bronnen van inspiratie

Wat motiveert testers?
Positieve drijfveren
Analytisch
Nieuwsgierig
Perfectionisten
Gepland, systematisch
en “Pietje Precies”
Persistent
Kruisvaarders
Praktisch
Geweten
Negatieve drijfveren
Ondiplomatiek
Skeptisch
Perfectionisten
Weinig empathie voor
ontwikkelaars
Eigenwijs
Te gefocust
Gaan voor het scoren

Maslow!
Job security, stability
Predictable behaviour
Safe to make mistakes
Secure environment
Self respect
Acceptance
Respect
Desire to become everything a tester is capable of
Friendship & teamwork
Welcoming atmosphere
With it, easier to communicate
Competitive salary Food, water (beer?)
Comfortable environment Flexible & sensible hours

Checklist “lean” (afval reductie)
• Heeft het toegevoegde waarde voor de klant?
• Creëren we meer output dan gevraagd?
• Voeren we onnodige taken uit?
• Handelen we in lijn met het principe “Right from me”?
• Ongecontroleerd “afval” zonder het op te ruimen?
• Zijn we ons bewust van verbetermogelijkheden?
• Continu verbeteren, leer van eerdere projecten

“On demand” Testen CROWDSOURCING
Taking a service traditionally performed by a person
or team and sourcing it to a large online group of
people as an open project
• Testmanagement is gecompliceerd
– Complex, in feite oneindig
– Gedistribueerde services / resources
– Extreem hoge verandertempo
– Onverwacht wenden & draaien
• Booming market
– met name voor mobile Apps

Agilistas corner

Exploratory Testing (ET)
Simultaneous learning, test design, and execution “
…a way of thinking about testing…”
• Succesvol als aanvulling op bestaande aanpak,
zelfs waar je het niet onmiddellijk zou verwachten
– Medische apparaten (neonatologie)
• Belangrijk side-effect
– ET helpt bij het aantonen dat testen belangrijk is
– Door “vrijheid” en buiten de gebaande paden (scripts)
– Maakt derden enthousiast voor het testen!
• Kritieke succesfactor voor ET:
– Session Based Test Management (SBTM)

Session Based Test Management (SBTM)
• Kritieke succesfactor voor ET
– ET vraagt om ander soort planning en aansturing!
• Verschillende type sessies

Session Based Test Management (SBTM)

Session Based Test Management (SBTM)
• Kritieke succesfactor voor ET
– ET vraagt om ander soort planning en aansturing!
• Verschillende type sessies
• Zelfde opzet
Mission
Charter (Uninterupted)
Log file
Briefing

SBTM
• Dekking (type sessie)
• Metrics (bewijslast)
• Flexibiliteit (omgaan met veranderingen)
• Kennis opdoen en delen
• Vaardigheden (blijven) opbouwen
• Session log – op het gewenste detail niveau
• Gebaseerd op Charters – door/voor de tester
• Ongestoorde testtijd – 60, 90 of120 min
• Alleen of in koppeltjes
• “Briefing”: iedere dag

SCRUM
• Oplossing voor groeiende complexiteit
• Er zijn wel degelijk regels
• GEEN excuus om NIET te documenteren
• Sluit de acceptanten niet uit!

Welkom!
Presents…2010
Het moderne testen Ruud Teunissen
Testmanagement Gerard Numan
Techniek & Verbetering Kees Blokland
Kritisch denkgereedschap Gerard & Ruud
Afronding
Broodjes

Verbrokkeling door Agility
• Agile
1. Testen ontwikkelteams in getrokken
2. “Zeepbel” rond ontwikkeling van 1 systeem of
component
3. Valideren en verifiëren staat voorop: laten zien van
waarde voor de klant.
• Valkuilen
1. Integratie van systemen en architectuur “vergeten”
2. Samenwerken met andere teams moeilijk
3. Falsifiëren makkelijk vergeten (negatief testen)
4. Non-functionals makkelijk vergeten (pas testbaar in
complete architectuur)

Verbrokkeling door Agility
• Maatregelen
1. Test Ideas
a. Wat gebeurt er als…?
b. Wat zou er gebeuren als…?
c. Wat kan er misgaan?
d. ….?
2. Test charters
3. Pair testing
4. Test ontwerp patterns
5. Organiseren E2E test

Verlies van tijd
• Tijd besparen heeft meer directe betekenis voor
anderen dan goed testen
• Oorzaken van tijdverlies
– Gebrek aan interesse in werk van anderen
– Herkennen van patronen (+/-)
• Wordt onderdeel van succes
• Voorkom frustratie
• Lessons learned
– Verantwoordelijkheden/ grenzen afstemmen
– Wachttijd (omgevingen, bevindingen)
– Informatie najagen (multirealiteit, informatie sessies,
modelleren)

Risicoanalyse

Risicoanalyse
• Feit: Risico‟s van klant kunnen extreem hoog zijn
• Feit: Gevolgen zijn pas zichtbaar na ingewikkelde
keten van oorzaak en gevolg
• Maatregelen
– Risicoanalyse op basis van gebruikerscenario‟s/
perspectief van de klant
– Risicoanalyse en beperkende maatregelen niet alleen
testzaak
– Risico‟s H-M-L in simpele risicorepresentatie
– M: dekking As Low as Reasonably Possible (ALARP)

Risicoanalyse

Testboekhouden
• Financiële boekhouding: permanent bijhouden van
activa en passiva
• COMPAS:
– Control (actueel overzicht)
– Ownership (verantwoordelijkhden, rollen, acteurs)
– Message (rapportage)
– Priority (waarde, invloed, risico‟s)
– Alignment (terminologie, organisatie)
– Scope (inhoud testen)

Testboekhouden

Te veel
• Formaliteit, onafhankelijkheid heeft keerzijdes:
– Arrogant, kwaad bloed
– Immuun voor andere perspectieven, conservatief, safety
zone
– Verantwoordelijkheid, geen verantwoordelijkheidsgevoel
– Reactief
• Maatregelen:
– Kijk dagelijks eens met de ogen van anderen naar het
testteam
– Waag je aan voorspellingen waar anderen wat aan
hebben (verwachte # fouten nog te vinden)
– Nestel je in het project team
– Omarm verandering

Te weinig kwaliteitsgedreven
• Kwaliteit
1. FLOW: Q is niet stabiel: verwachtingen zijn niet stabiel,
documenten zijn niet stabiel, systemen zijn niet stabiel,
mensen zijn niet stabiel
2. Is niet afhankelijk van wat de klant heeft besteld, maar
wat zij nodig heeft
3. Moet bij iedereen tussen de oren zitten, van begin tot
eind
4. Is nooit 100% (niets is 100%)

Te weinig kwaliteitsgedreven
• Kwaliteitsgedrevenheid
1. Infecteer anderen met het testvirus
2. Continue acceptatie: acceptatiegedreven ontwerp, bouw
en test
3. Emotionele acceptatie: creëer een speel- en
leeromgeving (ook voor ontwikkelaars en testers)
4. Ga uit van imperfectie:
1. Communicatie is het zo min mogelijk misverstaan
van anderen
2. Kwaliteit is een bepaalde waarde voor iemand en niet
het volledig voldoen aan specificaties
3. Organiseer kennissessies

Autisten die testen
1. Wat “normaal” is, hangt af van de norm
2. De norm is nu: agility, generalisme, flexibiliteit,
snelheid
3. Daarmee worden mensen met hele specifieke
vermogens buiten spel gezet: abnormaal gemaakt.
B.v. autisten
4. The weed versus the herb perspective
5. De kracht van onredelijke mensen
6. “Zelf-gerichtheid” = Autisme ≠ Rainman

Abnormaal?

Autisten
Krachten
1. Oog voor details
2. Leervermogen
3. Ander perspectief
4. Foutdetectie
5. Patroonherkenning
6. Repeterend werk
zonder
concentratieverlies
7. Eerlijk
8. Vasthoudend
Zwaktes
1. Communicatief onbegrip
2. Het “spel” niet kunnen spelen
3. Geen zelfvertrouwen
4. Minder overzicht
5. Niet stressbestendig
6. Geen netwerk
7. Depressiegevoelig
8. Begeleiding nodig

Onderzoeksresultaten
1. Wat is de kans dat we nog fouten in productie zullen
vinden?
2. Moeten we formeel gaan reviewen en wat betekent
dit voor andere testen?
3. Wat is de waarde van testresultaten of keuzes mbt
inrichting van testen?
4. Vraag naar ondersteuning/ toetsing aan algemene
inzichten en feiten: juiste vertrouwen: van opinie
naar feit.
5. Vraag naar bewijs en onderzoek “uit het veld” en “uit
de wereld”

Onderzoeksresultaten
• Voorbeelden
1. Systeemtest 40% defect find efficiency
2. Formele reviews: 85% defect find efficiency
3. Statische analyse: 87% defect find efficiency
– Maar: wat betekent dit?
– Hoe vergelijken we dit met onze eigen situatie?

Welkom!
Presents…2010
Het moderne testen Ruud Teunissen
Testmanagement Gerard Numan
Techniek & Verbetering Kees Blokland
Kritisch denkgereedschap Gerard & Ruud
Afronding
Broodjes

ECL Economic Conformance Level
Ook Joseph Juran: 6σ, Lean, Pareto
Balans, verbetering
How Much Testing is Enough?
Joseph Juran

Optimaliseren, verbeteren
• De balans zoeken
– Meer/minder(!) testen,meer/minder testdiepgang
– Minder/meer preventieve maatregelen
• Efficiency verhogen
– Fouten in een eerdere fase vinden
– De invoering van testautomatisering
– „Lean‟ werken
– Verbeteren van samenwerking
– Review proces verbeteren
– Formaliseren unit testen EN verminderen systeem test
– Verminderen aantal releases
Vergeet niet te dat je het moet meten!

Test Process Improvement
• Verschillende alternatieven
• Niets nieuws
• TMMi level 4 en 5 aangekondigd
Probleem!
De kracht van TMMi is “thoroughness”
Maar TMMi foundation presenteert “informal TMMi”
• Verder was er nog een pragmatische benadering voor
verbetering, maar die bleek helaas een verzameling
uit de oude doos...

Data and Application Migration
The do‟s and don'ts
• Migraties
– Outsourcing
– Virtualisatie
– Server en opslag consolidatie, verplaatsing
• Uitdagingen
– Geen onderbreking van het business proces
– Complexiteit van de data mapping
– Vervuiling van data, compleetheid na migratie
– Continuïteit van transacties die al onderweg zijn
• Succes factoren
– Samenwerking met business en IT, acceptatiecriteria
– Regressie testen, data schoning
– Gedetailleerde planning

Data and Application Migration
The do‟s and don'ts
• Migratiestrategie van de data rebuild – copy – IP adr.
• Migratie-implementatie big bang – incremental - sync
• Non functional testing
– Performance test
– Security test
– Portabiliteit test
– Fall back & recovery test
Migraties: onderschat het nooit!

Branch out using Classification
Trees for test case design
The Power Tool
• for different jobs
• variable speeds
• for different skills
• many functions
• provides flexibility
• appeals to all people
• a MUST in your toolbox

Classification Tree

Toepassing
• Tool: CTE-XL; gratis versie
– Afhankelijkheden
– All Pairs
Classification trees: a power tool that can be
used by everyone
Except small children…

Are we ready for cloud testing?
Cloud computing is het via het internet op aanvraag
beschikbaar stellen van hardware, software en
gegevens, ongeveer zoals stroom uit het
elektriciteitsnet.
Wikipedia
• Cloud computing gebruiken voor testdoeleinden
• Toepassing en koppelen van Open Source Tools
• Opschalen „virtual users‟ bij performance test
• Schaalbaarheid van de CLOUD zelf testen
• Tests worden georkestreerd met eigen tool

Virtual Test Labs The next frontier
Het probleem: bevinding reproduceert niet bij bouw
De oplossing: “Rewinding clock with snapshots”
Procedure is als volgt:
• Testen op een virtuele omgeving
• Bevinding!
• Snapshot van de hele omgeving maken
• Als bijlage bij bevinding meeleveren
• Bouwer kan snapshot activeren en foutzoeken

Agile Test Design and Automation of a
Life-Critical Medical Device
• Context:
– 700 manjaar ontwikkeling
– 11000 pagina‟s aan specs
– Medisch apparaat voor persoonlijk gebruik
• Uitdaging:
– Huge volume of formal, manual test
– Short development sprints
• Oplossing: test automatisering
– Concept met „test primitives‟
– Reuse of unique scripts
– Scalable and flexible approach

”Death by test script maintenance”
“Primitives” approach saves till 50% of work
Er was echter één probleem…
Het project is helaas afgebroken

A Lean And Mean Approach To
Model-Based Testing Open Source Tools

Model maken met yEd
graphical editor
Testdata uit excel
(Testframe)
Model plus testdata geeft de
feitelijke testgevallen
Open Source Tools
Maatwerkprogramma
Inkoppelen testdata
in model

A Lean And Mean Approach To
Model-Based Testing
?
Wel een mooie casus!

Open Source Tools for Test Management
Test Link
Requirements
management
Performance
testing
framework
Jmeter
Selenium
Automation
testing framework
Security testing
framework
Paros Proxy
SONNET BUS
Bugzilla, Mantis
Defect tracking
SOA testing
framework
SoapUI
Junit
Unit testing
framework
SONNET reporting
engine

Implementing continuous integration
A case study
• Continuous integration
– Stroom van SW wijzigingen in een basis codeline
– Met een zekere regelmaat (bv dagelijks)
– Vaak zijn er meerdere branches
– Testen op meerdere parallelle omgevingen

Implementing continuous integration
A case study
• Continuous integration
– Stroom van SW wijzigingen in een basis codeline
– Met een zekere regelmaat (bv dagelijks)
– Vaak zijn er meerdere branches
– Testen op meerdere parallelle omgevingen
• Vergt veel en vaak regressietesten
• Inrichten testautomatisering
– Management support nodig
– Flexibiliteit nodig, maar don’t adapt the team to the tool
– Gestructureerde toolselectie en toolimplementatie
– Opbouwen programmeervaardigheden QA team
Ondersteuning nodig van de andere afdelingen

Welkom!
Presents…2010
Het moderne testen Ruud Teunissen
Testmanagement Gerard Numan
Techniek & Verbetering Kees Blokland
Kritisch denkgereedschap Gerard & Ruud
Afronding
Broodjes

Opvallend en nadrukkelijk aanwezig
Alternatieve processen
• Testing 2.0
• Agile
• Lean
• Service Driven
• Context School
• Dynamisch
• Hybride
• “Reduction of waste”
Inside Out
R

Kritisch denkgereedschap voor testers
• Cognitive tools
• Critical thinking movement

De wereld van het denken
– Feiten, waarneming
– Gevoel
– Belang
– Angst
– Redenering
– Taal
– Rethorica
– Anderen
– Conclusie
– Emotie

… vertaald naar de wereld van het testen
– Feiten, waarneming
– Gevoel
– Belang
– Angst
– Redenering
– Taal
– Rethorica
– Anderen
– Conclusie
– Emotie
Testresultaten
De software is wéér te laat…
Mijn deel is echt cruciaal!
Heb ik alles gezien?
Root Cause Analysis
Dit is een showstopper
Als zelfs dit niet werkt…
Hij maakt ook altijd dezelfde fout!
We gaan niet live!
Yes!!!
R

Kritisch denken
• Feit
– Waar baseren we ons op: autoriteiten, onderzoek? Zijn
deze relevant of controleerbaar?
• Waarneming
– Zien we wat we zien?
• Redenering
– Volgt uit de feiten of de waarneming noodzakelijk de
conclusie, zijn er andere conclusies mogelijk of sluipen
er andere, niet relevante zaken mee?
• Conclusie
– Is de formulering conform de inhoud, suggereren we
meer of minder, is het toegesneden op het publiek?

… vertaald naar kritisch testen
• Feit
– Alle (functionele) testgevallen zijn uitgevoerd.
Hoe relevant is dat eigenlijk?
• Waarneming
– Er zijn geen openstaande bevindingen meer
• Redenering
– Er zijn geen openstaande bevindingen meer, alle
testgevallen zijn uitgevoerd. Laat ik maar niet melden
dat de testgevallen enkel “functioneel” waren en ik geen
goed gevoel heb over de andere aspecten. De Project
Manager was laatst al enorm boos op ons…
• Conclusie
– Alles is getest en goed bevonden, dus is er geen reden
meer om NIET live te gaan.
R

Kritische analyse: waarheid
• Is de stelling “Groningers zijn stug” waar, als ik 100
Groningers kan aanwijzen die stug zijn?
• Maar: ik kan ook 100 Gelderlanders, Friezen en
Limburgers vinden die stug zijn.
• Ik kan ook 100 niet-stugge Groningers vinden.
• Als verificatie (goed-gevallen) het (enige) criterium
voor waarheid is, kan ik bijna alles bewijzen en ook
het tegendeel daarvan!

Kritische analyse: waarheid
• Wetenschapstheorie
1. Observeren
2. Vragen
3. Hypothese
4. Ontwerp experiment
5. Experimenteren
6. Conclusie
• Project
1. Eisen en wensen
2. Specificatie
3. Bouw
4. Testanalyse
5. Testuitvoering
6. Conclusie

… vertaald naar onze wereld
• Project
Requirements?
Vragen??
Luisteren???
1. Eisen en wensen
2. Specificatie
3. Bouw
4. Testanalyse
5. Testuitvoering
6. Conclusie
R

Kritische analyse: waarheid
• In wetenschap maar ook in een waarheidsvindende
discipline als testen geldt:
• Er zijn alleen graden van waarschijnlijkheid en
geen 100% waarheid of kwaliteit
• Verificatie geeft alleen een eerste, basale, check
• Falsificatie of negatief testen (en de mate waarin de
theorie of het systeem dit overleeft) geeft inzicht in de
graad van waarschijnlijkheid of de kwaliteit

Taalbewustzijn
Communicatie
• Belang van een gedeelde realiteit
– denkwerelden op elkaar afstemmen
• De ene denkwereld moet de andere niet overnemen
• Als er geen gedeelde realiteit is:
– Desinteresse
– Offensief
– Defensief

Taalbewustzijn
Communicatieverstoringen
• Oordelende termen: “zijn”
– “De iPhone is een slechte telefoon”
– Wat ik bedoel: “ik heb geen iPhone omdat ik mijn
telefoon als externe harde schijf wil gebruiken en dat
kan met de i-phone niet”
• Emotie-geladen termen (“alle”, “geen een”, “rot”, ….)
– Spreek dus in termen van wat jij vindt en de
onderbouwing daarvan ipv je mening als absoluut
gegeven
“het systeem zit vol met fouten”
– Voorkomt onbedoelde offensieve en defensieve houding
“dat zullen we nog wel eens zien”

Het Stroop Effect
• Uw ogen zijn krachtiger dan uw mond!
is “hard-wired” in onze hersenen
• Evolutie helpt ook nog een handje mee...
. . . .
. . . .
R

Drogredenen
Afleiden
• Niet relevante toevoeging
– we zijn niet op tijd klaar maar het scherm is wel getest
• Persoonlijke aanval
– maar jij bent altijd om 4 uur al weg
• Niet-bekende autoriteit
– uit recent Noord-Koreaans onderzoek blijkt …
• Nitpicking
– zoeken naar een klein detail wat niet goed gaat en daar
op blijven hameren
• Zekerheidsparalyse
– je bent niet 100% zeker en dus betekent wat je zegt
helemaal niets

Drogredenen
Minste van 2 kwaden
• Laten we maar stoppen met testen want alles testen is
onmogelijk terwijl we nooit alle fouten zullen vinden
Verborgen agenda’s / luiheid
• We veranderen het proces
– als eigenlijk mensen het probleem zijn
• We gaan onze medewerkers opleiden
– en doen niets aan slecht functionerend management
• We nemen een testtool
– en gaan niet overwerken of slimmer testen terwijl dat
het probleem veel beter oplost
• We gaan outsourcen
– omdat we het probleem zelf niet willen oplossen

Axioma‟s
• Een axioma is een niet bewezen, maar als grondslag
aanvaarde stelling en wordt gebruikt bij het bewijzen
van andere stellingen. Let op:
– axioma's mogen niet met elkaar in tegenspraak zijn
– axioma's mogen niet uit andere axioma's afgeleid
kunnen worden
• Testen: 16 axioma‟s – 3 groepen
– Stakeholder
– (Test) Design
– (Test) Delivery
Testen heeft tenminste één belanghebbende
Testen is gebaseerd op een model van de werkelijkheid
Testen is nooit klaar, het stopt gewoon
R

Waarom u test zoals u test!
Context
+ Waarden
+ Denken
= Aanpak

Hoe u kunt verbeteren!
Axiomas
+ Context
+ Waarden
+ Denken
= Aanpak

Tenslotte

Tenslotte
Focus op het verbeteren van de service aan de klant,
niet op het verbeteren van het testen zelf
Het doel van testen is zo veel mogelijk bij te dragen aan
de kwaliteit, niet alleen maar het aanwezig zijn
Not Invented Here Syndroom
Hoed u voor het NIH-Syndroom
Kritische noot van uw verslaggever:
Verlies “the big picture” niet uit het oog