Inzicht in interne en externe geldigheid

Interne en externe validiteit zijn concepten die weergeven of de resultaten van een onderzoek al dan niet betrouwbaar en zinvol zijn. Hoewel interne validiteit betrekking heeft op hoe goed een onderzoek wordt uitgevoerd (de structuur ervan), heeft externe validiteit betrekking op hoe toepasbaar de bevindingen zijn op de echte wereld..

Interne goedkeuring

Interne validiteit is de mate waarin een onderzoek een betrouwbare oorzaak-gevolg-relatie tussen een behandeling en een uitkomst vaststelt. Het geeft ook aan dat een bepaald onderzoek het mogelijk maakt alternatieve verklaringen voor een bevinding te elimineren. Als u bijvoorbeeld een programma voor stoppen met roken uitvoert met een groep personen, hoe zeker kunt u dan zijn dat elke verbetering die u ziet in de behandelgroep, te wijten is aan de behandeling die u hebt toegediend?

Interne validiteit hangt grotendeels af van de procedures van een onderzoek en hoe rigoureus het wordt uitgevoerd.

Interne validiteit is geen "ja of nee" type concept. In plaats daarvan bekijken we hoe zeker we kunnen zijn van de bevindingen van een onderzoek, gebaseerd op het feit of het valstrikken voorkomt die de bevindingen twijfelachtig maken.

Hoe minder kans er is op "confounding" in een onderzoek, hoe hoger de interne validiteit en hoe meer vertrouwen we kunnen hebben in de bevindingen. Confounding verwijst naar een situatie waarin andere factoren in het spel komen die de uitkomst van een onderzoek in de war brengen. Een studie kan ons bijvoorbeeld onzeker maken of we erop kunnen vertrouwen dat we het bovengenoemde oorzaak-en-gevolg-scenario hebben geïdentificeerd.

Kortom, u kunt er alleen op vertrouwen dat uw studie intern geldig is als u alternatieve verklaringen voor uw bevindingen kunt uitsluiten. Als een korte samenvatting, kun je alleen oorzaak en gevolg aannemen als je aan de volgende drie criteria in je studie voldoet:

1. De oorzaak ging vooraf aan het effect in termen van tijd.
2. De oorzaak en het effect variëren samen.
3. Er zijn geen andere waarschijnlijke verklaringen voor deze relatie die u hebt waargenomen.

Factoren die de interne validiteit verbeteren

Als u de interne validiteit van een onderzoek wilt verbeteren, moet u aspecten van uw onderzoeksontwerp overwegen die het waarschijnlijker maken dat u alternatieve hypotheses kunt afwijzen. Er zijn veel factoren die de interne validiteit kunnen verbeteren.

• randomisatie verwijst naar het willekeurig toewijzen van deelnemers aan behandelings- en controlegroepen en zorgt ervoor dat er geen systematische vertekening is tussen groepen.
• Willekeurige selectie van deelnemers verwijst naar het willekeurig kiezen van uw deelnemers of op een manier die representatief is voor de populatie die u wenst te bestuderen.
• Blinding in een onderzoek verwijst naar deelnemers - en soms ook onderzoekers - die niet weten welke interventie ze krijgen (zoals door het gebruik van een placebo in een medicatieonderzoek) om te voorkomen dat deze kennis hun percepties en gedrag en dus de uitkomst van het onderzoek beïnvloedt.
• Experimentele manipulatie verwijst naar het manipuleren van een onafhankelijke variabele in een onderzoek (bijvoorbeeld, rokers een stopprogramma geven) in plaats van alleen een associatie te observeren zonder enige interventie te doen (onderzoek naar de relatie tussen lichaamsbeweging en rookgedrag).
• Leerprotocool verwijst naar de volgende specifieke procedures voor het toedienen van een behandeling om geen effecten te introduceren van, bijvoorbeeld, dingen anders doen met één groep mensen versus een andere groep mensen.

Hoe werkt willekeurige selectie??

Factoren die interne validiteit bedreigen

Net zoals er vele manieren zijn om ervoor te zorgen dat een onderzoek intern geldig is, is er ook een lijst van potentiële bedreigingen voor de interne validiteit waarmee rekening moet worden gehouden bij het plannen van een studie.

• confoundingverwijst naar een situatie waarin wordt verondersteld dat veranderingen in een uitkomstvariabele het gevolg zijn van een derde variabele die gerelateerd is aan de behandeling die u heeft toegediend.
• Historische evenementen kan van invloed zijn op de resultaten van onderzoeken die in de loop van de tijd plaatsvinden. Voorbeelden van deze gebeurtenissen kunnen een verandering in politieke leider of natuurramp omvatten die van invloed is op de manier waarop studiedeelnemers zich voelen en handelen.
• Rijpingverwijst naar de impact van tijd als variabele in een studie. Als een onderzoek plaatsvindt gedurende een periode waarin het mogelijk is dat deelnemers van nature op een of andere manier zijn veranderd (ouder werden, moe werden), dan kan het onmogelijk zijn om uit te sluiten of de effecten die in de studie werden gezien eenvoudig te wijten waren aan het effect van tijd.
• testenverwijst naar het effect van herhaaldelijk testen van deelnemers met dezelfde maatregelen. Als je iemand drie keer dezelfde test geeft, is het niet waarschijnlijk dat ze het beter zullen doen als ze de test leren of gewend raken aan het testproces, zodat ze anders antwoorden?

• Instrumentatie verwijst naar de impact van de feitelijke testinstrumenten die worden gebruikt in een onderzoek naar de manier waarop deelnemers reageren. Hoewel het misschien ongebruikelijk klinkt, is het mogelijk om deelnemers in een onderzoek op bepaalde manieren te 'primen' met de maatregelen die u gebruikt, waardoor ze reageren op een manier die anders is dan ze anders zouden hebben.
• Statistische regressieverwijst naar het natuurlijke effect van deelnemers aan extreme uiteinden van een maat die in een bepaalde richting valt, juist vanwege het verstrijken van de tijd in plaats van het effect van een interventie.
• wrijving verwijst naar deelnemers die uitvallen of een studie verlaten, wat betekent dat de resultaten zijn gebaseerd op een vooringenomen steekproef van alleen de mensen die niet hebben gekozen om te vertrekken (en mogelijk iedereen die iets gemeen hebben, zoals een hogere motivatie).
• verspreidingverwijst naar de behandeling in een studie die zich vanuit de behandelingsgroep naar de controlegroep verspreidt door de groepen die in wisselwerking staan ​​met en praten met elkaar of die elkaar observeren. Dit kan ook leiden tot een ander probleem, dat haatdragende demoralisatie wordt genoemd, waarbij een controlegroep minder hard probeert omdat ze zich wrokkig voelen tegenover de groep waarin ze zich bevinden..

• Voorspelling van experimentenverwijst naar een onderzoeker die zich op een andere manier gedraagt ​​met verschillende groepen in een onderzoek, wat leidt tot een impact op de resultaten van dit onderzoek (en wordt geëlimineerd door verblinding).

Externe validiteit

Externe validiteit verwijst naar hoe goed de uitkomst van een studie naar verwachting van toepassing zal zijn op andere instellingen. Met andere woorden, dit type validiteit verwijst naar hoe generaliseerbaar de bevindingen zijn. Zijn de bevindingen bijvoorbeeld van toepassing op andere mensen, instellingen, situaties en tijdsperioden?

Ecologische validiteit, een aspect van externe validiteit, verwijst naar de vraag of de bevindingen van een studie gegeneraliseerd kunnen worden naar de echte wereld.

Hoewel rigoureuze onderzoeksmethoden voor interne validiteit kunnen zorgen, kan externe validiteit aan de andere kant door deze methoden worden beperkt.

Een andere term, overdraagbaarheid genoemd, heeft betrekking op externe validiteit en verwijst naar het kwalitatieve onderzoeksontwerp. Overdraagbaarheid verwijst naar de overdracht van resultaten naar situaties met vergelijkbare kenmerken.

Factoren die de externe validiteit verbeteren

Wat kunt u doen om de externe validiteit van uw studie te verbeteren?

• Opname- en uitsluitingscriteria moet worden gebruikt om ervoor te zorgen dat u de populatie die u in uw onderzoek bestudeert duidelijk hebt gedefinieerd.
• Psychologisch realisme verwijst naar ervoor zorgen dat deelnemers de gebeurtenissen van een studie als een echte gebeurtenis ervaren en kunnen worden bereikt door hen een "coverstory" over het doel van de studie te vertellen. Anders kunnen deelnemers in sommige gevallen zich anders gedragen dan in het echte leven, als ze weten wat ze kunnen verwachten of weten wat het doel van de studie is..
• kopiëren verwijst naar het opnieuw uitvoeren van de studie met verschillende monsters of in verschillende instellingen om te zien of u dezelfde resultaten krijgt. Wanneer veel onderzoeken zijn uitgevoerd, meta-analyse kan ook worden gebruikt om te bepalen of het effect van een onafhankelijke variabele betrouwbaar is (op basis van het onderzoeken van de resultaten van een groot aantal studies over één onderwerp).
• Veldexperimentenkan ook worden gebruikt waarin u buiten het laboratorium een ​​studie uitvoert in een natuurlijke omgeving.
• Opwerking of kalibratie verwijst naar het gebruik van statistische methoden om aan te passen voor problemen met betrekking tot externe validiteit. Als een onderzoek bijvoorbeeld ongelijke groepen heeft voor een bepaald kenmerk (zoals leeftijd), kan opnieuw wegen worden gebruikt.

Factoren die externe geldigheid bedreigen

Externe validiteit wordt bedreigd wanneer een onderzoek geen rekening houdt met de interacties van variabelen in de echte wereld.

• Situationele factoren zoals tijd van de dag, locatie, geluid, eigenschappen van onderzoeker en het aantal gebruikte maatregelen kan van invloed zijn op de generaliseerbaarheid van bevindingen.
• Effecten vóór en na de test verwijzen naar de situatie waarin de pre- of posttest op de een of andere manier gerelateerd is aan het effect gezien in de studie, zodat de oorzaak-gevolgrelatie verdwijnt zonder deze toegevoegde tests.
• Voorbeeldfuncties verwijzen naar de situatie waarin een bepaald kenmerk van de specifieke steekproef verantwoordelijk was voor het effect (of gedeeltelijk verantwoordelijk), wat leidde tot beperkte generaliseerbaarheid van de bevindingen.
• Selectiebias verwijst naar het probleem van verschillen tussen groepen in een onderzoek dat verband kan houden met de onafhankelijke variabele (nogmaals, iets als motivatie of bereidheid om deel te nemen aan het onderzoek, waarbij specifieke demografische gegevens van individuen waarschijnlijker zijn om deel te nemen aan een online onderzoek). Dit kan ook worden beschouwd als een bedreiging voor de interne validiteit.

Overeenkomsten en verschillen

Interne en externe validiteit zijn als twee zijden van dezelfde medaille. Je kunt een studie met een goede interne validiteit hebben, maar over het algemeen kan het irrelevant zijn voor de echte wereld. Aan de andere kant zou u een veldstudie kunnen uitvoeren die zeer relevant is voor de echte wereld, maar dat heeft geen betrouwbare resultaten in termen van weten welke variabelen de uitkomsten hebben veroorzaakt die u ziet.

overeenkomsten

Wat zijn de overeenkomsten tussen interne en externe validiteit? Het zijn beide factoren waarmee rekening moet worden gehouden bij het ontwerpen van een onderzoek, en beide hebben implicaties voor de vraag of de resultaten van een onderzoek zinvol zijn. Beide zijn geen "of / of" concepten, en dus zal je altijd beslissen in welke mate je studie presteert in termen van beide soorten validiteit.

Elk van deze concepten wordt meestal gerapporteerd in een onderzoeksartikel dat wordt gepubliceerd in een wetenschappelijk tijdschrift. Dit is zodat andere onderzoekers het onderzoek kunnen evalueren en kunnen beslissen of de resultaten bruikbaar en geldig zijn.

verschillen

Het essentiële verschil tussen interne en externe validiteit is dat interne validiteit verwijst naar de structuur van een onderzoek en de variabelen ervan, terwijl externe validiteit betrekking heeft op hoe universeel de resultaten zijn. Er zijn ook verdere verschillen tussen de twee.

Interne goedkeuring

• Focus op nauwkeurigheid en sterke onderzoeksmethoden

• Bestuurt externe variabelen

• Conclusies zijn gerechtvaardigd

• Elimineert alternatieve verklaringen

Externe validiteit

• De resultaten vertalen zich naar de wereld als geheel

• Bevindingen zijn generaliseerbaar

• Resultaten zijn van toepassing op praktische situaties

• Resultaten kunnen in een andere context worden vertaald

Interne validiteit richt zich op het tonen van een verschil dat te wijten is aan de onafhankelijke variabele alleen, terwijl externe validiteitsresultaten vertaald kunnen worden naar de rest van de wereld.

Voorbeelden

Een voorbeeld van een studie met een goede interne validiteit zou zijn als een onderzoeker veronderstelt dat het gebruik van een bepaalde mindfulness-app de negatieve stemming zal verminderen. Om deze hypothese te testen, wijst de onderzoeker willekeurig een steekproef van deelnemers toe aan een van de twee groepen: degenen die de app gedurende een bepaalde periode gebruiken en degenen die een controletaak uitvoeren.

De onderzoeker zorgt ervoor dat er geen systematische vertekening is in hoe deelnemers worden toegewezen aan de groepen, en verblindt ook zijn onderzoeksassistenten voor de groepen waar de studenten in zijn tijdens experimenten..

Een strikt onderzoeksprotocol wordt gebruikt dat de procedures van de studie schetst. Potentiële verstorende variabelen worden samen met de stemming gemeten, zoals de sociaal-economische status van de deelnemers, geslacht, leeftijd, en andere factoren. Als deelnemers afhaken uit het onderzoek, worden hun kenmerken onderzocht om er zeker van te zijn dat er geen systematische vertekening is in termen van wie in het onderzoek blijft.

Een voorbeeld van een onderzoek met goede externe validiteit zou in het bovenstaande voorbeeld zijn, de onderzoeker zorgde er ook voor dat de studie externe validiteit had doordat deelnemers de app thuis gebruikten in plaats van in het laboratorium. De onderzoeker definieert duidelijk de populatie van interesse en kiest een representatief monster, en hij / zij repliceert de studie voor verschillende technologische apparaten.

Een woord van heel goed

Als u een experiment opzet zodat het een goede interne en externe validiteit heeft, moet u vanaf het begin rekening houden met factoren die elk aspect van uw onderzoek kunnen beïnvloeden. Het is het beste om extra tijd te besteden aan het ontwerpen van een structureel degelijke studie met verreikende implicaties in plaats van snel door de ontwerpfase te rennen om problemen later te ontdekken. Alleen als de interne en externe validiteit hoog zijn, kunnen er sterke conclusies worden getrokken over uw resultaten.

Een overzicht van de wetenschappelijke methode