Efek pengacau

Confounding (atau sering kali dikenal sebagai efek perancu/pengacau) merupakan bias yang bersumber dari proses pencampuran efek pajanan utama terhadap efek dari dampak risiko luar lainnya atau adanya variabel pengganggu yang digunakan sebagai perancu pada saat analisis yang bahkan tidak menggunakan metode yang tidak diperhitungkan.^[1] Confounding juga diartikan sebagai isu yang penting untuk diperhatikan, karena kehadirannya dapat mempengaruhi p value dan besaran risiko yang dapat menyebabkan kesalahan dalam pengambilan keputusan.^[2]

Definisi dan konsep dasar

Confounding dalam bahasa Indonesia dapat diartikan sebagai variabel pengganggu, variabel pengacau ataupun variabel perancu.^[3]

Ilustasi peran modifikasi deteminan terhadap outcome (hasil)

Efek pengacau (confounding) adalah distorsi berupa efek dalam memprediksi hubungan atau asosiasi antara faktor pajanan (exposure) dan hasil (outcome)^[4] yang berperan sebagai modifikasi (faktor pengubah) determinan sehingga hubungan sebenarnya tidak tampak atau ditutupi oleh faktor lainnya yang hubungan terbukti secara signifikan. Misalnya, faktor pengubah dari umur, jenis kelamin, dan genetik lainnya.^[5]

Dalam istilah statistik, confounding juga variabel pengganggu, faktor pembaur, determinan asing dan atau variabel pembaur adalah variabel yang mempengaruhi variabel terikat dan variabel bebas sehingga menyebabkan asosiasi palsu. Pembaur yang dimaksud adalah konsep kausal sehingga tidak dapat dijelaskan dalam hal korelasi atau hubungan.^[6]^[7]^[8]

Ciri-ciri umum

Ciri-ciri umum confounding dibagi menjadi paparan hasil, paparan pajanan serta bukan paparan hasil dan pajanan.^[9]

Confounding sebagai paparan hasil

Faktor perancu yang sebenarnya adalah prediksi hasil bahkan tanpa adanya paparan dimana faktor perancu potensial atau potential confounding factor (PCF) mungkin menjadi penyebab atau mungkin tidak menjadi. Persyaratan utama adalah bahwa hubungan independen antara faktor dan hasilnya ada dan bahwa PCF merupakan hasil dari yang disebut hasil paparan.^[9] Faktanya, banyak dari PCF seringkali harus dievaluasi adalah proxy untuk variabel yang kompleks dan sulit diukur. Confounding sebagai paparan hasil dapat dilihat pada Gambar 1.

Confounding sebagai paparan pajanan

Faktor perancu juga dikaitkan dengan paparan pajanan yang sedang dipelajari tetapi tidak proxy atau pengganti untuk pajanan dimana dalam suatu uji klinis, sering kali terjadi distribusi yang tidak merata dari faktor pembaur potensial antara pengobatan dalam kelompok.^[9] Confounding sebagai paparan pajanan dapat dilihat pada Gambar 2.

Situasi yang mengandung angka dari hasil dan pajanan membuat sebuah penggabungan sehingga membentuk suatu potensi pembaur/perancu.^[9] Confounding sebagai paparan dari hasil dan paparan pajanan dapat dilihat pada Gambar 3.

Confounding bukan sebagai paparan hasil dan paparan pajanan

Sebuah perancu tidak bisa menjadi perantara antara paparan dan hasilnya. Misalnya, hubungan antara diet dan penyakit jantung koroner dapat dijelaskan dengan mengukur kadar kolesterol serum. Kolesterol bukanlah pembaur atau perancu karena dapat menjadi hubungan sebab akibat antara diet dan penyakit jantung koroner.^[9] Confounding yang bukan sebagai paparan hasil dan paparan pajanan dapat diihat pada Gambar 4.

Kondisi yang digunakan

Confounding juga diartikan sebagai isu yang penting untuk diperhatikan, karena kehadirannya dapat mempengaruhi p value dan besaran risiko yang dapat menyebabkan kesalahan dalam pengambilan keputusan.^[2]

Ilustrasi efek perancu (pengacau) sederhana yang mana Z adalah penyebab dari X dan Y .

Variabel perancu merupakan variabel yang memiliki hubungan antara variabel bebas dan variabel terikat, tetapi bukan sebagai variabel antara.^[10] perancu didefinisikan dalam hal model pembangkit data seperti pada gambar ilustrasi efek perancu. Misalkan X suatu variabel bebas, dan Y suatu variabel terikat. Untuk memperkirakan pengaruh X terhadap Y, ahli statistik harus menekan pengaruh variabel asing yang mempengaruhi X dengan mengatakan bahwa X dan Y dikacaukan oleh beberapa variabel lain Z setiap kali Z secara kausal mempengaruhi X dan Y.^[11]

Membiarkan $P(y\mid {\text{do}}(x))$ menjadi probabilitas kejadian Y = y di bawah intervensi hipotetis X = x . X dan Y tidak dikacaukan jika dan hanya jika yang berikut ini berlaku:^[11]

$P(y\mid {\text{do}}(x))=P(y\mid x)$

(1)

Maka, semua nilai X = x dan Y = y, dimana $P(y\mid x)$ yang merupakan probabilitas bersyarat setelah melihat X = x.^[11] Secara intuitif, persamaan ini menyatakan bahwa X dan Y tidak dibingungkan oleh setiap kali asosiasi yang apabila dilihat secara observasional di antaranya sama dengan asosiasi yang akan diukur dalam suatu eksperimen terkontrol, dimana x acak.

Dimana mediator adalah faktor dalam rantai kausal (1), perancu adalah faktor palsu yang secara tidak benar menyiratkan sebab-akibat (2)

Pada prinsipnya, persamaan yang menentukan $P(y\mid {\text{do}}(x))=P(y\mid x)$ dapat diverifikasi dari model pembangkit data, dengan asumsi kita memiliki semua persamaan dan probabilitas yang terkait dengan model. Ini dilakukan dengan mensimulasikan intervensi ${\text{do}}(X=x)$ dan memeriksa apakah probabilitas yang dihasilkan dari Y sama dengan probabilitas bersyarat $P(y\mid x)$ . Namun, apabila ternyata struktur graf sudah cukup untuk memverifikasi kesetaraan $P(y\mid {\text{do}}(x))=P(y\mid x)$ .^[11]

Pengontrolan

Salah satu prasyarat, peneliti menambahkan bahwa faktor latar belakang tidak boleh menjadi konsekuensi dari penyebab yang diduga, hal ini dinyatakan oleh Schlesselman.^[12] Misalnya, terhadap eksperimental bukti dari penelitian pada hewan, mekanisme biologis dari penelitian (uji klink) paparan terhadap perokok dengan kanker paru-paru (pasien).^[13] Secara umum, pertimbangan seorang peneliti dalam menentukan suatu paparan ketika mencoba untuk menilai efektivitas obat X dari data populasi di mana penggunaan obat adalah pilihan pasien. Data menunjukkan bahwa jenis kelamin (Z) mempengaruhi pilihan obat pasien serta peluang mereka untuk sembuh (Y). Dalam alur cerita ini, jenis kelamin Z mengacaukan hubungan antara X dan Y karena Z adalah penyebab dari X dan Y:

Berdasarkan persamaan berikut:

$P(y\mid {\text{do}}(x))\neq P(y\mid x)$

(2)

Dikarenakan kuantitas pengamatan mengandung informasi tentang korelasi antara X dan Z, dan kuantitas intervensi tidak (atau karena X tidak berkorelasi dengan Z dalam percobaan acak). Ahli statistik menginginkan estimasi yang tidak bias $P(y\mid {\text{do}}(x))$ , tetapi dalam kasus di mana hanya data observasional yang tersedia, perkiraan yang tidak bias hanya dapat diperoleh dengan "menyesuaikan" untuk semua faktor pengganggu, yaitu dengan mengkondisikan berbagai nilai dan rerata hasilnya. Dalam kasus pembaur tunggal Z, ini mengarah ke "rumus penyesuaian":^[14]

$P(y\mid {\text{do}}(x))=\sum _{z}P(y\mid x,z)P(z)$

(3)

Dengan memberikan perkiraan yang tidak bias untuk efek kausal dari X pada Y. Rumus penyesuaian yang sama bekerja ketika ada beberapa pembaur khusus. Dalam hal ini, pilihan set Z variabel yang akan menjamin perkiraan yang tidak bias harus dilakukan dengan hati-hati. Kriteria untuk pilihan variabel yang tepat disebut Pintu Belakang^[15] dan mensyaratkan bahwa himpunan Z yang dipilih "memblokir" (atau memotong) setiap jalan dari X ke Y yang diakhiri dengan panah ke X. Himpunan seperti itu disebut "Pintu Belakang dapat diterima" dan mencakup variabel yang bukan merupakan penyebab umum X dan Y, tetapi hanya proksinya. Kembali ke contoh penggunaan narkoba, karena Z mematuhi persyaratan Pintu Belakang (yaitu, dikarenakan ia memotong satu jalur Pintu Belakang $X\leftarrow Z\rightarrow Y$ ), rumus penyesuaian Pintu Belakang berlaku:

${\begin{aligned}P(Y={\text{recovered}}\mid {\text{do}}(x={\text{give drug}}))={}&P(Y={\text{recovered}}\mid X={\text{give drug}},Z={\text{male}})P(Z={\text{male}})\\&{}+P(Y={\text{recovered}}\mid X={\text{give drug}},Z={\text{female}})P(Z={\text{female}})\end{aligned}}$

(4)

Jadi, dengan cara ini dokter dapat memprediksi kemungkinan efek pemberian obat dari studi observasional di mana probabilitas bersyarat yang muncul di sisi kanan persamaan dapat diperkirakan dengan regresi.

Berlawanan dengan kepercayaan umum, menambahkan kovariat ke set penyesuaian Z dapat menimbulkan bias. Misalnya, pada tandingan yang khas terjadi ketika Z adalah efek umum dari X dan Y,^[16] kasus yang mana Z bukan pembaur. Namun, himpunan nol adalah Pintu belakang dapat diterima sehingga dapat menyesuaikan untuk Z akan menciptakan bias yang dikenal sebagai " tabrakan bias" atau " Paradoks Berkson".^[17]

Secara umum, pengganggu dapat dikendalikan dengan penyesuaian jika dan hanya jika ada satu set kovariat yang diamati yang memenuhi kondisi Pintu Belakang. Selain itu, jika Z adalah himpunan seperti itu, maka rumus penyesuaian Persamaan. (3) valid <4,5>. Kalkulus do Pearl memberikan kondisi tambahan di mana $P(y\mid {\text{do}}(x))$ dapat diperkirakan, tanpa harus dengan rumus penyesuaian.^[18]

Jenis eksperimen penelitian

Jenis confounding dapat dikategorikan menurut sumbernya yakni pilihan instrumen pengukuran (operational confound), karakteristik situasional (procedural confound) dan perbedaan antar individu (person confound).

Operational confound (operasional)

Pengganggu operasional (operational confound) diartikan bahwa pengganggu operasional dapat terjadi dalam dua instrumen pengukuran pada penelitian yakni eksperimental dan non-eksperimental diukur dengan indikasi yang sama atau identik. Jenis ini terjadi saat akan melakukan pengukuran yang akan dirancang untuk menilai indikasi tertentu secara tidak sengaja yang juga mengukur faktor lain yang identik.^[19]

Procedural confound (prosedural)

Pengganggu prosedural (procedural confound) diartikan bahwa pengganggu operasional dapat terjadi pada karakteristik situasi eksperimen laboratorium atau eksperimen semu. Jenis ini terjadi ketika peneliti secara keliru membiarkan variabel lain dan berubah bersama dengan variabel bebas yang dimanipulasi.^[20]

Person confound (orang/Indvidu)

Pengganggu individu (person confound) diartikan bahwa pengganggu operasional dapat terjadi ketika dua atau lebih kelompok/unit yang berbeda kemudian dianalisis bersama-sama atau terjadi ketika adanya perbedaan individu mempengaruhi variabel hasil.^[21] Misalnya, pekerja dari pekerjaan yang berbeda, meskipun bermacam-macam menurut satu atau lebih karakteristik lain yang diamati atau tidak diamati sebagai contoh jenis kelamin.

Teknik dalam meminimalisir

Peneliti dalam melakukan penelitian eksperimental dapat meminimalisir pengaruh confounding dengan dua pilihan secara konseptual yakni mengeluarkan confounding potensial dari eksperimen penelitian ataupun memasukkan confounding kedalam eksperimen penelitian agar dapat memperhitungkan hubungannya dalam eksperimen tersebut. Salah satu teknik eksperimen yang dapat digunakan ialah placebo control (kontrol placebo). Placebo control dijadikan sebagai strategi dalam mengeluarkan variabel potensial confounding dikarenakan dapat mengatur eksperimen dan beberapa hal lain yang berhubungan dengan perbedaan asumsi partisipan terhadap perlakuan yang setara dengan semua partisipan lainnya berdasarkan yang diberikan peneliti. Sebaliknya, apabila efek placebo control dijadikan sebagai teknik dalam memasukkan variabel potensial confounding, dapat dilakukan dengan cara mempertanyakan secara eksplisit asumsi yang dimiliki partisipan terhadap perlakuan yang ia terima yang selanjutnya diperhitungkan kedalam skor uji statistika dalam eksperimen.^[22]

Efek pengganggu lebih kecil kemungkinannya karena hanya terjadi dan bertindak serupa di beberapa waktu dan lokasi. Dalam memilih lokasi studi, lingkungan dapat dicirikan secara rinci di lokasi studi untuk memastikan lokasi tersebut secara ekologis serupa dan oleh karena itu kecil kemungkinannya memiliki variabel pengganggu. Terakhir, hubungan antara variabel lingkungan yang mungkin mengacaukan analisis dan parameter yang diukur dan dipelajari.^[23] Misalnya, pada berbagai tingkat imigrasi hewan, yang akan memainkan peranan penting dalam menentukan rata-rata jumlah kerabat derajat yang berbeda dalam suatu populasi, agar dapat menilai dampak dari mengubah struktur silsilah. Perkiraan kuantitatif parameter genetik dibandingkan di seluruh set data dengan berbagai jumlah generasi, menggunakan salah satu hewan model atau teknik statistik tradisional bertujuan data dapat diperkecil kemungkinannya.^[23] Informasi yang berkaitan dengan variabel lingkungan kemudian dapat digunakan dalam model lingkungan dengan cara yang digunakan yakti perancu substansial antara efek yang berbeda sehingga dapat terjadi.^[24] Terlepas dari keandalan yang jelas ini tes berdasarkan kesalahan standar dengan kemungkinan tes rasio masih akan menyediakan alat yang lebih akurat untuk menguji hipotesis dengan data nyata.^[25]

Referensi

Catatan kaki

^ Thomas, Lauren (2020). "Understanding confounding variables". www.scribbr.com (dalam bahasa Inggris). Diakses tanggal 2021-12-05.
^ ^a ^b Hasmawati; Anggraeni, Ike; Susanti, Rahmi (2019). "Identifikasi Variabel Confounding Dengan Penerapan Uji Chi Square Mantel Haenszel Pada Hubungan Antenatal Care (ANC) Terhadap BBLR Di Kota Samarinda". Jurnal Kesehatan Reproduksi. 10 (1): 22–23. doi:10.22435/kespro.v10i1.2069.21-31. Diakses tanggal 2021-12-05.
^ UNAIR News (2020). "Confounding Variable's Haruskah Dibuang Begitu Saja?". news.unair.ac.id. Diakses tanggal 2021-12-05.
^ Skelly, K.J.; C., Zoccali; F.W., Dekker (2008). "Confounding: What it is and how to deal with it". Kidney International (dalam bahasa Inggris). 73 (3): 256–260. doi:10.1038/sj.ki.5002650. Diakses tanggal 2021-12-08.
^ Prihantini, Gita Sekar (2010). "Etiologic Research". Jurnal Ilmu Kesehatan & Kedokteran Keluarga. 6 (1): 105. doi:10.22219/sm.v6i1.1015. Diakses tanggal 2021-12-05.
^ Pearl, Judea (2009). Causality: Models, Reasoning and Inference (dalam bahasa Inggris). New York: Cambridge University Press. ISBN 9780521895606. ^{[pranala nonaktif permanen]}
^ VanderWeele, T.J.; Shpitser, I. (2013). "On the definition of a confounder" (PDF). Annals of Statistics (dalam bahasa Inggris). 41 (1): 196–220. arXiv:1304.0564  . doi:10.1214/12-aos1058. PMC 4276366  . PMID 25544784. Diakses tanggal 2021-12-05.
^ Greenland, S.; Robins, J. M.; Pearl, J. (1999). "Confounding and Collapsibility in Causal Inference" (PDF). Statistical Science (dalam bahasa Inggris). 14 (1): 29–46. doi:10.1214/ss/1009211805. Diakses tanggal 2021-12-05.
^ ^a ^b ^c ^d ^e Skelly, Andrea C.; Dettori, Joseph R.; Brodt, Erika D. (2012). "Assessing bias: the importance of considering confounding" (PDF). Evid Based Spine Care Journal (dalam bahasa Inggris). 3 (1): 9–12. doi:10.1055/s-0031-1298595. Diakses tanggal 2021-12-06.
^ HIdayat, Anwar (2012). "Variabel Penelitian Adalah: Pengertian, Jenis, Contoh". statistikian.com. Diakses tanggal 2021-12-05.
^ ^a ^b ^c ^d Illari, Phyllis McKay; Russo, Federica; Williamson, Jon (2011). Causality in the Sciences (dalam bahasa Inggris). Britania Raya: OUP Oxford. hlm. 702–703. ISBN 9780191060328.
^ Wunsch 2007, hlm. 100.
^ Wunsch 2007, hlm. 101.
^ Pearl 2009, hlm. 101.
^ Pearl 2009, hlm. 127.
^ Lee, P. H. (en). "Should We Adjust for a Confounder if Empirical and Theoretical Criteria Yield Contradictory Results? A Simulation Study". Sci Rep. 4: 6085. Bibcode:2014NatSR...4E6085L. doi:10.1038/srep06085. PMC 5381407  . PMID 25124526.
^ Pearl 2009, hlm. 130.
^ Shpitser, I.; Pearl, J. (2008). "Complete identification methods for the causal hierarchy" (PDF). The Journal of Machine Learning Research (dalam bahasa Inggris). 9: 1941–1979.
^ Thoits, Peggy A. (1981). "Undesirable Life Events and Psychophysiological Distress: A Problem of Operational Confounding". American Sociological Review (dalam bahasa Inggris). 46 (1): 98. doi:10.2307/2095029. Diakses tanggal 2021-12-08. ^{[pranala nonaktif permanen]}
^ Thoits, Peggy A. (1981). "Undesirable Life Events and Psychophysiological Distress: A Problem of Operational Confounding". American Sociological Review (dalam bahasa Inggris). 46 (1): 100. doi:10.2307/2095029. Diakses tanggal 2021-12-08. ^{[pranala nonaktif permanen]}
^ Steg, Linda; Rothengatter, Talib (2008). Applied Social Psychology Understanding and Managing Social Problems (dalam bahasa Inggris). New York: Cambridge University Press. hlm. 91. ISBN 9780521869799. ^{[pranala nonaktif permanen]}
^ Yusainy, Cleoputri (2016). Panduan Riset Eksperimental dalam Psikologi Edisi Revisi. Malang: Universitas Brawijaya Press. hlm. 42. ISBN 9786024320256.
^ ^a ^b Kruuk 2007, hlm. 1893.
^ Kruuk 2007, hlm. 1890.
^ Kruuk 2007, hlm. 1896.

Daftar pustaka

Pearl, Judea (2009). "Causal inference in statistics: An overview" (PDF). Statistics Surveys (dalam bahasa Inggris). 3: 96–146. doi:10.1214/09-SS057. ISSN 1935-7516.
Wunsch, Guillaume (2007). "Confounding and control" (PDF). Jurnal Sciences (dalam bahasa Inggris). 16 (4): 97–120. doi:10.4054/DemRes.2007.16.4.
Kruuk, L. E. B. (2007). "How to separate genetic and environmental causes of similarity between relatives". Journal of Evolutionary Biology (dalam bahasa Inggris). 20 (5): 1890–1903. doi:10.1111/j.1420-9101.2007.01377.x.

[:2-1] Thomas, Lauren (2020). "Understanding confounding variables". www.scribbr.com (dalam bahasa Inggris). Diakses tanggal 2021-12-05.

[:0-2] Hasmawati; Anggraeni, Ike; Susanti, Rahmi (2019). "Identifikasi Variabel Confounding Dengan Penerapan Uji Chi Square Mantel Haenszel Pada Hubungan Antenatal Care (ANC) Terhadap BBLR Di Kota Samarinda". Jurnal Kesehatan Reproduksi. 10 (1): 22–23. doi:10.22435/kespro.v10i1.2069.21-31. Diakses tanggal 2021-12-05.

[3] UNAIR News (2020). "Confounding Variable's Haruskah Dibuang Begitu Saja?". news.unair.ac.id. Diakses tanggal 2021-12-05.

[4] Skelly, K.J.; C., Zoccali; F.W., Dekker (2008). "Confounding: What it is and how to deal with it". Kidney International (dalam bahasa Inggris). 73 (3): 256–260. doi:10.1038/sj.ki.5002650. Diakses tanggal 2021-12-08.

[5] Prihantini, Gita Sekar (2010). "Etiologic Research". Jurnal Ilmu Kesehatan & Kedokteran Keluarga. 6 (1): 105. doi:10.22219/sm.v6i1.1015. Diakses tanggal 2021-12-05.

[6] Pearl, Judea (2009). Causality: Models, Reasoning and Inference (dalam bahasa Inggris). New York: Cambridge University Press. ISBN 9780521895606. ^{[pranala nonaktif permanen]}

[7] VanderWeele, T.J.; Shpitser, I. (2013). "On the definition of a confounder" (PDF). Annals of Statistics (dalam bahasa Inggris). 41 (1): 196–220. arXiv:1304.0564  . doi:10.1214/12-aos1058. PMC 4276366  . PMID 25544784. Diakses tanggal 2021-12-05.

[Greenland_Pearl_Robbins_1999-8] Greenland, S.; Robins, J. M.; Pearl, J. (1999). "Confounding and Collapsibility in Causal Inference" (PDF). Statistical Science (dalam bahasa Inggris). 14 (1): 29–46. doi:10.1214/ss/1009211805. Diakses tanggal 2021-12-05.

[:4-9] Skelly, Andrea C.; Dettori, Joseph R.; Brodt, Erika D. (2012). "Assessing bias: the importance of considering confounding" (PDF). Evid Based Spine Care Journal (dalam bahasa Inggris). 3 (1): 9–12. doi:10.1055/s-0031-1298595. Diakses tanggal 2021-12-06.

[10] HIdayat, Anwar (2012). "Variabel Penelitian Adalah: Pengertian, Jenis, Contoh". statistikian.com. Diakses tanggal 2021-12-05.

[:1-11] Illari, Phyllis McKay; Russo, Federica; Williamson, Jon (2011). Causality in the Sciences (dalam bahasa Inggris). Britania Raya: OUP Oxford. hlm. 702–703. ISBN 9780191060328.

[FOOTNOTEWunsch2007100-12] Wunsch 2007, hlm. 100.

[FOOTNOTEWunsch2007101-13] Wunsch 2007, hlm. 101.

[FOOTNOTEPearl2009101-14] Pearl 2009, hlm. 101.

[FOOTNOTEPearl2009127-15] Pearl 2009, hlm. 127.

[16] Lee, P. H. (en). "Should We Adjust for a Confounder if Empirical and Theoretical Criteria Yield Contradictory Results? A Simulation Study". Sci Rep. 4: 6085. Bibcode:2014NatSR...4E6085L. doi:10.1038/srep06085. PMC 5381407  . PMID 25124526.

[FOOTNOTEPearl2009130-17] Pearl 2009, hlm. 130.

[18] Shpitser, I.; Pearl, J. (2008). "Complete identification methods for the causal hierarchy" (PDF). The Journal of Machine Learning Research (dalam bahasa Inggris). 9: 1941–1979.

[19] Thoits, Peggy A. (1981). "Undesirable Life Events and Psychophysiological Distress: A Problem of Operational Confounding". American Sociological Review (dalam bahasa Inggris). 46 (1): 98. doi:10.2307/2095029. Diakses tanggal 2021-12-08. ^{[pranala nonaktif permanen]}

[20] Thoits, Peggy A. (1981). "Undesirable Life Events and Psychophysiological Distress: A Problem of Operational Confounding". American Sociological Review (dalam bahasa Inggris). 46 (1): 100. doi:10.2307/2095029. Diakses tanggal 2021-12-08. ^{[pranala nonaktif permanen]}

[21] Steg, Linda; Rothengatter, Talib (2008). Applied Social Psychology Understanding and Managing Social Problems (dalam bahasa Inggris). New York: Cambridge University Press. hlm. 91. ISBN 9780521869799. ^{[pranala nonaktif permanen]}

[22] Yusainy, Cleoputri (2016). Panduan Riset Eksperimental dalam Psikologi Edisi Revisi. Malang: Universitas Brawijaya Press. hlm. 42. ISBN 9786024320256.

[FOOTNOTEKruuk20071893-23] Kruuk 2007, hlm. 1893.

[FOOTNOTEKruuk20071890-24] Kruuk 2007, hlm. 1890.

[FOOTNOTEKruuk20071896-25] Kruuk 2007, hlm. 1896.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]