Ada tiga macam kebenaran (validity) secara statistik1. Internal Validity (kebenaran dari dalam data)Adanya populasi yang besar menyebabkan dilakukannya sampling. Sampling yang baik adalah sampling yang representatif yang dapat dilakukan dengan cara random dimana statistik sama dengan atau mendekati parameter dalam populasi, sehingga yang dinamakan kebenaran dari dalam adalah kebenaran terhadap data sampel yang homogen yang mendekati data populasi.

2. External Validity (kebenaran dari luar data)External validity dapat dicapai, apabila data telah mencapai internal validity dan data tersebut akan menghasilkan hasil yang sama apabila ada orang lain yang melakukan pengukuran terhadap data tersebut.

3. Contruct Validity (Kebenaran kontruksi)Rancangan penelitian harus didahului oleh tujuan penelitian. Tujuan penelitian tersebutlah yang harus dijawab oleh peniliti sehingga kebenaran kontruksi dapat dicapai apabila tujuan penelitian sudah terjawab dalam penelitian tersebut.

Tiga prinsip dasar dalam rancangan percobaan yang menggunakan metode statistika1. Randomisasi Randomisasi yang dilaksanakan pada waktu mengalokasikan materi ekperimen dan pada waktu mengurutkan masing-masing eksperimen dari keseluruhan penelitian.Contohnya : misalnya kita menanam benih tomat, benih tersebut kita ambil dari sebuah kantong yang berisi ratusan benih. Setiap benih yang ada di dalam kantong tersebut memiliki kesempatan yang sama untuk terambil, sehingga kita harus melakukan secara dikocok dan kita ambil dari sisi atas, tengah dan bawah sehingga dapat dikatakan kita melakukan randomisasi pada pengalokasian materi eksperimen. Setelah kita ambil satu per satu biji maka kita akan menanamkannya ke dalam sebuah pot dimana kita mengurutkan pot-pot tersebut sehingga dapat dikatakan melakukan randomisasi pada mengurutan data dari keseluruhan penelitian.

2. ReplikasiPengulangan eksperimen dasar. Jika dalam rancangan percobaan masing-masing dari setiap perlakuan akan direplikasikan sebanyak n kali maka dikatakan

rancangan mempunyai n replikasi. Replikasi membantu sebuah taksiran dalam variasi sesatan (error). Kadang-kadang variasi sesatan eksperimen dapat ditaksir dari asumsi-asumsi yang ada, maka dalam hal ini replikasi akan memberikan taksiran dari variasi sesatan yang lebih tepat.Contohnya :Misalnya kita menanam 5 benih tomat ke dalam media, lingkungan, situasi dan kondisi yang sama, namun benih-benih tersebut apabila sudah tumbuh dan kita ukur ketinggiannya maka tiap mempunyai ketinggian yang berbeda. Maka percobaan tersebut dapat dinyatakan dalam percobaan dimana membuat 5 replikasi.

3. BlockingBlocking merupakan sebuah teknik yang digunakan dalam memperbaiki ketepatan sebuah eksperimen. Sebuah blok adalah sebagian dari materi percobaan yang sifatnya blok homogen dari keseluruhan materi eksperimen.

Sumber variabilitas dalam rancangan percobaan1. Variability due to the condition of interest2. Variability in the measurement error3. Variability the experimental material

Metode untuk mengurangi atau mengontrol variasi percobaan1. Pemilihan materi yang homogen dan atau lingkungan uniform2. Stratifikasi atau pengelompokan materi dan atau lingkungan menjadi bagian yang homogen3. Penghalusan teknik percobaan4. Pengukuran variabel yang ada hubungannya dan5. Penggunaan analisis kovariansi

Jika metode di atas tidak dapat mengontrol variabilitas percobaan maka kita perlu banyak meningkatkan replikasi sampai diperoleh ketepatan yang akan diinginkan kontrol lokal (metode 1 dan 2), randomisasi dan replikasi merupakan dasar keabsahan rancangan percobaan.

Jika materi dan rancangan uniform maka digunakan rancangan acak lengkap (RAL). Apabila materi dan lingkungan diklasifikasikan ke dalam bagian-bagian untuk membandingkan semua perlakuan maka digunakan rancangan blok acak lengkap (RBAL). Jika kelompok bagian tidak cukup besar untuk membandingkan semua

perlakuan maka digunakan rancangan blok acak tak lengkap (RBTL).

Jika variasi percobaan tidak dapat dikontrol dengan stratifikasi maka kita lakukan pengukuran pada variabel yang berhubungan dan kita gunakan analisis kovariansi.

Langkah-langkah dalam membuat rancangan1. PermasalahanDari permasalahan yang akan digunakan dalam membuat rancangan percobaan akan memperoleh tujuan rancangan percobaan.2. Pemilihan faktor dan levelDi dalam percobaan kita menentukan faktor tunggal atau tidak. Faktor ini bisa kuantitatif dan kualitatif. Jika menggunakan faktor kuantitatif maka harus dapat mengontrol faktor ini pada harga tertentu (nilai) dan bagaimana cara pengukuran harus dipilih range dari faktor dan tingkatan atau level bagaimana melakukan runnya. Level dapat ditentukan atau pun dipilih secara acak dari semua yang terjadi.3. Memilih variabel responPeneliti harus memantapkan informasi respon yang dipelajari, bagaimana mengukur respon dan ketepatan ukuran.4. Pemilihan rancangan percobaanDalam langkah ini yang paling penting adalah proses percobaan. Peneliti harus dapat menentukan perbedaan respon yang sebenarnya dengan yang mereka inginkan sehingga rentang resiko yang akan ditoleransi bisa ditentukan dan ukuran sampel yang dapat ditentukan harus ditentukan dari bagaimana data dikumpulkan dan metode randomisasi. Harus selalu diingat antara ketepatan statistik dan biaya yang diperlukan atau disarankan5. Pelaksanaan percobaanDalam proses pengumpulan data dapat perlu diperhatikan : randomisasi, ketepatan ukuran dan usahakan kondisi uniform. 6. Analisis dataPerlu pengujian model7. Kesimpulan dan saran