Cara Analisis Diskriminan

Analisis diskriminan adalah teknik statistik yang digunakan untuk membedakan atau memprediksi kelompok berdasarkan perbedaan yang ada di antara kelompok tersebut. Teknik ini sangat berguna dalam berbagai bidang, seperti penelitian psikologi, medis, pasar, pertanian, dan lainnya, di mana kita perlu memahami klasifikasi atau kelompok.

Analisis diskriminan bekerja dengan mengembangkan satu atau lebih fungsi diskriminan yang membantu membedakan antara kelompok yang berbeda berdasarkan kombinasi variabel yang dipilih. Fungsi diskriminan dapat dianggap sebagai garis atau permukaan yang memisahkan kelompok. Nilai dari fungsi diskriminan dapat digunakan untuk memprediksi kelompok mana yang menjadi anggota suatu kasus.

Ada dua jenis utama analisis diskriminan:

1. Analisis Diskriminan Linier: Digunakan ketika variabel independen adalah metrik dan diasumsikan memiliki distribusi normal dan varians yang sama di semua kelompok.
2. Analisis Diskriminan Kuadratik: Digunakan ketika variabel independen adalah metrik dan diasumsikan memiliki distribusi normal, tetapi varians mungkin berbeda di antara kelompok.

Langkah-langkah dalam analisis diskriminan meliputi:

1. Menentukan variabel independen dan dependen.
2. Memeriksa asumsi analisis diskriminan (misalnya, normalitas, varians sama, korelasi antarvariabel independen).
3. Membuat fungsi diskriminan.
4. Menginterpretasikan fungsi diskriminan.
5. Menguji validitas model diskriminan.
6. Menggunakan fungsi diskriminan untuk memprediksi kelompok.

Pada dasarnya, analisis diskriminan adalah cara untuk memahami dan memanfaatkan perbedaan antar kelompok dalam rangka membuat prediksi atau klasifikasi yang efektif.

Contoh Kasus

Berikut adalah contoh kasus Analisis Diskriminan Linier pada Data Tekstur Tanah dan Hubungannya dengan Yield, Water, dan Herbicide. Studi ini berfokus pada analisis diskriminan linier dari data tekstur tanah dan hubungannya dengan yield, water, dan herbicide. Data tersebut terdiri dari empat jenis tekstur tanah: loam, sandy, salty, dan clay. Setiap tekstur tanah diukur berdasarkan tiga variabel yaitu yield, water, dan herbicide.

Dikutip dari:
https://real-statistics.com/free-download/real-statistics-examples-workbook/

Keterangan:

• Texture: Jenis tekstur tanah (misalnya, loam, sandy, salty, clay).
• Yield: Hasil (seperti hasil panen dalam kilogram per hektar atau persentase maksimum yang mungkin).
• Water: Kandungan air dalam tanah (misalnya dalam persentase).
• Herbicide: Penggunaan herbisida (misalnya dalam kg/hektar atau jumlah aplikasi).

Analisis diskriminan adalah teknik statistik yang digunakan untuk membedakan atau memprediksi variabel kategorikal berdasarkan satu set variabel prediktor. Dalam kasus ini, metode analisis diskriminan dapat digunakan untuk memprediksi jenis tekstur tanah berdasarkan variabel prediktor: hasil (yield), kandungan air (water), dan penggunaan herbisida (herbicide).

Berikut ini beberapa hal yang bisa kita pelajari dari analisis diskriminan:

1. Diskriminan Fungsi: Analisis ini akan menghasilkan fungsi diskriminan untuk setiap grup (dalam hal ini, setiap jenis tekstur tanah: loam, sandy, salty, dan clay). Fungsi ini akan menunjukkan kombinasi variabel prediktor (yield, water, herbicide) yang paling efektif dalam membedakan antara jenis-jenis tekstur tanah.
2. Pemisahan Grup: Anda akan dapat melihat sejauh mana masing-masing jenis tekstur tanah dapat dipisahkan berdasarkan variabel prediktor. Sebagai contoh, jika hasil dan kandungan air sangat berbeda untuk loam dibandingkan dengan jenis tanah lainnya, maka analisis diskriminan akan menunjukkan hal tersebut.
3. Prediksi: Setelah fungsi diskriminan telah ditentukan, Anda dapat menggunakannya untuk memprediksi jenis tekstur tanah berdasarkan yield, water, dan herbicide. Ini bisa sangat berguna jika Anda memiliki data baru dan ingin memprediksi jenis tekstur tanah tanpa harus melakukan pengujian langsung pada tanah.
4. Pentingnya Variabel Prediktor: Analisis diskriminan juga dapat memberi tahu Anda sejauh mana masing-masing variabel prediktor (yield, water, herbicide) berkontribusi dalam membedakan antara jenis tekstur tanah. Misalnya, jika yield adalah faktor yang paling penting dalam membedakan jenis tekstur tanah, analisis diskriminan akan menunjukkan hal tersebut.

Perlu diingat bahwa analisis diskriminan mengasumsikan bahwa data Anda memenuhi beberapa asumsi, termasuk normalitas, homoskedastisitas, dan independensi observasi. Jika asumsi-asumsi ini tidak dipenuhi, hasil analisis mungkin tidak akurat atau dapat menyesatkan.

Langkah-langkah Analisis Diskriminan:

1. Aktifkan lembar kerja (Sheet) yang akan dianalisis.
2. Tempatkan kursor pada Dataset (untuk membuat Dataset, lihat cara Persiapan Data).
3. Apabila sel aktif (Active Cell) tidak berada pada Dataset, SmartstatXL otomatis akan mencoba menentukan Dataset secara otomatis.
4. Aktifkan Tab SmartstatXL
5. Klik Menu Multivariate > Analisis Diskriminan.
   
6. SmartstatXL akan menampilkan kotak dialog untuk memastikan apakah Dataset sudah benar atau belum (biasanya alamat sel Dataset sudah otomatis dipilih dengan benar).
   
7. Apabila sudah benar, Klik Tombol Selanjutnya
8. Selanjutnya akan tampil Kotak Dialog Analisis Diskriminan:
   
9. Pilih Variabel Prediktor (Independen) dan satu atau lebih Variabel Kelompok (Dependen). Pada contoh kasus ini kita tentukan:
   • Prediktor: Yield, Water, Herbicide
   • Kelompok/Grup: Texture
   • Fungsi Diskriminan: Analisis Diskriminan Linier
   • Prior: Semua kelompok sama

   Selengkapnya bisa dilihat pada tampilan kotak dialog berikut:
   

10. Tekan tombol "Selanjutnya"
11. Pilih output Analisis Diskriminan seperti pada tampilan berikut dengan menekan tombol Pilih Semua:
    
12. Tekan tombol OK untuk membuat outputnya dalam Lembar Output

Hasil Analisis

Informasi Analisis dan Tabel Klasifikasi.

Tabel di atas adalah tabel klasifikasi atau matriks konfusi dari analisis diskriminan. Ini menunjukkan seberapa akurat model diskriminan dalam mengklasifikasikan data berdasarkan prediksi dibandingkan dengan nilai aktual.

Berikut adalah interpretasi tabel tersebut:

1. Loam: Dari 8 observasi aktual dengan tekstur tanah "loam", model dengan benar memprediksi 6 sebagai "loam" dan model salah memprediksi 2 sebagai "sandy". Akurasi klasifikasi untuk "loam" adalah 75,00% (6 dari 8 observasi diklasifikasikan dengan benar).
2. Sandy: Dari 8 observasi aktual dengan tekstur tanah "sandy", model dengan benar memprediksi 4 dari mereka sebagai "sandy". Model salah memprediksi 1 observasi sebagai "loam", 1 observasi sebagai "salty", dan 2 observasi sebagai "clay". Akurasi klasifikasi untuk "sandy" adalah 50,00% (4 dari 8 observasi diklasifikasikan dengan benar).
3. Salty: Dari 8 observasi aktual dengan tekstur tanah "salty", model dengan benar memprediksi 5 dari mereka sebagai "salty". Model salah memprediksi 1 observasi sebagai "loam", 1 observasi sebagai "sandy", dan 1 observasi sebagai "clay". Akurasi klasifikasi untuk "salty" adalah 62,50% (5 dari 8 observasi diklasifikasikan dengan benar).
4. Clay: Dari 8 observasi aktual dengan tekstur tanah "clay", model dengan benar memprediksi 3 dari mereka sebagai "clay". Model salah memprediksi 2 observasi sebagai "sandy" dan 3 observasi sebagai "salty". Akurasi klasifikasi untuk "clay" adalah 37,50% (3 dari 8 observasi diklasifikasikan dengan benar).

Secara keseluruhan, model berhasil mengklasifikasikan 56,25% dari semua kasus dengan benar. Ini berarti bahwa lebih dari setengah dari prediksi model adalah benar, tetapi ada ruang untuk peningkatan.

Klasifikasi Metrik lainnya

Metrik klasifikasi lainnya yang dikenal sebagai recall (sensitivitas atau true positive rate), precision (presisi atau nilai prediktif positif), dan F1 score. Berikut interpretasinya:

Loam:

• Recall 75,00% berarti bahwa dari semua observasi "loam" aktual, model berhasil mengidentifikasi 75,00% dengan benar.
• Precision 75,00% berarti bahwa dari semua observasi yang diprediksi sebagai "loam", 75,00% diantaranya benar-benar "loam".
• F1 Score 75,00% adalah harmonic mean dari recall dan precision. Nilai tinggi menunjukkan bahwa model memiliki baik recall dan precision yang baik untuk kelas "loam".

Sandy:

• Recall 50,00% berarti bahwa dari semua observasi "sandy" aktual, model berhasil mengidentifikasi 50,00% dari mereka dengan benar.
• Precision 44,44% berarti bahwa dari semua observasi yang diprediksi sebagai "sandy", 44,44% dari mereka benar-benar "sandy".
• F1 Score 47,06% menunjukkan bahwa model memiliki keseimbangan moderat antara recall dan precision untuk kelas "sandy".

Secara keseluruhan, model sudah tepat dalam mengklasifikasikan "loam", dengan recall, precision, dan F1 score tertinggi. Di sisi lain, model tampaknya memiliki kesulitan terbesar dalam mengklasifikasikan "clay", dengan recall dan F1 score terendah. Meskipun model memiliki precision yang relatif lebih tinggi untuk "clay", hal ini mungkin menunjukkan bahwa model cenderung lebih berhati-hati dalam memprediksi observasi sebagai "clay", tetapi sering kali melewatkan observasi "clay" yang sebenarnya.

Kovarian Kelompok

Matriks kovarians within-group (antara individu dalam kelompok yang sama), mengukur sejauh mana variabel bervariasi bersama dalam setiap kelompok tekstur tanah.

Berikut adalah contoh interpretasi untuk loam:

Loam:

• Kovarians antara yield dan water adalah 69.489, menunjukkan hubungan positif antara dua variabel ini: saat yield meningkat, kandungan air juga cenderung meningkat, dan sebaliknya.
• Kovarians antara yield dan herbicide adalah -24.904, menunjukkan hubungan negatif: saat yield meningkat, penggunaan herbisida cenderung menurun, dan sebaliknya.
• Kovarians antara water dan herbicide adalah -0.604, menunjukkan hubungan negatif yang lemah antara dua variabel ini.

Kovarian Gabungan

Matriks kovarians gabungan, mengukur sejauh mana variabel bervariasi bersama di semua kelompok tekstur tanah. Berikut adalah interpretasinya:

• Kovarians antara yield dan water adalah 25.490, menunjukkan hubungan positif: secara umum, saat yield meningkat, kandungan air juga cenderung meningkat, dan sebaliknya.
• Kovarians antara yield dan herbicide adalah -9.738, menunjukkan hubungan negatif: secara umum, saat yield meningkat, penggunaan herbisida cenderung menurun, dan sebaliknya.
• Kovarians antara water dan herbicide adalah 4.382, menunjukkan hubungan positif yang lemah: secara umum, saat kandungan air meningkat, penggunaan herbisida juga cenderung meningkat.

Perlu dicatat bahwa kovarians dapat bervariasi dari negatif tak hingga hingga positif tak hingga dan hanya menunjukkan arah hubungan, bukan kekuatannya. Untuk mendapatkan gambaran yang lebih baik tentang kekuatan dan arah hubungan antara dua variabel, bisa digunkaan koefisien korelasi.

Uji Box's M

Box's M adalah uji untuk melihat apakah matriks kovarians dari beberapa grup populasi adalah sama. Dalam konteks ini, uji Box's M digunakan untuk menguji homoskedastisitas, atau kesamaan varians, di antara kelompok-kelompok berdasarkan tekstur tanah.

Berikut adalah interpretasi dari hasil uji Box's M:

• Nilai Box's M adalah 14.970. Ini adalah ukuran sejauh mana matriks kovarians dari kelompok-kelompok yang berbeda-beda satu sama lain. Nilai yang lebih tinggi menunjukkan perbedaan yang lebih besar antara matriks kovarians.
• Nilai F adalah 0.665. Ini adalah rasio varians antara grup dan varians dalam grup. Nilai yang lebih tinggi menunjukkan bahwa varians antara grup lebih besar daripada varians dalam grup, yang menunjukkan bahwa grup tersebut berbeda secara signifikan.
• df1 dan df2 adalah derajat kebebasan untuk uji F. Derajat kebebasan adalah jumlah nilai dalam perhitungan final yang dapat bervariasi.
• Sig (atau p-value) adalah 0.848. Ini adalah probabilitas menemukan data yang ada jika hipotesis nol benar, dalam hal ini hipotesis nol adalah bahwa semua grup memiliki matriks kovarians yang sama. P-value yang besar (biasanya lebih besar dari 0.05) berarti bahwa kita tidak dapat menolak hipotesis nol. Dalam kasus ini, karena p-value adalah 0.848, kita tidak memiliki cukup bukti untuk menolak hipotesis nol, dan kita bisa menyimpulkan bahwa tidak ada perbedaan signifikan antara matriks kovarians dari kelompok-kelompok tersebut. Dengan kata lain, asumsi homoskedastisitas tidak dilanggar.

Prior probabilities

Prior probabilities adalah probabilitas awal atau dasar bahwa suatu kasus berada dalam suatu kategori atau kelompok tertentu, sebelum kita memiliki informasi tambahan tentang kasus tersebut. Dalam hal ini, prior probabilities adalah probabilitas awal bahwa suatu sampel tanah akan berada dalam salah satu dari empat kategori tekstur tanah: loam, sandy, salty, atau clay.

Output menunjukkan bahwa prior probabilities untuk setiap kategori tekstur tanah adalah 0.250, atau 25%. Ini berarti bahwa sebelum kita memiliki informasi lain tentang sampel tanah, kita menganggap bahwa ada kemungkinan sama (25%) bahwa sampel tersebut akan berada dalam salah satu dari empat kategori tekstur tanah.

Ini biasanya berarti bahwa data memiliki jumlah sampel yang sama di setiap kelompok tekstur tanah, atau kita memilih untuk menetapkan probabilitas prior yang sama untuk setiap kelompok.

Fungsi Diskriminan Linier

Fungsi Diskriminan Linier digunakan untuk membedakan atau memprediksi kelompok mana yang paling mungkin untuk suatu pengamatan berdasarkan variabel-variabel yang diberikan. Dalam hal ini, fungsi diskriminan linier digunakan untuk memprediksi tekstur tanah berdasarkan yield, water, dan herbicide.

Berikut adalah interpretasi untuk setiap fungsi diskriminan:

1. Loam:
   • Fungsi diskriminan: -35.005 + 0.701(yield) + 0.005(water) + 3.286(herbicide)
   • Nilai ini akan semakin besar ketika yield dan herbicide semakin tinggi, dan ketika water semakin rendah.
2. Sandy:
   • Fungsi diskriminan: -24.414 + 0.597(yield) + 0.020(water) + 2.510(herbicide)
   • Nilai ini akan semakin besar ketika yield dan herbicide semakin tinggi, dan ketika water semakin rendah.
3. Salty:
   • Fungsi diskriminan: -19.402 + 0.508(yield) + 0.084(water) + 2.103(herbicide)
   • Nilai ini akan semakin besar ketika yield dan herbicide semakin tinggi, dan ketika water semakin rendah.
4. Clay:
   • Fungsi diskriminan: -21.952 + 0.538(yield) + 0.095(water) + 2.220(herbicide)
   • Nilai ini akan semakin besar ketika yield dan herbicide semakin tinggi, dan ketika water semakin rendah.

Untuk setiap pengamatan, fungsi diskriminan dari kelompok mana yang memberikan nilai tertinggi, pengamatan tersebut akan diklasifikasikan ke dalam kelompok tersebut. Misalnya, jika fungsi diskriminan untuk 'loam' memberikan nilai tertinggi dibandingkan dengan fungsi diskriminan untuk 'sandy', 'salty', dan 'clay', maka pengamatan tersebut akan diklasifikasikan sebagai 'loam'.

Contoh penerapan fungsi diksriminan apabila kita mengetahui nilai yield, water, dan herbicide:

Mari kita asumsikan bahwa kita memiliki nilai berikut untuk yield, water, dan herbicide: yield = 70, water = 30, herbicide = 5

Kita dapat memasukkan nilai-nilai tersebut ke dalam setiap fungsi diskriminan:

Loam:

-35.005 + 0.701(70) + 0.005(30) + 3.286(5) = -35.005 + 49.07 + 0.15 + 16.43 = 30.645

Sandy:

-24.414 + 0.597(70) + 0.020(30) + 2.510(5) = -24.414 + 41.79 + 0.6 + 12.55 = 30.526

Salty:

-19.402 + 0.508(70) + 0.084(30) + 2.103(5) = -19.402 + 35.56 + 2.52 + 10.515 = 29.193

Clay:

-21.952 + 0.538(70) + 0.095(30) + 2.220(5) = -21.952 + 37.66 + 2.85 + 11.1 = 29.658

Dari hasil di atas, fungsi diskriminan 'Loam' memberikan nilai tertinggi. Oleh karena itu, berdasarkan nilai yield, water, dan herbicide ini, kita dapat mengklasifikasikan tanah tersebut sebagai 'Loam'.

Untuk mengkonversi skor fungsi diskriminan menjadi probabilitas, kita biasanya menggunakan fungsi softmax. Fungsi softmax mengubah skor (dalam hal ini, skor fungsi diskriminan) menjadi probabilitas dengan memastikan bahwa semua probabilitas berjumlah 1, sehingga dapat diinterpretasikan sebagai persentase.

Berikut adalah cara mengubah skor fungsi diskriminan ke dalam probabilitas dengan fungsi softmax:

Pertama, kita perlu menghitung eksponensial dari setiap skor:

• Loam: exp(30.645) = 2.24e+13
• Sandy: exp(30.526) = 1.64e+13
• Salty: exp(29.193) = 5.03e+12
• Clay: exp(29.658) = 6.50e+12

Kemudian, kita hitung jumlah dari semua nilai eksponensial tersebut:

• Total = 2.24e+13 + 1.64e+13 + 5.03e+12 + 6.50e+12 = 5.03e+13

Setelah itu, kita bagi setiap nilai eksponensial dengan total untuk mendapatkan probabilitas:

• Loam: 2.24e+13 / 5.03e+13 = 0.445 atau 44.5%
• Sandy: 1.64e+13 / 5.03e+13 = 0.326 atau 32.6%
• Salty: 5.03e+12 / 5.03e+13 = 0.100 atau 10.0%
• Clay: 6.50e+12 / 5.03e+13 = 0.129 atau 12.9%

Jadi, berdasarkan nilai yield, water, dan herbicide yang diberikan, kita dapat mengklasifikasikan tanah tersebut sebagai 'Loam' dengan probabilitas 44.5%, 'Sandy' dengan probabilitas 32.6%, 'Salty' dengan probabilitas 10.0%, dan 'Clay' dengan probabilitas 12.9%.

Tabel Prediksi Klasifikasi

Tabel Prediksi Klasifikasi di atas memberikan informasi tentang bagaimana model diskriminan linier memprediksi kelas tekstur tanah berdasarkan variabel 'yield', 'water', dan 'herbicide' yang diberikan. Setiap baris pada tabel ini mencakup satu pengamatan atau sampel dari dataset, dengan kelas aktual, kelas yang diprediksi, dan probabilitas yang diperkirakan untuk setiap kelas.

Berikut adalah interpretasi untuk beberapa baris pengamatan:

• Pengamatan 1: Tanah aktual adalah 'loam' dan model dengan tepat memprediksi ini sebagai 'loam' dengan peluang 93%. Peluang untuk kelas lainnya cukup rendah: 'sandy' 5.8%, 'salty' 0.3%, dan 'clay' 0.8%.
• Pengamatan 2: Tanah aktual adalah 'loam'. Model memprediksi 'loam' dengan peluang 35.4%. Meski demikian, peluang untuk 'sandy' juga tinggi, yaitu 31.6%, sementara peluang untuk 'salty' dan 'clay' lebih rendah, masing-masing 13.4% dan 19.6%.
• Untuk pengamatan 7 dan 8, model memprediksi tekstur tanah sebagai 'sandy', meskipun sebenarnya adalah 'loam'. Ini menunjukkan bahwa model mungkin memiliki kesulitan dalam membedakan antara 'loam' dan 'sandy' dalam beberapa kasus.
• Pada pengamatan 9 dan 11, tekstur tanah sebenarnya adalah 'sandy', tetapi model memprediksi sebagai 'clay'. Ini menunjukkan bahwa ada kemungkinan model mungkin mengalami kesulitan dalam membedakan antara 'sandy' dan 'clay' dalam beberapa kasus.

Secara umum, tabel ini menunjukkan bahwa model cukup baik dalam memprediksi 'loam' sebagai 'loam', tetapi mungkin memiliki beberapa kesulitan dalam membedakan antara 'loam' dan 'sandy', serta antara 'sandy' dan 'clay'. Probabilitas yang diperkirakan untuk setiap kelas memberikan ukuran tentang seberapa yakin model dalam prediksinya.

Kesimpulan

Hasil analisis menunjukkan bahwa model bisa memprediksi tekstur tanah dengan akurasi sekitar 56.25% berdasarkan ringkasan tabel klasifikasi. Dalam hal metrik klasifikasi lainnya, 'loam' memiliki skor F1 tertinggi (75.00%) dibandingkan dengan jenis tanah lainnya, yang menunjukkan bahwa model memiliki performa prediksi terbaik untuk 'loam'.

Analisis Kovarians Kelompok (Within) dan Kovarians Gabungan memberikan wawasan tentang variabilitas data dan hubungan antar variabel dalam dan antar kelompok. Uji Box's M menunjukkan bahwa asumsi homoskedastisitas tidak dilanggar (p=0.848 > 0.05), yang berarti varians-covarians antar kelompok adalah sama.

Prior probabilities yang sama untuk setiap kelompok menunjukkan bahwa setiap kelompok memiliki peluang awal yang sama untuk dipilih.

Fungsi Diskriminan Linier dibuat untuk setiap kategori tekstur tanah, yang memungkinkan prediksi kategori tanah berdasarkan nilai yield, water, dan herbicide. Misalnya, kita dapat mengklasifikasikan sampel tanah sebagai 'loam', 'sandy', 'salty', atau 'clay' dengan menghitung skor untuk setiap fungsi dan memilih kategori dengan skor tertinggi. Skor ini juga dapat diubah menjadi probabilitas menggunakan fungsi softmax, memberikan probabilitas bahwa suatu sampel tanah termasuk dalam setiap kategori.

Secara keseluruhan, studi ini memberikan metode kuat untuk mengklasifikasikan dan memprediksi tekstur tanah berdasarkan tiga variabel penting: yield, water, dan herbicide.