Ketika melakukan penelitian di lapangan, seringkali diperlukan pengamatan berulang untuk memahami dinamika perubahan dari waktu ke waktu. SmartstatXL mengenali kebutuhan ini dan menawarkan solusi komprehensif untuk analisis data pengamatan ganda (multi observation). Ini memungkinkan peneliti untuk mengumpulkan data dari unit percobaan yang sama pada berbagai titik waktu atau kondisi, memberikan gambaran yang lebih mendalam tentang respons variabel terhadap perlakuan.
Jenis-jenis pengamatan ganda meliputi:
- Sub-Sampling: Ini berkaitan dengan pengukuran yang dilakukan pada sejumlah sampel dari unit percobaan yang sama. Sebagai contoh, dalam penelitian pertumbuhan tanaman, tinggi dari 10 tanaman mungkin diukur dalam satu unit percobaan untuk memberikan representasi yang lebih akurat dari pertumbuhan rata-rata.
- Repeated Measure: Di sini, variabel yang sama diukur pada interval waktu yang berbeda. Ini sangat berguna dalam penelitian yang ingin melacak perubahan seiring waktu, seperti perkembangan tahapan pertumbuhan tanaman atau respons terhadap stimulasi tertentu.
Dengan SmartstatXL, peneliti tidak hanya dapat mengolah data mereka dengan efisien, tetapi juga menafsirkannya dengan benar. Jika analisis menunjukkan adanya perbedaan yang signifikan antara perlakuan, maka berbagai uji lanjutan (Post Hoc) tersedia untuk memahami perbedaan tersebut dengan lebih detail. Pilihan yang tersedia meliputi: Tukey, Duncan, LSD, Bonferroni, Sidak, Scheffe, REGWQ, Scott-Knott, dan Dunnet. Dengan alat ini, peneliti dapat memastikan bahwa interpretasi mereka didukung oleh analisis statistik yang tepat dan mendalam.
Contoh Kasus
An experiment was carried out to study the differences in yield of four alfalfa cultivars. Five replications of these four varieties were organized according to a CRD, and four cuttings were made of each replication over time. The data represents the repeated measurements of yield (tons/acre) of the four cultivars:
Sebuah eksperimen dilakukan untuk mempelajari perbedaan hasil panen dari empat varietas alfalfa (lucerne). Lima replikasi dari keempat varietas ini diatur sesuai dengan Desain Acak Lengkap (CRD), dan dilakukan empat kali pemotongan untuk setiap replikasi seiring berjalannya waktu. Data mewakili pengukuran berulang dari hasil panen (ton/acre) dari keempat varietas tersebut:
- Varietas: Menunjukkan varietas alfalfa yang diuji (misalnya, varietas 1, varietas 2, dst.).
- Replikasi: Menunjukkan replikasi dari setiap varietas (misalnya, replikasi 1 untuk varietas 1, replikasi 2 untuk varietas 1, dst.).
- Yield Cutting 1, Yield Cutting 2, Yield Cutting 3, Yield Cutting 4: Menunjukkan hasil panen pada pemotongan pertama, kedua, ketiga, dan keempat.
Varietas | Replikasi | Yield Cutting 1 | Yield Cutting 2 | Yield Cutting 3 | Yield Cutting 4 |
1 | 1 | 2.80191 | 3.73092 | 3.09856 | 2.50965 |
2 | 1 | 2.76212 | 5.40530 | 3.82431 | 2.72992 |
3 | 1 | 2.29151 | 3.81140 | 2.92575 | 2.39863 |
4 | 1 | 2.56631 | 4.96070 | 2.81734 | 2.05752 |
1 | 2 | 2.96602 | 4.43545 | 3.10607 | 2.57299 |
2 | 2 | 3.09636 | 3.90683 | 3.26229 | 2.58614 |
3 | 2 | 2.54027 | 3.82716 | 2.86727 | 2.16287 |
4 | 2 | 2.31630 | 3.96629 | 2.91461 | 2.15764 |
1 | 3 | 2.43232 | 4.32311 | 2.81030 | 2.07966 |
2 | 3 | 3.09917 | 4.08859 | 3.13148 | 2.60316 |
3 | 3 | 2.41199 | 4.08317 | 3.03906 | 2.07076 |
4 | 3 | 2.65834 | 3.71856 | 2.92922 | 2.15684 |
1 | 4 | 2.93509 | 3.99711 | 2.77971 | 2.44033 |
2 | 4 | 2.65256 | 5.42879 | 2.70891 | 2.30163 |
3 | 4 | 2.30420 | 3.27852 | 2.72711 | 2.04933 |
4 | 4 | 2.47877 | 3.92048 | 3.06191 | 2.35822 |
1 | 5 | 2.42277 | 3.85657 | 3.24914 | 2.34131 |
2 | 5 | 2.63666 | 3.77458 | 3.09734 | 2.30082 |
3 | 5 | 2.36941 | 3.44835 | 2.50562 | 2.08980 |
4 | 5 | 2.23595 | 4.02985 | 2.85279 | 1.85736 |
Dikutip dari:
Gomez, Kwanchai A. dan Gomez, Arturo A. 1995. Prosedur Statistik untuk Penelitian Pertanian. [penerj.] Endang Sjamsuddin dan Justika S. Baharsjah. Edisi Kedua. Jakarta : UI-Press, 1995. ISBN: 979-456-139-8. hal. 350.
Langkah-langkah Analisis Ragam (Anova) dan Uji Lanjut (Post Hoc):
- Pastikan lembar kerja (Sheet) yang ingin dianalisis sudah aktif.
- Letakkan kursor pada Dataset. (Untuk informasi mengenai pembuatan Dataset, silakan rujuk ke panduan 'Persiapan Data').
- Jika sel aktif (Active Cell) tidak berada pada dataset, SmartstatXL akan otomatis mendeteksi dan menentukan dataset yang sesuai.
- Aktifkan Tab SmartstatXL
- Klik Menu RAL/RAK > Repeated Measure (Pada contoh kasus ini, SmartstatXL menggunakan RAK).
- SmartstatXL akan menampilkan kotak dialog untuk memastikan apakah Dataset sudah benar atau belum (biasanya alamat sel untuk Dataset sudah otomatis dipilih dengan benar).
- Setelah memastikan Dataset sudah benar, tekan Tombol Selanjutnya
- Selanjutnya akan muncul Kotak Dialog Anova – RAK Faktor Tunggal (diamati secara berkala) berikut:
Model Percobaan Satu Faktor yang dianalisis dengan memasukkan tambahan Faktor Waktu dan dianalisis secara bersamaan (kadang disebut Mixed Design atau Split Plot in Time).
Pada model Split Plot in Time, baik untuk model RAL maupun RAK, Faktor Ulangan harus dimasukkan ke dalam model!
Bandingkan dengan Model Percobaan RAL Satu Faktor yang dianalisis secara parsial pada masing-masing pemangkasan (Cutting), seperti pada gambar berikut:
Pada Model Percobaan RAK Satu faktor di atas, Variabel yang masuk ke dalam Model (Faktor) hanya Perlakuan dan Kelompok saja - Terdapat 3 Tahap. Tahap pertama, Pilih Faktor dan minimal satu Respons yang akan dianalisis (Seperti pada gambar di atas)!
- Ketika Anda memilih Faktor, SmartstatXL akan memberikan informasi tambahan mengenai jumlah level dan nama-nama level tersebut.
- Detail dari Kotak dialog Anova TAHAP 1 dapat dilihat pada gambar berikut:
- Setelah memastikan Dataset sudah benar, tekan Tombol Selanjutnya untuk masuk ke Kotak Dialog Anova Tahap-2
- Kotak dialog untuk tahap kedua akan muncul.
- Sesuaikan pengaturan berdasarkan metode penelitian Anda. Pada contoh ini, Uji lanjut yang digunakan adalah uji Tukey.
- Untuk mengatur output tambahan dan nilai default untuk output berikutnya, tekan tombol "Opsi Lanjutan…"
- Berikut tampilan Kotak Dialog Opsi Lanjutan:
- Setelah selesai mengatur, tutup kotak dialog "Opsi Lanjutan"
- Selanjutnya pada Kotak Dialog Anova Tahap 2, klik tombol Selanjutnya.
- Pada Kotak Dialog Anova Tahap 3, Anda akan diminta untuk menentukan tabel rata-rata, ID untuk setiap Faktor, dan pembulatan nilai rata-rata. Detailnya dapat dilihat pada gambar berikut:
- Sebagai langkah akhir, klik "OK"
Hasil Analisis
InformasiAnalisis
Rancangan Percobaan
Analisis ini menggunakan Rancangan Acak Lengkap (RAK) dengan faktor tunggal yang diulang secara berkala. Dalam konteks ini, faktor tunggal merujuk pada 'Varietas' alfalfa, dengan lima replikasi untuk setiap varietas. Selain itu, empat pemotongan (cutting) dilakukan untuk setiap replikasi seiring berjalannya waktu.
Uji Lanjut
Uji lanjut yang digunakan adalah Tukey (BNJ), yang umumnya digunakan untuk membandingkan rata-rata antar kelompok dalam analisis ragam (ANOVA).
Respons dan Faktor
- Respons: Variabel respons dalam analisis ini adalah 'Yield' atau hasil panen dalam ton per acre.
- Faktor:
- Replikasi: Dengan 5 taraf (tingkatan atau level).
- Varietas: Dengan 4 taraf.
- Cutting: Dengan 4 taraf.
Pelanggaran Asumsi dan Solusi
Dalam analisis ragam, ada beberapa asumsi yang perlu dipenuhi, seperti homogenitas ragam dan normalitas distribusi. Dalam kasus ini, asumsi-asumsi tersebut tampaknya telah dilanggar ('--Pelanggaran Asumsi--').
Sebagai solusinya, dilakukan transformasi logaritmik terhadap data 'Yield'. Transformasi ini sering digunakan untuk mengstabilkan varian dan membuat distribusi data lebih mendekati normal. Selain itu, data pencilan (outliers) diganti dengan nilai dari perhitungan data yang hilang.
Dengan demikian, SmartstatXL telah dengan cermat mempersiapkan fitur-fitur untuk mengatasi pelanggaran asumsi, baik melalui transformasi data maupun pemilihan metode statistik yang sesuai. Selanjutnya, kita akan membahas bagaimana analisis varians dapat menyediakan wawasan mengenai perbedaan dalam hasil panen antar varietas alfalfa, antar replikasi, serta seiring dengan berjalannya waktu (cutting).
Analisis Ragam
Interpretasi dan Pembahasan: Hasil Analisis Ragam untuk Data Asli
- Varietas (V): Varietas memiliki efek yang berbeda nyata pada taraf nyata 1% (F-Hitung > F-0.01 dan nilai-P < 0.01). Ini berarti bahwa terdapat perbedaan hasil panen yang signifikan antara empat varietas alfalfa yang diuji.
- Cutting (C): Waktu pemotongan juga memiliki efek yang berbeda nyata pada taraf nyata 1% (F-Hitung > F-0.01 dan nilai-P < 0.01). Ini menunjukkan bahwa hasil panen berbeda secara signifikan pada empat waktu pemotongan yang berbeda.
- V x C (Interaksi Varietas dan Cutting): Tidak terdapat interaksi yang berbeda nyata antara varietas dan waktu pemotongan (F-Hitung < F-0.05 dan nilai-P > 0.05). Ini berarti bahwa efek varietas terhadap hasil panen tidak bergantung pada waktu pemotongan, dan sebaliknya.
Koefisien Keragaman
- KK(a): 11.95%
- KK(b): 10.33%
Koefisien keragaman (KK) menunjukkan sejauh mana data bervariasi. Dalam konteks ini, KK(a) dan KK(b) relatif rendah, menunjukkan bahwa data cukup konsisten.
Kesimpulan
- Terdapat perbedaan hasil panen yang signifikan antara varietas yang berbeda.
- Terdapat perbedaan hasil panen yang signifikan pada waktu pemotongan yang berbeda.
- Tidak ada interaksi yang signifikan antara varietas dan waktu pemotongan terhadap hasil panen.
Dengan demikian, baik varietas maupun waktu pemotongan adalah faktor yang perlu dipertimbangkan secara serius dalam meningkatkan hasil panen alfalfa. Namun, kedua faktor ini bekerja secara independen dan tidak saling mempengaruhi.
Uji Lanjut
Pengaruh Mandiri Varietas (V)
Nilai Kritis dan Galat Baku
- Galat Baku: 0.0800
- Tukey (BNJ) 0.05: 0.3237
Galat baku adalah ukuran dari sejauh mana rata-rata sampel berbeda dari rata-rata populasi. Nilai Tukey (BNJ) pada taraf nyata 0.05 digunakan untuk membandingkan rata-rata antara dua varietas.
Interpretasi
- Varietas 1 memiliki rata-rata yield yang tidak berbeda nyata dengan varietas 3 dan 4 menurut Uji Lanjut Tukey pada taraf nyata 0.05 (berlabel 'ab').
- Varietas 2 memiliki rata-rata yield yang lebih tinggi dan berbeda nyata dibandingkan dengan varietas 3 dan 4 (berlabel 'b').
- Varietas 3 dan 4 tidak berbeda nyata satu sama lain dalam hal yield (berlabel 'a').
Kesimpulan
- Varietas 2 menunjukkan potensi yield yang lebih tinggi dibandingkan dengan varietas 3 dan 4.
- Varietas 1 menunjukkan potensi yang lebih fleksibel, karena yield-nya tidak berbeda nyata dengan varietas 3 dan 4.
Dengan demikian, dalam konteks meningkatkan hasil panen, varietas 2 bisa menjadi pilihan yang menjanjikan. Sementara itu, varietas 1 juga patut dipertimbangkan karena menunjukkan potensi yield yang serupa dengan varietas lainnya, tergantung pada faktor lain seperti biaya produksi atau kebutuhan spesifik.
Pengaruh Mandiri Cutting (C)
Nilai Kritis dan Galat Baku
- Galat Baku: 0.0692
- Tukey (BNJ) 0.05: 0.2607
Galat baku adalah ukuran dari sejauh mana rata-rata sampel berbeda dari rata-rata populasi. Nilai Tukey (BNJ) pada taraf nyata 0.05 digunakan untuk membandingkan rata-rata antara dua waktu pemotongan (cutting).
Interpretasi
- Cutting 1: Memiliki rata-rata yield yang lebih tinggi dibandingkan dengan Cutting 4 tetapi lebih rendah dibandingkan dengan Cutting 2 dan Cutting 3 (berlabel 'b').
- Cutting 2: Memiliki rata-rata yield yang paling tinggi dibandingkan dengan semua cutting lainnya (berlabel 'd').
- Cutting 3: Memiliki rata-rata yield yang lebih tinggi dibandingkan dengan Cutting 1 dan Cutting 4 tetapi lebih rendah dibandingkan dengan Cutting 2 (berlabel 'c').
- Cutting 4: Memiliki rata-rata yield yang paling rendah dibandingkan dengan semua cutting lainnya (berlabel 'a').
Kesimpulan
- Cutting 2 menunjukkan hasil panen yang paling optimal dibandingkan dengan waktu pemotongan lainnya.
- Cutting 4 menunjukkan hasil panen yang paling rendah, sehingga mungkin perlu dihindari atau ditingkatkan melalui intervensi lain.
Ini berarti bahwa waktu pemotongan adalah faktor penting dalam menentukan hasil panen alfalfa. Oleh karena itu, memilih waktu pemotongan yang tepat bisa menjadi salah satu cara efektif untuk meningkatkan produktivitas.
Pengaruh Interaksi Varietas dan Cutting
Pemeriksaan Asumsi
Pendekatan Formal (Uji Statistik)
Uji Levene untuk Kehomogenan Ragam
- Derajat Bebas 1 (DB₁): 15
- Derajat Bebas 2 (DB₂): 64
- F-Hitung: 6.07
- Nilai-P: 0.000
Uji Levene digunakan untuk menguji kehomogenan ragam antar grup. Dalam kasus ini, nilai-P yang signifikan (kurang dari 0.05) menunjukkan bahwa varian antar grup tidak homogen. Ini merupakan pelanggaran dari salah satu asumsi utama ANOVA.
Uji Kenormalan
- Berbagai uji statistik digunakan untuk menguji normalitas distribusi residual:
- Shapiro-Wilk's: Statistik 0.961, Nilai-P 0.015
- Anderson Darling: Statistik 0.780, Nilai-P 0.043
- D'Agostino Pearson: Statistik 16.635, Nilai-P 0.000
- Liliefors: Statistik 0.108, Nilai-P kurang dari 0.05
- Kolmogorov-Smirnov: Statistik 0.108, Nilai-P lebih dari 0.20
Kecuali untuk uji Kolmogorov-Smirnov, semua uji lainnya menunjukkan nilai-P yang signifikan (kurang dari 0.05), menunjukkan bahwa distribusi residual tidak normal. Ini juga merupakan pelanggaran dari asumsi ANOVA.
Kesimpulan
Kedua asumsi utama ANOVA—kehomogenan ragam dan normalitas distribusi—telah dilanggar dalam analisis ini. Oleh karena itu, hasil dari ANOVA harus diinterpretasikan dengan hati-hati. Dalam situasi seperti ini, langkah-langkah perbaikan biasanya diperlukan, seperti transformasi data atau penggunaan metode statistik non-parametrik.
Meskipun demikian, pelanggaran asumsi ini tidak selalu mengurangi kevalidan temuan, terutama jika ukuran sampel cukup besar. Namun, pelanggaran asumsi ini memerlukan perhatian lebih dalam interpretasi hasil dan mempertimbangkan alternatif metode analisis.
Pendekatan Visual (Plot Grafik)
Interpretasi dan Pembahasan
- Normal P-Plot dari Data Residual
- Normal P-Plot digunakan untuk menilai apakah data berdistribusi normal. Dalam grafik ideal, poin-poin data akan mengikuti garis diagonal. Dari grafik, tampak bahwa poin-poin data cenderung menyimpang dari garis diagonal, menunjukkan potensi pelanggaran terhadap asumsi normalitas.
- Histogram Data Residual
- Histogram digunakan untuk menggambarkan distribusi frekuensi data. Dalam kasus ini, bentuk histogram menunjukkan adanya skewness dan mungkin kurtosis, yang keduanya adalah indikator lain dari pelanggaran normalitas.
- Plot Residual vs. Predicted
- Grafik ini digunakan untuk mengevaluasi homoskedastisitas, yaitu kehomogenan ragam residual. Dalam grafik ideal, poin-poin akan tersebar secara acak dan merata di sekitar garis horizontal nol. Namun, dari grafik ini tampak adanya pola, menunjukkan adanya heteroskedastisitas atau pelanggaran kehomogenan ragam.
- Standard Deviation vs. Mean
- Grafik ini menunjukkan hubungan antara deviasi standar dan rata-rata untuk setiap grup. Dalam situasi ideal, poin-poin akan tersebar secara acak tanpa pola tertentu. Namun, tampak adanya pola dalam grafik ini, yang bisa menunjukkan adanya pelanggaran terhadap asumsi kehomogenan ragam.
Kesimpulan
Grafik-grafik di atas menunjukkan pelanggaran terhadap beberapa asumsi kunci ANOVA, termasuk normalitas dan kehomogenan ragam. Oleh karena itu, perlu dilakukan langkah-langkah korektif sebelum melanjutkan dengan interpretasi hasil ANOVA atau mempertimbangkan penggunaan metode analisis alternatif yang lebih robust terhadap pelanggaran asumsi.
Box Cox dan Analisis Residual
Transformasi Box-Cox
- Lambda: 0.042
- Transformation: Log Transformation: Log(Y) atau LN(Y)
Transformasi Box-Cox digunakan untuk memperbaiki pelanggaran asumsi normalitas dan kehomogenan ragam dalam ANOVA. Nilai Lambda sebesar 0.042 menunjukkan bahwa transformasi logaritmik (Log(Y) atau LN(Y)) adalah metode yang paling tepat untuk digunakan.
Nilai Residual dan Pemeriksaan Data Pencilan
Kolom-kolom dalam tabel ini mencakup:
- Replikasi, Varietas, Cutting: Menunjukkan faktor-faktor yang digunakan dalam eksperimen.
- Yield: Hasil panen asli.
- Predicted: Hasil panen yang diprediksi oleh model.
- Residual: Selisih antara hasil panen asli dan yang diprediksi.
- Leverage: Ukuran dari sejauh mana suatu poin data mempengaruhi estimasi parameter model.
- Studentized Residual dan Studentized Deleted Residual: Residual yang telah dinormalisasi.
- Cooks Distance: Ukuran dari sejauh mana suatu poin data mempengaruhi seluruh model.
- DFITS: Diagnostik lain yang mirip dengan Cook's Distance.
- Diagnostic: Menunjukkan apakah poin data adalah pencilan atau tidak.
- Box Cox Data: Data setelah transformasi Box-Cox.
Interpretasi
- Poin Data dengan Diagnostic 'Outlier': Ada beberapa poin data yang diidentifikasi sebagai pencilan, seperti pada replikasi 1 untuk varietas 4 dan cutting 2 dengan nilai Cook's Distance 0.1495 dan replikasi 2 untuk varietas 2 dan cutting 2 dengan nilai Cook's Distance 0.1126. Pencilan ini dapat mempengaruhi hasil analisis dan mungkin perlu dikeluarkan atau dianalisis lebih lanjut.
Kesimpulan
Transformasi Box-Cox berhasil digunakan untuk memperbaiki pelanggaran asumsi normalitas dan kehomogenan ragam. Selain itu, pemeriksaan data pencilan memunculkan beberapa poin yang mungkin mempengaruhi hasil analisis. Langkah-langkah korektif mungkin perlu diambil, seperti menghilangkan atau mengkoreksi pencilan ini, sebelum melanjutkan dengan analisis lebih lanjut.
Transformasi Data
Interpretasi dan Pembahasan: Data Baru yang Memenuhi Asumsi ANOVA
Transformasi logaritmik (Log(Y) atau LN(Y)) dan penggantian data pencilan dengan nilai dari perhitungan data hilang telah dilakukan untuk memastikan data memenuhi asumsi ANOVA. Ini penting karena pelanggaran asumsi dapat mempengaruhi keakuratan dan keandalan hasil analisis.
Tabel Data Baru:
Kolom-kolom dalam tabel mencakup:
- Replikasi, Varietas, Cutting: Faktor-faktor eksperimental.
- Yield: Hasil panen asli.
- *Yield)**: Data hasil panen setelah dilakukan transformasi logaritmik dan/atau penggantian data pencilan.
- "Ganti data pencilan: Yield": Menunjukkan apakah suatu poin data adalah pencilan dan telah diganti.
Interpretasi
- Data yang Diganti (Replace): Beberapa data pencilan telah diganti, seperti pada replikasi 1 untuk varietas 4 dan cutting 2, serta replikasi 4 untuk varietas 2 dan cutting 2. Data ini diganti dengan menggunakan perhitungan data hilang untuk memastikan keakuratan analisis.
- Data Transformasi Logaritmik: Seluruh kolom "Yield*)" menunjukkan hasil panen setelah transformasi logaritmik, yang membantu memenuhi asumsi normalitas dan kehomogenan ragam.
Kesimpulan
Dengan melakukan transformasi data dan mengganti data pencilan, dataset kini lebih sesuai untuk analisis ANOVA. Langkah-langkah ini membantu memastikan bahwa hasil analisis akan lebih akurat dan andal. Selanjutnya, analisis ragam (ANOVA) dapat dilakukan pada dataset ini untuk mengetahui pengaruh faktor-faktor eksperimental terhadap hasil panen.
Pemeriksaan Asumsi Anova untuk Data Baru
1. Uji Levene untuk Kehomogenan Ragam
Uji Levene digunakan untuk memeriksa kehomogenan ragam antar grup. Dalam kasus ini, nilai-P lebih besar dari 0.05, yang berarti tidak ada bukti yang cukup kuat untuk menolak hipotesis nol bahwa varian antar grup adalah homogen. Ini adalah indikator baik bahwa data memenuhi salah satu asumsi kunci ANOVA.
2. Uji Kenormalan
Berbagai uji statistik digunakan untuk memeriksa normalitas distribusi residual. Semua uji menunjukkan nilai-P yang lebih besar dari 0.05, menunjukkan bahwa tidak ada bukti yang cukup untuk menolak hipotesis nol bahwa residual berdistribusi normal. Ini menunjukkan bahwa data memenuhi asumsi normalitas, yang adalah asumsi kunci lainnya dari ANOVA.
Kesimpulan
Setelah melakukan transformasi logaritmik dan penggantian data pencilan, tampaknya data kini memenuhi asumsi-asumsi ANOVA, termasuk kehomogenan ragam dan normalitas distribusi. Ini membuka jalan untuk melanjutkan dengan analisis ANOVA, dengan ekspektasi bahwa hasil akan lebih akurat dan andal.
Hasil analisis Ragam dan Uji Lanjut
uji lanjut lainnya tidak disertakan di sini.