Soal 3: Entropy sebagai Ukuran Ketidakpastian — Sensor IoT

Pertanyaan (Level C2)
Sebuah sensor IoT mengirimkan tiga jenis status: normal (0.5), warning (0.3), dan critical (0.2). Jelaskan masalah ketidakpastian, mengapa entropy diperlukan, dan hitung entropy sistem tersebut.

Jawaban

1. Masalah Ketidakpastian (Uncertainty)

Sensor IoT ngirim 3 kemungkinan status dengan probabilitas beda-beda. Masalah ketidakpastian muncul karena:

  • Kita ga tau status apa yang bakal dikirim sensor berikutnya.
  • Tiap status punya probabilitas beda, jadi tingkat kejutannya juga beda-beda.
  • Kita perlu ngukur rata-rata ketidakpastian dari keseluruhan sistem — bukan cuma satu kejadian doang.

2. Kenapa Perlu Entropy?

Entropy \(H(X)\) itu rata-rata ketidakpastian dari suatu sumber informasi. Kita perlu entropy karena:

1. Rata-rata Informasi

Self-information cuma ngukur satu kejadian. Entropy itu rata-rata self-information dari semua kejadian yang mungkin.

2. Batas Kompresi

Entropy nentuin batas minimal jumlah bit yang dibutuhin buat ngodein tiap status (Shannon's source coding theorem).

3. Efisiensi Sistem

Dengan tau entropy, kita bisa ngecek seberapa efisien sistem pengkodean atau transmisi data sensor kita.

4. Deteksi Anomali

Perubahan entropy dari waktu ke waktu bisa nunjukin perubahan pola di sensor (misal: sensor tiba-tiba sering ngirim critical).

3. Formula Entropy

Shannon Entropy Formula

$$H(X) = -\sum_{i=1}^{n} P(x_i) \cdot \log_2 P(x_i)$$

Dimana \(P(x_i)\) adalah probabilitas masing-masing status dan \(n\) adalah jumlah kemungkinan status.

4. Ngitung Entropy Sensor IoT

Status (\(x_i\))Probabilitas \(P(x_i)\)\(-\log_2 P(x_i)\)\(-P(x_i) \cdot \log_2 P(x_i)\)
Normal 0.5 \(-\log_2(0.5) = 1.000\) \(0.5 \times 1.000 = 0.500\)
Warning 0.3 \(-\log_2(0.3) \approx 1.737\) \(0.3 \times 1.737 \approx 0.521\)
Critical 0.2 \(-\log_2(0.2) \approx 2.322\) \(0.2 \times 2.322 \approx 0.464\)
Hasil Entropy

$$H(X) = 0.500 + 0.521 + 0.464$$ $$H(X) = 1.485 \text{ bits}$$

5. Maksudnya Apa Nih?

  • Entropy = 1.485 bits artinya rata-rata tiap status dari sensor IoT butuh minimal 1.485 bits buat diwakilin secara optimal.
  • Dengan 3 kemungkinan status, entropy maksimum-nya \(\log_2(3) \approx 1.585\) bits (kalo semua status probabilitasnya sama: 1/3).
  • Entropy aktual (1.485) < entropy maksimum (1.585) → ada redundansi di distribusi. Wajar sih, soalnya statusnya ga merata.
  • Efisiensi: \(\frac{1.485}{1.585} \approx 93.7\%\) dari entropy maksimum — artinya sistem lumayan ga pasti.
Intinya, entropy \(H(X) = 1.485\) bits itu rata-rata ketidakpastian sensor IoT. Tiap transmisi status rata-rata bawa 1.485 bits informasi. Nilai ini juga jadi batas bawah buat kompresi data sensor — kita ga bakal bisa ngodein status kurang dari 1.485 bits per simbol tanpa ngorbanin informasi.
🔌 Distribusi status & kontribusi entropy Pie chart buat distribusi + bar chart kontribusi entropy per status

6. Gunanya di Dunia Nyata

  • Pengkodean optimal: Status normal (paling sering) mending dikodein pake bit paling dikit (misal: 0), warning pake "10", critical pake "11" — ini prinsip Huffman coding.
  • Monitoring: Kalo entropy tiba-tiba naik (distribusi makin merata), bisa jadi sensor lagi ga beres.
  • Bandwidth: Dengan entropy 1.485 bits/status, buat 1000 status/detik butuh minimal bandwidth 1,485 bps.