Teori Informasi

Dosen: Abdul Azzam Ajhari, S.Kom., M.Kom. | Kelas: IF601, IF604, IF605 | Sifat: Take Home

Catetan gue buat UTS Teori Informasi. Isinya ngomongin cara ngukur informasi, entropy (ketidakpastian), kompresi data, sama kapasitas kanal. Di bawah ini jawaban 5 soal UTS — semoga lo paham ya.

Soal 1

Self-Information — Deteksi Anomali Jaringan

Kenapa log anomali bawa informasi lebih gede dibanding log normal? Pake rumus self-information \(I(x) = -\log_b P(x)\).

Soal 2

Probabilitas Kondisional — Klasifikasi Email Spam

Ngelihat kenapa info berubah begitu tau ada kata "hadiah" di email, pake conditional probability dan conditional information.

Soal 3

Entropy — Sensor IoT

Hitung entropy buat sensor IoT yang punya 3 status: normal (0.5), warning (0.3), critical (0.2).

Soal 4

Mutual Information & Relative Entropy — Sistem Rekomendasi

Mutual information \(I(X;Y)\) antara minat pengguna sama film yang diklik, plus kapan kita pake relative entropy (KL divergence).

Soal 5

Kompresi Data, Huffman Code & Kapasitas Kanal Shannon

Bikin pohon Huffman buat A=0.5, B=0.25, C=0.125, D=0.125, ngitung efisiensi kode, sama kapasitas kanal Shannon (B=3000Hz, SNR=15).