Introducere
Teoria informației reprezintă fundamentul matematic al comunicațiilor digitale și al securității datelor. Această disciplină studiază transformarea, păstrarea și transmiterea informației, oferind instrumente formale pentru cuantificarea și optimizarea proceselor informaționale.
Informația și proprietățile ei
Informația este o știre care poartă în sine urma unui fapt, eveniment sau proces care nu era cunoscut anterior. Informația se poate regăsi sub diverse forme: limbaj, cărți, grafice, imagini, suporți magnetici sau optici, afișaje ale instrumentelor de măsură etc.
Proprietățile fundamentale ale informației:
- Este foarte diversificată (ca formă de prezentare și ca domeniu)
- Poate fi prelucrată și transformată
- Orice informație este un izvor de informație nouă
- Poate fi măsurată cantitativ
- Poate fi stocată pe diferite suporturi
- Nu se uzează prin utilizare — dimpotrivă, generează cantități tot mai mari de informație nouă
Surse de informație
Surse discrete
O sursă discretă fără memorie este un generator de semnale purtătoare de informație care produce semnale discrete din alfabetul său A = {a₁, a₂, ..., aₘ}. Dacă semnalele sunt statistic independente (sursa este fără memorie), probabilitatea unei succesiuni date αₙ = (α₁, α₂, ..., αₙ) de n litere este:
P(α₁, α₂, ..., αₙ) = P(α₁) · P(α₂) · ... · P(αₙ)
Surse continue
Sursele continue generează semnale care variază continuu în timp. Tratarea lor presupune discretizarea prin eșantionare, ceea ce permite aplicarea acelorași principii ca în cazul surselor discrete.
Modelul sistemului de transmisie
Schema bloc generală a unui sistem de transmisie conține următoarele elemente:
Sursă → Coder de sursă → Coder de canal → Canal → Decoder de canal → Decoder de sursă → Destinatar
↑
Perturbații
Componentele sistemului:
- Sursa informațională — poate fi omul sau un dispozitiv, generează informația ce urmează a fi transmisă
- Coderul de sursă — reduce redundanța, comprimă mesajul pentru eficiență
- Coderul de canal — introduce redundanță controlată pentru protecția împotriva erorilor
- Canalul — mediul fizic de transmisie (linie telefonică, radio, fibră optică etc.)
- Perturbațiile — zgomotul termic, impulsuri parazite, bruiaj intențional
- Decoderul de canal — detectează și corectează erorile introduse de canal
- Decoderul de sursă — reconstituie mesajul original
- Destinatarul — omul sau un dispozitiv tehnic
Modelul probabilistic al semnalelor
În cazul semnalelor discrete se realizează o corespondență biunivocă între semnalele posibile și o mulțime de numere naturale X = {x₁, x₂, ..., xₙ}. Modelul probabilistic este dat printr-o repartiție a variabilei aleatoare:
X: x₁ x₂ x₃ ... xₙ
P: P(x₁) P(x₂) P(x₃) ... P(xₙ)
unde P(xₖ) este probabilitatea de apariție a evenimentului x = xₖ. Întotdeauna:
Σ P(xₖ) = 1 (pentru k = 1, 2, ..., n)
Măsura informației
Cantitatea de informație adusă de un eveniment xₖ cu probabilitatea P(xₖ) se numește auto-informația (sau informația proprie) și se definește ca:
I(xₖ) = -log₂ P(xₖ) = log₂ (1 / P(xₖ))
Unități de măsură
| Baza logaritmului | Unitate de măsură |
|---|---|
| 2 | bit (binary digit) |
| e (natural) | nat (natural unit) |
| 10 | hartley (sau dit) |
Exemplu numeric
Fie o sursă binară cu P(x₁) = 0.5 și P(x₂) = 0.5:
I(x₁) = -log₂(0.5) = log₂(2) = 1 bit
I(x₂) = -log₂(0.5) = log₂(2) = 1 bit
Fie acum un eveniment rar cu P(x) = 0.01:
I(x) = -log₂(0.01) ≈ 6.64 biți
Un eveniment mai puțin probabil aduce mai multă informație — aceasta este intuiția de bază a teoriei informației.
Puncte cheie pentru examen
- Informația este o știre despre un fapt necunoscut anterior; se măsoară cantitativ
- Sursa discretă fără memorie generează semnale statistic independente
- Modelul de transmisie: Sursă → Coder → Canal (+ perturbații) → Decoder → Destinatar
- Coderul de sursă reduce redundanța; coderul de canal adaugă redundanță controlată
- Auto-informația:
I(x) = -log₂ P(x), măsurată în biți (baza 2), nați (baza e) sau hartley (baza 10) - Un eveniment improbabil aduce mai multă informație decât unul frecvent
- Modelul probabilistic impune
Σ P(xₖ) = 1