Canale de transmisie și capacitatea canalului

Definiția canalului de transmisie

Canalul de transmisie este orice dispozitiv sau mediu fizic prin care se transmit semnale de la emițător la receptor. Fiecare sistem de comunicație conține un canal de transmisie.

Un canal discret fără memorie este definit de:

• Mulțimea semnalelor de intrare: X = {x₁, x₂, ..., xₙ}
• Mulțimea semnalelor de ieșire: Y = {y₁, y₂, ..., yₘ}
• Probabilitățile de tranziție: P(yⱼ | xᵢ) — probabilitatea de a recepționa yⱼ când s-a transmis xᵢ

Clasificarea canalelor

Matricea de tranziție

Procesul de trecere prin canal este descris de matricea de tranziție (sau matricea de zgomot) P(Y|X), în care elementul de pe linia i, coloana j este P(yⱼ | xᵢ):

         y₁        y₂       ...    yₘ
x₁  [ P(y₁|x₁)  P(y₂|x₁)  ...  P(yₘ|x₁) ]
x₂  [ P(y₁|x₂)  P(y₂|x₂)  ...  P(yₘ|x₂) ]
...
xₙ  [ P(y₁|xₙ)  P(y₂|xₙ)  ...  P(yₘ|xₙ) ]

Proprietate: suma elementelor pe fiecare linie este egală cu 1 (fiecare linie este o repartiție de probabilitate completă).

Canalul binar simetric (CBS)

Canalul binar simetric este cel mai important model de canal în teoria informației. Are două intrări și două ieșiri, cu probabilitatea de eroare p (probabilitatea ca un bit transmis să fie recepționat greșit):

       0 ----(1-p)---→ 0
        \              /
         \---(p)---→  1
        /---(p)---→  0
       /              \
       1 ----(1-p)---→ 1

Matricea de tranziție a CBS:

P(Y|X) = [ 1-p    p  ]
          [  p   1-p  ]

Canalul este simetric deoarece probabilitatea de eroare este aceeași indiferent dacă se transmite 0 sau 1.

Capacitatea canalului

Capacitatea canalului C este definită ca maximul informației mutuale peste toate distribuțiile posibile ale intrării:

C = max I(X;Y)
    P(X)

Capacitatea exprimă cantitatea maximă de informație care poate fi transmisă fiabil printr-un canal, pe simbol transmis.

Capacitatea CBS

Pentru canalul binar simetric cu probabilitatea de eroare p, capacitatea este:

C = 1 + p · log₂(p) + (1-p) · log₂(1-p)

sau echivalent:

C = 1 - H(p)

unde H(p) = -p · log₂(p) - (1-p) · log₂(1-p) este funcția entropie binară.

Maximul informației mutuale se atinge pentru distribuția echiprobabilă la intrare: P(x₁) = P(x₂) = 0.5.

Cazuri limită

Exemplu numeric

Fie un CBS cu p = 0.1:

C = 1 + 0.1 · log₂(0.1) + 0.9 · log₂(0.9)
  = 1 + 0.1 · (-3.3219) + 0.9 · (-0.1520)
  = 1 - 0.3322 - 0.1368
  = 1 - 0.4690
  = 0.531 biți/simbol de canal

Interpretare: prin acest canal se pot transmite fiabil cel mult 0.531 biți de informație utilă per simbol de canal utilizat.

Canale dublu uniforme

Un canal este dublu uniform dacă:

• Toate liniile matricei de tranziție sunt permutări ale aceleiași mulțimi de valori
• Toate coloanele matricei de tranziție sunt permutări ale aceleiași mulțimi de valori

Pentru un canal dublu uniform, capacitatea se calculează:

C = log₂(m) - H(linia matricei de tranziție)

unde m este numărul de ieșiri, iar setul optim la intrare este distribuția echiprobabilă.

Puncte cheie pentru examen

• Canalul discret fără memorie: definit de X, Y și P(yⱼ | xᵢ)
• Matricea de tranziție: liniile sunt repartiții de probabilitate (sumă = 1)
• CBS: eroare simetrică cu probabilitate p, matrice [[1-p, p], [p, 1-p]]
• Capacitatea canalului: C = max I(X;Y) peste toate distribuțiile P(X)
• Capacitatea CBS: C = 1 - H(p) = 1 + p·log₂(p) + (1-p)·log₂(1-p)
• C = 0 pentru p = 0.5 (canal aleator) și C = 1 pentru p = 0 sau p = 1
• Canalul dublu uniform: setul optim la intrare este distribuția echiprobabilă

Exemple practice suplimentare

Exemplu 1: Capacitatea canalului binar simetric (CBS)

Un canal binar simetric are probabilitatea de eroare p = 0.1.

Capacitatea canalului:

C = 1 - H(p) = 1 - H(0.1)

H(0.1) = -[0.1·log₂(0.1) + 0.9·log₂(0.9)]
       = -[0.1·(-3.3219) + 0.9·(-0.1520)]
       = 0.3322 + 0.1368
       = 0.4690 biți

C = 1 - 0.4690 = 0.5310 biți/utilizare canal

Interpretare: Pentru fiecare simbol transmis, se pot transmite în mod fiabil maxim 0.531 biți de informație.

Exemplu 2: Canalul binar cu ștergere (BEC)

Un canal binar cu ștergere are probabilitatea de ștergere ε = 0.3. Canalul transmite corect cu probabilitate 1 - ε = 0.7 sau produce simbolul de ștergere ?.

Capacitatea canalului BEC:

C_BEC = 1 - ε = 1 - 0.3 = 0.7 biți/utilizare canal

Exemplu 3: Compararea canalelor

Concluzie: La p = 0.5, canalul binar simetric nu transmite nicio informație utilă (ieșirea este complet independentă de intrare).