Bedingte Wahrscheinlichkeiten

Mengendiagramm mit den Mengen A und B

Frage: Wk. von A, wenn man bereits weiß, dass B eingetreten ist.

Definition 1: Bedingte Wahrscheinlichkeit

\(\Omega\) Wk.raum, \(B \subseteq \Omega\), \(A \subseteq \Omega\) und \(Pr[B]>0\). Die bedingte Wahrscheinlichkeit A gegeben B ist definiert durch:

\[Pr[A\mid B]=\frac{Pr[A\cap B]}{Pr[B]}\]

Falls \(Pr[B]=0\), definiere: \(Pr[A\mid B]=0\)

Eigenschaften: Bedingte Wahrscheinlichkeit

1. \(A=B: \;\; Pr[B\mid B] =\frac{Pr[B\cap B]}{Pr[B]}=1\)
2. \(A \cap B=\emptyset : \;\; Pr[A\mid B] =\frac{Pr[\emptyset]}{Pr[B]}=0\)
3. \(B=\Omega : \;\; Pr[A\mid \Omega] =\frac{Pr[A \mid \Omega]}{Pr[\Omega]}=Pr[A]\)

Beispiele:

1. Würfel (Laplace Experiment)

   \(p=Primzahl=\{2,3,5\}\), \(u=ungerade=\{1,3,5\}\), \(p\cap u=\{3,5\}\)

   \(Pr[p]=Pr[u]=\frac{1}{2}\)

   \(Pr[p \mid u]=\frac{Pr[p\cap u]}{Pr[u]}=\frac{\frac{1}{3}}{\frac{1}{2}}=\frac{2}{3}\)

2. 2 Kinder

   \(\Omega=\{j,m\}^2=\{jj, jm, mj, mm\}\)

   \(B=\{jm, mj, mm\}\), \(A=\{mm\}\), \(A\cap B=\{mm\}\)

   \(Pr[A \mid B]=\frac{Pr[A \cap B]}{Pr[B]}=\frac{\frac{1}{4}}{\frac{3}{4}}=\frac{1}{3}\)

   C = 1. Kind ist \(m=\{mj, mm\}\)

   \(Pr[A \mid C]=\frac{Pr[A \cap C]}{Pr[C]}=\frac{\frac{1}{4}}{\frac{1}{2}}=\frac{1}{2}\)

Multiplikationssatz

Seien \(A_1,A_2,...,A_n \subseteq \Omega\) Ereignisse mit \(Pr[A_1\cap A_2\cap ... \cap A_n]>0\). Dann gilt:

\[Pr[A_1\cap A_2\cap ... \cap A_n]=Pr[A_1]*Pr[A_2\mid A_1] * Pr[A_3\mid A_1\cap A_2] * Pr[A_n\mid A_1\cap A_2\cap ... \cap A_{n-1}]\]

Beweis:

Definition einsetzen: \(Pr[A_1\cap A_2\cap ... \cap A_n]=Pr[A_1] * \frac{Pr[A_1\cap A_2]}{Pr[A_1]} * \frac{Pr[A_1\cap A_2 \cap A_3]}{Pr[A_1 \cap A_2]} * \frac{Pr[A_1\cap A_2 \cap ... \cap A_n]}{Pr[A_1\cap A_2 \cap ... \cap A_{n-1}]}\)

Alle Nenner sich durch den vorherigen Zähler raus. Nur der Zähler vom letzten Term bleibt stehen. Somit stimmt die Gleichung.

Beachte: \(A_1 \supseteq A_1 \cap A_2 \supseteq ... \supseteq A_1 \cap ... \cap A_n\)

\(\Rightarrow Pr[A_1]\ge Pr[A_1\cap A_2] \ge ... \ge Pr[A_1 \cap ... \cap A_n] \ge 0\)

Beispiel: Geburtstagsproblem

\(\Omega=\{1,2,...,n=365\}\), \(m\) Personen zufällig.

A = alle m Personen haben an unterschiedlichen Tagen Geburtstag.

Personen \(1, 2, ..., m\)

\(A_i=\) Person i hat an einem anderen Tag Geburtstag als die Personen \(1,2,.., i-1\). D.h. \(A=A_1\cap A_2 \cap ... \cap A_m\)

\(Pr[A_1] = 1\)

\(Pr[A_2\mid A_1] = \frac{n-1}{n}\)

\(Pr[A_3\mid A_1 \cap A_2] = \frac{n-2}{n}\)

\(Pr[A_j\mid A_1 \cap A_2 \cap ... \cap A_{j-1}] = \frac{n-(j-1)}{n}\)

Nach Multiplikationssatz:

\begin{align*} Pr[A]&=1*\frac{n-1}{n}*\frac{n-2}{n}*...*\frac{n-(m-1)}{n}\\ &=\prod_{j=1}^m\frac{n-(j-1)}{n} = \prod_{j=1}^m (1-\frac{j-1}{n}) \le \prod_{j=1}^m e^{-\frac{j-1}{n}} =\\ &= e^{-\frac{1}{n}* \sum_{j=1}^m (j-1)} = e^{-\frac{1}{n}* \sum_{j=0}^{m-1} (j)} = e^{-\frac{(m-1)m}{2n}}\\ \end{align*}

Zu tun

Check formula end

Hinweis: \(1-x\le e^{-x}\)

Satz: Totale Wahrscheinlichkeit

Seien \(A_1,A_2,...,A_n \subseteq \Omega\) paarweise disjunkt [1]. Sei \(B \subseteq \Omega\) mit \(B \subseteq A_1 \cup A_2\cup ...\cup A_n\), dann gilt:

\[Pr[B]=\sum_{i=1}^n Pr[B \mid A_i]*Pr[A_i]\]

Beweis:

\(B=(B\cap A_1)\cup (B\cap A_2) \cup ... \cup (B\cap A_n)\)

\(\Rightarrow Pr[B]= \sum_{i=1}^n Pr[B \cap A_i] = \sum_{i=1}^n Pr[B \mid A_i]*Pr[A_i]\), da \(B\cap A_i\) paarweise disjunkt sind mit \(i=1,...,n\).

Hinweis: \(Pr[A \mid B] = \frac{Pr[A\cap B]}{Pr[B]} \Leftrightarrow Pr[A\cap B] = Pr[A | B] * Pr[B]\)

Satz von Bayes:

Seien \(A_1,A_2,...,A_n \subseteq \Omega\) paarweise disjunkt [1], \(B \subseteq A_1 \cup A_2\cup ...\cup A_n\) und \(Pr[B]>0\), dann gilt:

\[Pr[A_i|B]=\frac{\Pr[A_i\cap B]}{Pr[B]}=\frac{Pr[B|A_i]*Pr[A_i]}{\sum_{i=1}^n Pr[B \cap A_i]*Pr[A_j]}\]

Hinweise: Dadurch wird es möglich aus \(Pr[A|B]\), \(Pr[B|A]\) zu berechnen. Dies ist möglich, da das UND kommutativ ist.

Beispiel: Datenübertragung über Kanal mit Fehlern (noisy)

Übertragen wird Bit 0 oder 1.

Ereignisse: für \(i=0,1\)

\(S_i=\) Bit i wird gesendet.

\(R_i=\) Bit i wird empfangen.

Es gelte: \(Pr[S_0]=0,3 \;\;, Pr[S_1]=0,7\)

Fehler: \(Pr[R_1|S_0]=0,3 \;\;, Pr[R_0|S_1]=0,1\)

Frage: Wk. für Übertragungsfehler?

\begin{align*} Pr[Ü-Fehler]&=Pr[(S_1\cap R_0) \cup (S_0 \cap R_1)]\\ &= Pr[S_1\cap R_0] + Pr[S_1\cap R_1]\\ &= Pr[R_0|S_1]*Pr[S_1]+Pr[R_1|S_0]*Pr[S_0]\\ &= 0,1 * 0,7+0,3*0,3 = 0,16\\ \end{align*}

Andere WK.‘s:

\begin{align*} Pr[R_1] &= Pr[R_1|S_0]*Pr[S_0]+Pr[R_1|S_1]*Pr[S_1] & NR: Pr[R_1|S_1] = 1-Pr[R_0\mid S_1]\\ &= 0,3*0,3+0,9*0,7=0,72\\ Analog: Pr[R_0]&=0,28 \;\;oder\;\; 1 - 0,72 = 0,28\\ Pr[S_1 \mid R_1]&=\frac{Pr[R_1\mid S_1]*Pr[S_1]}{Pr[R_1]}=\frac{0,9*0,7}{0,72}=0,875\\ Analog: Pr[S_0\mid R_0]&=0,75 \end{align*}

Beispiel: 3 Münzen

Gegeben sind 3 Münzen von denen 2 fair sind und eine gefälscht ist. Für die Gefälschte gilt: \(Pr[K]=\frac{2}{3}\).

Wähle die Reihenfolge und werfe jede zufällig.

\(E_i=\) Münze i ist gefälscht, \(i=1,2,3\)

\(Pr[E_i]=\frac{1}{3}\), \(\Omega=\{K,Z\}^3\)

Ergebnis sei:

1	2	3
K	K	Z

Frage: Wie groß ist die Wk., dass Münze 1 die gefälschte Münze ist?

\(B=\{(K,K,Z)\}\)

\(Pr[E_1\mid B] = ?\)

\(Pr[B\mid E_1] = \frac{2}{3}*\frac{1}{2}*\frac{1}{2}=\frac{1}{6}\)

\(Pr[B\mid E_2] = \frac{1}{2}*\frac{2}{3}*\frac{1}{2}=\frac{1}{6}\)

\(Pr[B\mid E_3] = \frac{1}{2}*\frac{1}{2}*\frac{1}{3}=\frac{1}{12}\)

\(Pr[E_1\mid B]=\frac{Pr[B\mid E_1]*Pr[E_1]}{\sum_{i=1}^3 Pr[B\mid E_i]*Pr[E_i]} = \frac{2}{5}\)

Definition: Unabhängigkeit

A und B sind voneinander unabhängig, falls das Zutreffen von Ereignis B, die Wk. von A nicht ändert. D.h. es gilt: \(Pr[A\mid B] = Pr[A]\) Folglich: \(\frac{Pr[A\cap B}{Pr[B]}=Pr[A]\)

\[\Rightarrow Pr[A\cap B]=Pr[A]*Pr[B]\]

Ist \(Pr[A]>0\), dann folgt \(Pr[B]=\frac{Pr[A\cap B]}{Pr[A]}=Pr[B\mid A]\)

Beispiel: 2 Würfel, geordnet

A = 1. Würfel ist gerade

B = 2. Würfel ist gerade

C = Summe ist 7

\(\Omega = [6]^2\)

Definiere: \(G=\{2,4,6\}\)

\(A=G\times [6]\), \(\vert A\vert=3*6=18\), \(Pr[A]=\frac{18}{36}=\frac{1}{2}\)

\(B=[6]\times G\), \(\vert B\vert=6*3=18\), \(Pr[A]=\frac{18}{36}=\frac{1}{2}\)

\(C=\{(1,6),(2,5),(3,4),(4,3),(5,2),(6,1)\}\), \(Pr[C]=\frac{1}{6}\)

\(Pr[A\cap B]=Pr[G\times G]=\frac{9}{36}=\frac{1}{4}=Pr[A]*Pr[B]\Rightarrow\) A und B sind unabhängig.

\(Pr[A\cap C]=Pr[\{(2,5), (4,3), (6,1)\}]=\frac{3}{36}=\frac{1}{12}=Pr[A]*Pr[C]\Rightarrow\) A und C sind unabhängig. Analog: \(B\cap C \Rightarrow\) A/B sind unabhängig von C.

\(Pr[A\cap B \cap C]=Pr[\emptyset]=0\ne Pr[A]*Pr[B]*Pr[C]\Rightarrow\) Nicht alle drei sind unabhängig.

Definition: Unabhängigkeit von n Ereignissen

\(A_1,A_2,...,A_n\) heißen unabhängig, falls:

\[\forall I \subseteq [n] : Pr[\bigcap_{i\in I}A_i]=\prod_{i\in I}Pr[A_i]\]

Erklärung: Alle möglichen Kombinationen werden betrachtet und müssen unabhängig sein.

Satz:

Sind A und B unabhängig, dann sind auch unabhängig:

• \(\bar A\) und \(B\)
• \(A\) und \(\bar B\)
• \(\bar A\) und \(\bar B\)

Beweis: zu \(\bar A,\; B\)

\(\bar A \cap B = B-A=B-(A\cap B) \Rightarrow (\bar A \cap B)\cup (A\cap B) = B\) [2]

\(\Rightarrow Pr[(\bar A \cap B)\cup (A\cap B)] = Pr[\bar A \cap B] + Pr[A\cap B] = Pr[\bar A\cap B] + Pr[A]*Pr[B] =Pr[B]\)

\begin{align*} Pr[\bar A \cap B] &= Pr[B]-Pr[A]*Pr[B]\\ &= (1-Pr[A])*Pr[B] &= Pr[\bar A]*Pr[B] \end{align*}

Analog für \(A,\; \bar B\). Damit folgt auch, dass \(\bar A\) und \(\bar B\) unabhängig sind.

Beweis: für \(\bar A, \bar B\)

A, B unabhängig \(\Rightarrow \bar A,\; B\) unabhängig. Def: \(\bar A = C\). \(\Rightarrow C,\; \bar B\) unabhängig \(\Rightarrow \bar A,\; \bar B\) unabhängig.

Def:

Für \(A\subseteq \Omega\), \(A^1=A\) und \(A^0=\bar A\)

Satz:

Seien \(A_1, A_2, ...,A_n \subseteq \Omega\), dann gilt:

\(A_1,A_2,...,A_n\) sind unabhängig \(\Rightarrow\)

\(\forall s_1,s_2,...,s_n\in \{0,1\} Pr[A_1^{s_1} \cap A_2^{s_2} \cap,...,A_n^{s_n}]=Pr[A_1^{s_1}]* Pr[A_2^{s_2}]* Pr[A_2^{s_2}]*...*Pr[A_n^{s_n}]\)

Zu tun

Beweis

Folgerungen:

A, B unabhängig:

\(\Leftrightarrow \bar A, B\) unabh.

\(\Leftrightarrow A, \bar B\) unabh.

\(\Leftrightarrow \bar A, \bar B\) unabh.

A, B, C unabh. \(\Rightarrow A\cap B, C\) unabh. und \(A\cup B, C\) unabh.

Zu tun

Beweise

Zu tun

Beispiele + Anwendungen

Zusammenfassung: Bedingte Wahrscheinlichkeit

\(A, B \subseteq \Omega\)

Bedingte Wahrscheinlichkeit A gegeben B:

\[Pr[A\mid B]=\frac{Pr[A\cap B]}{Pr[B]}\]

Sonderfälle:

1. \(A=B: \;\; Pr[B\mid B] =\frac{Pr[B\cap B]}{Pr[B]}=1\)
2. \(A \cap B=\emptyset : \;\; Pr[A\mid B] =\frac{Pr[\emptyset]}{Pr[B]}=0\)
3. \(B=\Omega : \;\; Pr[A\mid \Omega] =\frac{Pr[A \mid \Omega]}{Pr[\Omega]}=Pr[A]\)

Multiplikationssatz:

Seien \(A_1,A_2,...,A_n \subseteq \Omega\) Ereignisse mit \(Pr[A_1\cap A_2\cap ... \cap A_n]>0\). Dann gilt:

\[Pr[A_1\cap A_2\cap ... \cap A_n]=Pr[A_1]*Pr[A_2\mid A_1] * Pr[A_3\mid A_1\cap A_2] * Pr[A_n\mid A_1\cap A_2\cap ... \cap A_{n-1}]\]

Totale Wahrscheinlichkeit:

Seien \(A_1,A_2,...,A_n \subseteq \Omega\) paarweise disjunkt. Sei \(B \subseteq \Omega\) mit \(B \subseteq A_1 \cup A_2\cup ...\cup A_n\), dann gilt:

\[Pr[B]=\sum_{i=1}^n Pr[B \mid A_i]*Pr[A_i]\]

Satz von Bayes:

Seien \(A_1,A_2,...,A_n \subseteq \Omega\) paarweise disjunkt [1], \(B \subseteq A_1 \cup A_2\cup ...\cup A_n\) und \(Pr[B]>0\), dann gilt:

\[Pr[A_i|B]=\frac{\Pr[A_i\cap B]}{Pr[B]}=\frac{Pr[B|A_i]*Pr[A_i]}{\sum_{i=1}^n Pr[B \cap A_i]*Pr[A_j]}\]

Unabhängigkeit:

2 Ereignisse:

\[Pr[A\cap B]=Pr[A]*Pr[B]\]

n Ereignisse:

\[\forall I \subseteq [n] : Pr[\bigcap_{i\in I}A_i]=\prod_{i\in I}Pr[A_i]\]

oder

\[\forall s_1,s_2,...,s_n\in \{0,1\} Pr[A_1^{s_1} \cap A_2^{s_2} \cap,...,A_n^{s_n}]=Pr[A_1^{s_1}]* Pr[A_2^{s_2}]* Pr[A_2^{s_2}]*...*Pr[A_n^{s_n}]\]

Erklärung: Alle möglichen Kombinationen werden betrachtet und müssen unabhängig sein.

Fußnoten

[1]	(1, 2, 3) Werden zwi beliebige Mengen geschnitten, ist der Schnitt immer leer

[2]	\(\bar A\cap B \) sind disjunkt