3  Wahrscheinlichkeitstheorie

Die Wahrscheinlichkeitstheorie ist die Basis für die Statistik. Sie liefert die mathematische Grundlage um anhand Versuche bzw. Experiemente Rückschlüsse auf eine Grundgesamtheit zu machen. Mittels dieser Versuche kommt man zu Daten, einer Stichprobe aus der Grundgesamtheit, und anhand der Definitionen und Methoden aus der Wahrscheiunlichkeitstheorie lassen sich Schlüsse auf die Grundgesamtheit ziehen.

So wie die Statistik auf der Wahrscheinlichkeitstheorie aufbaut, baut die Wahrscheinlichkeitstheorie auf der Mengenlehre auf.

3.1 Mengenlehre

Einer der Hauptaufgaben in der Statistik ist es anhand eines Experiments Rückschlüsse auf die Grundgesamtheit zu machen. Dafür ist als erster Schritt notwendig, alle möglichen Ergebnisse aus dem Experiment zu identifizieren, der Stichprobenraum.

Definition 3.1 Die Menge \(\mathbb{S}\) aller möglichen Ereignisse eines Experiments wird als Stichprobenraum bezeichnet.

Bei dem Experiment des Wünzwurf gibt es zwei mögliche Ereignisse. Kopf (K) oder Zahl (Z), der Strichprobenraum ist dann

\[ \mathbb{S} = \{K, Z\}. \]

Wenn das Experiment die Beobachtung der Punkte bei der Biostatistikprüfung von zufällig ausgewählten Studierenden ist, so enthält der Stichprobenraum alle ganze Zahlen von 0 bis 100. Beschreibt das Experiment die Reaktionszeit eines Lebewesen auf einen bestimmten Stimulus, so ist der Stichprobenraum die Menge aller positiven Zahlen, \(\mathbb{S}=[0, \infty)\).

Stichprobenraum für unterschiedliche Zufallsexperimente

• Werfen eine Münze: \(\{\)Kopf, Zahl\(\}\)
• Werfen eines Würfels: \(\{1,2,3,4,5,6\}\)
• Schulnoten: \(\{\)\(1\), \(2\), … \(5\)\(\}\)
• Anzahl bakteriologischer Kulturen: \(\{\) \(1, 2, 3, \ldots, \infty\) \(\}\)
• Aflatoxingehalt in Nüssen: \([0; \infty)\) [\(\mu\)g]

Bei den ersten vier Beispielen besteht der Stichprobenraum aus (theoretisch) abzählbar vielen Elementen. Es handelt sich somit um einen abzählbaren Stichprobenraum mit diskreten Werten. Im fünften Beispiel wird der Aflatoxingehalt gemessen, dieser kann im angegebenen Intervall jeden belibeigen Wert annehmen, daher handelt es sich hier um nicht abzählbaren Stichprobenraum mit stetigen Werten.

3.1.1 Ereignis

Definition 3.2 Ein Ereignis ist eine Auswahl von möglichen Ergebnissen aus dem Stichprobenraum. Mathematisch ausgedrückt ist ein Ereignis \(A\) ist eine Teilmenge des Stiochprobenraum \(\mathbb{S}\).

In der Statistik spricht man in der Regel vom Ereignis und weniger von Teilmengen. Es sei \(A\) ein Ereignis, eine Teilmenge von \(\mathbb{S}\). Man sagt ein Ereignis \(A\) tritt ein, wenn eines der möglichen Ergebnisse aus \(A\) beobachtet wird.

Als erster müssen ein paar Beziehungen formal definiert werden:

Teilmenge:

Eine Menge \(A\) ist eine Teilmenge von \(B\), wenn jedes Element \(x\), dass in \(A\) enthaleten ist, auch in \(B\) enthalten ist. Mathematisch wird das wie folgt ausgedrückt:

\[ A \subset B \Leftrightarrow x \in A \Rightarrow x \in B. \]

Gleichheit:

Zwei Mengen \(a\) und \(B\) sind gleich, wenn \(A\) eine Teilmenge von \(B\) ist und \(B\) auch eine Teilmengevon \(A\) ist. Mathematisch wird das wie folgt ausgedrückt:

\[ A = B \Leftrightarrow A \subset B \; \mbox{und} \; B \subset A. \]

3.1.2 Elementare Mengenoperationen

Wenn zwei Ereignisse (Mengen) \(A\) und \(B\) gegeben sind, so existieren folgende elementare Mengenoperationen.

Vereinigung

Die Vereinigung von zwei Mengen \(A\) und \(B\), geschrieben als \(A \cup B\), ist die Menge aller Elements die entweder in \(A\) oder in \(B\) enthalten sind:

\[ A \cup B = \{ x: x \in A \; \mbox{oder} \; x \in B \}. \]

Durchschnitt

Der Durchschnitt von zwei Mengen \(A\) und \(B\), geschrieben als \(A \cap B\), ist die Menge aller Elements die sowohl in \(A\) als auch in \(B\) enthalten sind:

\[ A \cap B = \{ x: x \in A \; \mbox{und} \; x \in B \}. \]

Komplementärmenge

Das Komplement einer Menge \(A\), geschrieben als \(A^C\), ist die Menge aller Elemente die nicht in \(A\) enthalten sind:

\[ A^C = \{ x: x \notin A \}. \]

Beispiel 3.1 (Ereignis Operationen) Bei einem regulären Kartendeck gibt es vier unterschiedliche Fareben: Kreuz (K), Karo (D), Herz (H) und Pik (P). Das durchgeführte Experiment ist das zufällige Ziehen einer Karte aus dem Kartendeck. Der Stichprobenraum ist dann:

\[ \mathbb{S} = \{K, D, H, P\}, \]

und zwei mögliche Ereignisse sind \[ A = \{K, D\} \qquad \mbox{und} \qquad B = \{D, H, P\}. \]

Aus diesen Ereignissen kann folgendes berechnen:

\[ A \cup B = \{K, D, H, P\}, \qquad A \cap B = \{ D\} \qquad \mbox{und} A^C = \{H, P\}. \]

Zusätzlich ist \(A \cup B = \mathbb{S}\) und \((A \cup B)^C = \emptyset\), wobei \(\emptyset\) die leere Menge ist.

Die elementaren Operationen bei Mengen können ähnlich wie die Addition und Multiplikation kombiniert werden.

Theorem 3.1 (Eigenschaften von Mengenoperationen) Für drei Ereignisse \(A\), \(B\), und \(C\) aus dem Stichprobenraum \(\mathbb{S}\) gilt:

• Kommutativgesetz
  • \(A \cup B = B \cup A\)
  • \(A \cap B = B \cap A\)
• Assoziativgesetz:
  • \(A \cup (B \cup C) = (A \cup B) \cup C\)
  • \(A \cap (B \cap C) = (A \cap B) \cap C\)
• Distributivgesetz:
  • \(A \cap (B \cup C) = (A \cap B) \cup (A \cap C)\)
  • \(A \cup (B \cap C) = (A \cup B) \cap (A \cup C)\)
• DeMorgan’sch Regel
  • \((A \cup B)^C = A^C \cap B^C\)
  • \((A \cap B)^C = A^C \cup B^C\)

Definition 3.3 Zwei Ereignisse \(A\) und \(B\) sind disjunkt wenn \(A \cap B = \emptyset\). Die kann man auch auf mehrere Ereignisse ausweiten. Die Ereignisse \(A_1, A_2, \ldots\) sind paarweise disjunkt wenn \(A_i \cap A_j = \emptyset\) für alle \(i \neq j\).

Disjunkte Mengen sind Mengen die keine Elemente gemeinsam haben. Ein Beispiel für disjunkte Mengen ist die Unterteilung der positiven reellen Zahlen in disjunkte Intervalle in folgender Form: \[ A_i = \left[ i, i+1\right) , \qquad i = 0,1,2,\ldots \]

Definition 3.4 (Partition) wenn \(A_1, A_2, \ldots\) paarweise disjunkt sind und die Vereinigung aller \(A_i\) den Stichprobenraum \(\mathbb{S}\) ergibt, also \[ \cup_{i=1}^\infty A_i = \mathbb{S}, \] dann ist \(A_1, A_2, \ldots\) eine Partition von \(\mathbb{S}\)

3.2 Basics der Wahrscheinlichkeitstheorie

Wenn ein Experiment durchgeführt wird, ist die Realisation des Experiments eine Element aus dem Stichprobenraum. Führt man das Experiment öfter hinereinander durch, so wird man unterschiedliche Realistaionen beobachten. Man kann nun die Häufigkeit des Auftreten der einzelnen Realisatioen als Wahrscheinlichkeit deuten. Je häufiger eine Realisation (Element) beobachtet wurde, desto höher ist die Wahrscheinlichkeit, dass diese Realistaion beim einem neuerlichen Druchführen des Experiment beobachtet wird. Kann man das Auftreten einer Realisation aus dem Stichprobenraum mit Wahrscheinlichkeiten beschreiben so ist man auf dem richtigen Weg das Experimente statistisch zu analysieren.

Die Wahrscheinblichkeit über die Häufigkeit des Auftretens von Realisationen eines Experiments zu beschreiben, ist eine Möglichkeit Wahrscheinlichkeit zu definieren. Im Folgenden wird der mathematischen Weg der Definition einer Wahrscheinlichkeit ausgeführt.

3.2.1 Wahrscheinlichkeits Axiome

Um die Wahrscheinlichkeit zu beschreiben, wollen wir jedem Ereignis \(A\) aus dem Stichprobenraum eine reelle Zahl zwischen \(0\) und \(1\) zuordnen. Diese Zahl nennen wir Wahrscheinlichkeit und wird mit \(P(A)\) bezeichnet. Diese Zahl wollen wir für alle Ereignisse aus dem Stichprobenraum definieren. Was hier relativ einfach hinzuschreiben ist erweist sich in der Mathamatik als nicht ganz so einfach. Da diese Abhandlung den Umfang des Buches sprengen würde, wird hier auf geeignete Fachliteratur verwiesen und die wesentlichen Aximoe in vereionfachter Form angeführt.

Definition 3.5 Es sein ein Stichprobenraum \(\mathbb{S}\) gegeben und \(A_1, A_2, \ldots\) paarweise disjunkte Ereignisse, dann ist eine Wahrscheinlichkeitsfunktion eine Funktion \(P\) die folgende 3 Axiome erfüllt:

1. \(P(A) \geq 0\) für alle \(A\)
2. \(P(\mathbb{S}) = 1\)
3. \(P(\cup_{i=1}^\infty A_i) = \sum_{i=1}^\infty P(A_i)\)

In Worten bedeuten diese drei Axiome folgendes:

1. Die Wahrscheinlichkeit eines Ereignisses ist immer größer oder gleich \(0\).
2. Die Wahrscheinlichkeit das irgendein Ereginis aus dem Stichprobenraum eintritt ist \(1\). Also irgendein Ereignis aus dem Stichprobenraum tritt immer ein
3. Die wahrscheinlichkeit von der Vereinigung von disjunkten Ereignissen ist die Summe der Wahrscheinlichkeiten der einzelen Ereignissen.

Wenn man die \(A_1, A_2, \ldots\) als Partition von \(\mathbb{S}\) definiert, also disjunkte Ereignisse die in der Vereingung \(\mathbb{S}\) ergeben, so ergibt sich aus 3. und 2. dass die Summe von Wahrscheinlichkeiten nie größer als \(1\) sein kann. Mit 1. ergibt sich nun auch, dass \(P(A) \leq 1\) sein muss. Somit beschreiben diese Axiome eine Wahrscheinlichjkeitsfunktion, so wie wir sie am Anfang des Abschnittes angedacht haben. Jedem Ereignis \(A\) wird eine reelle Zahl zwischen \(0\) und \(1\) zugeordnet.

Beispiel 3.2 (Definition von Wahrscheinlichkeit I) Wir betrachten eine einfaches Zufallsexperiment, das Werfen einer Münze. Wir gehen davon aus, dass die Münze fair ist und die Münze gleich wahrscheinlich mit Kopf (K) oder Zahl (Z) nach oben zu liegen kommt. Der Stichprobenraum ist dann \(\mathbb{S} = \{K, Z\}\). Beide Ereignisse bekommen somit die gleiche Wahrscheinlichkeit und es gilt

\[ P(\{K\}) = P(\{Z\}) \]

Nun ist \(\mathbb{S} = \{K\} \cup \{Z\}\) und mit Axiom 2 folgt \(P(\{K\} \cup \{Z\}) = 1\), Weiter sind die beiden Ereignisse disjunkt und auf Grund von Axiom 3 gilt \(P(\{K\} \cup \{Z\}) = P(\{K\}) + P(\{Z\})\). Daraus folgt nun

\[ P(\{K\}) + P(\{Z\}) = 1 \]

und in Folge dass \(P(\{K\}) = P(\{Z\}) = \frac{1}{2}\).

3.3 Übungen

Übung 3.1 Was beschreibt die Binomialverteilung?

Übung 3.2 Wann kann die Binomialverteilung (B(n,p)) mit der Normalverteilung approximiert werden?

Übung 3.3 Wie kann eine normalverteilte Zufallsvariable in eine standardnormalverteilte Zufallsvariable transformiert werden?