Upload
others
View
7
Download
0
Embed Size (px)
Citation preview
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 1
Zufallsexperimente, Zufallsvariable undStochastische Prozesse
Kurzzusammenfassung
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 2
Zufallsexperimente
Ein Zufallsexperiment oder Zufallsversuch ist ein Experiment, dessen Durchfuhrung zufallsabhangige
(ungewisse) Resultate liefert und das sich im Prinzip unter gleichen Bedingungen (zumindest gedanklich)
beliebig oft wiederholen lasst. Die moglichen Resultate eines Zufallsversuchs heißen auch Ergebnisse,
Ausgange oder Resultate. Beispiel: Werfen eines (fairen) Wurfels.
Ein mogliches Resultat eines Zufallsexperiments heißt Ergebnis und wird im Folgenden mit ω bezeich-
net. Die moglichen Ergebnisse des Experiments “Wurfel” sind die Augenzahlen ω1 =“1”, ω2 =“2”, . . .,
ω6 =“6”.
Die Menge aller Versuchsausgange wird Merkmalraum oder Ergebnisraum genannt und mit Ω=ω be-
zeichnet. Fur den Wurfel ist der Ergebnisraum die Menge aller moglichen Augenzahlen,
Ω = “1”,“2”,. . .,“6”.
Jede Zusammenfassung von Ergebnissen stellt ein Ereignis dar. Beim Wurfelbeispiel sind mogliche
Ereignisse z. B.
A = ω1 Ereignis “Augenzahl 1”
A = ω1, ω3 Ereignis “Augenzahl ist 1 oder 3”
A = ω1, ω3, ω5 Ereignis “Augenzahl ist ungerade”
A = ω4, ω5, ω6 Ereignis “Augenzahl ist großer als 3”
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 3
Sind die Ergebnisse eines Zufallsexperiments diskret wie z. B. beim Wurfel, so stellen die Ergebnisse selbst
Ereignisse dar, die sog. Elementarereignisse. Wenn es k Elementarereignissen ωi gibt, so lassen sich daraus
2k verschiedene Ereignisse Aj bilden (ein Ereignis kann ein Elementareregnis enthalten oder nicht ⇒ 2k
Moglichkeiten).
Die Ergebnisse eines Zufallsexperiments konnen andererseits auch kontinuierlich sein (kontinuierlicher
Merkmalraum), z. B. die Abtastung eines wertkontinuierlichen Signals. Ein mogliches Ergebnis ist beispiel-
sweise die Zahl 3.1436. . .. Das Intervall [3,4] stellt im Gegensatz dazu ein Ereignis dar. Genau den Wert
3.1436. . . wird man praktisch nie messen (die Wahrscheinlichkeit, exakt diesen Wert zu messen, ist gleich
null, wie im nachsten Kapitel deutlich wird); die Wahrscheinlichkeit fur das Ereignis [3,4], d. h. das der
Abtastwert eine Zahl zwischen 3 und 4 ist, ist dagegen i. a. von null verschieden. Das ist der Grund,
warum zwischen den Begriffen “Ergebnis” und “Ereignis” sorgfaltig unterschieden wird.
Ein Ereignis das nie auftreten kann, wird “unmogliches Ereignis” ∅ genannt. Die Wahrscheinlichkeit des
unmoglichen Ereignisses ist null, Prob∅=0.
Der Merkmalraum Ω (die Menge aller moglichen Ergebnisse) stellt das “sichere Ereignis” dar, d. h. das
Ereignis das immer auftritt. Die Wahrscheinlichkeit des sicheren Ereignisses ist gleich eins, ProbΩ=1.
Als komplementares Ereignis AC wird das Ereignis “A tritt nicht auf” bezeichnet. Es ist also
AC = ωi|ωi /∈ A.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 4
Aus zwei Ereignissen A und B lassen sich andere Ereignisse C durch folgende Verknupfungen gewinnen:
Vereinigung: C = A ∪ B = ωi | ωi ∈ A oder ωi ∈ B = ”Ereignis A oder Ereignis B (oder beide)
treten auf”.
Wurfelbeispiel: “Augenzahl ungerade” ∪ “Augenzahl>3” = ω1, ω3, ω5 ∪ ω4, ω5, ω6 =
ω1, ω3, ω4, ω5, ω6.
Durchschnitt: C = A ∩ B = AB = ωi | ωi ∈ A und ωi ∈ B = “Ereignis A und Ereignis B treten
gleichzeitig auf”.
Wurfelbeispiel: “Augenzahl ungerade” ∩ “Augenzahl>3” = ω1, ω3, ω5 ∩ ω4, ω5, ω6 = ω5.
Differenz: C = A \ B = ωi | ωi ∈ A und ωi /∈ B = “Ereignis A tritt auf und Ereignis B
tritt nicht auf”.
Wurfelbeispiel: “Augenzahl ungerade” \ “Augenzahl>3” = ω1, ω3, ω5 \ ω4, ω5, ω6 = ω1, ω3.
Zwei Ereignisse heißen disjunkt (unvereinbar, unvertraglich), wenn sie nie gleichzeitig auftreten konnen,
d. h. AB = ∅. Elementarereignisse sind immer disjunkt. Weiter gilt fur die Implikation A ⊂ B (A
entspricht einer Teilmenge von B) ωi ∈ A ⇒ ωi ∈ B.
Wurfelbeispiel: ω2, ω6 ⊂“Augenzahl gerade”.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 5
Ein sehr nutzliches Hilfsmittel zur Illustration ist das so genannte Venn-Diagramm, in welchem Ereignisse
durch Flachen dargestellt werden:
A B
Ω
∅
Ω Ω
Ω Ω
Ω
Ω
A BAC
A
AB
B
A\B
BA
AB=∅
B
A⊂B
A ∪ B
Es gilt (vgl. Venn-Diagramm) ΩC = ∅, ∅C = Ω, AC = Ω \ A, (AC)C = A, A \ B = ABC,
A ∪ A = AA = A, A ∪ AC = Ω, AAC = ∅, A ∪ Ω = Ω, AΩ = A, A ∪ ∅ = A, A∅ = ∅.
Weiter gelten folgende Kommutativ-, Assoziativ- und Distributivgesetze: A ∪ B = B ∪ A, AB = BA,
A∪ (B∪C) = (A∪B)∪C, A(BC) = (AB)C, A∪ (BC) = (A∪B)(A∪C), A(B∪C) = AB∪AC,
A(B \ C) = AB \ AC, sowie die
De Morganschen Regeln (A ∪ B)C = ACBC, (AB)C = AC ∪ BC.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 6
Die Wahrscheinlichkeit ProbA eines Ereignisses A ist axiomatisch definiert, wobei folgende Eigen-
schaften (Axiome) gefordert werden (Kolmogoroff, 1933):
Axiom 1: 0 ≤ ProbA ≤ 1
Axiom 2: ProbΩ = 1
Axiom 3: AB = ∅ ⇒ ProbA ∪ B = ProbA + ProbB
Aus den Axiomen folgen weitere Eigenschaften der Wahrscheinlichkeit
Prob∅ = 0
A ⊂ B ⇒ ProbA ≤ ProbB
ProbAC = 1 − ProbA
ProbA = ProbAB + ProbABC
ProbA ∪ B = ProbA + ProbB − ProbAB ≤ ProbA + ProbB
ProbA \ B = ProbA − ProbAB
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 7
Laßt sich ein Ereignis A als Vereinigung von paarweise disjunkten Ereignissen Ai darstellen,
A = A1 ∪ A2 ∪ . . . ∪ AK =
K⋃
i=1
Ai mit AiAj = ∅ fur i 6= j ,
dann gilt fur die Wahrscheinlichkeit von A
ProbA =K
∑
i=1
ProbAi.
Die bedingte Wahrscheinlichkeit ProbA|B eines Ereignisses A unter der Bedingung B (das heißt
unter der Bedingung daß das Ereignis B bereits eingetreten ist), ist definiert als
ProbA|B =ProbAB
ProbBwobei ProbB 6= 0.
Aus dieser Definition ergeben sich unmittelbar die folgenden Regeln:
AB = ∅ (A,B disjunkt) ⇒ ProbAB = 0 ⇒ ProbA|B = 0
A ⊂ B ⇒ ProbAB = ProbA ⇒ ProbA|B = ProbA/ProbB ⇒ ProbA|B ≥ ProbA
B ⊂ A ⇒ ProbAB = ProbB ⇒ ProbA|B = 1
ProbA|A = 1, ProbA|Ω = ProbA, ProbΩ|B = 1, Prob∅|B = 0.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 8
Bayes Theorem: Aus der Definition fur die bedingte Wahrscheinlichkeit folgt fur die Verbundwahrschein-
lichkeit der Ereignisse A und B
ProbAB = ProbA|BProbB = ProbB|AProbA.(1)
Daraus ergibt sich das fur Berechnungen wichtige Bayessche Theorem
ProbB|A = ProbA|BProbB
ProbA, (ProbA 6= 0).(2)
Zwei Ereignisse A und B heißen statistisch unabangig, wenn ProbA|B = ProbA gilt. Fur die
Verbundwahrscheinlichkeit folgt daraus
ProbAB = ProbAProbB.
Gl.1 laßt sich auch auf K Ereignisse A1, A2, . . . , AK verallgemeinern (Kettenregel):
ProbA1A2 . . . AK = ProbAK|(AK−1AK−2 . . . A1) . . . ProbA3|(A2A1)ProbA2|A1ProbA1.
K Ereignisse A1, A2, . . . , AK heißen statistisch unabhangig, wenn ProbAi1Ai2 . . . Ain|Aj1Aj2 . . . Ajm =
ProbAi1Ai2 . . . Ain fur beliebige verschiedene Gruppen Ai1, Ai2, . . . , Ain und Aj1, Aj2, . . . , Ajm, die
kein Ereignis gemeinsam haben, gilt. Notwendig und hinreichend ist hier
ProbA1A2 . . . AK = ProbA1ProbA2 . . . ProbAK.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 9
Laßt sich das Ereignis A als Vereinigung von K disjunkten Ereignissen Ai darstellen, dann gilt
ProbA|B =
K∑
i=1
ProbAi|B with A =
K⋃
i=1
Ai, AiAj = ∅ for i 6= j.
Durch Anwendung des Bayesschen Theorems gilt umgekehrt
ProbB|A =1
ProbA
K∑
i=1
ProbB|AiProbAi =
K∑
i=1
ProbB|AiProbAi
K∑
i=1
ProbAi
.
Gilt nun speziell A = Ω, d. h.K⋃
i=1
Ai = Ω, ergibt sich der Satz von der vollstandigen Wahrschein-
lichkeit
ProbB =
K∑
i=1
ProbB|AiProbAi, bzw. ProbB =
K∑
i=1
ProbBAi.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 10
Zufallsvariable
Wenn man den Ergebnissen ω eines Zufallsexperiments durch eine Abbildung x = x(ω) eine reelle Zahl
zuordnet, erhalt man eine zufallige Zahl x, die Zufallsvariable genannt wird.
Ergebnisse des Zufallserxperiments werden auf Punkte der Zahlengerade abgebildet.
Den Ereignissen des Zufallsexperiments entsprechen dann Vereinigungen von Intervallen bzw. isolierter
Punkte der Zahlengerade, z. B.
A = ω|a ≤ x(ω) < b
B = ω|x(ω) = c
C = A ∪ B = ω|(a ≤ x(ω) < b) oder (x(ω) = c)
Disjunkte Ereignisse werden durch disjunkte (nicht uberlappende) Intervalle der Zahlengerade reprasentiert.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 11
Eine Zufallsvariable wird somit aus einem Zufallsexperiment mit Ergebnissen ω und einer Abbildung
x = x(ω) gebildet. Streng genommen ist daher eine Zufallsvariable keine Variable, sondern eine Funktion
(Abbildung) uber dem Merkmalraum Ω . In vielen Fallen liefern die Ergebnisse eines Zufallsexperiments
schon automatisch eine reelle Zahl (z. B. Wurfel); hier wird die Abbildung x = x(ω) inharent mitgeliefert.
In anderen Anwendungen muss diese Abbildung explizit definiert werden. Aus dem Zufallsexperiment “Wer-
fen einer Munze” mit den Ergebnissen ω1=“Kopf” und ω2=“Zahl” kann z. B. durch die vollig willkurliche
Festlegung x(ω1) = −1 und x(ω2) = +1 eine Zufallsvariable x gemacht werden.
Verteilungsfunktion und Verteilungsdichtefunktion
Bei einer Zufallsvariablen x entspricht jedem Intervall der Zahlengerade ein Ereignis A des zugrundeliegen-
den Zufallsexperiments. Die Wahrscheinlichkeit eines Intervalls ist daher durch die Wahrscheinlichkeit des
Ereignisses A gegeben. Man schreibt z. B.
ProbA = Proba ≤ x < b fur A = ω|a ≤ x(ω) < b.
Im weiteren wird auf das theoretisch zugrundeliegende Ereignis A nicht mehr Bezug genommen, sondern
nur noch von Wahrscheinlichkeiten von Intervallen gesprochen. Die Berechnung der Wahrscheinlichkeit
eines Intervalles erfolgt mit Hilfe der Verteilungsfunktion (cumulative distribution function) (CDF)
oder der Verteilungsdichtefunktion (probability density function) (PDF).
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 12
Die CDF einer Zufallsvariablen x, Px(ξ), ist definiert als die Wahrscheinlichkeit des Intervalles
−∞ < x ≤ ξ, d. h. die Wahrscheinlichkeit dafur, daß die Zufallsvariable einen Wert kleiner oder gle-
ich ξ annimmt,
Px(ξ) = Probx ≤ ξ.(3)
Die PDF einer Zufallsvariablen x, px(ξ), ist die erste Ableitung der CDF
px(ξ) =d
dξPx(ξ) = lim
∆ξ→0
Probξ < x ≤ ξ + ∆ξ
∆ξ.(4)
Die CDF kann durch Integration der PDF berechnet werden,
Px(ξ) =
ξ∫
−∞
px(α)dα.
Eigenschaften der CDF:
Px(ξ) ≥ 0; Px(−∞) = 0; Px(∞) = 1; ξa < ξb ⇒ Px(ξa) ≤ Px(ξb);
Eigenschaften der PDF:
px(ξ) ≥ 0; px(−∞) = px(∞) = 0;
∞∫
−∞
px(ξ)dξ = 1;
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 13
Eine Zufallsvariable x, die nur diskrete Werte xi mit Wahrscheinlichkeiten Probxi = Probx = xi
annimmt, heißt diskrete Zufallsvariable. Die CDF und PDF einer diskreten Zufallsvariable sind gegeben
durch
Px(ξ) =∑
i
Probxiǫ(ξ − xi) =∑
(xi≤ξ)
Probxi, px(ξ) =∑
i
Probxiδ(ξ − xi),
wobei ǫ(ξ) und δ(ξ) die Sprungfunktion und die Dirac-Funktion darstellen.
Die CDF ist eine Treppenfunktion mit Sprungen an den Stellen xi (Sprunghohe Probxi); die PDF
besteht aus Dirac-Impulsen an den Stellen xi mit Gewichten Probxi;
0 1 2 3 4 5 6
1
0 1 2 3 4 5 6ξ
Px(ξ)
1
6
ξ
px(ξ)
1
6
CDF und PDF einer diskreten Zufallsvariable (Wurfel)
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 14
Eine Zufallsvariable, deren CDF stetig ist, wird kontinuierlich genannt. Im Falle einer kontinuierlichen
Zufallsvariable x ist die Wahrscheinlichkeit eines isolierten Punktes x0 stets null:
Probx = x0 = limε→0
Probx0 − ε < x ≤ x0 + ε = limε→0
[Px(x0 + ε) − Px(x0 − ε)]
= Px(x0) − Px(x0) = 0.
Die Wahrscheinlichkeit eines Intervalles der Zufallsvariable x, Proba < x ≤ b, kann gemaß
(a < x ≤ b) = (x ≤ b) \ (x ≤ a) durch die CDF bzw. PDF berechnet werden:
Proba < x ≤ b = Px(b) − Px(a) =
b∫
a
px(ξ)dξ.
Mehrdimensionale Zufallsvariable: Werden bei einem zusammengesetzten Zufallsexperiment mit
Ergebnissen (ω1ω2) mittels Abbildungen x1 = x(ω1), x2 = x(ω2) den Ergebnissen ω1 und ω2 der einzelnen
Zufallesexperimente reelle Zahlen x1 und x2 zugeordnet, erhalt man eine zweidimensionale Zufallsvariable
(x1, x2). Die Verbund-Verteilungsfunktion Px1,x2(ξ1, ξ2) ist definiert als die Wahrscheinlichkeit des zusam-
mengesetzten Ereignisses (ω1ω2)|(x1(ω1) ≤ ξ1), (x2(ω2) ≤ ξ2), d. h.
Px1,x2(ξ1, ξ2) = Probx1 ≤ ξ1 ∩ (x2 ≤ ξ2).
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 15
x2
x1ξ1
ξ2 Illustration: (Verbund-) CDF einer zweidimensionalen Zu-
fallsvariable entspricht der Wahrscheinlichkeit der schraffierten
Flache
Die (Verbund-) PDF px1,x2(ξ1, ξ2) erhalt man durch Ableitung der (Verbund-) Verteilungsdichte
px1,x2(ξ1, ξ2) =
∂
∂ξ1
∂
∂ξ2Px1,x2
(ξ1, ξ2), Px1,x2(ξ1, ξ2) =
ξ1∫
−∞
ξ2∫
−∞
px1,x2(α1, α2)dα1dα2.
px1,x2(ξ1, ξ2) wird auch als Verbund-Verteilungsdichte der Zufallsvariablen x1 und x2 bezeichnet. Die
Wahrscheinlichkeit des Ereignisses (a1 < x1 ≤ b1) ∩ (a2 < x2 ≤ b2) kann mit Hilfe der (Verbund-) CDF
bzw. der (Verbund-) PDF berechnet werden:
Prob(a1 < x1 ≤ b1) ∩ (a2 < x2 ≤ b2) = Px1,x2(b1, b2) − Px1,x2
(a1, b2) − Px1,x2(b1, a2) + Px1,x2
(a1, a2)
=
b1∫
a1
b2∫
a2
px1,x2(α1, α2)dα1dα2.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 16
Eigenschaften der (Verbund-) CDF:
Px1,x2(ξ1, ξ2) ≥ 0
Px1,x2(−∞, ξ2) = Px1,x2
(ξ1,−∞) = 0 Px1,x2(∞,∞) = 1
Px1,x2(ξ1,∞) = Px1
(ξ1) Px1,x2(∞, ξ2) = Px2
(ξ2)
Eigenschaften der (Verbund-) PDF:
px1,x2(ξ1, ξ2) ≥ 0
px1,x2(±∞, ξ2) = px1,x2
(ξ1,±∞) = 0+∞∫
−∞
px1,x2(ξ1, ξ2)dξ2 = px1
(ξ1)
+∞∫
−∞
px1,x2(ξ1, ξ2)dξ1 = px2
(ξ2)
+∞∫
−∞
+∞∫
−∞
px1,x2(ξ1, ξ2)dξ1dξ2 = 1.
Die eindimensionalen PDFs (die sog. Randdichten) px1(ξ1) und px2
(ξ2) lassen sich durch Integration
nach der jeweils wegfallenden Variablen aus der zweidimensionalen PDF px1,x2(ξ1, ξ2) berechnen.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 17
Definition Beschreibung zweidimensionaler Zufallsvariable (x1, x2) lassen sich auf den allgemeinen Fall
N -dimensionaler Zufallsvariable (x1, x2, . . . , xN) erweitern. CDF und PDF sind dann N -dimensionale
Funktionen,
Px1,x2,...,xN(ξ1, ξ2, . . . , ξN) bzw. px1,x2,...,xN
(ξ1, ξ2, . . . , ξN).
Bedingte Verteilungsdichte: Analog zum Begriff der bedingten Wahrscheinlichkeit gibt es den Begriff
der bedingten PDF. Diese ist definiert als
px1|x2(ξ1|ξ2) =
px1,x2(ξ1, ξ2)
px2(ξ2)
.
Die bedingte Wahrscheinlichkeit Proba < x1 ≤ b|x2 = ξ2 laßt sich dadurch als Integral uber die
bedingte PDF anschreiben
Proba < x1 ≤ b|x2 = ξ2 =
b∫
a
px1|x2(ξ1|ξ2)dξ1.
Die bedingte PDF erfullt alle Eigenschaften herkommlicher PDFs,
px1|x2(ξ1|ξ2) ≥ 0, px1|x2
(±∞|ξ2) = 0,
+∞∫
−∞
px1|x2(ξ1|ξ2)dξ1 = 1.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 18
Analog zu den bedingten Wahrscheinlichkeiten gelten außerdem folgende Beziehungen:
px1,x2(ξ1, ξ2) = px1|x2
(ξ1|ξ2)px2(ξ2) = px2|x1
(ξ2|ξ1)px1(ξ1),
px2|x1(ξ2|ξ1) = px1|x2
(ξ1|ξ2)px2
(ξ2)
px1(ξ1)
(Bayes Theorem),
px1(ξ1) =
+∞∫
−∞
px1|x2(ξ1|ξ2)px2
(ξ2)dξ2 (Satz der vollstandigen Wahrscheinlichkeit).
Statistische Unabhangigkeit: Zwei Zufallsvariable heißen statistisch unabhangig, wenn die bedingte
PDF der einen Zufallsvariable gleich der “unbedingten” PDF ist und daher nicht von der Bedindung bzw.
der anderen Zufallsvariable abhangt,
px1|x2(ξ1|ξ2) = px1
(ξ1), px2|x1(ξ2|ξ1) = px2
(ξ2).
Die Verbung-PDF zweier statistisch unabhangiger Zufallsvariablen ist gleich dem Produkt der beiden
einzelnen PDFs:
px1,x2(ξ1, ξ2) = px1
(ξ1)px2(ξ2).
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 19
!! Im allgemeinen reichen die einzelnen PDFs px1(ξ1) und px2
(ξ2) nicht aus, um zwei Zufallsvariable
vollstandig zu beschreiben, da sie nichts uber die statistischen Bindungen zwischen den Zufallsvariablen
aussagen. Diese statistische Bindungen werden durch die bedingten PDFs beschrieben. Eine vollstandige
Beschreibung zweier Zufallsvariable erfolgt durch die Verbund-PDF px1,x2(ξ1, ξ2) aus der man alle anderen
PDFs berechnen kann. Nur im Spezialfall zweier statistisch unabhangiger Zufallsvariablen liefern die
einzelnen PDFs px1(ξ1) und px2
(ξ2) eine komplette Beschreibung.
Erwartungswerte, schwache Beschreibung einer Zufallsvariable
Eine Zufallsvariable x ist durch ihre PDF px(ξ) vollstandig (streng) beschrieben. Diese Beschreibung
ist jedoch manchmal zu unhandlich, bzw. ist die PDF nicht immer verfugbar. Eine zweckmaßige (aber
unvollstandige) Charakterisierung einer Zufallsvariable ist durch die Momente erster und zweiter Ordnung
der PDF gegeben:
Mittelwert: Der (lineare) Mittelwert (bzw. Erwartungswert) mx einer Zufallsvariable x ist definiert
als das Moment erster Ordnung der PDF px(ξ),
mx =∼∼x =
+∞∫
−∞
ξpx(ξ)dξ.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 20
∼· ist der “Erwartungswertoperator”, der seinem Argument (hier der Zufallsvariablen x) einen Wert zuweist.
Der berechnete Erwartungswert ist keine zufallige Zahl mehr, sondern eine determinierte Große.
Fur eine diskrete Zufallsvariable x, die die Werte xi mit Wahrscheinlichkeiten Probxi = Probx = xi
annimmt, erhalt man fur den Mittelwert
mx =∼∼x =
+∞∫
−∞
ξpx(ξ)dξ =
∞∫
−∞
ξ∑
i
Probxiδ(ξ − xi)dξ =∑
i
xiProbxi.
Fur eine determinierte Zahl, d.h. eine Zufallsvariable x, die bei jeder Versuchsdurchfuhrung die selbe Zahl
x annimmt, ist die PDF eine Dirac-frmiger Impuls an der Stelle x, px(ξ) = δ(ξ−x); Der Mittelwert ergibt
sich dann zu
mx =∼∼x =
∼∼x = x ;
Der Erwartungswert einer determinierten Zahl ist also die Zahl selbst.
Der Erwartungswertoperator∼· hat zwei fur die Praxis wichtige Eigenschaften:
1. Der Erwartungswertoperator∼· ist ein linearer Operator, d. h.
∼∼∼∼∼∼∼∼∼∼∼∼∼∼
ax + by = a∼∼x + b
∼∼y (a,b determiniert).
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 21
2. Der Erwartungswert der transformierten Zufallsvariable y=g(x) laßt sich mit Hilfe der PDF der ur-
sprunglichen Zufallsvariable x berechnen,
∼∼∼∼∼∼∼
g(x) =
+∞∫
−∞
g(ξ)px(ξ)dξ.
Die Funktion g(x) = xn fuhr auf das Moment n-ter Ordnung der Zufallsvariable x,
∼∼∼∼
xn =
∞∫
−∞
ξnpx(ξ)dξ.
Mit n=1 erhalt man den linearen Mittelwert mx; n=2 ergibt den quadratischen Mittelwert ρ2x
ρ2x =
∼∼∼
x2 =
∞∫
−∞
ξ2px(ξ)dξ.
Die Varianz σ2x ist definiert als die mittlere quadratische Abweichung der Zufallsvariable x von ihrem
linearen Mittelwert
σ2x =
∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
(x − mx)2 =
∞∫
−∞
(ξ − mx)2px(ξ)dξ.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 22
Die Varianz ist ein Maß fur die Breite der PDF, die Quadratwurzel der Varianz wird auch Standardabwe-
ichung bzw. Streuung genannt.
Varianz, quadratischer Mittelwert und Mittelwert hangen zusammen uber
σ2x = ρ2
x − m2x resp.
∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
(x − mx)2 =
∼∼∼
x2 −(
∼∼x)2
.
Mittelwert mx und Varianz σ2x ergeben zusammen die schwache Beschreibung der Zufallsvariable x. Im
Gegensatz zur vollstandigen (strengen) Beschreibung mittels der PDF ist die schwache Beschreibung i. a.
unvollstandig (es gibt unendlich viele verschieden Zufallsvariable mit dem gleichen Mittelwert und der
gleichen Varianz). Eine Ausnahme stellen Gaussverteilte Zufallsvariable dar.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 23
Korrelation und Kovarianz. Im Falle zweier Zufallsvariablen x1 und x2 mit Verbund PDF px1,x2(ξ1, ξ2)
sagen die Mittelwerte mx1, mx2
und die Varianzen σ2x1
, σ2x2
der einzelnen Zufallsvariablen nichts uber die
statistischen Bindungen zwischen ihnen aus. Deshalb wird zusatzlich die Korrelation
ϕx1,x2=
∼∼∼∼∼∼∼x1x2 =
∞∫
−∞
∞∫
−∞
ξ1ξ2px1,x2(ξ1, ξ2)dξ1dξ2
und die Kovarianz
µx1,x2=
∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
(x1 − mx1)(x2 − mx2
) =
∞∫
−∞
∞∫
−∞
(ξ1 − mx1)(ξ2 − mx2
)px1,x2(ξ1, ξ2)dξ1dξ2
definiert.
Kovarianz, Korrelation und die Mittelwerte sind verknupft uber
µx1,x2= ϕx1,x2
− mx1mx2
.
Ist zumindest eine der beiden Zufallsvariable mittelwertfrei, dann sind Korrelation und Kovarianz identisch.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 24
Korrelation und Kovarianz werden insbesondere zur Berechnung von quadr. Mittelwert und Varianz einer
Linearkombination z = ax + by von Zufallsvariablen benotigt:
ρ2z = a2ρ2
x + b2ρ2y + 2abϕx,y, σ2
z = a2σ2x + b2σ2
y + 2abµx,y.
Zwei Zufallsvariable heißen unkorreliert, wenn
µx1,x2= 0 bzw. ϕx1,x2
= mx1mx2
bzw..∼∼∼∼∼∼∼x1x2 =
∼∼∼x1
∼∼∼x2.
Unkorreliertheit bedeutet also verschwindende Kovarianz, nicht verschwindende Korrelation. Sind zwei
Zufallsvariable statistisch unabhangig, so folgt aus px1,x2(ξ1, ξ2) = px1
(ξ1)px2(ξ2) das sie auch unkorreliert
sind. Umgekehrt folgt aus der Unkorreliertheit nicht automatisch die statistische Unabhangigkeit.
Zwei Zufallsvariable mit verschwindender Korrelation
ϕx1,x2= 0
werden orthogonal genannt (durch∼∼∼∼∼∼∼x1x2 kann ein inneres Produkt zwischen den Zufallsvariablen erklart
werden).
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 25
Stochastische Prozesse
Bei einer Zufallsvariable x wurde jedem Ergebnis eines zugrundeliegenden Zufallsexperiments eine relle
Zahl uber eine Abbildung x = x(ω) zugeordnet.
Ein Zufallssignal bzw. einen stochastische Prozess x(t) kann man sich analog generieren: Jedem Versuch-
sausgang (Ergebnis) ω eines Zufallsexperiments wird ein Signal x(t). uber eine Abbildung x(t) = x(t, ω)
zugeordnet. Die Menge aller moglichen Signale x(t) wird Schar bzw. Ensemble genannt. Die einzelnen
Signale der Schar heißen Realisierungen bzw. Musterfunktionen
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 26
Der Abtastwert x(t0) eines stochastischen Prozesses x(t) zum Zeitpunkt t0 stellt eine Zufallsvariable dar,
x(t0; ω) = x0(ω). Zu jedem Zeitpunkt ti erhalt man i. a. eine andere Zufallsvariable xi. Man kann sich
also den stochastischen Prozess x(t) auch als Abfolge von (zeitlich geordneten) Zufallsvariablen vorstellen.
Zwischen diesen Zufallsvariablen bestehen i. a. statistische Abhangigkeiten.
Es gibt also zwei Interpretationen eines stochastischen Prozesses:
1. als Schar von Signalen (den Realisierungen), aus der ein Signal zufallig in Abhangigkeit eines Zufall-
sexperiments ausgewahlt wird oder
2. als Menge von (zeitlich geordneten) Zufallsvariablen.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 27
Strenge Beschreibung eines stochastischen Prozesses
Der Abtastwert x(t0) eines stochastischen Prozesses x(t) zum Zeitpunkt t0 ist eine Zufallsvariable
x0 = x(t0). Jedem Zeitpunkt t entspricht somit eine Zufallsvariable xt, deren PDF p(1)x (ξ; t) Verteilungs-
dichtefunktion 1.Ordnung genannt wird (welche i. a. zeitabhangig ist). Diese PDF ist aber keine
vollstandige Beschreibung des stochastischen Prozesses, da sie nichts uber die statistischen Bindungen
zwischen den einzelnen Zeitpunkten (bzw. zwischen den den einzelnen Zeitpunkten zugeordneten Zu-
fallsvariablen xti) aussagt.
Die Abtastwerte eines stochastischen Prozesses zu N Zeitpunkten t1, t2, . . . , tN stellen N Zufallsvari-
ablen x1 = x(t1), x2 = x(t2), . . . , xN = x(tN) dar, die durch die N-dimensionale Verbund-
Verteilungsdichtefunktion
p(N)x1,x2,...,xN
(ξ1, ξ2, . . . , ξN) = p(N)x (ξ1, ξ2, . . . , ξN ; t1, t2, . . . , tN)
beschrieben werden. Diese N-dimensionale Verbund PDF wird auch als Verteilungsdichtefunktion N-ter
Ordnung des stochastischen Prozesses x(t) bezeichnet. Ein stochastischer Prozess ist vollstandig (streng)
beschrieben, wenn die PDF N-ter Ordnung fur beliebige Ordnung N und beliebige Wahl der Abtastzeit-
punkte t1, t2, . . . , tN bekannt ist.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 28
Schwache Beschreibung eines stochastischen Prozesses, Erwartungswerte
Das Konzept der schwachen Beschreibung von Zufallsvariablen kann direkt auf stochastische Prozesses
angewendet werden. Der lineare (Schar-) Mittelwert mx(t) eines stochastischen Prozesses x(t) wird
definiert als der lineare Mittelwert der dem Zeitpunkt t zugeordneten Zufallsvariable xt = x(t),
mx(t) =∼∼∼∼∼∼∼
x(t) =
∞∫
−∞
ξp(1)x (ξ; t)dξ.
Der (Schar-) Mittelwert ist i. a. eine zeitabhangige Große. Analog wird der quadratische Mittelwert ρ2x(t)
des stochastischen Prozesses definiert als
ρ2x(t) =
∼∼∼∼∼∼∼∼∼∼∼∼
(x(t))2 =
∞∫
−∞
ξ2p(1)x (ξ; t)dξ,
und die Varianz σ2x(t) als
σ2x(t) =
∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
[x(t) − mx(t)]2 =
∞∫
−∞
[ξ − mx(t)]2 p(1)
x (ξ; t)dξ.
Die Mittelung erfolgt dabei immer in Scharrichtung und nicht uber die Zeit. Man spricht deshalb von
Scharmittelwerten.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 29
Zwei Zeitpunkte des stochastischen Prozesses werden durch die PDF 2-ter Ordnung p(2)x (ξ1, ξ2; t1, t2)
streng beschrieben. Die Autokorrelationsfunktion (AKF) ϕx,x(t1, t2) eines stochastischen Prozesses
ist definiert als die Korrelation zwischen den den beiden Zeitpunkten t1 und t2 zugeordneten Zufallsvari-
ablen,
ϕx,x(t1, t2) =∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
x(t1)x(t2) =
∞∫
−∞
∞∫
−∞
ξ1ξ2p(2)x (ξ1, ξ2; t1, t2)dξ1dξ2.
Die AKF ist eine Funktion der beiden Zeitpunkte t1 und t2.
Die Autokovarianzfunktion µx,x(t1, t2) eines stochastischen Prozesses ist definiert als
µx,x(t1, t2) =∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
[x(t1) − mx(t1)] [x(t2) − mx(t2)]
=
∞∫
−∞
∞∫
−∞
[ξ1 − mx(t1)] [ξ2 − mx(t2)] p(2)x (ξ1, ξ2; t1, t2)dξ1dξ2.
Die unvollstandige Charakterisierung eines stochastischen Prozesses durch den Mittelwert mx(t) und die
AKF ϕx,x(t1, t2) heißt die schwache Beschreibung des stochastischen Prozesses (es gibt wie bei den
Zufallsvariablen i. a. unendlich viele stochastische Prozesse, die den gleichen Mittelwert und die gleiche
AKF besitzen).
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 30
Stationaritat
Ein stationarer stochastischer Prozess ist ein Prozess, dessen statistische Eigenschaften invariant gegen
eine beliebige zeitliche Verschiebung des stochastischen Prozesses sind.
Ein stochastischer Prozess heißt streng stationar, wenn seine PDF p(N)x (ξ1, . . . , ξN ; t1, . . . , tN) (fur
beliebiges N) invariant gegen eine beliebige Zeitverschiebung T ist,
p(N)x (ξ1, . . . , ξN ; t1 + T, . . . , tN + T ) = p(N)
x (ξ1, . . . , ξN ; t1, . . . , tN).
D. h. das die PDF N-ter Ordnung nicht mehr von den absoluten Zeitpunkten t1, . . . , tN abhangt, son-
dern nur noch von den zeitlichen Differenzen ti − tj (i, j = 1, . . . , N). Die PDF 1.Ordnung p(1)x (ξ; t)
insbesondere ist uberhaupt nicht mehr vom betrachteten Zeitpunkt t abhangig, und die PDF 2.Ordnung
p(2)x (ξ1, ξ2; t1, t2) wird nur noch durch die Differenz t2 − t1 bestimmt,
p(1)x (ξ; t) = p(1)
x (ξ), p(2)x (ξ1, ξ2; t1, t2) = p(1)
x (ξ1, ξ2; τ ).
Daraus folgt fur die Elemente der schwachen Beschreibung eines stochastischen Prozesses
mx(t) = mx, ρ2x(t) = ρ2
x, σ2x(t) = σ2
x,
ϕx,x(t1, t2) = ϕx,x(t2 − t1) = ϕx,x(τ ), µx,x(t1, t2) = µx,x(t2 − t1) = µx,x(τ ).
Der lineare (Schar-) Mittelwert, der quadratische (Schar-) Mittelwert und die Varianz sind zeitunabhangig
und die Autokorrelation und Autokovarianz sind Funktionen der Zeitdifferenz τ = t2 − t1.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 31
Ein stochastischer Prozess heißt schwach stationar wenn die Elemente der schwachen Beschreibung die
vorhergenannten Eigenschaften besitzen (d. h. dass ein streng stationarer Prozess auch immer schwach
stationar ist, aber schwache Stationaritat impliziert noch nicht die strenge Stationaritat)
Mittelung im Zeitbereich, Ergodizitat
Bis jetzt wurden alle Erwartungswerte wie
der (lineare) Mittelwert mx =∼∼∼∼∼∼∼
x(t) =
∞∫
−∞
ξ p(1)x (ξ) dξ
oder
die AKF ϕx,x(τ ) =∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
x(t + τ )x(t) =
∞∫
−∞
∞∫
−∞
ξ1 ξ2 p(2)x (ξ1, ξ2; τ ) dξ1 dξ2
mittels der PDF p(1)x (ξ) bzw. der PDF p
(2)x (ξ1, ξ2; τ ) berechnet. D. h. dass alle Erwartungswerte durch
eine Mittelung uber alle Realisierungen des stochastischen Prozesses gewonnen werden. Die berechneten
Werte werden deshalb auch Scharmittelwerte genannt.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 32
In der Praxis kann jedoch i. a. nur eine einzige Realisierung x(t) des SP x(t) beobachtet, bzw. gemessen
werden. Es stellt sich daher die Frage, ob man die Scharmittelwerte durch entsprechende Zeitmittelwerte,
die aus einer einzigen Realisierung gewonnen werden, ersetzen kann. Die Zeitmittelwerte fur eine gegebene
Realisierung x(t) des SP x(t) (bzw. fur ein determiniertes Signal x(t)) sind wie folgt definiert:
EmpirischerMittelwert : mx;T =1
T
T/2∫
−T/2
x(t) dt
Emp.mittlereLeistung : ρ2x;T =
1
T
T/2∫
−T/2
x2(t) dt
Emp.Varianz : σ2x;T =
1
T
T/2∫
−T/2
[x(t) − mx,T ]2 dt
Emp.AKF : ϕx,x;T (τ ) =1
T
T/2∫
−T/2
x(t + τ )x(t) dt
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 33
Emp.Autokovarianz : µx;T (τ ) =1
T
T/2∫
−T/2
[x(t + τ ) − mx,T ][x(t) − mx,T ] dt
Emp.Leistungsdichtespektr : Φx;T (f) = F ϕx,T (τ )
Diese Großen heißen empirisch, weil sie aus einer einzigen beobachteten Realisierung berechnet werden
konnen. Die obigen Definitionen tragen dem Umstand Rechnung, daß in der Praxis die Realisierung
x(t) nur in einem endlichen Zeitintervall (-T/2,T/2) beobachtet wird, bzw. die Integration nur in einem
endlichen Zeitraum durchgefuhrt werden kann. Fur theoretische Betrachtungen benotigt man auch Zeit-
mittelwerte, die durch Integration uber die gesamte Zeitachse gebildet werden; diese erhalt man durch den
Grenzubergang T → ∞. Z. B. gilt dann
mx;∞ = limT→∞
mx;T = limT→∞
1
T
T/2∫
−T/2
x(t) dt
σ2x;∞ = lim
T→∞σ2
x;T = limT→∞
1
T
T/2∫
−T/2
[x(t) − mx;T ] dt
usw..
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 34
Dualitat von Schar- und Zeitmittelwerten: Mit den empirischen Großen kann eine Theorie schwach
stationarer Prozesse gebildet werden, die vollig strukturgleich der auf der Wahrscheinlichkeits-basierenden
Theorie ist. Aus der ”probabilistischen” Theorie (die auf dem Wahrscheinlichkeitsbegriff basiert und daher
Scharmittelwerte verwendet) laßt sich also eine duale Theorie bilden, wenn man die Scharmittelwerte durch
die entsprechenden Zeitmittelwerte ersetzt. Das bedeutet insbesondere, daß die Beziehungen zwischen
den Zeitmittelwerten mit den Beziehungen zwischen den entsprechenden Scharmittelwerten vollkommen
ubereinstimmen. Insbesondere gilt z. B. auch im Fall der Zeitmittelwerte fur beliebige Mittelungsdauer T
ρ2x;T = ϕx;T (0), σ2
x;T = µx,T (0), σ2x;T = ρ2
x;T − m2x;T ,
ϕx;T (−τ ) = ϕx;T (τ )
Fur unendliche Mittelungsdauer T → ∞ gilt weiter
µx;∞ = ϕx;∞ − m2x;∞ Φx;∞(f) ≥ 0
und auch die Eingangs-Ausgangs-Beziehungen fur LTI-Systeme konnen ubertragen werden: fur
y(t) = (x ∗ h)(t) erhalt man
my;∞ = mh · mx;∞ = H(0) · mx;∞
ϕy;∞ = (ϕh ∗ ϕx;∞)(t), Φy;∞(f) = |H(f)|2 · Φx;∞(f).
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 35
Empirische Wahrscheinlichkeiten: Die Dualitat von Schar- und Zeitmittelwerten laßt sich auch math-
ematisch charakterisieren. Alle Zeitmittelwerte konnen formal als Erwartungswerte (Scharmittelwerte)
geschrieben werden, wenn man auf geeignete Weise ”empirische Verteilungsdichtefunktionen” einfuhrt.
Zunachst kann man fur eine gegebene Realisierung x(t) die empirische Verteilungsfunktion 1.Ordnung,
P(1)x;T (ξ), als die ”empirische Wahrscheinlichkeit” des ”Ereignisses” x(t) ≤ ξ im Zeitintervall (-T/2,T/2)
definieren:
P(1)x;T (ξ) = PT [x(t) ≤ ξ] =
=Summe der Langen der Zeitintervalle in (-T/2,T/2), auf denen x(t) ≤ ξ
T=gesamte zeitliche Lange von (-T/2,T/2)
Mit der Indikatorfunktion (ǫ(ξ) ist die Sprungfunktion)
ǫ (ξ − x(t)) =
1, x(t) ≤ ξ
0, x(t) > ξ
des ”Ereignisses” x(t) ≤ ξ laßt sich die empirische Verteilungsfunktion P(1)x;T (ξ) anschreiben als
P(1)x;T (ξ) =
1
T
T/2∫
−T/2
ǫ (ξ − x(t)) dt.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 36
Indikatorfunktion des ”Ereignisses” x(t) ≤ ξ
Die empirische Verteilungsdichtefunktion 1.Ordnung ist dann wie gewohnt als Ableitung der em-
pirischen Verteilungsfunktion 1.Ordnung definiert:
p(1)x;T (ξ) =
d
dξP
(1)x;T (ξ) .
Die empirische Verteilungsdichtefunktion 1.Ordnung kann somit ausgedruckt werden als
p(1)x;T (ξ) =
d
dξ
1
T
T/2∫
−T/2
ǫ (ξ − x(t)) dt
=
1
T
T/2∫
−T/2
[
d
dξǫ (ξ − x(t))
]
dt =
=1
T
T/2∫
−T/2
δ (ξ − x(t)) dt;
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 37
ihre Eigenschaften stimmen mit denen einer ”echten” Verteilungsdichtefunktion uberein:
p(1)x;T (ξ) ≥ 0,
∞∫
−∞
p(1)x;T (ξ) dξ = 1, p
(1)x;T (±∞) = 0.
Analog zur empirischen Verteilungsdichtefunktion 1.Ordnung konnen auch empirische Verteilungsdichte-
funktionen hoherer Ordnung definiert werden, insbesondere die empirische Verteilungsdichtefunktion
2.Ordnung:
p(2)x;T (ξ1, ξ2; τ ) =
1
T
T/2∫
−T/2
δ (ξ1 − x(t + τ )) δ (ξ2 − x(t)) dt.
Mit den empirischen Verteilungsdichtefunktionen ist nun formal der Anschluß an die probabilistische The-
orie stationarer Stochastischer Prozesse hergestellt worden. Unter Verwendung der Verteilungsdichtefunk-
tionen 1. und 2. Ordnung lassen sich insbesondere alle Zeitmittelwerte formal als ”Scharmittelwerte”
anschreiben.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 38
Fur den empirischen Mittelwerte gilt z. B.:
mx;T =1
T
T/2∫
−T/2
x(t) dt =1
T
T/2∫
−T/2
∞∫
−∞
ξ δ (ξ − x(t)) dξ
dt =
=
∞∫
−∞
ξ
1
T
T/2∫
−T/2
δ (ξ − x(t)) dt
dξ =
∞∫
−∞
ξ p(1)x;T (ξ) dξ,
und fur die empirische Autokorrelationsfunktion erhalt man auf analoge Weise
ϕx;T (τ ) =1
T
T/2∫
−T/2
x(t + τ )x(t) dt =
∞∫
−∞
∞∫
−∞
ξ1 ξ2 p(2)x;T (ξ1, ξ2; τ ) dξ1 dξ2.
Zeitmittelwerte als Zufallsgroßen: Die oben definierten Zeitmittelwerte werden aus einer einzigen
Realisierung x(t) des Stochastischen Prozesses x(t) berechnet. Fur verschiedene Realisierungen werden
sich daher i. a. unterschiedliche Zeitmittelwerte ergeben. Da die Realisierungen zufallig ausgewahlt werden,
sind also auch die Zeitmittelwerte zufallig. Z. B. ist dann das empirische Mittel selbst eine Zufallsvariable:
mx;T =1
T
T/2∫
−T/2
x(t) dt.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 39
Durch Auswahlen einer bestimmten Realisierung x(t) von x(t) erhalt man eine entsprechende Realisierung
mx;T von mx;T . Ebenso sind die empirischen Verteilungsdichtefunktionen zufallig. Diese als Zufallsgroßen
aufgefaßten Zeitmittelwerte haben (ebenso wie jede andere Zufallsgroße) bestimmte statistische Eigen-
schaften.
Fur (zumindest) schwach stationare Stochastische Prozesse gilt fur beliebige Mittelungsdauer T:
∼∼∼∼∼∼∼∼∼mx;T = mx,
∼∼∼∼∼∼∼∼∼∼∼∼∼∼
ϕx;T (τ ) = ϕx(τ ),∼∼∼∼∼∼∼∼∼∼∼∼∼∼
Φx;T (f) = Φx(f), usw.
Fur streng stationare Stochastische Prozesse gilt weiter auch:
∼∼∼∼∼∼∼∼∼∼∼∼∼
p(1)x;T (ξ) = p(1)
x (ξ),∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼
p(2)x;T (ξ1, ξ2; τ ) = p(2)
x (ξ1, ξ2; τ ), usw.
Die Erwartungswerte der ”zufalligen Zeitmittelwerte” stimmen also mit den Scharmittelwerten uberein;
ebenso sind die Erwartungswerte der empirischen Verteilungsdichtefunktionen beliebiger Ordnung gle-
ich den tatsachlichen Verteilungsdichtefunktionen des Stochastischen Prozesses. Im statistischen Mit-
tel ergeben die Zeitmittelwerte (empirische Verteilungsdichtefunktionen) somit die Scharmittelwerte
(Verteilungsdichtefunktionen). Fur eine einzelne Realisierung kann man jedoch daraus noch nicht schließen.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 40
Ergodizitat: Von einem ergodischen Prozeß spricht man dann, wenn fur unendliche Mittelungsdauer
T → ∞ die Zeitmittelwerte bzw. empirischen Verteilungsdichtefunktionen selbst und nicht bloß ihre Er-
wartungswerte mit den entsprechenden Scharmittelwerten bzw. Verteilungsdichtefunktionen im folgenden
Sinn ubereinstimmen:
Man nennt einen streng stationaren Stochastischen Prozeß streng ergodisch, wenn fur fast jede Real-
isierung x(t) gilt:
p(1)x;∞(ξ) = lim
T→∞p
(1)x;T (ξ) = p(1)
x (ξ),
p(2)x;∞(ξ1, ξ2; τ ) = lim
T→∞p
(2)x;T (ξ1, ξ2; τ ) = p(2)
x (ξ1, ξ2; τ ),
usw.
Aus der strengen Ergodizitat folgt insbesondere auch die Gleichheit von Zeitmittelwerten und Scharmit-
telwerten fur beliebige Realisierungen x(t),
mx;∞ = limT→∞
mx;T = mx, ϕx;∞(τ ) = limT→∞
ϕx;T (τ ) = ϕx(τ ), usw.,
die als schwache Ergodizitat bezeichnet wird. Aus der strengen Ergodizitat folgt somit die schwache
Ergodizitat; der Umkehrschluß ist i. a. nicht zulassig.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 41
Die strenge bzw. schwache Ergodizitat bedeutet also, daß die empirischen Verteilungsdichtefunktionen
bzw. Zeitmittelwerte von beliebigen Realisierungen x1(t), x2(t), . . . gleich sind und somit die als Zu-
fallsgroßen aufgefaßten empirischen Verteilungsdichtefunktionen bzw. Zeitmittelwerte determiniert sind,
d. h.
p(1)x;∞(ξ) = lim
T→∞p
(1)x;T (ξ) = p(1)
x (ξ),
p(2)x;∞(ξ1, ξ2; τ ) = lim
T→∞p
(2)x;T (ξ1, ξ2; τ ) = p(1)
x (ξ1, ξ2; τ ), usw.
bzw.
mx;∞ = limT→∞
mx;T = mx, ϕx;∞(τ ) = limT→∞
ϕx;T (τ ) = ϕx(τ ) usw.
Eine notwendige und hinreichende Bedingung fur die strenge Ergodizitat ist somit, daß die Varianz der auf
(-T/2,T/2) gebildeten empirischen Verteilungsdichtefunktionen fur T → ∞ gegen Null geht,
limT→∞
var
p(1)x;T (ξ)
= 0, limT→∞
var
p(2)x;T (ξ1, ξ2; τ )
= 0, usw.
Ebenso erhalt man als notwendige und hinreichende Bedingung fur die schwache Ergodizitat:
limT→∞
var mx;T = 0, limT→∞
var ϕx;T (τ ) = 0, usw.
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse
Information Technology · University of Ulm 42
Die Eigenschaft der Ergodizitat ist in der Praxis von sehr großer Bedeutung, da sie es erlaubt, statistische
Kenngroßen von Stochastischen Prozessen aus einer einzigen, beliebigen Realisierung zu bestimmen. Die
Uberprufung der Ergodizitat ist allerdings nicht trivial, da dazu Kenntnis uber die statistischen Eigen-
schaften des SP (also der gesamten Schar) notwendig ist und sich nicht mit einer einzigen Realisierung
durchfuhren laßt. In der Praxis ist man daher oft gezwungen, die Eigenschaft der Ergodizitat einfach zu
postulieren.
Der Begriff der strengen bzw. schwachen Ergodizitat ist nur fur streng bzw. schwach stationare Stochastis-
che Prozesse sinnvoll, denn bei der Zeitmittelung fallt jegliche Zeitabhangigkeit weg - ein Zeitmittelwert
kann nie einem zeitabhangigen Scharmittelwert eines instationaren Prozesses gleich sein.
Literaturverzeichnis:
[1] Weinrichter H., Hlawatsch F.: Stochastische Grundlagen nachrichtentechnischer Signale., Springer
Verlag, ISBN 3-211-82-303-4, 1991