View
3
Download
0
Category
Preview:
Citation preview
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Bayesian Analysis of Power Law Models inHigh-Energy Astrophysics and in Solar Physics
David A. van Dyk
Statistics Section, Imperial College London
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Outline
1 Bayesian Data Analysis
2 X-ray Spectral Analysis
3 Bayesian Computation
4 Solar Physics
5 Calibration of X-ray Detectors
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Outline
1 Bayesian Data Analysis
2 X-ray Spectral Analysis
3 Bayesian Computation
4 Solar Physics
5 Calibration of X-ray Detectors
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Bayesian Renaissance in Astronomy
The use of Statistical Methods in general andBayesian Methods in particular is growing
exponentially in Astronomy.
Source: http://magazine.amstat.org/blog/2013/12/01/science-policy-intel/
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Why Use Bayesian Methods?
Advantages of likelihood-based methods:Directly model complexities of sources and instruments.Allows science-driven modeling. (Not just predictive modeling.)
Combine multiple information sources and/or data streams.Allow hierarchical or multi-level structures in data/models.Bayesian methods have clear mathematical foundationsand can be used to derive principled statistical methods.Sophisticated computational methods available.
Challenges:Require us to specify “prior distributions” on unknownmodel parameters.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Bayesian Statistical Analyses: Likelihood
Many methods based on χ2 or Gaussian assumptions.Bayesian/Likelihood methods easily incorporate moreappropriate distributions.E.g., for count data, we use a Poisson likelihood:
χ2 fitting: −∑bins
(Yi − λi)2
σ2i
Gaussian Loglikelihood: −∑bins
σi −∑bins
(Yi − λi)2
σ2i
Poisson Loglikelihood: −∑bins
λi +∑bins
Yi logλi
... or Pareto distribution for continuous data following a power law.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Bayesian Statistical Analyses: Likelihood
Likelihood Functions: Distribution of data given modelparameters. Single bin detector: Y ∼ Poisson(λS):
likelihood(λS) = e−λSλYS/Y ! loglikelihood(λS) = −λS + Y log(λS)
Maximum Likelihood Estimation: Suppose Y = 3
0 2 4 6 8 10 12
0.00
0.10
0.20
lambda
likel
ihoo
d The likelihoodand its normalapproximation.
Can estimate λS and its error bars.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Bayesian Analyses: Prior and Posterior Dist’ns
Prior Distribution: Knowledge obtained prior to current data.
Bayes Theorem and Posterior Distribution:
posterior(λ) ∝ likelihood(λ)× prior(λ)
p(λ|Y ) = p(Y |λ)p(λ)/p(Y )
Combine past and current information:
0 2 4 6 8 10 120.00
0.10
0.20
0.30
lambda
prio
r
0 2 4 6 8 10 120.00
0.10
0.20
lambda
post
erio
r
Bayesian analyses rely on probability theory
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Multi-Level Models
Example: Background contamination in a single bin detector
Contaminated source counts: Y = YS + YB
Background counts: XBackground exposure is 24 times source exposure.
A Poisson Multi-Level Model:LEVEL 1: Y |YB, λS
dist∼ Poisson(λS) + YB,
LEVEL 2: YB|λBdist∼ Pois(λB) and X |λB
dist∼ Pois(λB · 24),LEVEL 3: specify a prior distribution for λB, λS.
Each level of the model specifies a dist’n given unobservedquantities whose dist’ns are given in lower levels.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Posterior and Marginal Posterior Distributions
Summarizing the posterior distribution:We can plot the contours of the posterior distribution.Plot the marginal distributions of the parameters of interest:
p(λS | Y ,YB) =
∫p(λS, λB | Y ,YB)dλB
0 2 4 6 8
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
prior
lamS0 2 4 6 8
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
posterior
lamS
joint posterior with flat prior
lamS
lam
B 0.05
0.2
0.5
0.8
0 1 2 3 4
1.5
2.0
2.5
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Markov Chain Monte Carlo
Exploring the posterior distribution via Monte Carlo.
prior
lamS
0 2 4 6 8
0.0
0.2
0.4
0.6
0 2 4 6 8 10
0.0
0.2
0.4
posterior
lamS
joint posterior with flat prior
lamS
lam
B
0 2 4 6 8
1.5
2.0
2.5
.
..
.
.
.
.
.
.
...
.
......
.
.
.
.
.
.
..
.
.
.
..
. .
.
..
.
..
.. .
.
.
..
.
..
.
.
.
.
.
.
.
.
.
..
.
..
.
.
.
. ... .
.
.
.
.
..
..
.
..
. .
..
.
.
.
.
.
.
..
.
.
.
.
...
.
.
..
.
.
.
. .
.
.
.
.
.
.
..
..
.
...
.
.
.
.
.
.
.
.
.
.
..
.
.
.. .... .
.
.
.
. . .
.
.
.
.
.
.
.
.
.
.
.....
..
.
.
.
. .
.
.
....
.
.
. .
.
..
..
..
..
.
.
.
.
.
. ...
.
.
.
.
.
..
.
...
.
..
. .
.
..
.
.
.
...
.
. .
.
.
.
..
..
..
.. . .
.
.
.
.
.
.
.
.
.
.
.
..
.
.
.
.
.
.
.
.
..
.
..
.
.
..
.
.
.
..
. .
.
.
.
..
.
.
.
.
..
.
..
.
..
.
.
.
..
.
. ..
.
.
..
.
.
.
.
.
.
.
.
. .
.
..
.
.
..
. .
.
.
.
.
.
.
..
.
.
.
.
.
.. .
.
.
...
..
.
.
. .
.
.
.
.
.
.
...
.. ..
.
. ..
..
.
..
.
.
.
.
.
.
.
..
.
...
.
.
.
.
..
. ..
.
.
.
. .
.. .
.
.
..
. ..
.
.
.
.
.
.
.
.
.
..
.
.
.
.
.
.
.
.
..
..
.
.
....
..
.
.
.
.
.
.
. ...
.
.
.
.
.
.
.
.
..
.. .
.
.
.
..
.
.
.
.
.
.
..
..
.
.
.
.
.
.
...
.
.
..
.
.
..
.
. ..
..
.
.
.
.
...
.
.
.
..
.
..
.
.
. .
.
.
.
.
.
.
.
.
.
.
..
..
.
..
..
. ..
. ..
.
.
. .
..
.
..
.
..
..
.
..
.
.
.
. .
.
.
.
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
..
.
.
.
.
.
.
. ..
.
.
.
.
.
.
.
.
..
.
.
.
.
.
..
.
.
..
..
...
.
.
.
.
.
.
.
.
..
.
.
..
...
.
.
..
.
.
.
..
.
..
.
.
.
.
..
.
.
.
.
.
.
.
.
..
..
...
.
.
.
.
..
.
.
.
...
.
..
.
.. .
.
..
..
.
.
.
.
.
.
..
.
...
.
.
.
...
.
.
.
.
.
.
.
.
.
..
.
.
..
.
.. .
.
..
..
.
.
.
.
...
..
.
.... ....
.
..
..
.
.
.
.
.
..
.
. .
.
. .
.
.
...
.
.
.
.
.
..
.
.
.
.
.
. .
.
.
.
.
.
. .
.
.
..
.
..
.. ..
.
..
..
.
.
.
..
..
. .
...
.
.
..
.. .
.
.
.
.
.
.
.
...
.
..
.
.
.
.
.
.
.
..
.
..
.
.
.
.
.
.
..
.
.
.
..
..
..
.
. ..
..
.
.
..
..
.
.
.
.
.
.
.
.
.
.
.
.
..
.
.
.
.
.. .
.
.
.
.. .
.
. .
..
.
..
.
..
.
.
.
.
.
.
.
.
..
.
.
.
.. ...
.
.
.
.
.
.
..
.
..
.
.
..
.
.. .. .
.
.
.
.
..
.
..
..
.
.
..
.
.
...
.
.
. ..
.
.
.
.
.
..
.
... .
.
.
..
. ..
.
.
..
.
.
.
.
.
.
.
.
..
.. .
..
.
. .
.
.
.
.
..
.
.
.
. .
.
. .
.
..
..
.
.
.
.
.
.
..
.
.
.
.
.
.
.
...
.
....
..
.
..
..
.
.
.
.
.
.
.
..
.
.
.
.
.
.
..
.
.
.
. .
..
.
.
..
.
. ..
..
.
. .
.
.
.
..
.
.
.
.
.
.
.
. .
.
.
.
.
...
.
.
.
..
.
..
..
.
.
.
.
. ..
.
.
...
.
..
.
.
.
..
...
.
.
.
.
.
.
.
. .
.
.
.
. .
.
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
...
.
.
...
..
.
.
.
.. .
.
.
.
.
. .
..
.
.. .
.
.
.
.
.
.
..
..
.
.
..
..
.
.
.
.
.
..
.
.
..
..
...
..
..
...
.
.
..
.
.
.
.
.
..
..
..
..
.
.
.
.
.
.
..
.
.
...
.
.
.
.
.
..
.
.
..
.
.
..
..
.
.
.
..
.
.
.
...
.
..
.
..
. ..
.
..
..
.
.
...
.
.
.
.
.
.
.
.
.
.
.
.
..
.
...
...
.
...
. .
.
. .
.
...
...
..
..
.
.
.
.
.
..
..
.
..
.
.
.
.
..
.
.
.
..
.
.
.
.
.
..
.
.
. ..
.
.
.
.
.
..
..
.
.
.
.
.
.
...
..
.
.
.
..
.
... .
.
.
.
..
.
.
.
.
.
.
.
. . .
.
....
.
.
..
.
..
...
.
.
.
...
.
.
.
.
.
.
.
..
..
.. .
.
.
.
.
.
.
..
..
....
.
.
.
..
...
.
.
.
.
..
. ..
.
.
.
...
.
..
.
..
.
..
.
.
.
.
. ..
..
.
.
.
.
..
.
.
.
.
.
..
.
.
.
.
.
.
.
... .
.
.
.
.
.
..
.
.
..
..
.
.. ..
..
.
..
.
.... .
. .
.
.
.
.
.
.
.
.
.
.
.
..
.
.
.
.
.
.
.
.
.
.
.. .
.
..
.
.
.
.
.
.
.
.
.
.
.
.
.
..
.
..
.
..
.
.
.
.
..
..
.
..
.
.
..
.
...
.
..
.
.
.
..
.
. .
.
.
.
..
.
.
. .
..
.
..
.
.
.
.
..
.
..... .
...
.
.
..
.
.
..
.
.
.
. ..
.
.. .
..
.
.
.
.
.. .
..
. ..
..
.
....
.
..
.
.
.
.
.
.
..
.
...
.
.
.
.
.
.
..
.
.
.
..
.
.
.
.. .
.
.
.
.
. ..
.
.
.
...
.
.
.
.
.
.
.
.
.
.
. ..
. .
.
.
.
..
.
. .
.
.
.
.
.
..
.
.
.
..
.
..
.
.
..
. .
..
.
.
.
.
.
.
.
.
.
..
.
.
.
..
.
.
.
.
.
.
.
.
.
..
.
.
.
.
.
..
.
.
.
.
.
. .
..
...
.
.
.
.
.
..
.
. ...
.
.
.
.
..
.
.
..
..
..
..
.
.
.
.
.
.
.
.
.
.
..
.
.
..
.
.
.
.
.
.
.
.
.
.
.
..
.
.
..
.
. ..
.
.
..
...
.
.
.
.
.
...
.
..
.
.
..
Easily generalizes to higher dimensions.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Outline
1 Bayesian Data Analysis
2 X-ray Spectral Analysis
3 Bayesian Computation
4 Solar Physics
5 Calibration of X-ray Detectors
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Science and Data
510
1520
2530
0.00000 0.00005 0.00010 0.00015
13259
wavelength
brightness
1000030000
5 10 15 20 25 30
time
wavelength
510
1520
2530
0.00002 0.00004 0.00006 0.00008 0.00010 0.00012
12357
wavelength
brightness
500015000
2500035000
5 10 15 20 25 30
time
wavelength
510
1520
2530
0.00005 0.00010 0.00015 0.00020
12299
wavelength
brightness
1000030000
5 10 15 20 25 30
time
wavelength
Fig
ure
3:Fits
forth
eFK
com
sdata.
For
each
plot,
the
spectru
ms
foreach
segmen
tare
plotted
inth
eleft
graph
(Black
,red
and
greencorresp
onds
toth
efirst,
second
and
third
segmen
t.)an
dth
efitted
values
of�
aresh
own
inth
erig
ht
graph.
13
Wavelength (A)
Pho
ton
Cou
nts
6 8 10 12 14 16 18 20
020
040
060
080
010
00
original EMC2 image
R-L 20 iterations R-L 100 iterations
The Chandra X-Ray ObservatoryImages > 30× sharper then any previous X-ray telescope.X-rays are produced by multi-millions degree matter, e.g.,by high magnetic fields, extreme gravity, explosive forces.
Data is collected for each arriving photon:Two-dimensional sky coordinates, energy, and arrival timeHigh resolution discrete variables:e.g., 4096× 4096 spatial and 1024 spectral binsFour-way table of photon counts.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
A Basic Spectral Models
Photon counts modeled with Poisson process:1 The continuum indicates the temperature of the source.2 Emission and absorption lines gives clues to composition.
0 1 2 3 4 5 6
0.5
1.0
1.5
2.0
2.5
3.0
energy
expe
ced
coun
t / b
in
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Multi-Level Models: X-ray Spectral Analysis1
submaximal effective area
instrumentresponse
absorbtion and
pile-up
background
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
050
150
++++++++++++++++
+
+
+
+
+
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
040
8012
0
++++++++++++++++
+
+
+++
+
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
050
150
250
+
++
++++++++++++++
+
+
+
+
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
050
100
150
++++++++++++++++
+
+
++
+
+
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
040
8012
0
+++++++++++++
+++
+
+
+++
+
++++++++++++++++++
++++++++++++++++++++++++++++++++++++++++++++++++++++++
1van Dyk, Connors, Kashyap and Siemiginowska (2001). Analysis of energy spectra with low photon
counts via Bayesian posterior simulation. The Astrophysical Journal, 548, 224-243.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Modeling Data Collection Mechanism
submaximal effective area
instrumentresponse
absorbtion and
pile-up
background
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
050
150
++++++++++++++++
+
+
+
+
+
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
040
8012
0
++++++++++++++++
+
+
+++
+
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 60
5015
025
0
+
++
++++++++++++++
+
+
+
+
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
050
100
150
++++++++++++++++
+
+
++
+
+
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
040
8012
0
+++++++++++++
+++
+
+
+++
+
++++++++++++++++++
++++++++++++++++++++++++++++++++++++++++++++++++++++++
We can separate a complex problem into a sequence ofeasier-to-solve problems.Model source, absorption, instrumental effects, andbackground separately.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
What About Prior Distributions?original EMC2 image
R-L 20 iterations R-L 100 iterations
We can often use “objective prior distributions"1 Priors can be used
to incorporate information from outside the data, orto impose structure on the fitted model.2
2 Priors offer a principled compromise between “fixing” aparameter & letting it “float free”.
3 The common practice of setting min and max limits amounts tousing a flat prior over a specified range.
2Esch, Connors, Karovska, and van Dyk (2004). An image reconstruction technique with error
estimates. The Astrophysical Journal, 610 1213-1227.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Model Diagnostics (e.g., van Dyk and Kang, 2004)
•
•
•••
•
•
•
•
••
•
•
•
••
•
•
•
•••
•
•
•
•
•••
•
••
•
•••
•
••
•
•
•
•
•••••
••
••••
••
•
•••••
••
•
••••••
•••••••••
•
•
•••••••••••
••
•••••••••••
•
••
•
••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••
•
•••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
No Emission Line
Energy (keV)0 2 4 6 8
010
2030
Cou
nts
Gau
ssia
n E
rror
s
•
•
•••
•
•
•
•
••
•
•
•
••
•
•
•
•••
•
•
•
•
•••
•
••
•
•••
•
••
•
•
•
•
•••••
••
••••
••
•
•••••
••
•
••••••
•••••••••
•
•
•••••••••••
••
•••••••••••
•
••
•
••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••
•
•••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
Emission Line Fixed at 2.835 keV
Energy (keV)
0 2 4 6 8
010
2030
Cou
nts
Gau
ssia
n E
rror
s
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•••
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
••
•
••
•••
•
•
•
•
•••••
••
••
•
•••
•
•
•
•
•••••
•
•
•
••
••
•
•••
••
•••
••
•
•
•
•
••••••••••
••••
•••
•
•••
••••••
•
•••••
•
••••••••••
•
•••••••
•••••••••••
••
•
•
••
••
•
••••
•
••••••
••
••••••••••••
•
••
••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••
•
••••••••••
•
•••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••
Energy (keV)0 2 4 6 8
-10
-50
5
Res
idua
lsG
auss
ian
Err
ors
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•••
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
••
•
••
•••
•
•
•
•
•••••
••
••
•
•••
•
•
•
•
•••••
•
•
•
•
•
••
•
•••
••
•••
••
•
•
•
•
••••••••••
••••
•••
•
•••
••••••
•
•••••
•
••••••••••
•
•••••••
•••••••••••
••
•
•
••
••
•
••••
•
••••••
••
••••••••••••
•
••
••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••
•
••••••••••
•
•••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••
Energy (keV)0 2 4 6 8
-10
-50
5
Res
idua
lsG
auss
ian
Err
ors
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•••
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
••
•
••
•••
•
•
•
•
•••••
••
••
•
•••
•
•
•
•
•••••
•
•
•
••
••
•
•••
••
•••
••
•
•
•
•
••••••••••
••••
•••
•
•••
••••••
•
•••••
•
••••••••••
•
•••••••
•••••••••••
••
•
•
••
••
•
••••
•
••••••
••
••••••••••••
•
••
••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••
•
••••••••••
•
•••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••
Energy(keV)0 2 4 6 8
-10
-50
5
Res
idua
lsP
oste
rior P
redi
ctiv
e E
rror
s
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•••
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
••
•
••
•••
•
•
•
•
•••••
••
••
•
•••
•
•
•
•
•••••
•
•
•
•
•
••
•
•••
••
•••
••
•
•
•
•
••••••••••
••••
•••
•
•••
••••••
•
•••••
•
••••••••••
•
•••••••
•••••••••••
••
•
•
••
••
•
••••
•
••••••
••
••••••••••••
•
••
••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••
•
••••••••••
•
•••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••
Energy(keV)0 2 4 6 8
-10
-50
5
Res
idua
lsP
oste
rior P
redi
ctiv
e E
rror
s
Bayesian methodscan incorporate specificerror characteristics ofdata models:
Compare
Gaussian Errors
Posterior PredictiveErrors.
Posterior Predictive Dist’n:p(Yrep | Y ) =∫
p(Yrep | θ) p(θ | Y )dθ
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Model Diagnostics (e.g., van Dyk and Kang, 2004)
•
•
•••
•
•
•
•
••
•
•
•
••
•
•
•
•••
•
•
•
•
•••
•
••
•
•••
•
••
•
•
•
•
•••••
••
••••
••
•
•••••
••
•
••••••
•••••••••
•
•
•••••••••••
••
•••••••••••
•
••
•
••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••
•
•••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
No Emission Line
Energy (keV)0 2 4 6 8
010
2030
Cou
nts
Gau
ssia
n E
rror
s
•
•
•••
•
•
•
•
••
•
•
•
••
•
•
•
•••
•
•
•
•
•••
•
••
•
•••
•
••
•
•
•
•
•••••
••
••••
••
•
•••••
••
•
••••••
•••••••••
•
•
•••••••••••
••
•••••••••••
•
••
•
••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••
•
•••••
•
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
Emission Line Fixed at 2.835 keV
Energy (keV)0 2 4 6 8
010
2030
Cou
nts
Gau
ssia
n E
rror
s
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•••
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•••
•
••
•
••
•••
••
•
•
•••••
••
•••
•••
•
•
•
•
•••••
•
•
•
••
••
•
•••
••
•••
••
•
•
•
•
••••••••••
•••••••
•
•••
••••••
•
•••••
•
••••••••••
•
•••••••
•••••••••••
••
•
•
••
••
•
••••
•
••••••
••
••••••••••••
•
••
••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••
•
••••••••••
•
•••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••
Energy (keV)0 2 4 6 8
-10
-50
5
Res
idua
lsG
auss
ian
Err
ors
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•••
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•••
•
••
•
••
•••
•
•
•
•
•••••
••
•••
•••
•
•
•
•
•••••
•
•
•
••
••
•
•••
••
•••
••
•
•
•
•
••••••••••
•••••••
•
•••
••••••
•
•••••
•
••••••••••
•
•••••••
•••••••••••
••
•
•
••
••
•
••••
•
••••••
••
••••••••••••
•
••
••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••
•
••••••••••
•
•••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••
Energy (keV)0 2 4 6 8
-10
-50
5
Res
idua
lsG
auss
ian
Err
ors
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•••
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•••
•
••
•
••
•••
••
•
•
•••••
••
•••
•••
•
•
•
•
•••••
•
•
•
••
••
•
•••
••
•••
••
•
•
•
•
••••••••••
•••••••
•
•••
••••••
•
•••••
•
••••••••••
•
•••••••
•••••••••••
••
•
•
••
••
•
••••
•
••••••
••
••••••••••••
•
••
••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••
•
••••••••••
•
•••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••
Energy(keV)0 2 4 6 8
-10
-50
5
Res
idua
lsP
oste
rior P
redi
ctiv
e E
rror
s
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•••
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•••
•
••
•
••
•••
•
•
•
•
•••••
••
•••
•••
•
•
•
•
•••••
•
•
•
••
••
•
•••
••
•••
••
•
•
•
•
••••••••••
•••••••
•
•••
••••••
•
•••••
•
••••••••••
•
•••••••
•••••••••••
••
•
•
••
••
•
••••
•
••••••
••
••••••••••••
•
••
••••••••••••••
•
•••••••••••••••••••••••••••••••••••••••
•
••••••••••
•
•••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••••••••••
•••••••••••••••••••••••••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••
Energy(keV)0 2 4 6 8
-10
-50
5
Res
idua
lsP
oste
rior P
redi
ctiv
e E
rror
s
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Posterior Predictive Checks: Is there a line?3
Model 0: no line Model 1: known location Model 2: unknown location
The Likelihood Ratio Test:
T (Yrep) = log{
supθ∈ΘiL(θ|Yrep)
supθ∈Θ0L(θ|yrep)
}, i = 1,2,
Sample Yrep from posterior predictive dist’n under Model 0.
Model 0 vs. Model 1
T(y.rep)
0 1 2 3 4 5 6 7
020
040
060
080
0
p = 0
T(y) = 5.62
Model 0 vs. Model 2
T(y.rep)
0 2 4 6 8 10
010
020
030
040
0
p = 0.013
T(y)= 5.63
Knowing line location increases strength of evidence.3
Protassov, van Dyk, Connors, Kashyap, and Siemiginowska (2002). Statistics: Handle with care —detecting multiple model components with the likelihood ratio test, The Astrophysical Journal, 571 545–559.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Outline
1 Bayesian Data Analysis
2 X-ray Spectral Analysis
3 Bayesian Computation
4 Solar Physics
5 Calibration of X-ray Detectors
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
(Markov Chain) Monte Carloprior
lamS
0 2 4 6 8
0.0
0.2
0.4
0.6
0 2 4 6 8 10
0.0
0.2
0.4
posterior
lamS
joint posterior with flat prior
lamS
lam
B
0 2 4 6 8
1.5
2.0
2.5
.
..
.
.
.
.
.
.
...
.
......
.
.
.
.
.
.
..
.
.
.
..
. .
.
..
.
..
.. .
.
.
..
.
..
.
.
.
.
.
.
.
.
.
..
.
..
.
.
.
. ... .
.
.
.
.
..
..
.
..
. .
..
.
.
.
.
.
.
..
.
.
.
.
...
.
.
..
.
.
.
. .
.
.
.
.
.
.
..
..
.
...
.
.
..
.
.
.
.
.
.
..
.
.
.. .... .
.
.
.
. . .
.
.
.
.
.
.
.
.
.
.
.....
..
.
.
.
. .
.
.
....
.
.. .
.
..
..
..
..
.
.
.
.
.
. ...
.
.
.
.
.
...
...
.
..
. .
.
..
.
.
.
...
.
. .
.
.
.
..
..
..
.. . .
.
.
.
.
.
.
.
.
.
.
.
..
.
.
.
.
.
.
.
.
..
.
..
.
.
..
.
.
.
..
. .
..
.
..
.
.
.
.
..
.
..
.
..
.
.
.
..
.
. ..
.
.
..
.
.
.
.
.
.
.
.
. .
.
..
.
.
..
. .
.
.
.
.
.
.
..
.
.
.
.
.
.. .
.
.
...
..
.
.
. .
.
.
.
.
.
.
...
.. ..
.
. ..
..
.
..
.
.
.
.
.
.
.
..
.
...
.
.
.
.
..
. ..
.
.
.
. .
.. .
.
...
. ..
.
.
.
.
..
.
.
.
..
.
.
.
.
.
.
.
.
..
..
.
.
....
..
.
.
..
.
.
. ...
.
.
.
.
.
.
.
.
..
.. .
.
.
.
..
.
.
.
.
.
.
..
..
.
.
..
.
.
...
.
.
..
.
.
..
.
. ..
..
.
.
.
.
...
.
.
.
..
.
..
.
.
. .
.
.
.
.
.
.
.
.
.
.
..
..
.
..
..
. ..
. ..
.
.
. .
..
.
..
.
..
..
.
..
.
.
.
. .
.
.
.
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
..
.
.
.
.
.
.
. ..
.
.
.
.
.
.
.
.
..
.
.
.
.
.
..
.
.
..
..
...
.
.
.
.
.
.
..
..
.
.
..
...
.
.
..
.
.
.
..
..
.
.
.
.
.
..
.
.
.
.
.
.
.
.
..
..
...
.
.
.
.
..
.
.
.
...
.
..
.
.. .
.
..
..
.
.
.
.
.
.
..
.
...
.
.
.
...
.
.
.
.
.
.
.
.
.
..
..
..
.
.. ..
..
..
.
.
.
.
...
..
.
.... ....
.
..
..
.
.
.
.
.
..
.
. .
.
. .
.
.
...
.
.
.
.
.
..
.
.
.
.
.
. .
.
.
.
.
.
. .
.
.
..
.
..
.. ..
.
..
..
.
.
.
..
..
. .
...
.
.
..
.. .
..
.
.
.
.
.
...
.
..
.
.
.
.
.
.
.
..
.
..
.
.
.
.
.
.
..
.
.
.
..
..
..
.
. ..
..
.
.
..
..
.
.
.
.
.
.
.
.
.
.
.
.
..
.
.
.
.
.. .
.
.
.
.. .
.
. .
..
.
..
.
..
.
.
.
.
.
.
.
.
..
.
.
.
.. ...
.
.
.
.
.
.
..
.
..
.
.
..
.
.. .. .
.
.
.
.
..
.
..
..
.
.
..
.
.
...
.
.
. ..
.
.
.
.
.
..
.
... .
.
.
..
. ..
.
.
..
..
.
.
.
.
.
.
..
.. .
..
.
. .
.
.
.
.
..
.
.
.
. .
.
. .
.
..
..
.
.
.
.
.
.
..
.
.
.
.
.
.
.
...
.
....
..
.
..
..
.
.
.
.
.
.
.
..
.
.
.
.
.
.
..
.
.
.
. .
..
.
.
..
.
. ..
..
.
. .
.
..
..
.
.
.
.
.
.
.
. .
.
.
.
.
...
.
.
.
..
.
..
..
.
.
.
.
. ..
.
.
...
.
..
.
.
.
..
...
.
.
.
.
.
.
.
. .
.
.
.
. .
.
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
...
.
.
...
..
.
.
.
.. .
.
.
.
.
. .
..
.
.. .
.
.
.
.
.
.
..
..
.
.
..
..
.
.
.
.
.
..
.
.
..
..
...
..
..
...
.
.
..
.
.
.
.
.
..
..
..
..
.
.
.
.
.
.
..
.
.
...
.
.
.
.
.
..
.
.
..
.
.
..
..
.
.
.
..
.
.
.
...
.
..
.
..
. ..
.
..
..
.
.
...
.
.
.
.
.
.
.
.
.
.
.
.
..
.
...
...
.
...
. .
.
. .
.
...
...
..
..
.
.
.
.
.
..
..
.
..
.
.
.
.
..
.
.
.
..
.
.
.
.
.
..
.
.
. ..
.
.
.
.
.
..
..
.
.
.
.
.
.
...
..
.
.
.
..
.
... .
.
.
.
..
.
.
.
.
.
.
.
. . .
.
....
.
.
..
.
..
...
.
.
.
...
.
.
.
.
.
.
.
..
..
.. .
.
.
.
.
.
.
..
..
....
.
.
.
..
...
.
.
.
.
..
. ..
.
.
.
...
.
..
.
..
.
..
.
.
.
.
. ..
..
.
.
.
.
..
.
.
.
.
.
..
.
.
.
.
.
.
.
... .
.
.
.
.
.
..
.
.
..
..
.
.. ..
..
.
..
.
.... .
. .
.
.
.
.
.
.
.
.
.
.
.
..
.
.
.
.
.
.
.
.
.
.
.. .
.
..
.
.
.
.
.
.
.
.
.
.
.
.
.
..
.
..
.
..
.
.
.
.
..
..
.
..
.
.
..
.
...
.
..
.
.
.
..
.. .
.
.
.
..
.
.
. .
..
.
..
..
.
.
..
.
..... .
...
.
.
..
.
.
..
.
.
.
. ..
.
.. .
..
.
.
.
.
.. .
..
. ..
..
.
....
.
..
.
.
.
.
.
.
..
.
...
.
.
.
.
.
.
..
.
.
.
..
.
.
.
.. .
.
.
.
.
. ..
.
.
.
...
.
.
.
.
.
.
.
.
.
.
. ..
. .
.
.
.
..
.
. .
.
.
.
.
.
..
.
.
.
..
.
..
.
.
..
. .
..
.
.
.
.
.
.
.
.
.
..
.
.
.
..
.
.
.
.
.
.
.
.
.
..
..
.
.
.
..
.
.
.
.
.
. .
..
...
.
.
.
.
.
..
.
. ...
.
.
.
.
..
.
.
..
..
..
..
.
.
.
.
.
.
.
.
.
.
..
.
..
.
.
.
.
.
.
.
.
.
.
.
.
..
.
.
..
.
. ..
.
.
..
...
.
.
.
.
.
...
.
..
.
.
..
Goal: obtain a sample from the posterior distribution of θ.The sample may be independent or dependent.Markov chains can be used to obtain a dependent sample.Given θ(0), sample
θ(t) ∼ K(θ|θ(t−1)) for t = 1,2, . . .
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
The Metropolis Sampler
Draw θ(0) from some starting distribution.
For t = 1,2,3, . . .Sample: θ∗ = θ(t−1)+ random noise
Compute: r = p(θ∗|Y )
p(θ(t−1)|Y )
Set: θ(t) =
{θ∗ with probability min(r ,1)
θ(t−1) otherwise
NoteRandom noise must be symmetric,e.g., Gaussian or uniform distribution centered at zero.If p(θ∗|Y ) > p(θ(t−1)|Y ), jump!
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Complex Posterior Distributions I
Cannot be summarized with fitted value and error bars.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Complex Posterior Distributions I
Highly non-linear relationships among parameters.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Complex Posterior Distributions IIMultiple Modes
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Complex Posterior Distributions III
0 2 4 6 8 10
0.0
0.1
0.2
0.3
0.4
0.5
energy (keV)
post
erio
r den
sity
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Complex Posterior Distributions III
2 4 6 8
24
68
energy of photon 1 (keV)
ener
gy o
f pho
ton
2 (k
eV)
energy of photon 2 (keV) energy of photon 1 (keV)
posterior
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Outline
1 Bayesian Data Analysis
2 X-ray Spectral Analysis
3 Bayesian Computation
4 Solar Physics
5 Calibration of X-ray Detectors
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Multilevel Models
Sequentially account for physical model, errors in recordedenergy, selection effects, data contamination, truncation, etc.
Model Parameters: θ.Physical Model: p(E |θ) is dist’n of true flare energies.Under-reported Energy: p(Eblur|θ).Data Truncation: p(Etrunc|θ)
Data Contamination: p(Eobs|θ).
Likelihood:
p(Eobs|θ) =
∫p(Eobs,Etrunc,Eblur,E |θ)dEtrunc dEblurdE
=
∫p(Eobs|Etrunc)p(Etrunc|Eblur)p(Eblur|E)p(E)dEtrunc dEblurdE
(Omitting θ in the last line to save space!)
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Modeling Data Collection Mechanism
Recall:submaximal effective
area
instrumentresponse
absorbtion and
pile-up
background
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
050
150
++++++++++++++++
+
+
+
+
+
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
040
8012
0
++++++++++++++++
+
+
+++
+
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 60
5015
025
0
+
++
++++++++++++++
+
+
+
+
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
050
100
150
++++++++++++++++
+
+
++
+
+
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
energy (keV)
coun
ts p
er u
nit
1 2 3 4 5 6
040
8012
0
+++++++++++++
+++
+
+
+++
+
++++++++++++++++++
++++++++++++++++++++++++++++++++++++++++++++++++++++++
Likelihood:
p(Eobs|θ) =
∫p(Eobs|Etrunc)p(Etrunc|Eblur)p(Eblur|E)p(E)dEtrunc dEblurdE
(Omitting θ in the last line to save space!)
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Power Law for the True Flares Energy
Choice of model:If events are are recorded as counts in energy bins,Poisson models are appropriate.If continuous energies are recorded, they should bemodeled directly:
p(E |θ) =
(γ − 1)
(EE0
)−γE−1
0 for E > E0
0 otherwise,
where γ > 1.In statistics this is called the Pareto distribution.Generalization: broken power-law, added features, etc.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Under-Reporting of Energy
Errors in recorded event energies:Under-reporting of energies:
Eblur = uE , with u ≤ 1
Parnell & Jupp (2000) suggest a Beta(φ+ 1,1) distribution:
p(u|θ) =
{(φ+ 1)uφ for 0 < u < 10 otherwise
,
with φ > −1. (Larger φ −→ less under-reporting.)
In principle, any distribution p(Eblur|E , θ) can be used.p(Eblur|θ) =
∫p(Eblur|E , φ)p(E |γ)dE . (e.g., skew-Laplace dist’n)
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Data Truncation
Selection EffectsSome events are not observed:
Z =
{1 if event is observed0 otherwise
.
The probability of observation depend on energy:
p(Z = 1|Eblur, θ) = Pr(event is observed|Eblur)
Full Truncation: Observe if and only if Emin < Eblur < Emax.Stochastic Truncation: A probability of observing any event.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Data Truncation
Condition on Z = 1 to re-weight p(Eblur|θ):
p(Etrunc|θ) = p(Eblur|θ,Z = 1) =p(Eblur,Z = 1|θ)
p(Z = 1|θ)
=p(Eblur|θ)p(Z = 1|Eblur, θ)∫
p(Eblur|θ)p(Z = 1|Eblur, θ)dEblur
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
f(Eblur)
energy (ergs)
dist
ribut
ion
of E
_blu
r
1e+25 3e+25 5e+25 7e+25
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
Pr(observed)
energy (ergs)
prob
abili
ty o
bser
ved
1e+25 3e+25 5e+25 7e+25
0.0
0.2
0.4
0.6
0.8
1.0
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
f(Etrunc)
energy (ergs)
dist
n of
E_t
runc
1e+25 3e+25 5e+25 7e+25
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Data Contamination
Two types of selection effectsTruncation Events of interest are not recorded.
Contamination Events are recorded that are not of interest.
p(Eobs|θ) = αp(Etrunc|θ) + (1− α)p(Ebkgd)
To identify underlying power law, must know something about:blurring function, p(Eblur|E , θ)
probability events of interest are included, p(Z = 1|Eblur, θ).distribution of contaminating events, p(Ebkgd|θ).
After specifying model and obtaining data, fit via MCMC.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Outline
1 Bayesian Data Analysis
2 X-ray Spectral Analysis
3 Bayesian Computation
4 Solar Physics
5 Calibration of X-ray Detectors
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Calibration of X-ray Detectors
We must model both1 the scientifically interesting source and2 instrumental effects.
How well are the instruments understood?
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Calibration Products
Analysis is highly dependent on Calibration Products:Effective area records sensitivity as a function of energyEnergy redistribution matrix can vary with energy/locationPoint Spread Functions can vary with energy and locationExposure Map shows how effective area varies in an image
In this talk we focus on uncertainty in the effective area.
E [keV]
AC
IS−
S e
ffect
ive
area
(cm
2 )0
200
400
600
800
0.2 1 10
A CHANDRA effective area.
Sample Chandra psf’s(Karovska et al., ADASS X)
EGERT exposure map(area × time)
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Derivation of Calibration Products
Effective area records theinstrument sensitivity asfunction of energyAim to capture deteriorationof detectors over time.Complex computer models ofsubassembly components.Calibration scientists providea sample representinguncertaintyCalibration Sample istypically of size M ≈ 1000.
E [keV]
AC
IS−
S e
ffect
ive
are
a (
cm2 )
02
00
40
06
00
80
0
0.2 1 10
E [keV]
de
fau
lt su
btr
act
ed
effe
ctiv
e a
rea
(cm
2)
−5
00
50
0.2 1 10
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Simple Emulation of Computer Model4
We use Principal Component Analysis to represent uncertainly:
A ∼ A0 + δ̄ +m∑
j=1
ej rjv j ,
A0: default effective area,δ̄: mean deviation from A0,
rj and v j : first m principle component eigenvalues & vectors,ej : independent standard normal deviations.
Capture 95% of variability with m = 6− 9.
4Lee, Kashyap, van Dyk, Connors, Drake, Izem, Meng, Min, Park, et al. (2011). Accounting for Calibration
Uncertainties in X-ray Analysis: Effective Areas in Spectral Fitting. The Astrophysical Journal, 731, 126–144.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Two Possible Target Distributions5
We consider inference under:A PRAGMATIC BAYESIAN TARGET: π0(A, θ) = p(A)p(θ|A,Y ).THE FULLY BAYESIAN POSTERIOR: π(A, θ) = p(A|Y )p(θ|A,Y ).
Concerns:Statistical Fully Bayesian target is “correct”.
Cultural Astronomers have concerns about letting thecurrent data influence calibration products.
Computational Both targets pose challenges,but pragmatic Bayesian target is easier to sample.
Practical How different are p(A) and p(A|Y )?
With MCMC we sample a different effective area curve at eachiteration according to its conditional distribution.
5Xu, van Dyk, Kashyap, Siemiginowska, Connors, Drake, et al. (2014). A Fully Bayesian Method for
Jointly Fitting Instrumental Calibration and X-ray Spectral Models. The Astrophysical Journal, to appear.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Implementing the Fully Bayesian Analysis
Direct MH sampling is difficult. (Case-by case tuning of jumping rules.)
Pragmatic Bayesian posteriorWe can easily sample from π0(A, θ).Well suited proposal dist’n: over-dispersed relative to π(A, θ).
But π0(A, θ) cannot be evaluated
π0(A, θ) = p(θ|Y ,A)p(A) =p(Y |θ,A)p(θ)
p(Y |A)p(A)
This is a doubly intractable distribution.We construct a normal approximation (∼ 20 dimensional).Use as jumping rule in an independence MH sampler.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
Sampling From the Full Posterior
0.90 0.95 1.00 1.05
1.96
2.00
2.04
Default Effective Area
θθ1
θθ 2
●
0.90 0.95 1.00 1.05
1.96
2.00
2.04
Pragmatic Bayes
θθ1
θθ 2●
0.90 0.95 1.00 1.05
1.96
2.00
2.04
Fully Bayes
θθ1
θθ 2
●
Spectral Model (purple bullet = truth):
power law: mean(Ej |θ) = θ1E−θ2j
Pragmatic Bayes is clearly better than standard method,but a Fully Bayesian Method is the ultimate goal.
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
How it Works on a Sample of Radio-Loud Quasars
Pragmatic Bayes Fully Bayes
−3 −2 −1 0 1 2 3
0.02
0.05
0.10
0.20
0.50
(CIpB − Γ̂std) σ̂std(Γ)
σ̂ std(Γ
)
●
●
●
●
●
●
3778661602305530563097309831003101310231033104310531063107
−3 −2 −1 0 1 2 3
0.02
0.05
0.10
0.20
0.50
(CI fB − Γ̂std) σ̂std(Γ)
σ̂ std(Γ
)●
●
●
●
●
●
3778661602305530563097309831003101310231033104310531063107
Bayesian Data Analysis X-ray Spectral Analysis Bayesian Computation Solar Physics Calibration of X-ray Detectors
For Further Reading I
van Dyk, D., Connors, A., Kashyap, V., and Siemiginowska, A.Analysis of Energy Spectra with Low Photon Counts via Bayesian PosteriorSimulation. The Astrophysical Journal, 548, 224–243, 2001.
Protassov, R., van Dyk, D., Connors, A., Kashyap, V., and Siemiginowska, A.Statistics: Handle with Care – Detecting Multiple Model Components with theLikelihood Ratio Test. The Astrophysical Journal, 571, 545–559, 2002.
van Dyk, D. and Kang, H.Highly Structured Models for Spectral Analysis in High-Energy Astrophysics.Statistical Science, 19, 275–293, 2004.
Lee, H., Kashyap, V., van Dyk, D., Connors, A., Drake, J., Izem, R., Min, S., Park,T., Ratzlaff, P., Siemiginowska, A., and Zezas, A.Accounting for Calibration Uncertainties in X-ray Analysis: Effective Area inSpectral Fitting. The Astrophysical Journal, 731, 126–144, 2011.
Xu, J., van Dyk, D., Kashyap, V., Siemiginowska, A., Connors, A., Drake, J.,Meng, X.L., Ratzlaff, P. and Yu, Y.A Fully Bayesian Method for Jointly Fitting Instrumental Calibration and X-raySpectral Models. Astrophysical Journal, to appear, 2014.
Recommended