More Details on Fast‐Scanning Data  I have done a  little more analysis on  these data  sets:  in particular  I  looked  for  spikes  in  the  time domain, plotted  the Allan variance and  looked at  the power  spectra of  the variations  in  the  total power.  I did not see any spikes and most of what is seen in the Allan variance is as expected.  There are some significant narrow features in the power spectra, and curiously these seem strongest when looking at the ambient load. 

Spikes 

As a  first  test  I  took  the  individual  times  series data  streams  (there are 8 of  these  for  the 8  total power outputs from the  IF processor and  in this case they were sampled at the full 2kHz rate) and formed  the  first  difference,  i.e.  (Pn+1  –  Pn).    Taking  differences  over  this  short  time  (0.5 msec) removes the rapid fluctuations.  I found the rms of these differences and the largest absolute value as well as the number with absolute values above 4 times the rms.  Typically the largest values were 4.5 to 5.5 times the rms, while the numbers of differences over 4‐sigma were between 30 and 40.  These compare well with what  is expected for Gaussian noise:   for roughly 550,000 data points we expect 1.1 points outside 4.75‐sigma and 35 points outside 4‐sigma.   

Strictly speaking this test looks for steps in the data rather than spikes.  I therefore repeated it using the second difference, i.e. (Pn+2 – 2Pn+1 + Pn).  The results were essentially the same.   

This was done on  all  the data  taken on blank  sky  and on  the  ambient  load  and  I didn’t  see  any evidence of non‐Gaussian behaviour.   Not surprisingly  the data  taken on Venus  fail  this  test –  the strong signals varying on quite short timescales produce a quite different distribution of differences. 

I conclude that there is no evidence of any spikes and that there is therefore no need to include any de‐spiking in the time domain in the standard data processing chain.  It may nevertheless be worth including a routine check of this type since spikes could still show up with a different combination of receiver bands and antennas. 

Allan Variance 

These are the fractional variances  (i.e. normalized by mean power) for the differences of between adjacent integrations of time t (in seconds on x‐axis).  With logarithmic scales, the data taken on the ambient load typically look like this (this is PM01 scanning around Az = ‐120, El = 70): 

 

The last trace is what is expected for white noise with a bandwidth of 2GHz.  We see that at the raw sample  rate of 0.5msec  the  traces  for  the  individual  channels match  this.    For  longer  times  they 

‐10

‐9

‐8

‐7

‐6

‐5

‐4

‐4 ‐3 ‐2 ‐1 0 1 2

TA_P0

TA_P1

TB_P0

TB_P1

TC_P0

TC_P1

TD_P0

TD_P1

Av_P0

Av_P1

Av_All

2GHz

move up a little and then the trace flattens out for times between about 0.1 and 10 seconds.  This is the  typical  behaviour  that  we  expect  with  our  SIS  receivers.    There  are  significant  differences between  the 4 channels, especially between 0.1 and 1  second, with TD_P1 being  the worst.   The lower  traces  are  the  averages  for  all  the  channels  with  each  polarization  and  then  for  both polarizations.   These curves remain  lower than the  individual traces, which means that most of the excess noise  is not correlated between channels.   For the  longest timescales the variance turns up, implying that there is a drift and this is apparently correlated between the channels. 

For the PM04 data taken at the same time there no obvious drift on longer timescales, but there is a quite prominent “feature” at about 16 msec, i.e. log10(t) =~‐1.8, in some channels. 

 

If we now look at the same antenna but tracking in RA – Ralph described this as RA/Dec (‐120, 70) – this is much less prominent.   

 

This suggests that the “feature” depends on the pointing direction or possibly on whether or not the antenna is tracking (but it was scanning in both cases). 

Turning  to  the  data  taken  looking  at  blank  sky, we  immediately  see  that  there  are  far  stronger fluctuations due to the atmosphere than those in the receivers.  The atmospheric noise is of course 

‐10

‐9

‐8

‐7

‐6

‐5

‐4

‐4 ‐3 ‐2 ‐1 0 1 2

TA_P0

TA_P1

TB_P0

TB_P1

TC_P0

TC_P1

TD_P0

TD_P1

Av_P0

Av_P1

Av_All

2GHz

‐10

‐9

‐8

‐7

‐6

‐5

‐4

‐4 ‐3 ‐2 ‐1 0 1 2

TA_P0

TA_P1

TB_P0

TB_P1

TC_P0

TC_P1

TD_P0

TD_P1

Av_P0

Av_P1

Av_All

2GHz

highly  correlated  between  the  different  channels,  which  is  why  they,  and  the  averages  of  the channels, all converge to single trace at longer times.  

 

This is PM04 scanning at a fixed Az and El.  This was Band 7 and the conditions were quite poor.  In this case the atmospheric noise starts to dominate at about 0.1 seconds and rises rapidly for longer times.   Note  that  if we  can make  Lissajous patterns with  say 1.25 Hz as  the drive  frequency,  the beam  goes  from  one  edge  of  the map  to  the  other  in  0.4  seconds  and  so  the  relevant  time  for forming the difference between the centre of the map and the edge is 0.2 secs, i.e. log10(t) =~‐0.7.  Under  these  (poor) conditions we would be getting errors of about 2x10‐4 of  system  temperature from each pass over the middle of the map.  This, together with the number of passes, would set the errors for measurement of the  large scale structures, e.g. for 100 passes and Tsys of 400K we might expect brightness  temperature errors of order 8mK rms, which doesn’t sound  too bad.   Obviously this needs to be checked for the complete mapping process with simulations and/or real data. 

For  these on‐sky data  the plots  for  the  two antennas and  for  the different pointing directions are very similar so I won’t show more of these here.  (I’ll put the spread‐sheets on the ticket.)  The Venus plots look like this, but these are not very relevant because of the enormous signal to noise ratio. 

 

 

‐10

‐9

‐8

‐7

‐6

‐5

‐4

‐4 ‐3 ‐2 ‐1 0 1 2

TA_P0

TA_P1

TB_P0

TB_P1

TC_P0

TC_P1

TD_P0

TD_P1

Av_P0

Av_P1

Av_All

2GHz

‐8

‐7

‐6

‐5

‐4

‐3

‐2

‐1

0

‐4 ‐3 ‐2 ‐1 0 1 2

TA_P0

TA_P1

TB_P0

TB_P1

TC_P0

TC_P1

TD_P0

TD_P1

Av_P0

Av_P1

Av_All

2GHz

Power Spectra 

The power spectra provide an alternative way of examining the noise to the Allan variance plots.   I took the Fourier transforms of the raw data streams (actually after subtracting the mean from each to  reduce  round‐off errors) and calculated  the amplitudes of  the components  [sqrt(real2 +imag2)].  To  limit  the number of points  in  the output,  I binned  the  results  in  such a way  so at  frequencies above 0.8Hz the fractional spectral resolution remains fixed at about 0.5%.  Here is a plot of the data on the ambient load for PM01 using log scales. 

 

This  is the average over all the channels.   The red  line  is a power  law with a slope of  ‐0.75.   Since these are the amplitudes,  this means the power  is going as about  (frequency)‐1.5,  i.e. a  little  faster than 1/f.   

The observations of blank sky show the much larger and steeper contribution from the atmosphere.  

 

Here the illustrative slope is ‐1.2, i.e. power proportional to (frequency)‐2.4.  I haven’t checked what the slope expected for Kolmogorov turbulence is, but this seems plausible. 

The plots for tracking a given RA and Dec are quite similar to those above (which are for fixed Az/El) although  the  noise  level  on  the  sky  was  noticeable  larger,  presumably  because  of  the  lower elevation.  As with the Allan variance, the power spectrum plots for Venus show lots of structure but it  is  not  very meaningful  to  look  at  that  data  in  this  statistical  way.    The  plots  for  PM04  are qualitatively similar – the noise on the ambient load is significantly lower and flatter but the results on the sky are almost identical, as might be hoped.  

The most  important quality of the power spectrum  is of course that  it picks out periodic functions much better than the Allan variance does.    It can be seen that there are features at roughly 50 Hz and 150 Hz in the plots above.   

0.01

0.1

1

10

100

1000

0.001 0.01 0.1 1 10 100 1000

0.01

0.1

1

10

100

1000

0.001 0.01 0.1 1 10 100 1000

If we use linear scales it is rather easier to see such spikes.  Here is a plot for just one of the channels (TD‐P0) from the same data set as the top one on the previous page (PM01, amb load, fixed Az/El).  

 

We see that there are numerous narrow features  in the range 50 to 200 Hz.   The normalization  is such that a sinusoidal component with an amplitude of 1 has a power of 0.5 and hence a value on the plots of 0.707.  This is the channel TD_P1 that showed the largest excess in the Allan plot.  The mean  level  in  these  raw units  is  about 30,000  so  these  are quite  small  fluctuations but  they  are contributing  significantly  to  the  noise.    They  are  also  in  a  range  of  frequencies  which  would correspond  to  interesting  angular  scales on  the  sky:    at 600  arcsec/sec, 50 Hz  corresponds  to 12 arcsec.   

To see a little more of these here is a plot of the region from 110 to 190 Hz showing all the channels and the averages, with the vertical axis on a log scale to increase the separation of the traces.  

 

This shows a curious result:  most of the features that are present on the individual channels are not seen of the spectra of  the averages, which are the  lowest plots.    (Look at the spike on the  left, at ~118 Hz, as an example.)  In fact the only features that make it into the overall average are the group around 151 Hz (which  is only present on polarisation 1) and the one at around 169 Hz (which  is on both  polarizations).    The  other  features  cancel‐out  on  averaging,  which  implies  that  these fluctuations in the power levels must be occurring with opposite signs on different channels.   

Without going into a lot of detail I note that:   

1) The level of these features, especially the ones that cancel, is lower in the observations of the sky than on the ambient load.  Since the gain must have been lower on the load than the sky, this is not one would perhaps expect for an additive  interference.   It  is I suppose possible that these features are to do with standing waves between the receiver and the load. 

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

0 100 200 300 400 500 600 700 800 900 1000

0.04

0.08

0.16

0.32

0.64

110 120 130 140 150 160 170 180 190

TA_P0

TA_P1

TB_P0

TB_P1

TC_P0

TC_P1

TD_P0

TD_P1

Av_P0

Av_P1

Av_All

2) Similar features, but with a completely different pattern of frequencies, occur on the PM04 data, although there are not quite as many.   There is again a mixture of features which cancel and some which  do  not.   Here  is  the  overall  view,  for  the  same  case  as  the  top  of  the  previous  page,  i.e. channel TD_P1 from PM04, amb load, fixed Az/El: 

 

The biggest problem here is the strong spike at 25 Hz.  This is what creates the feature noted in the Allan  variance  plots  (top  plot  of  page  2),  which  immediately  implies  that  it  is  making  a  very significant contribution to the noise.  It does cancel moderately well in the overall average and it is lower, but still present,  in the data on sky.   We may nevertheless need to track this one down and remove it since it is at a frequency that would show up strongly in the maps.  Alternatively we might be able  to apply a  “notch”  filter  in  the  frequency domain  to get  rid of  so  long assuming  that  the frequency  is  stable.    The main  feature  does  appear  to  be  at  exactly  25  Hz,  i.e.  half  the mains frequency. 

3) Another possible explanation for the features that cancel on averaging is that they are a result of something  like phase  switching or LO phase  rotation going on  in  the  system.   We  should perhaps investigate whether we need to make some special settings for the single‐dish observing modes to turn things off. 

4)  I  did  not  see  any  evidence  for  spectral  features  at  frequencies  higher  than  200 Hz  (although obviously we need  to  look at each antenna and  receiver  individually before assuming  that  this  is always the case).  If it is then this suggests that we can routinely use an integration time of 2 msec for collecting the data, since that implies a Nyquist frequency of 250 Hz and this means that all the features are properly measured.  An integration time of 4 msec or longer, which would in almost all cases  be  enough  for  sampling  the map, might  lead  to  the  aliasing  of  some  of  these  features  to troublesome places  in  the band.    If we use 2 msec  sampling  and we want  to  compress  the data further, we should apply a low‐pass filter before resampling it.  The obvious thing to do is to take a Fourier  transform  of  the  raw  data,  check  it  for  spectral  spikes,  which  could  if  necessary  be suppressed, apply a suitable filter and then throw away the high frequencies so as to transform back onto more widely separated points in the time domain. 

When there is an opportunity to take more data we should try things like switching bands to see at what stage in the system these effects are occurring. 

 

REH                          9th Dec 2013 

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

0 100 200 300 400 500 600 700 800 900 1000