adding name strings for canvases and histograms, adding z0 resolution
[u/mrichter/AliRoot.git] / STAT / TStatToolkit.cxx
1 /**************************************************************************
2  * Copyright(c) 1998-1999, ALICE Experiment at CERN, All rights reserved. *
3  *                                                                        *
4  * Author: The ALICE Off-line Project.                                    *
5  * Contributors are mentioned in the code where appropriate.              *
6  *                                                                        *
7  * Permission to use, copy, modify and distribute this software and its   *
8  * documentation strictly for non-commercial purposes is hereby granted   *
9  * without fee, provided that the above copyright notice appears in all   *
10  * copies and that both the copyright notice and this permission notice   *
11  * appear in the supporting documentation. The authors make no claims     *
12  * about the suitability of this software for any purpose. It is          *
13  * provided "as is" without express or implied warranty.                  *
14  **************************************************************************/
15
16
17 ///////////////////////////////////////////////////////////////////////////
18 // Class TStatToolkit
19 // 
20 // Subset of  matheamtical functions  not included in the TMath
21 //
22
23 ///////////////////////////////////////////////////////////////////////////
24 #include "TMath.h"
25 #include "Riostream.h"
26 #include "TH1F.h"
27 #include "TH2F.h"
28 #include "TH3.h"
29 #include "TF1.h"
30 #include "TTree.h"
31 #include "TChain.h"
32 #include "TObjString.h"
33 #include "TLinearFitter.h"
34 #include "TGraph2D.h"
35 #include "TGraph.h"
36 #include "TGraphErrors.h"
37 #include "TMultiGraph.h"
38 #include "TCanvas.h"
39 #include "TLatex.h"
40 #include "TCut.h"
41
42 //
43 // includes neccessary for test functions
44 //
45 #include "TSystem.h"
46 #include "TRandom.h"
47 #include "TStopwatch.h"
48 #include "TTreeStream.h"
49
50 #include "TStatToolkit.h"
51
52  
53 ClassImp(TStatToolkit) // Class implementation to enable ROOT I/O
54  
55 TStatToolkit::TStatToolkit() : TObject()
56 {
57   //
58   // Default constructor
59   //
60 }
61 ///////////////////////////////////////////////////////////////////////////
62 TStatToolkit::~TStatToolkit()
63 {
64   //
65   // Destructor
66   //
67 }
68
69
70 //_____________________________________________________________________________
71 void TStatToolkit::EvaluateUni(Int_t nvectors, Double_t *data, Double_t &mean
72                            , Double_t &sigma, Int_t hh)
73 {
74   //
75   // Robust estimator in 1D case MI version - (faster than ROOT version)
76   //
77   // For the univariate case
78   // estimates of location and scatter are returned in mean and sigma parameters
79   // the algorithm works on the same principle as in multivariate case -
80   // it finds a subset of size hh with smallest sigma, and then returns mean and
81   // sigma of this subset
82   //
83
84   if (hh==0)
85     hh=(nvectors+2)/2;
86   Double_t faclts[]={2.6477,2.5092,2.3826,2.2662,2.1587,2.0589,1.9660,1.879,1.7973,1.7203,1.6473};
87   Int_t *index=new Int_t[nvectors];
88   TMath::Sort(nvectors, data, index, kFALSE);
89   
90   Int_t    nquant = TMath::Min(Int_t(Double_t(((hh*1./nvectors)-0.5)*40))+1, 11);
91   Double_t factor = faclts[TMath::Max(0,nquant-1)];
92   
93   Double_t sumx  =0;
94   Double_t sumx2 =0;
95   Int_t    bestindex = -1;
96   Double_t bestmean  = 0; 
97   Double_t bestsigma = (data[index[nvectors-1]]-data[index[0]]+1.);   // maximal possible sigma
98   bestsigma *=bestsigma;
99
100   for (Int_t i=0; i<hh; i++){
101     sumx  += data[index[i]];
102     sumx2 += data[index[i]]*data[index[i]];
103   }
104   
105   Double_t norm = 1./Double_t(hh);
106   Double_t norm2 = (hh-1)>0 ? 1./Double_t(hh-1):1;
107   for (Int_t i=hh; i<nvectors; i++){
108     Double_t cmean  = sumx*norm;
109     Double_t csigma = (sumx2 - hh*cmean*cmean)*norm2;
110     if (csigma<bestsigma){
111       bestmean  = cmean;
112       bestsigma = csigma;
113       bestindex = i-hh;
114     }
115     
116     sumx  += data[index[i]]-data[index[i-hh]];
117     sumx2 += data[index[i]]*data[index[i]]-data[index[i-hh]]*data[index[i-hh]];
118   }
119   
120   Double_t bstd=factor*TMath::Sqrt(TMath::Abs(bestsigma));
121   mean  = bestmean;
122   sigma = bstd;
123   delete [] index;
124
125 }
126
127
128
129 void TStatToolkit::EvaluateUniExternal(Int_t nvectors, Double_t *data, Double_t &mean, Double_t &sigma, Int_t hh,  Float_t externalfactor)
130 {
131   // Modified version of ROOT robust EvaluateUni
132   // robust estimator in 1D case MI version
133   // added external factor to include precision of external measurement
134   // 
135
136   if (hh==0)
137     hh=(nvectors+2)/2;
138   Double_t faclts[]={2.6477,2.5092,2.3826,2.2662,2.1587,2.0589,1.9660,1.879,1.7973,1.7203,1.6473};
139   Int_t *index=new Int_t[nvectors];
140   TMath::Sort(nvectors, data, index, kFALSE);
141   //
142   Int_t    nquant = TMath::Min(Int_t(Double_t(((hh*1./nvectors)-0.5)*40))+1, 11);
143   Double_t factor = faclts[0];
144   if (nquant>0){
145     // fix proper normalization - Anja
146     factor = faclts[nquant-1];
147   }
148
149   //
150   //
151   Double_t sumx  =0;
152   Double_t sumx2 =0;
153   Int_t    bestindex = -1;
154   Double_t bestmean  = 0; 
155   Double_t bestsigma = -1;
156   for (Int_t i=0; i<hh; i++){
157     sumx  += data[index[i]];
158     sumx2 += data[index[i]]*data[index[i]];
159   }
160   //   
161   Double_t kfactor = 2.*externalfactor - externalfactor*externalfactor;
162   Double_t norm = 1./Double_t(hh);
163   for (Int_t i=hh; i<nvectors; i++){
164     Double_t cmean  = sumx*norm;
165     Double_t csigma = (sumx2*norm - cmean*cmean*kfactor);
166     if (csigma<bestsigma ||  bestsigma<0){
167       bestmean  = cmean;
168       bestsigma = csigma;
169       bestindex = i-hh;
170     }
171     //
172     //
173     sumx  += data[index[i]]-data[index[i-hh]];
174     sumx2 += data[index[i]]*data[index[i]]-data[index[i-hh]]*data[index[i-hh]];
175   }
176   
177   Double_t bstd=factor*TMath::Sqrt(TMath::Abs(bestsigma));
178   mean  = bestmean;
179   sigma = bstd;
180   delete [] index;
181 }
182
183
184 //_____________________________________________________________________________
185 Int_t TStatToolkit::Freq(Int_t n, const Int_t *inlist
186                         , Int_t *outlist, Bool_t down)
187 {    
188   //
189   //  Sort eleements according occurancy 
190   //  The size of output array has is 2*n 
191   //
192
193   Int_t * sindexS = new Int_t[n];     // temp array for sorting
194   Int_t * sindexF = new Int_t[2*n];   
195   for (Int_t i=0;i<n;i++) sindexS[i]=0;
196   for (Int_t i=0;i<2*n;i++) sindexF[i]=0;
197   //
198   TMath::Sort(n,inlist, sindexS, down);  
199   Int_t last      = inlist[sindexS[0]];
200   Int_t val       = last;
201   sindexF[0]      = 1;
202   sindexF[0+n]    = last;
203   Int_t countPos  = 0;
204   //
205   //  find frequency
206   for(Int_t i=1;i<n; i++){
207     val = inlist[sindexS[i]];
208     if (last == val)   sindexF[countPos]++;
209     else{      
210       countPos++;
211       sindexF[countPos+n] = val;
212       sindexF[countPos]++;
213       last =val;
214     }
215   }
216   if (last==val) countPos++;
217   // sort according frequency
218   TMath::Sort(countPos, sindexF, sindexS, kTRUE);
219   for (Int_t i=0;i<countPos;i++){
220     outlist[2*i  ] = sindexF[sindexS[i]+n];
221     outlist[2*i+1] = sindexF[sindexS[i]];
222   }
223   delete [] sindexS;
224   delete [] sindexF;
225   
226   return countPos;
227
228 }
229
230 //___TStatToolkit__________________________________________________________________________
231 void TStatToolkit::TruncatedMean(const TH1 * his, TVectorD *param, Float_t down, Float_t up, Bool_t verbose){
232   //
233   //
234   //
235   Int_t nbins    = his->GetNbinsX();
236   Float_t nentries = his->GetEntries();
237   Float_t sum      =0;
238   Float_t mean   = 0;
239   Float_t sigma2 = 0;
240   Float_t ncumul=0;  
241   for (Int_t ibin=1;ibin<nbins; ibin++){
242     ncumul+= his->GetBinContent(ibin);
243     Float_t fraction = Float_t(ncumul)/Float_t(nentries);
244     if (fraction>down && fraction<up){
245       sum+=his->GetBinContent(ibin);
246       mean+=his->GetBinCenter(ibin)*his->GetBinContent(ibin);
247       sigma2+=his->GetBinCenter(ibin)*his->GetBinCenter(ibin)*his->GetBinContent(ibin);      
248     }
249   }
250   mean/=sum;
251   sigma2= TMath::Sqrt(TMath::Abs(sigma2/sum-mean*mean));
252   if (param){
253     (*param)[0] = his->GetMaximum();
254     (*param)[1] = mean;
255     (*param)[2] = sigma2;
256     
257   }
258   if (verbose)  printf("Mean\t%f\t Sigma2\t%f\n", mean,sigma2);
259 }
260
261 void TStatToolkit::LTM(TH1F * his, TVectorD *param , Float_t fraction,  Bool_t verbose){
262   //
263   // LTM
264   //
265   Int_t nbins    = his->GetNbinsX();
266   Int_t nentries = (Int_t)his->GetEntries();
267   Double_t *data  = new Double_t[nentries];
268   Int_t npoints=0;
269   for (Int_t ibin=1;ibin<nbins; ibin++){
270     Float_t entriesI = his->GetBinContent(ibin);
271     Float_t xcenter= his->GetBinCenter(ibin);
272     for (Int_t ic=0; ic<entriesI; ic++){
273       if (npoints<nentries){
274         data[npoints]= xcenter;
275         npoints++;
276       }
277     }
278   }
279   Double_t mean, sigma;
280   Int_t npoints2=TMath::Min(Int_t(fraction*Float_t(npoints)),npoints-1);
281   npoints2=TMath::Max(Int_t(0.5*Float_t(npoints)),npoints2);
282   TStatToolkit::EvaluateUni(npoints, data, mean,sigma,npoints2);
283   delete [] data;
284   if (verbose)  printf("Mean\t%f\t Sigma2\t%f\n", mean,sigma);if (param){
285     (*param)[0] = his->GetMaximum();
286     (*param)[1] = mean;
287     (*param)[2] = sigma;    
288   }
289 }
290
291 Double_t  TStatToolkit::FitGaus(TH1* his, TVectorD *param, TMatrixD */*matrix*/, Float_t xmin, Float_t xmax, Bool_t verbose){
292   //
293   //  Fit histogram with gaussian function
294   //  
295   //  Prameters:
296   //       return value- chi2 - if negative ( not enough points)
297   //       his        -  input histogram
298   //       param      -  vector with parameters 
299   //       xmin, xmax -  range to fit - if xmin=xmax=0 - the full histogram range used
300   //  Fitting:
301   //  1. Step - make logarithm
302   //  2. Linear  fit (parabola) - more robust - always converge
303   //  3. In case of small statistic bins are averaged
304   //  
305   static TLinearFitter fitter(3,"pol2");
306   TVectorD  par(3);
307   TVectorD  sigma(3);
308   TMatrixD mat(3,3);
309   if (his->GetMaximum()<4) return -1;  
310   if (his->GetEntries()<12) return -1;  
311   if (his->GetRMS()<mat.GetTol()) return -1;
312   Float_t maxEstimate   = his->GetEntries()*his->GetBinWidth(1)/TMath::Sqrt((TMath::TwoPi()*his->GetRMS()));
313   Int_t dsmooth = TMath::Nint(6./TMath::Sqrt(maxEstimate));
314
315   if (maxEstimate<1) return -1;
316   Int_t nbins    = his->GetNbinsX();
317   Int_t npoints=0;
318   //
319
320
321   if (xmin>=xmax){
322     xmin = his->GetXaxis()->GetXmin();
323     xmax = his->GetXaxis()->GetXmax();
324   }
325   for (Int_t iter=0; iter<2; iter++){
326     fitter.ClearPoints();
327     npoints=0;
328     for (Int_t ibin=1;ibin<nbins+1; ibin++){
329       Int_t countB=1;
330       Float_t entriesI =  his->GetBinContent(ibin);
331       for (Int_t delta = -dsmooth; delta<=dsmooth; delta++){
332         if (ibin+delta>1 &&ibin+delta<nbins-1){
333           entriesI +=  his->GetBinContent(ibin+delta);
334           countB++;
335         }
336       }
337       entriesI/=countB;
338       Double_t xcenter= his->GetBinCenter(ibin);
339       if (xcenter<xmin || xcenter>xmax) continue;
340       Double_t error=1./TMath::Sqrt(countB);
341       Float_t   cont=2;
342       if (iter>0){
343         if (par[0]+par[1]*xcenter+par[2]*xcenter*xcenter>20) return 0;
344         cont = TMath::Exp(par[0]+par[1]*xcenter+par[2]*xcenter*xcenter);
345         if (cont>1.) error = 1./TMath::Sqrt(cont*Float_t(countB));
346       }
347       if (entriesI>1&&cont>1){
348         fitter.AddPoint(&xcenter,TMath::Log(Float_t(entriesI)),error);
349         npoints++;
350       }
351     }  
352     if (npoints>3){
353       fitter.Eval();
354       fitter.GetParameters(par);
355     }else{
356       break;
357     }
358   }
359   if (npoints<=3){
360     return -1;
361   }
362   fitter.GetParameters(par);
363   fitter.GetCovarianceMatrix(mat);
364   if (TMath::Abs(par[1])<mat.GetTol()) return -1;
365   if (TMath::Abs(par[2])<mat.GetTol()) return -1;
366   Double_t chi2 = fitter.GetChisquare()/Float_t(npoints);
367   //fitter.GetParameters();
368   if (!param)  param  = new TVectorD(3);
369   // if (!matrix) matrix = new TMatrixD(3,3); // Covariance matrix to be implemented
370   (*param)[1] = par[1]/(-2.*par[2]);
371   (*param)[2] = 1./TMath::Sqrt(TMath::Abs(-2.*par[2]));
372   (*param)[0] = TMath::Exp(par[0]+ par[1]* (*param)[1] +  par[2]*(*param)[1]*(*param)[1]);
373   if (verbose){
374     par.Print();
375     mat.Print();
376     param->Print();
377     printf("Chi2=%f\n",chi2);
378     TF1 * f1= new TF1("f1","[0]*exp(-(x-[1])^2/(2*[2]*[2]))",his->GetXaxis()->GetXmin(),his->GetXaxis()->GetXmax());
379     f1->SetParameter(0, (*param)[0]);
380     f1->SetParameter(1, (*param)[1]);
381     f1->SetParameter(2, (*param)[2]);    
382     f1->Draw("same");
383   }
384   return chi2;
385 }
386
387 Double_t  TStatToolkit::FitGaus(Float_t *arr, Int_t nBins, Float_t xMin, Float_t xMax, TVectorD *param, TMatrixD */*matrix*/, Bool_t verbose){
388   //
389   //  Fit histogram with gaussian function
390   //  
391   //  Prameters:
392   //     nbins: size of the array and number of histogram bins
393   //     xMin, xMax: histogram range
394   //     param: paramters of the fit (0-Constant, 1-Mean, 2-Sigma)
395   //     matrix: covariance matrix -- not implemented yet, pass dummy matrix!!!
396   //
397   //  Return values:
398   //    >0: the chi2 returned by TLinearFitter
399   //    -3: only three points have been used for the calculation - no fitter was used
400   //    -2: only two points have been used for the calculation - center of gravity was uesed for calculation
401   //    -1: only one point has been used for the calculation - center of gravity was uesed for calculation
402   //    -4: invalid result!!
403   //
404   //  Fitting:
405   //  1. Step - make logarithm
406   //  2. Linear  fit (parabola) - more robust - always converge
407   //  
408   static TLinearFitter fitter(3,"pol2");
409   static TMatrixD mat(3,3);
410   static Double_t kTol = mat.GetTol();
411   fitter.StoreData(kFALSE);
412   fitter.ClearPoints();
413   TVectorD  par(3);
414   TVectorD  sigma(3);
415   TMatrixD matA(3,3);
416   TMatrixD b(3,1);
417   Float_t rms = TMath::RMS(nBins,arr);
418   Float_t max = TMath::MaxElement(nBins,arr);
419   Float_t binWidth = (xMax-xMin)/(Float_t)nBins;
420
421   Float_t meanCOG = 0;
422   Float_t rms2COG = 0;
423   Float_t sumCOG  = 0;
424
425   Float_t entries = 0;
426   Int_t nfilled=0;
427
428   for (Int_t i=0; i<nBins; i++){
429       entries+=arr[i];
430       if (arr[i]>0) nfilled++;
431   }
432
433   if (max<4) return -4;
434   if (entries<12) return -4;
435   if (rms<kTol) return -4;
436
437   Int_t npoints=0;
438   //
439
440   //
441   for (Int_t ibin=0;ibin<nBins; ibin++){
442       Float_t entriesI = arr[ibin];
443     if (entriesI>1){
444       Double_t xcenter = xMin+(ibin+0.5)*binWidth;
445       
446       Float_t error    = 1./TMath::Sqrt(entriesI);
447       Float_t val = TMath::Log(Float_t(entriesI));
448       fitter.AddPoint(&xcenter,val,error);
449       if (npoints<3){
450           matA(npoints,0)=1;
451           matA(npoints,1)=xcenter;
452           matA(npoints,2)=xcenter*xcenter;
453           b(npoints,0)=val;
454           meanCOG+=xcenter*entriesI;
455           rms2COG +=xcenter*entriesI*xcenter;
456           sumCOG +=entriesI;
457       }
458       npoints++;
459     }
460   }
461
462   
463   Double_t chi2 = 0;
464   if (npoints>=3){
465       if ( npoints == 3 ){
466           //analytic calculation of the parameters for three points
467           matA.Invert();
468           TMatrixD res(1,3);
469           res.Mult(matA,b);
470           par[0]=res(0,0);
471           par[1]=res(0,1);
472           par[2]=res(0,2);
473           chi2 = -3.;
474       } else {
475           // use fitter for more than three points
476           fitter.Eval();
477           fitter.GetParameters(par);
478           fitter.GetCovarianceMatrix(mat);
479           chi2 = fitter.GetChisquare()/Float_t(npoints);
480       }
481       if (TMath::Abs(par[1])<kTol) return -4;
482       if (TMath::Abs(par[2])<kTol) return -4;
483
484       if (!param)  param  = new TVectorD(3);
485       //if (!matrix) matrix = new TMatrixD(3,3);  // !!!!might be a memory leek. use dummy matrix pointer to call this function! // Covariance matrix to be implemented
486
487       (*param)[1] = par[1]/(-2.*par[2]);
488       (*param)[2] = 1./TMath::Sqrt(TMath::Abs(-2.*par[2]));
489       Double_t lnparam0 = par[0]+ par[1]* (*param)[1] +  par[2]*(*param)[1]*(*param)[1];
490       if ( lnparam0>307 ) return -4;
491       (*param)[0] = TMath::Exp(lnparam0);
492       if (verbose){
493           par.Print();
494           mat.Print();
495           param->Print();
496           printf("Chi2=%f\n",chi2);
497           TF1 * f1= new TF1("f1","[0]*exp(-(x-[1])^2/(2*[2]*[2]))",xMin,xMax);
498           f1->SetParameter(0, (*param)[0]);
499           f1->SetParameter(1, (*param)[1]);
500           f1->SetParameter(2, (*param)[2]);
501           f1->Draw("same");
502       }
503       return chi2;
504   }
505
506   if (npoints == 2){
507       //use center of gravity for 2 points
508       meanCOG/=sumCOG;
509       rms2COG /=sumCOG;
510       (*param)[0] = max;
511       (*param)[1] = meanCOG;
512       (*param)[2] = TMath::Sqrt(TMath::Abs(meanCOG*meanCOG-rms2COG));
513       chi2=-2.;
514   }
515   if ( npoints == 1 ){
516       meanCOG/=sumCOG;
517       (*param)[0] = max;
518       (*param)[1] = meanCOG;
519       (*param)[2] = binWidth/TMath::Sqrt(12);
520       chi2=-1.;
521   }
522   return chi2;
523
524 }
525
526
527 Float_t TStatToolkit::GetCOG(const Short_t *arr, Int_t nBins, Float_t xMin, Float_t xMax, Float_t *rms, Float_t *sum)
528 {
529     //
530     //  calculate center of gravity rms and sum for array 'arr' with nBins an a x range xMin to xMax
531     //  return COG; in case of failure return xMin
532     //
533     Float_t meanCOG = 0;
534     Float_t rms2COG = 0;
535     Float_t sumCOG  = 0;
536     Int_t npoints   = 0;
537
538     Float_t binWidth = (xMax-xMin)/(Float_t)nBins;
539
540     for (Int_t ibin=0; ibin<nBins; ibin++){
541         Float_t entriesI = (Float_t)arr[ibin];
542         Double_t xcenter = xMin+(ibin+0.5)*binWidth;
543         if ( entriesI>0 ){
544             meanCOG += xcenter*entriesI;
545             rms2COG += xcenter*entriesI*xcenter;
546             sumCOG  += entriesI;
547             npoints++;
548         }
549     }
550     if ( sumCOG == 0 ) return xMin;
551     meanCOG/=sumCOG;
552
553     if ( rms ){
554         rms2COG /=sumCOG;
555         (*rms) = TMath::Sqrt(TMath::Abs(meanCOG*meanCOG-rms2COG));
556         if ( npoints == 1 ) (*rms) = binWidth/TMath::Sqrt(12);
557     }
558
559     if ( sum )
560         (*sum) = sumCOG;
561
562     return meanCOG;
563 }
564
565
566
567 ///////////////////////////////////////////////////////////////
568 //////////////         TEST functions /////////////////////////
569 ///////////////////////////////////////////////////////////////
570
571
572
573
574
575 void TStatToolkit::TestGausFit(Int_t nhistos){
576   //
577   // Test performance of the parabolic - gaussian fit - compare it with 
578   // ROOT gauss fit
579   //  nhistos - number of histograms to be used for test
580   //
581   TTreeSRedirector *pcstream = new TTreeSRedirector("fitdebug.root");
582   
583   Float_t  *xTrue = new Float_t[nhistos];
584   Float_t  *sTrue = new Float_t[nhistos];
585   TVectorD **par1  = new TVectorD*[nhistos];
586   TVectorD **par2  = new TVectorD*[nhistos];
587   TMatrixD dummy(3,3);
588   
589   
590   TH1F **h1f = new TH1F*[nhistos];
591   TF1  *myg = new TF1("myg","gaus");
592   TF1  *fit = new TF1("fit","gaus");
593   gRandom->SetSeed(0);
594   
595   //init
596   for (Int_t i=0;i<nhistos; i++){
597     par1[i] = new TVectorD(3);
598     par2[i] = new TVectorD(3);
599     h1f[i]  = new TH1F(Form("h1f%d",i),Form("h1f%d",i),20,-10,10);
600     xTrue[i]= gRandom->Rndm();
601     gSystem->Sleep(2);
602     sTrue[i]= .75+gRandom->Rndm()*.5;
603     myg->SetParameters(1,xTrue[i],sTrue[i]);
604     h1f[i]->FillRandom("myg");
605   }
606   
607   TStopwatch s;
608   s.Start();
609   //standard gaus fit
610   for (Int_t i=0; i<nhistos; i++){
611     h1f[i]->Fit(fit,"0q");
612     (*par1[i])(0) = fit->GetParameter(0);
613     (*par1[i])(1) = fit->GetParameter(1);
614     (*par1[i])(2) = fit->GetParameter(2);
615   }
616   s.Stop();
617   printf("Gaussian fit\t");
618   s.Print();
619   
620   s.Start();
621   //TStatToolkit gaus fit
622   for (Int_t i=0; i<nhistos; i++){
623     TStatToolkit::FitGaus(h1f[i]->GetArray()+1,h1f[i]->GetNbinsX(),h1f[i]->GetXaxis()->GetXmin(),h1f[i]->GetXaxis()->GetXmax(),par2[i],&dummy);
624   }
625   
626   s.Stop();
627   printf("Parabolic fit\t");
628   s.Print();
629   //write stream
630   for (Int_t i=0;i<nhistos; i++){
631     Float_t xt  = xTrue[i];
632     Float_t st  = sTrue[i];
633     (*pcstream)<<"data"
634                <<"xTrue="<<xt
635                <<"sTrue="<<st
636                <<"pg.="<<(par1[i])
637                <<"pa.="<<(par2[i])
638                <<"\n";
639   }    
640   //delete pointers
641   for (Int_t i=0;i<nhistos; i++){
642     delete par1[i];
643     delete par2[i];
644     delete h1f[i];
645   }
646   delete pcstream;
647   delete []h1f;
648   delete []xTrue;
649   delete []sTrue;
650   //
651   delete []par1;
652   delete []par2;
653
654 }
655
656
657
658 TGraph2D * TStatToolkit::MakeStat2D(TH3 * his, Int_t delta0, Int_t delta1, Int_t type){
659   //
660   //
661   //
662   // delta - number of bins to integrate
663   // type - 0 - mean value
664
665   TAxis * xaxis  = his->GetXaxis();
666   TAxis * yaxis  = his->GetYaxis();
667   //  TAxis * zaxis  = his->GetZaxis();
668   Int_t   nbinx  = xaxis->GetNbins();
669   Int_t   nbiny  = yaxis->GetNbins();
670   char name[1000];
671   Int_t icount=0;
672   TGraph2D  *graph = new TGraph2D(nbinx*nbiny);
673   TF1 f1("f1","gaus");
674   for (Int_t ix=0; ix<nbinx;ix++)
675     for (Int_t iy=0; iy<nbiny;iy++){
676       Float_t xcenter = xaxis->GetBinCenter(ix); 
677       Float_t ycenter = yaxis->GetBinCenter(iy); 
678       snprintf(name,1000,"%s_%d_%d",his->GetName(), ix,iy);
679       TH1 *projection = his->ProjectionZ(name,ix-delta0,ix+delta0,iy-delta1,iy+delta1);
680       Float_t stat= 0;
681       if (type==0) stat = projection->GetMean();
682       if (type==1) stat = projection->GetRMS();
683       if (type==2 || type==3){
684         TVectorD vec(3);
685         TStatToolkit::LTM((TH1F*)projection,&vec,0.7);
686         if (type==2) stat= vec[1];
687         if (type==3) stat= vec[0];      
688       }
689       if (type==4|| type==5){
690         projection->Fit(&f1);
691         if (type==4) stat= f1.GetParameter(1);
692         if (type==5) stat= f1.GetParameter(2);
693       }
694       //printf("%d\t%f\t%f\t%f\n", icount,xcenter, ycenter, stat);
695       graph->SetPoint(icount,xcenter, ycenter, stat);
696       icount++;
697     }
698   return graph;
699 }
700
701 TGraph * TStatToolkit::MakeStat1D(TH3 * his, Int_t delta1, Int_t type){
702   //
703   //
704   //
705   // delta - number of bins to integrate
706   // type - 0 - mean value
707
708   TAxis * xaxis  = his->GetXaxis();
709   TAxis * yaxis  = his->GetYaxis();
710   //  TAxis * zaxis  = his->GetZaxis();
711   Int_t   nbinx  = xaxis->GetNbins();
712   Int_t   nbiny  = yaxis->GetNbins();
713   char name[1000];
714   Int_t icount=0;
715   TGraph  *graph = new TGraph(nbinx);
716   TF1 f1("f1","gaus");
717   for (Int_t ix=0; ix<nbinx;ix++){
718     Float_t xcenter = xaxis->GetBinCenter(ix); 
719     //    Float_t ycenter = yaxis->GetBinCenter(iy); 
720     snprintf(name,1000,"%s_%d",his->GetName(), ix);
721     TH1 *projection = his->ProjectionZ(name,ix-delta1,ix+delta1,0,nbiny);
722     Float_t stat= 0;
723     if (type==0) stat = projection->GetMean();
724     if (type==1) stat = projection->GetRMS();
725     if (type==2 || type==3){
726       TVectorD vec(3);
727         TStatToolkit::LTM((TH1F*)projection,&vec,0.7);
728         if (type==2) stat= vec[1];
729         if (type==3) stat= vec[0];      
730     }
731     if (type==4|| type==5){
732       projection->Fit(&f1);
733       if (type==4) stat= f1.GetParameter(1);
734       if (type==5) stat= f1.GetParameter(2);
735     }
736       //printf("%d\t%f\t%f\t%f\n", icount,xcenter, ycenter, stat);
737     graph->SetPoint(icount,xcenter, stat);
738     icount++;
739   }
740   return graph;
741 }
742
743
744
745
746
747 TString* TStatToolkit::FitPlane(TTree *tree, const char* drawCommand, const char* formula, const char* cuts, Double_t & chi2, Int_t &npoints, TVectorD &fitParam, TMatrixD &covMatrix, Float_t frac, Int_t start, Int_t stop,Bool_t fix0){
748    //
749    // fit an arbitrary function, specified by formula into the data, specified by drawCommand and cuts
750    // returns chi2, fitParam and covMatrix
751    // returns TString with fitted formula
752    //
753
754    TString formulaStr(formula); 
755    TString drawStr(drawCommand);
756    TString cutStr(cuts);
757    TString ferr("1");
758
759    TString strVal(drawCommand);
760    if (strVal.Contains(":")){
761      TObjArray* valTokens = strVal.Tokenize(":");
762      drawStr = valTokens->At(0)->GetName();
763      ferr       = valTokens->At(1)->GetName();     
764      delete valTokens;
765    }
766
767       
768    formulaStr.ReplaceAll("++", "~");
769    TObjArray* formulaTokens = formulaStr.Tokenize("~"); 
770    Int_t dim = formulaTokens->GetEntriesFast();
771    
772    fitParam.ResizeTo(dim);
773    covMatrix.ResizeTo(dim,dim);
774    
775    TLinearFitter* fitter = new TLinearFitter(dim+1, Form("hyp%d",dim));
776    fitter->StoreData(kTRUE);   
777    fitter->ClearPoints();
778    
779    Int_t entries = tree->Draw(drawStr.Data(), cutStr.Data(), "goff",  stop-start, start);
780    if (entries == -1) {
781      delete formulaTokens;
782      return new TString("An ERROR has occured during fitting!");
783    }
784    Double_t **values = new Double_t*[dim+1] ;
785    for (Int_t i=0; i<dim+1; i++) values[i]=NULL; 
786    //
787    entries = tree->Draw(ferr.Data(), cutStr.Data(), "goff",  stop-start, start);
788    if (entries == -1) {
789      delete formulaTokens;
790      delete []values;
791      return new TString("An ERROR has occured during fitting!");
792    }
793    Double_t *errors = new Double_t[entries];
794    memcpy(errors,  tree->GetV1(), entries*sizeof(Double_t));
795    
796    for (Int_t i = 0; i < dim + 1; i++){
797       Int_t centries = 0;
798       if (i < dim) centries = tree->Draw(((TObjString*)formulaTokens->At(i))->GetName(), cutStr.Data(), "goff", stop-start,start);
799       else  centries = tree->Draw(drawStr.Data(), cutStr.Data(), "goff", stop-start,start);
800       
801       if (entries != centries) {
802         delete []errors;
803         delete []values;
804         return new TString("An ERROR has occured during fitting!");
805       }
806       values[i] = new Double_t[entries];
807       memcpy(values[i],  tree->GetV1(), entries*sizeof(Double_t)); 
808    }
809    
810    // add points to the fitter
811    for (Int_t i = 0; i < entries; i++){
812       Double_t x[1000];
813       for (Int_t j=0; j<dim;j++) x[j]=values[j][i];
814       fitter->AddPoint(x, values[dim][i], errors[i]);
815    }
816
817    fitter->Eval();
818    if (frac>0.5 && frac<1){
819      fitter->EvalRobust(frac);
820    }else{
821      if (fix0) {
822        fitter->FixParameter(0,0);
823        fitter->Eval();     
824      }
825    }
826    fitter->GetParameters(fitParam);
827    fitter->GetCovarianceMatrix(covMatrix);
828    chi2 = fitter->GetChisquare();
829    npoints = entries;   
830    TString *preturnFormula = new TString(Form("( %f+",fitParam[0])), &returnFormula = *preturnFormula; 
831    
832    for (Int_t iparam = 0; iparam < dim; iparam++) {
833      returnFormula.Append(Form("%s*(%f)",((TObjString*)formulaTokens->At(iparam))->GetName(),fitParam[iparam+1]));
834      if (iparam < dim-1) returnFormula.Append("+");
835    }
836    returnFormula.Append(" )");
837    
838    
839    for (Int_t j=0; j<dim+1;j++) delete [] values[j];
840
841
842    delete formulaTokens;
843    delete fitter;
844    delete[] values;
845    delete[] errors;
846    return preturnFormula;
847 }
848
849 TString* TStatToolkit::FitPlaneConstrain(TTree *tree, const char* drawCommand, const char* formula, const char* cuts, Double_t & chi2, Int_t &npoints, TVectorD &fitParam, TMatrixD &covMatrix, Float_t frac, Int_t start, Int_t stop,Double_t constrain){
850    //
851    // fit an arbitrary function, specified by formula into the data, specified by drawCommand and cuts
852    // returns chi2, fitParam and covMatrix
853    // returns TString with fitted formula
854    //
855
856    TString formulaStr(formula); 
857    TString drawStr(drawCommand);
858    TString cutStr(cuts);
859    TString ferr("1");
860
861    TString strVal(drawCommand);
862    if (strVal.Contains(":")){
863      TObjArray* valTokens = strVal.Tokenize(":");
864      drawStr = valTokens->At(0)->GetName();
865      ferr       = valTokens->At(1)->GetName();     
866      delete valTokens;
867    }
868
869       
870    formulaStr.ReplaceAll("++", "~");
871    TObjArray* formulaTokens = formulaStr.Tokenize("~"); 
872    Int_t dim = formulaTokens->GetEntriesFast();
873    
874    fitParam.ResizeTo(dim);
875    covMatrix.ResizeTo(dim,dim);
876    
877    TLinearFitter* fitter = new TLinearFitter(dim+1, Form("hyp%d",dim));
878    fitter->StoreData(kTRUE);   
879    fitter->ClearPoints();
880    
881    Int_t entries = tree->Draw(drawStr.Data(), cutStr.Data(), "goff",  stop-start, start);
882    if (entries == -1) {
883      delete formulaTokens;
884      return new TString("An ERROR has occured during fitting!");
885    }
886    Double_t **values = new Double_t*[dim+1] ; 
887    for (Int_t i=0; i<dim+1; i++) values[i]=NULL; 
888    //
889    entries = tree->Draw(ferr.Data(), cutStr.Data(), "goff",  stop-start, start);
890    if (entries == -1) {
891      delete formulaTokens;
892      delete [] values;
893      return new TString("An ERROR has occured during fitting!");
894    }
895    Double_t *errors = new Double_t[entries];
896    memcpy(errors,  tree->GetV1(), entries*sizeof(Double_t));
897    
898    for (Int_t i = 0; i < dim + 1; i++){
899       Int_t centries = 0;
900       if (i < dim) centries = tree->Draw(((TObjString*)formulaTokens->At(i))->GetName(), cutStr.Data(), "goff", stop-start,start);
901       else  centries = tree->Draw(drawStr.Data(), cutStr.Data(), "goff", stop-start,start);
902       
903       if (entries != centries) {
904         delete []errors;
905         delete []values;
906         delete formulaTokens;
907         return new TString("An ERROR has occured during fitting!");
908       }
909       values[i] = new Double_t[entries];
910       memcpy(values[i],  tree->GetV1(), entries*sizeof(Double_t)); 
911    }
912    
913    // add points to the fitter
914    for (Int_t i = 0; i < entries; i++){
915       Double_t x[1000];
916       for (Int_t j=0; j<dim;j++) x[j]=values[j][i];
917       fitter->AddPoint(x, values[dim][i], errors[i]);
918    }
919    if (constrain>0){
920      for (Int_t i = 0; i < dim; i++){
921        Double_t x[1000];
922        for (Int_t j=0; j<dim;j++) if (i!=j) x[j]=0;
923        x[i]=1.;
924        fitter->AddPoint(x, 0, constrain);
925      }
926    }
927
928
929    fitter->Eval();
930    if (frac>0.5 && frac<1){
931      fitter->EvalRobust(frac);   
932    }
933    fitter->GetParameters(fitParam);
934    fitter->GetCovarianceMatrix(covMatrix);
935    chi2 = fitter->GetChisquare();
936    npoints = entries;
937    
938    TString *preturnFormula = new TString(Form("( %f+",fitParam[0])), &returnFormula = *preturnFormula; 
939    
940    for (Int_t iparam = 0; iparam < dim; iparam++) {
941      returnFormula.Append(Form("%s*(%f)",((TObjString*)formulaTokens->At(iparam))->GetName(),fitParam[iparam+1]));
942      if (iparam < dim-1) returnFormula.Append("+");
943    }
944    returnFormula.Append(" )");
945    
946    for (Int_t j=0; j<dim+1;j++) delete [] values[j];
947    
948
949
950    delete formulaTokens;
951    delete fitter;
952    delete[] values;
953    delete[] errors;
954    return preturnFormula;
955 }
956
957
958
959 TString* TStatToolkit::FitPlaneFixed(TTree *tree, const char* drawCommand, const char* formula, const char* cuts, Double_t & chi2, Int_t &npoints, TVectorD &fitParam, TMatrixD &covMatrix, Float_t frac, Int_t start, Int_t stop){
960    //
961    // fit an arbitrary function, specified by formula into the data, specified by drawCommand and cuts
962    // returns chi2, fitParam and covMatrix
963    // returns TString with fitted formula
964    //
965
966    TString formulaStr(formula); 
967    TString drawStr(drawCommand);
968    TString cutStr(cuts);
969    TString ferr("1");
970
971    TString strVal(drawCommand);
972    if (strVal.Contains(":")){
973      TObjArray* valTokens = strVal.Tokenize(":");
974      drawStr = valTokens->At(0)->GetName();
975      ferr       = valTokens->At(1)->GetName();
976      delete valTokens;
977    }
978
979       
980    formulaStr.ReplaceAll("++", "~");
981    TObjArray* formulaTokens = formulaStr.Tokenize("~"); 
982    Int_t dim = formulaTokens->GetEntriesFast();
983    
984    fitParam.ResizeTo(dim);
985    covMatrix.ResizeTo(dim,dim);
986    TString fitString="x0";
987    for (Int_t i=1; i<dim; i++) fitString+=Form("++x%d",i);     
988    TLinearFitter* fitter = new TLinearFitter(dim, fitString.Data());
989    fitter->StoreData(kTRUE);   
990    fitter->ClearPoints();
991    
992    Int_t entries = tree->Draw(drawStr.Data(), cutStr.Data(), "goff",  stop-start, start);
993    if (entries == -1) {
994      delete formulaTokens;
995      return new TString("An ERROR has occured during fitting!");
996    }
997    Double_t **values = new Double_t*[dim+1] ; 
998    for (Int_t i=0; i<dim+1; i++) values[i]=NULL; 
999    //
1000    entries = tree->Draw(ferr.Data(), cutStr.Data(), "goff",  stop-start, start);
1001    if (entries == -1) {
1002      delete []values;
1003      delete formulaTokens;
1004      return new TString("An ERROR has occured during fitting!");
1005    }
1006    Double_t *errors = new Double_t[entries];
1007    memcpy(errors,  tree->GetV1(), entries*sizeof(Double_t));
1008    
1009    for (Int_t i = 0; i < dim + 1; i++){
1010       Int_t centries = 0;
1011       if (i < dim) centries = tree->Draw(((TObjString*)formulaTokens->At(i))->GetName(), cutStr.Data(), "goff", stop-start,start);
1012       else  centries = tree->Draw(drawStr.Data(), cutStr.Data(), "goff", stop-start,start);
1013       
1014       if (entries != centries) {
1015         delete []errors;
1016         delete []values;
1017         delete formulaTokens;
1018         return new TString("An ERROR has occured during fitting!");
1019       }
1020       values[i] = new Double_t[entries];
1021       memcpy(values[i],  tree->GetV1(), entries*sizeof(Double_t)); 
1022    }
1023    
1024    // add points to the fitter
1025    for (Int_t i = 0; i < entries; i++){
1026       Double_t x[1000];
1027       for (Int_t j=0; j<dim;j++) x[j]=values[j][i];
1028       fitter->AddPoint(x, values[dim][i], errors[i]);
1029    }
1030
1031    fitter->Eval();
1032    if (frac>0.5 && frac<1){
1033      fitter->EvalRobust(frac);
1034    }
1035    fitter->GetParameters(fitParam);
1036    fitter->GetCovarianceMatrix(covMatrix);
1037    chi2 = fitter->GetChisquare();
1038    npoints = entries;
1039    
1040    TString *preturnFormula = new TString("("), &returnFormula = *preturnFormula; 
1041    
1042    for (Int_t iparam = 0; iparam < dim; iparam++) {
1043      returnFormula.Append(Form("%s*(%f)",((TObjString*)formulaTokens->At(iparam))->GetName(),fitParam[iparam]));
1044      if (iparam < dim-1) returnFormula.Append("+");
1045    }
1046    returnFormula.Append(" )");
1047    
1048    
1049    for (Int_t j=0; j<dim+1;j++) delete [] values[j];
1050    
1051    delete formulaTokens;
1052    delete fitter;
1053    delete[] values;
1054    delete[] errors;
1055    return preturnFormula;
1056 }
1057
1058
1059
1060
1061
1062 Int_t TStatToolkit::GetFitIndex(const TString fString, const TString subString){
1063   //
1064   // fitString - ++ separated list of fits
1065   // substring - ++ separated list of the requiered substrings
1066   //
1067   // return the last occurance of substring in fit string
1068   // 
1069   TObjArray *arrFit = fString.Tokenize("++");
1070   TObjArray *arrSub = subString.Tokenize("++");
1071   Int_t index=-1;
1072   for (Int_t i=0; i<arrFit->GetEntries(); i++){
1073     Bool_t isOK=kTRUE;
1074     TString str =arrFit->At(i)->GetName();
1075     for (Int_t isub=0; isub<arrSub->GetEntries(); isub++){
1076       if (str.Contains(arrSub->At(isub)->GetName())==0) isOK=kFALSE;
1077     }
1078     if (isOK) index=i;
1079   }
1080   delete arrFit;
1081   delete arrSub;
1082   return index;
1083 }
1084
1085
1086 TString  TStatToolkit::FilterFit(const TString &input, const TString filter, TVectorD &param, TMatrixD & covar){
1087   //
1088   // Filter fit expression make sub-fit
1089   //
1090   TObjArray *array0= input.Tokenize("++");
1091   TObjArray *array1= filter.Tokenize("++");
1092   //TString *presult=new TString("(0");
1093   TString result="(0.0";
1094   for (Int_t i=0; i<array0->GetEntries(); i++){
1095     Bool_t isOK=kTRUE;
1096     TString str(array0->At(i)->GetName());
1097     for (Int_t j=0; j<array1->GetEntries(); j++){
1098       if (str.Contains(array1->At(j)->GetName())==0) isOK=kFALSE;      
1099     }
1100     if (isOK) {
1101       result+="+"+str;
1102       result+=Form("*(%f)",param[i+1]);
1103       printf("%f\t%f\t%s\n",param[i+1], TMath::Sqrt(covar(i+1,i+1)),str.Data());    
1104     }
1105   }
1106   result+="-0.)";
1107   delete array0;
1108   delete array1;
1109   return result;
1110 }
1111
1112 void TStatToolkit::Update1D(Double_t delta, Double_t sigma, Int_t s1, TMatrixD &vecXk, TMatrixD &covXk){
1113   //
1114   // Update parameters and covariance - with one measurement
1115   // Input:
1116   // vecXk - input vector - Updated in function 
1117   // covXk - covariance matrix - Updated in function
1118   // delta, sigma, s1 - new measurement, rms of new measurement and the index of measurement
1119   const Int_t knMeas=1;
1120   Int_t knElem=vecXk.GetNrows();
1121  
1122   TMatrixD mat1(knElem,knElem);            // update covariance matrix
1123   TMatrixD matHk(1,knElem);        // vector to mesurement
1124   TMatrixD vecYk(knMeas,1);        // Innovation or measurement residual
1125   TMatrixD matHkT(knElem,knMeas);  // helper matrix Hk transpose
1126   TMatrixD matSk(knMeas,knMeas);   // Innovation (or residual) covariance
1127   TMatrixD matKk(knElem,knMeas);   // Optimal Kalman gain
1128   TMatrixD covXk2(knElem,knElem);  // helper matrix
1129   TMatrixD covXk3(knElem,knElem);  // helper matrix
1130   TMatrixD vecZk(1,1);
1131   TMatrixD measR(1,1);
1132   vecZk(0,0)=delta;
1133   measR(0,0)=sigma*sigma;
1134   //
1135   // reset matHk
1136   for (Int_t iel=0;iel<knElem;iel++) 
1137     for (Int_t ip=0;ip<knMeas;ip++) matHk(ip,iel)=0; 
1138   //mat1
1139   for (Int_t iel=0;iel<knElem;iel++) {
1140     for (Int_t jel=0;jel<knElem;jel++) mat1(iel,jel)=0;
1141     mat1(iel,iel)=1;
1142   }
1143   //
1144   matHk(0, s1)=1;
1145   vecYk = vecZk-matHk*vecXk;               // Innovation or measurement residual
1146   matHkT=matHk.T(); matHk.T();
1147   matSk = (matHk*(covXk*matHkT))+measR;    // Innovation (or residual) covariance
1148   matSk.Invert();
1149   matKk = (covXk*matHkT)*matSk;            //  Optimal Kalman gain
1150   vecXk += matKk*vecYk;                    //  updated vector 
1151   covXk2= (mat1-(matKk*matHk));
1152   covXk3 =  covXk2*covXk;          
1153   covXk = covXk3;  
1154   Int_t nrows=covXk3.GetNrows();
1155   
1156   for (Int_t irow=0; irow<nrows; irow++)
1157     for (Int_t icol=0; icol<nrows; icol++){
1158       // rounding problems - make matrix again symteric
1159       covXk(irow,icol)=(covXk3(irow,icol)+covXk3(icol,irow))*0.5; 
1160     }
1161 }
1162
1163
1164
1165 void   TStatToolkit::Constrain1D(const TString &input, const TString filter, TVectorD &param, TMatrixD & covar, Double_t mean, Double_t sigma){
1166   //
1167   // constrain linear fit
1168   // input  - string description of fit function
1169   // filter - string filter to select sub fits
1170   // param,covar - parameters and covariance matrix of the fit
1171   // mean,sigma  - new measurement uning which the fit is updated
1172   //
1173   
1174   TObjArray *array0= input.Tokenize("++");
1175   TObjArray *array1= filter.Tokenize("++");
1176   TMatrixD paramM(param.GetNrows(),1);
1177   for (Int_t i=0; i<=array0->GetEntries(); i++){paramM(i,0)=param(i);}
1178   
1179   if (filter.Length()==0){
1180     TStatToolkit::Update1D(mean, sigma, 0, paramM, covar);//
1181   }else{  
1182     for (Int_t i=0; i<array0->GetEntries(); i++){
1183       Bool_t isOK=kTRUE;
1184       TString str(array0->At(i)->GetName());
1185       for (Int_t j=0; j<array1->GetEntries(); j++){
1186         if (str.Contains(array1->At(j)->GetName())==0) isOK=kFALSE;      
1187       }
1188       if (isOK) {
1189         TStatToolkit::Update1D(mean, sigma, i+1, paramM, covar);//
1190       }
1191     }
1192   }
1193   for (Int_t i=0; i<=array0->GetEntries(); i++){
1194     param(i)=paramM(i,0);
1195   }
1196   delete array0;
1197   delete array1;
1198 }
1199
1200 TString  TStatToolkit::MakeFitString(const TString &input, const TVectorD &param, const TMatrixD & covar, Bool_t verbose){
1201   //
1202   //
1203   //
1204   TObjArray *array0= input.Tokenize("++");
1205   TString result=Form("(%f",param[0]);
1206   printf("%f\t%f\t\n", param[0], TMath::Sqrt(covar(0,0))); 
1207   for (Int_t i=0; i<array0->GetEntries(); i++){
1208     TString str(array0->At(i)->GetName());
1209     result+="+"+str;
1210     result+=Form("*(%f)",param[i+1]);
1211     if (verbose) printf("%f\t%f\t%s\n", param[i+1], TMath::Sqrt(covar(i+1,i+1)),str.Data());    
1212   }
1213   result+="-0.)";
1214   delete array0;
1215   return result;
1216 }
1217
1218 TGraphErrors * TStatToolkit::MakeGraphErrors(TTree * tree, const char * expr, const char * cut,  Int_t mstyle, Int_t mcolor, Float_t msize, Float_t offset){
1219   //
1220   // Query a graph errors
1221   // return TGraphErrors specified by expr and cut 
1222   // Example  usage TStatToolkit::MakeGraphError(tree,"Y:X:ErrY","X>0", 25,2,0.4)
1223   // tree   - tree with variable
1224   // expr   - examp 
1225   const Int_t entries =  tree->Draw(expr,cut,"goff");
1226   if (entries<=0) {
1227     TStatToolkit t;
1228     t.Error("TStatToolkit::MakeGraphError",Form("Empty or Not valid expression (%s) or cut *%s)", expr,cut));
1229     return 0;
1230   }
1231   if (  tree->GetV2()==0){
1232     TStatToolkit t;
1233     t.Error("TStatToolkit::MakeGraphError",Form("Not valid expression (%s) ", expr));
1234     return 0;
1235   }
1236   TGraphErrors * graph=0;
1237   if ( tree->GetV3()!=0){
1238     graph = new TGraphErrors (entries, tree->GetV2(),tree->GetV1(),0,tree->GetV3());
1239   }else{
1240     graph = new TGraphErrors (entries, tree->GetV2(),tree->GetV1(),0,0);
1241   }
1242   graph->SetMarkerStyle(mstyle); 
1243   graph->SetMarkerColor(mcolor);
1244   graph->SetLineColor(mcolor);
1245   if (msize>0) graph->SetMarkerSize(msize);
1246   for(Int_t i=0;i<graph->GetN();i++) graph->GetX()[i]+=offset;
1247   return graph;
1248   
1249 }
1250
1251
1252 TGraph * TStatToolkit::MakeGraphSparse(TTree * tree, const char * expr, const char * cut, Int_t mstyle, Int_t mcolor, Float_t msize, Float_t offset){
1253   //
1254   // Make a sparse draw of the variables
1255   // Format of expr : Var:Run or Var:Run:ErrorY or Var:Run:ErrorY:ErrorX
1256   // offset : points can slightly be shifted in x for better visibility with more graphs
1257   //
1258   // Written by Weilin.Yu
1259   // updated & merged with QA-code by Patrick Reichelt
1260   //
1261   const Int_t entries = tree->Draw(expr,cut,"goff");
1262   if (entries<=0) {
1263     TStatToolkit t;
1264     t.Error("TStatToolkit::MakeGraphSparse",Form("Empty or Not valid expression (%s) or cut (%s)", expr, cut));
1265     return 0;
1266   }
1267   //  TGraph * graph = (TGraph*)gPad->GetPrimitive("Graph"); // 2D
1268
1269   Double_t *graphY, *graphX;
1270   graphY = tree->GetV1();
1271   graphX = tree->GetV2();
1272
1273   // sort according to run number
1274   Int_t *index = new Int_t[entries*4];
1275   TMath::Sort(entries,graphX,index,kFALSE);
1276
1277   // define arrays for the new graph
1278   Double_t *unsortedX = new Double_t[entries];
1279   Int_t *runNumber = new Int_t[entries];
1280   Double_t count = 0.5;
1281
1282   // evaluate arrays for the new graph according to the run-number
1283   Int_t icount=0;
1284   //first entry
1285   unsortedX[index[0]] = count;
1286   runNumber[0] = graphX[index[0]];
1287   // loop the rest of entries
1288   for(Int_t i=1;i<entries;i++)
1289   {
1290     if(graphX[index[i]]==graphX[index[i-1]])
1291       unsortedX[index[i]] = count;
1292     else if(graphX[index[i]]!=graphX[index[i-1]]){
1293       count++;
1294       icount++;
1295       unsortedX[index[i]] = count;
1296       runNumber[icount]=graphX[index[i]];
1297     }
1298   }
1299
1300   // count the number of xbins (run-wise) for the new graph
1301   const Int_t newNbins = int(count+0.5);
1302   Double_t *newBins = new Double_t[newNbins+1];
1303   for(Int_t i=0; i<=count+1;i++){
1304     newBins[i] = i;
1305   }
1306
1307   // define and fill the new graph
1308   TGraph *graphNew = 0;
1309   if (tree->GetV3()) {
1310     if (tree->GetV4()) {
1311       graphNew = new TGraphErrors(entries,unsortedX,graphY,tree->GetV4(),tree->GetV3());
1312     }
1313     else { graphNew = new TGraphErrors(entries,unsortedX,graphY,0,tree->GetV3()); }
1314   }
1315   else { graphNew = new TGraphErrors(entries,unsortedX,graphY,0,0); }
1316   // with "Set(...)", the x-axis is being sorted
1317   graphNew->GetXaxis()->Set(newNbins,newBins);
1318
1319   // set the bins for the x-axis, apply shifting of points
1320   Char_t xName[50];
1321   for(Int_t i=0;i<count;i++){
1322     snprintf(xName,50,"%d",runNumber[i]);
1323     graphNew->GetXaxis()->SetBinLabel(i+1,xName);
1324     graphNew->GetX()[i]+=offset;
1325   }
1326
1327   graphNew->GetHistogram()->SetTitle("");
1328   graphNew->SetMarkerStyle(mstyle);
1329   graphNew->SetMarkerColor(mcolor);
1330   if (msize>0) graphNew->SetMarkerSize(msize);
1331   delete [] unsortedX;
1332   delete [] runNumber;
1333   delete [] index;
1334   delete [] newBins;
1335   //
1336   return graphNew;
1337 }
1338
1339
1340
1341 //
1342 // functions used for the trending
1343 //
1344
1345 Int_t  TStatToolkit::MakeStatAlias(TTree * tree, const char * expr, const char * cut, const char * alias) 
1346 {
1347   //
1348   // Add alias using statistical values of a given variable.
1349   // (by MI, Patrick Reichelt)
1350   //
1351   // tree - input tree
1352   // expr - variable expression
1353   // cut  - selection criteria
1354   // Output - return number of entries used to define variable
1355   // In addition mean, rms, median, and robust mean and rms (choosing fraction of data with smallest RMS)
1356   // 
1357   /* Example usage:
1358      1.) create the robust estimators for variable expr="QA.TPC.CPass1.meanTPCncl" and create a corresponding
1359      aliases with the prefix alias[0]="ncl", calculated using fraction alias[1]="0.90"
1360
1361      TStatToolkit::MakeStatAlias(tree,"QA.TPC.CPass1.meanTPCncl","QA.TPC.CPass1.status>0","ncl:0.9");
1362      root [4] tree->GetListOfAliases().Print()
1363      OBJ: TNamed    ncl_Median      (130.964333+0)
1364      OBJ: TNamed    ncl_Mean        (122.120387+0)
1365      OBJ: TNamed    ncl_RMS         (33.509623+0)
1366      OBJ: TNamed    ncl_Mean90      (131.503862+0)
1367      OBJ: TNamed    ncl_RMS90       (3.738260+0)    
1368   */
1369   // 
1370   Int_t entries = tree->Draw(expr,cut,"goff");
1371   if (entries<=1){
1372     printf("Expression or cut not valid:\t%s\t%s\n", expr, cut);
1373     return 0;
1374   }
1375   //
1376   TObjArray* oaAlias = TString(alias).Tokenize(":");
1377   if (oaAlias->GetEntries()<2) return 0;
1378   Float_t entryFraction = atof( oaAlias->At(1)->GetName() );
1379   //
1380   Double_t median = TMath::Median(entries,tree->GetV1());
1381   Double_t mean   = TMath::Mean(entries,tree->GetV1());
1382   Double_t rms    = TMath::RMS(entries,tree->GetV1());
1383   Double_t meanEF=0, rmsEF=0;
1384   TStatToolkit::EvaluateUni(entries, tree->GetV1(), meanEF, rmsEF, entries*entryFraction);
1385   //
1386   tree->SetAlias(Form("%s_Median",oaAlias->At(0)->GetName()), Form("(%f+0)",median));
1387   tree->SetAlias(Form("%s_Mean",oaAlias->At(0)->GetName()), Form("(%f+0)",mean));
1388   tree->SetAlias(Form("%s_RMS",oaAlias->At(0)->GetName()), Form("(%f+0)",rms));
1389   tree->SetAlias(Form("%s_Mean%d",oaAlias->At(0)->GetName(),Int_t(entryFraction*100)), Form("(%f+0)",meanEF));
1390   tree->SetAlias(Form("%s_RMS%d",oaAlias->At(0)->GetName(),Int_t(entryFraction*100)), Form("(%f+0)",rmsEF));
1391   delete oaAlias; 
1392   return entries;
1393 }
1394
1395 Int_t  TStatToolkit::SetStatusAlias(TTree * tree, const char * expr, const char * cut, const char * alias) 
1396 {
1397   //
1398   // Add alias to trending tree using statistical values of a given variable.
1399   // (by MI, Patrick Reichelt)
1400   //
1401   // format of expr :  varname (e.g. meanTPCncl)
1402   // format of cut  :  char like in TCut
1403   // format of alias:  alias:query:entryFraction(EF) (fraction of entries used for uniformity evaluation)
1404   //            e.g.:  varname_Out:(abs(varname-meanEF)>6.*rmsEF):0.8
1405   // available internal variables are: 'varname, Median, Mean, MeanEF, RMS, RMSEF'
1406   // in the alias, 'varname' will be replaced by its content, and 'EF' by the percentage (e.g. MeanEF -> Mean80)
1407   //
1408   /* Example usage:
1409      1.) Define robust mean (possible, but easier done with TStatToolkit::MakeStatAlias(...)) 
1410      TStatToolkit::SetStatusAlias(tree, "meanTPCnclF", "meanTPCnclF>0", "meanTPCnclF_MeanEF:MeanEF:0.80") ;
1411      root [10] tree->GetListOfAliases()->Print()
1412                Collection name='TList', class='TList', size=1
1413                OBJ: TNamed    meanTPCnclF_Mean80      0.899308
1414      2.) create alias outlyers  - 6 sigma cut
1415      TStatToolkit::SetStatusAlias(tree, "meanTPCnclF", "meanTPCnclF>0", "meanTPCnclF_Out:(abs(meanTPCnclF-MeanEF)>6.*RMSEF):0.8")
1416      meanTPCnclF_Out ==> (abs(meanTPCnclF-0.899308)>6.*0.016590)
1417      3.) the same functionality as in 2.)
1418      TStatToolkit::SetStatusAlias(tree, "meanTPCnclF", "meanTPCnclF>0", "varname_Out2:(abs(varname-MeanEF)>6.*RMSEF):0.8") 
1419      meanTPCnclF_Out2 ==> (abs(meanTPCnclF-0.899308)>6.*0.016590)
1420   */
1421   //
1422   Int_t entries = tree->Draw(expr,cut,"goff");
1423   if (entries<=1){
1424     printf("Expression or cut not valid:\t%s\t%s\n", expr, cut);
1425     return 0;
1426   }
1427   //
1428   TObjArray* oaVar = TString(expr).Tokenize(":");
1429   char varname[50];
1430   snprintf(varname,50,"%s", oaVar->At(0)->GetName());
1431   //
1432   TObjArray* oaAlias = TString(alias).Tokenize(":");
1433   if (oaAlias->GetEntries()<3) return 0;
1434   Float_t entryFraction = atof( oaAlias->At(2)->GetName() );
1435   //
1436   Double_t median = TMath::Median(entries,tree->GetV1());
1437   Double_t mean   = TMath::Mean(entries,tree->GetV1());
1438   Double_t rms    = TMath::RMS(entries,tree->GetV1());
1439   Double_t meanEF=0, rmsEF=0;
1440   TStatToolkit::EvaluateUni(entries, tree->GetV1(), meanEF, rmsEF, entries*entryFraction);
1441   //
1442   TString sAlias( oaAlias->At(0)->GetName() );
1443   sAlias.ReplaceAll("varname",varname);
1444   sAlias.ReplaceAll("MeanEF", Form("Mean%1.0f",entryFraction*100) );
1445   sAlias.ReplaceAll("RMSEF",  Form("RMS%1.0f",entryFraction*100) );
1446   TString sQuery( oaAlias->At(1)->GetName() );
1447   sQuery.ReplaceAll("varname",varname);
1448   sQuery.ReplaceAll("MeanEF", Form("%f",meanEF) );
1449   sQuery.ReplaceAll("RMSEF",  Form("%f",rmsEF) ); //make sure to replace 'RMSEF' before 'RMS'...
1450   sQuery.ReplaceAll("Median", Form("%f",median) );
1451   sQuery.ReplaceAll("Mean",   Form("%f",mean) );
1452   sQuery.ReplaceAll("RMS",    Form("%f",rms) );
1453   printf("define alias:\t%s = %s\n", sAlias.Data(), sQuery.Data());
1454   //
1455   char query[200];
1456   char aname[200];
1457   snprintf(query,200,"%s", sQuery.Data());
1458   snprintf(aname,200,"%s", sAlias.Data());
1459   tree->SetAlias(aname, query);
1460   delete oaVar;
1461   delete oaAlias;
1462   return entries;
1463 }
1464
1465 TMultiGraph*  TStatToolkit::MakeStatusMultGr(TTree * tree, const char * expr, const char * cut, const char * alias, Int_t igr) 
1466 {
1467   //
1468   // Compute a trending multigraph that shows for which runs a variable has outliers.
1469   // (by MI, Patrick Reichelt)
1470   //
1471   // format of expr :  varname:xaxis (e.g. meanTPCncl:run)
1472   // format of cut  :  char like in TCut
1473   // format of alias:  (1):(varname_Out==0):(varname_Out)[:(varname_Warning):...]
1474   // in the alias, 'varname' will be replaced by its content (e.g. varname_Out -> meanTPCncl_Out)
1475   // note: the aliases 'varname_Out' etc have to be defined by function TStatToolkit::SetStatusAlias(...)
1476   // counter igr is used to shift the multigraph in y when filling a TObjArray.
1477   //
1478   TObjArray* oaVar = TString(expr).Tokenize(":");
1479   if (oaVar->GetEntries()<2) return 0;
1480   char varname[50];
1481   char var_x[50];
1482   snprintf(varname,50,"%s", oaVar->At(0)->GetName());
1483   snprintf(var_x  ,50,"%s", oaVar->At(1)->GetName());
1484   //
1485   TString sAlias(alias);
1486   sAlias.ReplaceAll("varname",varname);
1487   TObjArray* oaAlias = TString(sAlias.Data()).Tokenize(":");
1488   if (oaAlias->GetEntries()<3) return 0;
1489   //
1490   char query[200];
1491   TMultiGraph* multGr = new TMultiGraph();
1492   Int_t marArr[6]    = {24+igr%2, 20+igr%2, 20+igr%2, 20+igr%2, 22, 23};
1493   Int_t colArr[6]    = {kBlack, kBlack, kRed, kOrange, kMagenta, kViolet};
1494   Double_t sizArr[6] = {1.2, 1.1, 1.0, 1.0, 1, 1};
1495   const Int_t ngr = oaAlias->GetEntriesFast();
1496   for (Int_t i=0; i<ngr; i++){
1497     if (i==2) continue; // the Fatal(Out) graph will be added in the end to be plotted on top!
1498     snprintf(query,200, "%f*(%s-0.5):%s", 1.+igr, oaAlias->At(i)->GetName(), var_x);
1499     multGr->Add( (TGraphErrors*) TStatToolkit::MakeGraphSparse(tree,query,cut,marArr[i],colArr[i],sizArr[i]) );
1500   }
1501   snprintf(query,200, "%f*(%s-0.5):%s", 1.+igr, oaAlias->At(2)->GetName(), var_x);
1502   multGr->Add( (TGraphErrors*) TStatToolkit::MakeGraphSparse(tree,query,cut,marArr[2],colArr[2],sizArr[2]) );
1503   //
1504   multGr->SetName(varname);
1505   multGr->SetTitle(varname); // used for y-axis labels. // details to be included!
1506   delete oaVar;
1507   delete oaAlias;
1508   return multGr;
1509 }
1510
1511
1512 void  TStatToolkit::AddStatusPad(TCanvas* c1, Float_t padratio, Float_t bottommargin)
1513 {
1514   //
1515   // add pad to bottom of canvas for Status graphs (by Patrick Reichelt)
1516   // call function "DrawStatusGraphs(...)" afterwards
1517   //
1518   TCanvas* c1_clone = (TCanvas*) c1->Clone("c1_clone");
1519   c1->Clear();
1520   // produce new pads
1521   c1->cd();
1522   TPad* pad1 = new TPad("pad1", "pad1", 0., padratio, 1., 1.); 
1523   pad1->Draw();
1524   pad1->SetNumber(1); // so it can be called via "c1->cd(1);"
1525   c1->cd();
1526   TPad* pad2 = new TPad("pad2", "pad2", 0., 0., 1., padratio);
1527   pad2->Draw();
1528   pad2->SetNumber(2);
1529   // draw original canvas into first pad
1530   c1->cd(1);
1531   c1_clone->DrawClonePad();
1532   pad1->SetBottomMargin(0.001);
1533   pad1->SetRightMargin(0.01);
1534   // set up second pad
1535   c1->cd(2);
1536   pad2->SetGrid(3);
1537   pad2->SetTopMargin(0);
1538   pad2->SetBottomMargin(bottommargin); // for the long x-axis labels (runnumbers)
1539   pad2->SetRightMargin(0.01);
1540 }
1541
1542
1543 void  TStatToolkit::DrawStatusGraphs(TObjArray* oaMultGr)
1544 {
1545   //
1546   // draw Status graphs into active pad of canvas (by MI, Patrick Reichelt)
1547   // ...into bottom pad, if called after "AddStatusPad(...)"
1548   //
1549   const Int_t nvars = oaMultGr->GetEntriesFast();
1550   TGraph* grAxis = (TGraph*) ((TMultiGraph*) oaMultGr->At(0))->GetListOfGraphs()->At(0);
1551   grAxis->SetMaximum(0.5*nvars+0.5);
1552   grAxis->SetMinimum(0); 
1553   grAxis->GetYaxis()->SetLabelSize(0);
1554   Int_t entries = grAxis->GetN();
1555   printf("entries (via GetN()) = %d\n",entries);
1556   grAxis->GetXaxis()->SetLabelSize(5.7*TMath::Min(TMath::Max(5./entries,0.01),0.03));
1557   grAxis->GetXaxis()->LabelsOption("v");
1558   grAxis->Draw("ap");
1559   //
1560   // draw multigraphs & names of status variables on the y axis
1561   for (Int_t i=0; i<nvars; i++){
1562     ((TMultiGraph*) oaMultGr->At(i))->Draw("p");
1563     TLatex* ylabel = new TLatex(-0.1, 0.5*i+0.5, ((TMultiGraph*) oaMultGr->At(i))->GetTitle());
1564     ylabel->SetTextAlign(32); //hor:right & vert:centered
1565     ylabel->SetTextSize(0.025/gPad->GetHNDC());
1566     ylabel->Draw();
1567   }
1568 }
1569
1570
1571 void TStatToolkit::DrawHistogram(TTree * tree, const char* drawCommand, const char* cuts, const char* histoname, const char* histotitle, Int_t nsigma, Float_t fraction )
1572 {
1573   //
1574   // Draw histogram from TTree with robust range
1575   // Only for 1D so far!
1576   // 
1577   // Parameters:
1578   // - histoname:  name of histogram
1579   // - histotitle: title of histgram
1580   // - fraction:   fraction of data to define the robust mean
1581   // - nsigma:     nsigma value for range
1582   //
1583
1584    TString drawStr(drawCommand);
1585    TString cutStr(cuts);
1586    Int_t dim = 1;
1587
1588    if(!tree) {
1589      cerr<<" Tree pointer is NULL!"<<endl;
1590      return;
1591    }
1592
1593    // get entries
1594    Int_t entries = tree->Draw(drawStr.Data(), cutStr.Data(), "goff");
1595    if (entries == -1) {
1596      cerr<<"TTree draw returns -1"<<endl;
1597      return;
1598    }
1599
1600    // get dimension
1601    if(tree->GetV1()) dim = 1;
1602    if(tree->GetV2()) dim = 2;
1603    if(tree->GetV3()) dim = 3;
1604    if(dim > 2){
1605      cerr<<"TTree has more than 2 dimensions (not yet supported)"<<endl;
1606      return;
1607    }
1608
1609    // draw robust
1610    Double_t meanX, rmsX=0;
1611    Double_t meanY, rmsY=0;
1612    TStatToolkit::EvaluateUni(entries, tree->GetV1(),meanX,rmsX, fraction*entries);
1613    if(dim==2){
1614      TStatToolkit::EvaluateUni(entries, tree->GetV1(),meanY,rmsY, fraction*entries);
1615      TStatToolkit::EvaluateUni(entries, tree->GetV2(),meanX,rmsX, fraction*entries);
1616    }
1617    TH1* hOut;
1618    if(dim==1){
1619      hOut = new TH1F(histoname, histotitle, 200, meanX-nsigma*rmsX, meanX+nsigma*rmsX);
1620      for (Int_t i=0; i<entries; i++) hOut->Fill(tree->GetV1()[i]);
1621      hOut->GetXaxis()->SetTitle(tree->GetHistogram()->GetXaxis()->GetTitle());
1622      hOut->Draw();
1623    }
1624    else if(dim==2){
1625      hOut = new TH2F(histoname, histotitle, 200, meanX-nsigma*rmsX, meanX+nsigma*rmsX,200, meanY-nsigma*rmsY, meanY+nsigma*rmsY);
1626      for (Int_t i=0; i<entries; i++) hOut->Fill(tree->GetV2()[i],tree->GetV1()[i]);
1627      hOut->GetXaxis()->SetTitle(tree->GetHistogram()->GetXaxis()->GetTitle());
1628      hOut->GetYaxis()->SetTitle(tree->GetHistogram()->GetYaxis()->GetTitle());
1629      hOut->Draw("colz");
1630    }
1631
1632 }