skip clusters when the roc voltage is funny
[u/mrichter/AliRoot.git] / TPC / Base / AliXRDPROOFtoolkit.cxx
1 /**************************************************************************
2  * Copyright(c) 1998-1999, ALICE Experiment at CERN, All rights reserved. *
3  *                                                                        *
4  * Author: The ALICE Off-line Project.                                    *
5  * Contributors are mentioned in the code where appropriate.              *
6  *                                                                        *
7  * Permission to use, copy, modify and distribute this software and its   *
8  * documentation strictly for non-commercial purposes is hereby granted   *
9  * without fee, provided that the above copyright notice appears in all   *
10  * copies and that both the copyright notice and this permission notice   *
11  * appear in the supporting documentation. The authors make no claims     *
12  * about the suitability of this software for any purpose. It is          *
13  * provided "as is" without express or implied warranty.                  *
14  **************************************************************************/
15
16 /*
17   marian.ivanov@cern.ch
18   
19   //TOOLKIT for chain manipulation:  
20   //Example usage:
21   //
22   // 1. Check the list of files
23   AliXRDPROOFtoolkit toolkit;
24   AliXRDPROOFtoolkit::FilterList("pp.txt","AliESDs.root esdTree AliESDfriends.root * Kinematics.root *",0)
25   AliXRDPROOFtoolkit::FilterList("pp.txt","AliESDs.root esdTree AliESDfriends.root * Kinematics.root *",1)
26   //
27   //2. make a chain or random chain form the list of files
28   TChain * chain = toolkit.MakeChain("esd.txt","esdTree",0,10)
29   TChain * chainRandom = toolkit.MakeChainrandom("esd.txt","esdTree",0,10)
30   chain->Draw("fTPCnclsF");
31   
32
33 */
34 #include <TTree.h>
35 #include <TEnv.h>
36 #include <TString.h>
37 #include <TObjArray.h>
38 #include <TObjString.h>
39 #include <TTree.h>
40 #include <TFile.h>
41 #include <TChain.h>
42 #include <TDSet.h>
43 #include <TH1.h>
44 #include <TGraph.h>
45 #include <TMath.h>
46 #include <TPad.h>
47 #include <exception>
48 #include <fstream>
49 #include <TRandom.h>
50 #include <TTimeStamp.h>
51 #include <AliXRDPROOFtoolkit.h>
52
53
54 ClassImp(AliXRDPROOFtoolkit)
55
56
57
58 //______________________________________________________________________________
59   AliXRDPROOFtoolkit::AliXRDPROOFtoolkit () : 
60     TObject () ,
61     fVerbose(kFALSE),          // verbso mode  - print command 
62     fUserName(""),         // user name
63     fUserGroup(0)        // user group info
64 {
65   //
66   // 
67   //
68   fUserGroup = gSystem->GetUserInfo();
69   fUserName  = fUserGroup->fUser;       
70   fVerbose=1;
71 }
72
73
74
75
76
77 TChain* AliXRDPROOFtoolkit::MakeChain(const char*fileIn, const char * treeName, const char *fName, Int_t maxFiles, Int_t startFile)
78 {
79   //
80   // Create the chain
81   //
82   TChain* chain = new TChain(treeName);
83
84   // Open the input stream
85   ifstream in;
86   in.open(fileIn);
87
88   // Read the input list of files and add them to the chain
89   TString currentFile;
90   Int_t counter=0;
91   while(in.good()) {
92     in >> currentFile;
93     if (fName) {
94       currentFile+="#";
95       currentFile+=fName;
96     }
97     if (!currentFile.Contains("root")) continue; // protection
98     counter++;
99     if (counter<startFile) continue;
100     if (counter>maxFiles+startFile) break;
101     TFile * f = TFile::Open(currentFile.Data());
102     if (f){
103       chain->Add(currentFile.Data());
104     }
105     delete f;
106   }
107
108   in.close();
109
110   return chain;
111 }
112
113 TChain* AliXRDPROOFtoolkit::MakeChainRandom(const char*fileIn, const char * treeName,const char *fName, Int_t maxFiles, Int_t startFile)
114 {
115   //
116   // Create a TDSet - files are in random order
117   //
118   // filein    - input list text file
119   // treename  - containg tree 
120   // maxFiles  - maximum number of files included
121
122   TObjArray array(10000);
123   
124   TChain* chain = new TChain(treeName);
125
126   // Open the input stream
127   ifstream in;
128   in.open(fileIn);
129
130   // Read the input list of files and add them to the chain
131   TString currentFile;
132   Int_t counter=0;
133   while(in.good()) {
134     in >> currentFile;
135     if (fName) {
136       currentFile+="#";
137       currentFile+=fName;
138     }
139     if (!currentFile.Contains("root")) continue; // protection
140     counter++;
141     //    chain->Add(currentFile.Data());
142     array.AddLast(new TObjString(currentFile));
143   }
144   in.close();
145   Int_t entries = array.GetEntries();
146   printf("Number of entries\t%d\n",entries);
147   //
148   //
149   //
150   Double_t *randomI = new Double_t[entries];
151   Int_t *indexes = new Int_t[entries];
152   for (Int_t i=0;i<entries; i++) randomI[i]=gRandom->Rndm();
153   TMath::Sort(entries,randomI,indexes); 
154   
155   for (Int_t i=startFile; (i<startFile+maxFiles) && (i<entries); i++){
156     Int_t ifile = indexes[i];
157     if (ifile<entries && (array.At(ifile)) &&  array.At(ifile)->TestBit(TObject::kCannotPick)==kFALSE){ 
158       printf("%d\t%d\t%s\n",i, ifile, array.At(ifile)->GetName());
159       chain->Add(array.At(ifile)->GetName());
160       array.At(ifile)->SetBit(TObject::kCannotPick);
161     }
162   }
163   return chain;
164 }
165
166
167
168 TDSet* AliXRDPROOFtoolkit::MakeSet(const char*fileIn, const char * treeName, const char *fName, Int_t maxFiles)
169 {
170   //
171   // Create the TDSet out of list
172   // filein    - input list text file
173   // treename  - containg tree 
174   // maxFiles  - maximum number of files included
175
176   TDSet* chain = new TDSet(treeName);
177
178   // Open the input stream
179   ifstream in;
180   in.open(fileIn);
181
182   // Read the input list of files and add them to the chain
183   TString currentFile;
184   Int_t counter=0;
185   while(in.good()) {
186     in >> currentFile;
187     if (fName) {
188       currentFile+="#";
189       currentFile+=fName;
190     }
191     if (!currentFile.Contains("root")) continue; // protection
192     counter++;
193     if (maxFiles>0 && counter>maxFiles) break;
194     chain->Add(currentFile.Data());
195   }
196
197   in.close();
198   chain->Validate();
199   return chain;
200 }
201
202
203 TDSet* AliXRDPROOFtoolkit::MakeSetRandom(const char*fileIn, const char * treeName, const char *fName, Int_t maxFiles)
204 {
205   //
206   // Create a TDSet - files are in random order
207   //
208   // filein    - input list text file
209   // treename  - containg tree 
210   // maxFiles  - maximum number of files included
211
212   TObjArray array(10000);
213   
214   TDSet* chain = new TDSet(treeName);
215
216   // Open the input stream
217   ifstream in;
218   in.open(fileIn);
219
220   // Read the input list of files and add them to the chain
221   TString currentFile;
222   Int_t counter=0;
223   while(in.good()) {
224     in >> currentFile;
225     if (fName) {
226       currentFile+="#";
227       currentFile+=fName;
228     }
229     if (!currentFile.Contains("root")) continue; // protection
230     counter++;
231     //    chain->Add(currentFile.Data());
232     array.AddLast(new TObjString(currentFile));
233   }
234   in.close();
235   Int_t entries = array.GetEntries();
236   printf("Number of entries\t%d",entries);
237   if (maxFiles<0) maxFiles=entries;
238   if (maxFiles>entries) maxFiles=entries;
239   for (Int_t i=0; i<maxFiles; i++){
240     Int_t ifile = TMath::Nint(gRandom->Rndm()*Float_t(entries));
241     if (ifile<entries && (array.At(ifile)) &&  array.At(ifile)->TestBit(TObject::kCannotPick)==kFALSE){ 
242       printf("%d\t%d\t%s\n",i, ifile, array.At(ifile)->GetName());
243       chain->Add(array.At(ifile)->GetName());
244       array.At(ifile)->SetBit(TObject::kCannotPick);
245     }
246   }
247
248
249   chain->Validate();
250   return chain;
251 }
252
253
254
255
256
257
258
259 Int_t  AliXRDPROOFtoolkit::CheckTreeInFile(const char*fileName,const char*treeName, Int_t debugLevel, const char *branchName){
260   //
261   // Check the tree in file 
262   // fileName   - the name of the file with tree
263   // treeName   - the name of file
264   // debugLevel - 0 check the existance of the file -  1 make loop over entries
265   // branchName - if debugLevel>0 the branch is chcecked
266   //              if brnachName =0 the content of full tree is chcecked
267   // return value = 0 - Check things  OK
268   //               -1 - file not exist or not accesible
269   //               -2 - file is zombie
270   //               -3 - tree not present
271   //               -4 - branch not present
272   TFile * file = TFile::Open(fileName);
273   if (!file) { return -1;}
274   if (file->IsZombie()) {file->Close(); delete file; return -2;};
275
276   TString TrName(treeName);
277   if (TrName=="*") {
278     //cout <<"        treename ==== *"<<endl;;
279     file->Close(); delete file; 
280     return 0;
281   }
282   TTree * tree = (TTree*)file->Get(treeName);
283   if (!tree) {file->Close(); delete file; return -3;}
284   TBranch * branch = 0;
285   if (branchName) {
286     branch = tree->GetBranch(branchName);
287     if (!branch) {file->Close(); delete file; return -4;}
288   }
289   //
290   if (debugLevel==1 &&  tree->GetEntries()==0 ) return 1; //empty 
291
292   tree->SetBranchStatus("*",1);
293   try {
294     if (debugLevel>1){
295       Int_t entries = tree->GetEntries();
296       for (Int_t i=0;i<entries; i++){
297         if (branch) branch->GetEntry(i);
298         else tree->GetEntry();      
299       }
300     }
301   }catch ( ... ) {
302     printf("PROBLEM\n");  
303     // never catched  - as there is no exception in the ROOT IO
304     file->Close(); delete file;
305     return 1 ;
306   }
307
308   file->Close(); delete file;
309   return 0;
310 }
311
312
313 Bool_t  AliXRDPROOFtoolkit::FilterList(const char*inputList, const char*fileList, Int_t checkLevel){
314   //
315   // Filter the list  
316   // inputList - list of original file names
317   // fileList  - list of file to be checked
318   //           - 0 - fileName
319   //           - 1 - treeName (if * not checked)
320   //           - 2 - fileName 
321   //                 ....
322   // checkLevel - 0 - check only existance of the files and tree's + 
323   //                  simple file corruption
324   //            > 1 - check the content of the tree - 
325   //                  (can crash as there do not exest exception handling in ROOT)
326   // Output -  two streams are created - file with good entries
327   // "%s.Good a,d file with bad entries %s.Bad
328   //EXAMPLE:
329   // AliXRDPROOFtoolkit::FilterList("ppgrid2.txt","AliESDs.root esdTree AliESDfriends.root * Kinematics.root *",1) 
330   gEnv->SetValue("TFile.Recover", 0);
331   //
332   fstream finput;
333   finput.open(inputList, ios_base::in);
334   fstream focGood;
335   fstream focBad;
336   focGood.open(Form("%s.Good",inputList), ios_base::out|ios_base::trunc);
337   focBad.open(Form("%s.Bad",inputList), ios_base::out|ios_base::trunc);
338   //
339   if(!finput.is_open()) {
340     cout<<"Can't open file "<<inputList<<endl;
341     return kFALSE;
342   }
343   //
344   // Read the input list of files and add them to the chain
345   //
346   TObjArray *array = (TString(fileList)).Tokenize(" ");
347   TString currentFile;
348   Int_t counter=0;
349   while(finput.good()) {
350     finput >> currentFile;
351     if (!currentFile.Contains("root")) continue; // protection
352     if (currentFile.Contains("alien://")){
353       focGood<<currentFile<<endl;
354       continue;
355     }
356     Bool_t isZip = currentFile.Contains("#");
357     const char * dirname = gSystem->DirName(currentFile.Data());
358     Int_t status = 0;
359     //
360     for (Int_t i=0; i<array->GetEntries(); i+=2){
361       char fname[1000];
362       if (!isZip){
363         snprintf(fname,1000, "%s/%s",dirname,array->At(i)->GetName());
364         if (((TObjString*)array->At(i))->String().Contains("*")){
365           snprintf(fname,1000, "%s", currentFile.Data());
366         }
367       }
368       if (isZip) {
369         const char * fileName   =  gSystem->BaseName(currentFile.Data());
370         TString fstring=fileName;
371         fstring[fstring.First("#")]=0;
372         snprintf(fname,1000, "%s/%s#%s",dirname,fstring.Data(),array->At(i)->GetName());
373         printf(fname, "To check %s%s#%s\n",dirname,fstring.Data(),array->At(i)->GetName());
374       }
375
376       printf("\nFile to be checked %s\n",fname);
377       //cout <<"\n arguments: "<< array->At(i+1)->GetName()<<" "<<checkLevel<<endl;
378       Int_t cstatus = CheckTreeInFile(fname, array->At(i+1)->GetName(), checkLevel,0);
379       //printf("  CheckTreeInFile returns %d",cstatus);
380       if (cstatus!=0) {
381         status = cstatus; 
382         break;
383       }
384     }
385     if (status==0){
386       focGood<<currentFile<<endl;
387     }else{
388       focBad<<currentFile<<endl;
389     }
390     counter++;    
391   }
392   finput.close();
393   delete array;
394   return kTRUE;
395 }
396
397
398 Bool_t  AliXRDPROOFtoolkit::FilterListZip(const char*inputList, const char*fileList, Int_t checkLevel){
399   //
400   // Filter the list  
401   // inputList - list of original file names
402   // fileList  - list of file to be checked
403   //           - 0 - fileName
404   //           - 1 - treeName (if * not checked)
405   //           - 2 - fileName 
406   //                 ....
407   // checkLevel - 0 - check only existance of the files and tree's + 
408   //                  simple file corruption
409   //            > 1 - check the content of the tree - 
410   //                  (can crash as there do not exest exception handling in ROOT)
411   // Output -  two streams are created - file with good entries
412   // "%s.Good a,d file with bad entries %s.Bad
413   //EXAMPLE:
414   // AliXRDPROOFtoolkit::FilterList("ppgrid2.txt","AliESDs.root esdTree AliESDfriends.root * Kinematics.root *",1) 
415
416   fstream finput;
417   finput.open(inputList, ios_base::in);
418   fstream focGood;
419   fstream focBad;
420   focGood.open(Form("%s.Good",inputList), ios_base::out|ios_base::trunc);
421   focBad.open(Form("%s.Bad",inputList), ios_base::out|ios_base::trunc);
422   //
423   if(!finput.is_open()) {
424     cout<<"Can't open file "<<inputList<<endl;
425     return kFALSE;
426   }
427   //
428   // Read the input list of files and add them to the chain
429   //
430   TObjArray *array = (TString(fileList)).Tokenize(" ");
431   TString currentFile;
432   Int_t counter=0;
433   while(finput.good()) {
434     finput >> currentFile;
435     if (!currentFile.Contains("root")) continue; // protection
436     if (currentFile.Contains("alien://")){
437       focGood<<currentFile<<endl;
438       continue;
439     }
440     //Bool_t isZip = currentFile.Contains("#");
441     const char * dirname = gSystem->DirName(currentFile.Data());
442     const char * fileName   =  gSystem->BaseName(currentFile.Data());
443     TString fstring=fileName;
444     fstring[fstring.First("#")]=0;
445     Int_t status = 0;
446     for (Int_t i=0; i<array->GetEntries(); i+=2){
447       char fname[1000];
448       //if (isZip) sprintf(fname,
449       snprintf(fname,1000, "%s/%s#%s",dirname,fstring.Data(),array->At(i)->GetName());
450       printf(fname, "To check %s%s#%s\n",dirname,fstring.Data(),array->At(i)->GetName());
451       //cout <<"\n arguments: "<< array->At(i+1)->GetName()<<" "<<checkLevel<<endl;
452       Int_t cstatus = CheckTreeInFile(fname, array->At(i+1)->GetName(), checkLevel,0);
453       //printf("  CheckTreeInFile returns %d",cstatus);
454       if (cstatus!=0) {
455         status = cstatus; 
456         break;
457       }
458     }
459     if (status==0){
460       focGood<<currentFile<<endl;
461     }else{
462       focBad<<currentFile<<endl;
463     }
464     counter++;    
465   }
466   finput.close();
467   return kTRUE;
468 }
469
470
471
472
473
474 Bool_t  AliXRDPROOFtoolkit::XRDCopyDir(const char * idir, const char * files, const char *odir, Bool_t /*zip*/){
475   //
476   // idir  - input directory
477   // odir  - output directory
478   // files - the list of files to be coppied
479   // zip   - not supported yet
480   //
481   // Example :                                                                  
482   //
483   // idir ="root://gsiaf.gsi.de:1094//sma/sim/v4-05-Rev-03/pp/0000";
484   // odir ="root://lxgrid2.gsi.de:1094//miranov/test/pp/0000"; 
485   // char *files="AliESDs.root AliESDfriend.root Kinematics.root";
486   TString str(files);
487   TObjArray * array = str.Tokenize(" "); 
488   Int_t nfiles = array->GetEntries();
489   char infile[1000];
490   char outfile[1000];
491   Bool_t succes=kTRUE;
492   for (Int_t ifile =0; ifile<nfiles; ifile++){
493     snprintf(infile,1000,"%s/%s", idir, array->At(ifile)->GetName());
494     snprintf(outfile,1000,"%s/%s", odir, array->At(ifile)->GetName());
495     printf("%s - %s\n",infile, outfile);
496     Bool_t result = TFile::Cp(infile,outfile); 
497     succes &= result;
498   }
499   delete array;
500   return succes;
501 }
502
503
504
505 void AliXRDPROOFtoolkit::JoinTreesIndex(const char * outputFile, const char * outputTree, const char *indexName, const char *inputTrees, Int_t debugLevel){
506   //
507   // Join together several tree according to the index
508   // 
509   // Parameters:
510   // Output:
511   //     outputFile : name of the output file
512   //     outputTree : name of the output Tree
513   //     indexName  : name of the branch to be used as an index
514   // Input:
515   //     inputTrees : decription of the input trees setup
516   /*
517     Example usage:
518     
519     AliXRDPROOFtoolkit::JoinTreesIndex("outAll.root","joinAll","run","1#CPass1#run#tpcQA#TPCCPass1.root+1#VPass1#run#tpcQA#TPCVPass1.root+1#Pass1#run#tpcQA#TPCPass1.root+0#DAQ#run#joinTree#fproductionJoin.root+0#C#run#dcs#OCDBscan.root+0#CE#run#Fits#CEtrend.root");
520     ==>
521     Combine information form the Cpass1,VPass, and Pass1QA, calibration tree, DAQ information, trigger information 
522     Make a File "outAll.root",  with tree "joinAll", index of tree with name "run"
523     //
524     // Input tree configuration string:
525     //
526     const char *inputTrees="1#CPass1#run#tpcQA#TPCCPass1.root+1#VPass1#run#tpcQA#TPCVPass1.root+1#Pass1#run#tpcQA#TPCPass1.root+0#DAQ#run#joinTree#/home/miranov/test/dbQueries/fproductionJoin.root+0#C#run#dcs#OCDBscan.root+0#CE#run#Fits#CEtrend.root"
527     Describe 6 trees to be merged (string separated be +):
528       TObjArray *arrayInput = TString(inputTrees).Tokenize("+");
529       TObjString = 1#CPass1#run#tpcQA#TPCCPass1.root
530       TObjString = 1#VPass1#run#tpcQA#TPCVPass1.root
531       TObjString = 1#Pass1#run#tpcQA#TPCPass1.root
532       TObjString = 0#DAQ#run#joinTree#/home/miranov/test/dbQueries/fproductionJoin.root
533       TObjString = 0#C#run#dcs#OCDBscan.root
534       TObjString = 0#CE#run#Fits#CEtrend.root
535     //  
536     Each tree is characterize by 5 parameters - separate by #
537        description="1#CPass1#run#tpcQA#TPCCPass1.root"
538        TString(description)->Tokenize("#").Print()
539        Collection name='TObjArray', class='TObjArray', size=16
540        TObjString = 1                    ==> (0/1) index is used 
541        TObjString = CPass1               ==> name of output branch  in output tree
542        TObjString = run                  ==> name of the index
543        TObjString = tpcQA                ==> name of the input tree in the input file
544        TObjString = TPCCPass1.root       ==> name of the input file
545   */
546   //
547   //
548   //
549                 
550   TFile * fout = new TFile(outputFile,"recreate");
551   fout->cd();
552   TTree *joinTree=new TTree(outputTree,outputTree);
553   //
554   // 1. Define setup. parse definition string
555   //
556   TObjArray *arrayInput = TString(inputTrees).Tokenize("+");
557   Int_t nTrees = arrayInput->GetEntries();
558   TObjArray * arrayFile  = new TObjArray(nTrees);    // array of TFiles with trees
559   TObjArray * arrayTrees = new TObjArray(nTrees);    // array of trees 
560   TObjArray * arrayNames = new TObjArray(nTrees);    // name of tree
561   TObjArray * arrayRunID = new TObjArray(nTrees);    // name of tree
562   TArrayI arrayEnableTree(nTrees);  
563   for (Int_t i=0; i<2; i++) printf("\n");
564   printf("Joing query\n");
565   arrayInput->Print();
566   for (Int_t i=0; i<2; i++) printf("\n");
567   {for (Int_t itree=0; itree<nTrees; itree++){
568       //
569       TObjArray *description = TString(arrayInput->At(itree)->GetName()).Tokenize("#");
570       if (description->GetEntries()<4) {
571         printf("Fatal: Invalid description:  %s\n", arrayInput->At(itree)->GetName());
572         continue;
573       }
574       TFile * f = TFile::Open(description->At(4)->GetName());
575       if (!f){
576         printf("Fatal: Invalid description: fileName %s\n", description->At(4)->GetName());
577         delete arrayInput;
578         return;
579       }
580       arrayFile->AddAt(f,itree);
581       TTree * tree = (TTree*)f->Get(description->At(3)->GetName());
582       if (!tree){
583         printf("Fatal: Invalid description. Tree name\t%s\n", description->At(3)->GetName());
584         delete arrayInput;
585         return;
586       }
587       tree->SetCacheSize(400000000);
588       //    
589       arrayTrees->AddAt(tree,itree);
590       //
591       arrayRunID->AddAt(new TObjString(description->At(2)->GetName()),itree);
592       arrayNames->AddAt(new TObjString(description->At(1)->GetName()),itree);
593       arrayEnableTree[itree]=atoi(description->At(0)->GetName());    
594
595     }}
596   //  
597   delete arrayInput;
598   // 2. Make the run list
599   //
600   //
601   map<int, int> runMap;
602   map<int, int> *runMapTree = new map<int, int>[nTrees];
603   //map<int, int> runMapTree[nTrees];
604   {for (Int_t itree=0; itree<nTrees; itree++){
605       TTree * tree = (TTree*)arrayTrees->At(itree);
606       Int_t entries=tree->GetEntries();
607       char query[2000];
608       snprintf(query,2000,"%s:Entry$", arrayRunID->At(itree)->GetName());
609       entries = tree->Draw(query,"","goff");      
610       for (Int_t ientry=0;ientry<entries; ientry++){
611         Int_t irun=Int_t(tree->GetV1()[ientry]);
612         //      Int_t entryNr=Int_t(tree->GetV2()[ientry]);
613         if (arrayEnableTree[itree]>0) runMap[irun]+=1;
614         runMapTree[itree][irun]=ientry;
615         if (debugLevel>0) printf("%s\t%d\t%d\n",tree->GetName(), irun,  runMapTree[itree][irun]);
616       }
617     }
618   }
619   //
620   // 3. Make join tree
621   //
622   Int_t jrun=0;
623   fout->cd();
624   joinTree->Branch(indexName, &jrun,Form("%s/I",indexName));
625   Int_t *status=new Int_t[nTrees];
626   char *brName = new char[10000];
627   char *brTitle= new char[10000];
628   //
629   
630   {for (Int_t itree=0; itree<nTrees; itree++){
631       TTree * tree = (TTree*)arrayTrees->At(itree);      
632       tree->GetEntry(1);
633       TString treeName=arrayNames->At(itree)->GetName();
634       if (treeName.Length()>0){
635         joinTree->Branch(Form("%s.status",treeName.Data()), &status[itree],Form("%s.status/I",treeName.Data()));
636       }else{
637         joinTree->Branch("status", &status[itree],"status/I");
638       }
639       //
640       Int_t nbranches= tree->GetListOfBranches()->GetEntries();
641       for (Int_t ibr=0; ibr<nbranches; ibr++){
642         TBranch * br = (TBranch*)(tree->GetListOfBranches()->At(ibr));
643         if (treeName.Length()>0){
644           sprintf(brName,"%s.%s",treeName.Data(), br->GetName());
645           sprintf(brTitle,"%s.%s",treeName.Data(), br->GetTitle());
646         }else{
647           sprintf(brName,"%s",br->GetName());
648           sprintf(brTitle,"%s",br->GetTitle());
649         }
650         void* addr = 0;
651         TString className=br->GetClassName();
652         if (className.Length()==0){
653           TString str(br->GetTitle());
654           if (str[str.Length()-1]=='I') addr=new Int_t;
655           if (str[str.Length()-1]=='F') addr=new Float_t;
656           if (str[str.Length()-1]=='D') addr=new Double_t;
657           if (str[str.Length()-1]=='C') addr=new Char_t[10000];
658           if (addr) joinTree->Branch(brName, addr, brTitle);
659           br->SetAddress(addr);
660         }else{
661           TClass cclass(className);
662           TObject **addrClass =  new TObject *;
663           (*addrClass)=0;
664           printf("%s\t%s\n",br->GetName(), className.Data());
665           br->SetAddress(addrClass);      
666           br->GetEntry(0);        
667           joinTree->Branch(brName,addrClass);             
668         }       
669       }
670     }
671   }
672   joinTree->Write();
673   //
674   // 4. Fill the trees
675   //
676   map<int, int>::iterator riter;   
677   {for (riter=runMap.begin(); riter != runMap.end(); ++riter){
678       printf("%d\t%d\t", riter->first, riter->second);
679       jrun=riter->first;
680       for (Int_t itree=0; itree<nTrees; itree++){
681         TTree * tree = (TTree*)arrayTrees->At(itree); 
682         Int_t entry= runMapTree[itree][jrun];
683         status[itree]=(entry>0)?1:0;
684         if (entry>=0) tree->GetEntry(entry);
685         printf("%d\t",entry);
686         //
687       }
688       joinTree->Fill();
689       printf("\n");
690     }}
691   fout->cd();
692   joinTree->Write(outputTree);
693   fout->Close();
694
695 }
696
697
698
699 void AliXRDPROOFtoolkit::CacheFileList(const char * fileIn, const char* cachePrefix){
700   //
701   // cache the list of file locally, cache valeus are stored in the location
702   // specified by optional argumen prefix 
703   // 2 new files are created 
704   //       <fileIn>.cache    - file with the location of cahe files
705   //       <fileIn>.cacheLog - log file +list of files which can not be cached 
706   //      
707   /*
708     fileIn = "TPCCPass1.list";
709     cachePrefix = "";
710   */
711   ifstream fin;
712   fin.open(fileIn);  
713   ofstream fout;
714   fout.open(Form("%s.cache",fileIn));  
715   ofstream foutLog;
716   foutLog.open(Form("%s.cacheLog",fileIn));  
717   // Read the input list of files and add them to the chain
718   TString currentFile;
719   TString cacheFile;
720   Int_t counter=0;
721   {while(fin.good()) {
722       TTimeStamp s;
723       TString fname;
724       fin >> currentFile;
725       fname=currentFile;
726       fname.ReplaceAll("-","_");
727       fname.ReplaceAll("/","_");
728       fname.ReplaceAll(":","_");
729       fname.ReplaceAll("~","_");
730       cacheFile=cachePrefix;
731       cacheFile+=fname;
732       printf("%s\t%s\n",currentFile.Data(),cacheFile.Data());
733       if (TFile::Cp(currentFile.Data(),cacheFile.Data())){
734         fout<<cacheFile.Data()<<"\n";
735         foutLog<<s.AsString();
736         foutLog<<cacheFile.Data()<<"n";
737       }else{
738         foutLog<<"Copy failed"<<currentFile.Data()<<cacheFile.Data()<<"\n";
739       }
740     }}
741   fout.close();
742   foutLog.close();
743 }
744
745
746
747 void   AliXRDPROOFtoolkit::MakeTreeFromList(const char *fout, const char * treeOut, const char * treeIn, const char * flist, Bool_t debug){
748   //
749   // join trees from the list  and make a common tree - stored in the file 
750   // 
751   /*
752     Example:
753     const char * fout="TPCCpass1.root";
754     const char *treeOut="tpcQA"
755     const char *treeIn="tpcQA"
756     const char * flist="TPCCPass1.list"    
757   */
758   if (debug>0){
759     printf("MakeTreeFromList\n");
760     printf("fout=%s\n",fout);
761     printf("treeOut=%s\n",treeOut);
762     printf("treeIn=%s\n",treeIn);
763     printf("fileList=%s\n",flist);
764   } 
765   ifstream fin;
766   fin.open(flist);  
767   ofstream foutLog;
768   foutLog.open(Form("%s.chainLog",flist));  
769   // Read the input list of files and add them to the chain
770   TString currentFile;
771   Int_t counter=0;
772   Int_t nbranches=0;
773   {while(fin.good()) {
774       fin >> currentFile;
775       TFile * f = TFile::Open(currentFile.Data());
776       foutLog<<"Opening file"<<currentFile.Data();
777       if (!f) {
778         foutLog<<"Error opening file\t"<<currentFile<<"\n";
779         cout<<"Error opening file\t"<<currentFile<<"\n";
780         continue;
781       }
782       TTree * tree = (TTree*)f->Get(treeIn);
783       if (!tree) {
784         foutLog<<"Error opening tree\t"<<currentFile<<treeIn<<"\n";
785         cout<<"Error opening tree\t"<<currentFile<<treeIn<<"\n";
786         f->ls();        
787         continue;
788       }
789       if (tree->GetListOfBranches()==0){
790         foutLog<<"Error opening tree\t"<<currentFile<<treeIn<<"\n";
791         cout<<"Error opening tree\t"<<currentFile<<treeIn<<"\n";
792         continue;
793       }
794       Int_t nbranchesCurrent = tree->GetListOfBranches()->GetEntries();
795       if ( nbranches ==0 ) nbranches=nbranchesCurrent;
796       if ( nbranches!=nbranchesCurrent){
797         foutLog<<"Error  tree layout\t"<<currentFile<<"   \t"<<treeIn<<"  \t"<<nbranches<<"  \t"<<nbranchesCurrent<<"\n";
798         cout<<"Error tree layout\t"   <<currentFile<<"   \t"<<treeIn<<"  \t"<<nbranches<<"  \t"<<nbranchesCurrent<<"\n";
799       }     
800       counter++;
801     }
802   }
803   foutLog<<"Number of files"<<counter<<"\n";
804   cout<<   "Number of files"<<counter<<"\n";
805   //
806
807   TChain * chain = AliXRDPROOFtoolkit::MakeChain(flist,treeIn,0,1000000000,0);
808   Bool_t status=kTRUE;
809   if (!chain) status=kFALSE;
810   if (chain->GetEntries()==0) status=kFALSE;
811   if (!status){
812     printf("Incorrect list (%s) or trees (%s)", flist,treeIn);
813     return;
814   }
815   TFile *fileOut= TFile::Open(fout, "recreate");
816   TTree * tree = chain->CopyTree("1");
817   fileOut->cd();
818   tree->Write(treeOut);
819   delete tree;
820   fileOut->Close(); 
821   delete fileOut;
822 }