]> git.uio.no Git - u/mrichter/AliRoot.git/blobdiff - ANALYSIS/AliAnalysisManager.cxx
Added separate flag to mark that the LocalInit phase was done + method AliAnalysisMan...
[u/mrichter/AliRoot.git] / ANALYSIS / AliAnalysisManager.cxx
index 4456be97f613ce16dedce35598bce2a40c90ce73..7fbad0c67d13330f26535982386d57e153ef3832 100644 (file)
 //
 //==============================================================================
 
-#include <Riostream.h>
+#include "AliAnalysisManager.h"
 
+#include <cerrno>
+#include <Riostream.h>
 #include <TError.h>
+#include <TMap.h>
 #include <TClass.h>
 #include <TFile.h>
-//#include <TKey.h>
 #include <TMath.h>
 #include <TH1.h>
 #include <TMethodCall.h>
@@ -40,6 +42,7 @@
 #include <TCanvas.h>
 #include <TStopwatch.h>
 
+#include "AliLog.h"
 #include "AliAnalysisSelector.h"
 #include "AliAnalysisGrid.h"
 #include "AliAnalysisTask.h"
 #include "AliVEventHandler.h"
 #include "AliVEventPool.h"
 #include "AliSysInfo.h"
-#include "AliAnalysisManager.h"
+#include "AliAnalysisStatistics.h"
 
 ClassImp(AliAnalysisManager)
 
 AliAnalysisManager *AliAnalysisManager::fgAnalysisManager = NULL;
 TString AliAnalysisManager::fgCommonFileName = "";
+Int_t AliAnalysisManager::fPBUpdateFreq = 1;
 
 //______________________________________________________________________________
 AliAnalysisManager::AliAnalysisManager(const char *name, const char *title)
@@ -86,21 +90,26 @@ AliAnalysisManager::AliAnalysisManager(const char *name, const char *title)
                     fTable(),
                     fRunFromPath(0),
                     fNcalls(0),
+                    fMaxEntries(0),
                     fStatisticsMsg(),
-                    fRequestedBranches()
+                    fRequestedBranches(),
+                    fStatistics(0),
+                    fGlobals(0)
 {
 // Default constructor.
    fgAnalysisManager = this;
    fgCommonFileName  = "AnalysisResults.root";
-   fTasks      = new TObjArray();
-   fTopTasks   = new TObjArray();
-   fZombies    = new TObjArray();
-   fContainers = new TObjArray();
-   fInputs     = new TObjArray();
-   fOutputs    = new TObjArray();
-   fParamCont  = new TObjArray();
+   if (TClass::IsCallingNew() != TClass::kDummyNew) {
+     fTasks      = new TObjArray();
+     fTopTasks   = new TObjArray();
+     fZombies    = new TObjArray();
+     fContainers = new TObjArray();
+     fInputs     = new TObjArray();
+     fOutputs    = new TObjArray();
+     fParamCont  = new TObjArray();
+     fGlobals    = new TMap();
+   }  
    SetEventLoop(kTRUE);
-   TObject::SetObjectStat(kFALSE);
 }
 
 //______________________________________________________________________________
@@ -134,8 +143,11 @@ AliAnalysisManager::AliAnalysisManager(const AliAnalysisManager& other)
                     fTable(),
                     fRunFromPath(0),
                     fNcalls(other.fNcalls),
+                    fMaxEntries(other.fMaxEntries),
                     fStatisticsMsg(other.fStatisticsMsg),
-                    fRequestedBranches(other.fRequestedBranches)
+                    fRequestedBranches(other.fRequestedBranches),
+                    fStatistics(other.fStatistics),
+                    fGlobals(other.fGlobals)
 {
 // Copy constructor.
    fTasks      = new TObjArray(*other.fTasks);
@@ -147,7 +159,6 @@ AliAnalysisManager::AliAnalysisManager(const AliAnalysisManager& other)
    fParamCont  = new TObjArray(*other.fParamCont);
    fgCommonFileName  = "AnalysisResults.root";
    fgAnalysisManager = this;
-   TObject::SetObjectStat(kFALSE);
 }
    
 //______________________________________________________________________________
@@ -185,8 +196,11 @@ AliAnalysisManager& AliAnalysisManager::operator=(const AliAnalysisManager& othe
       fTable.Clear("nodelete");
       fRunFromPath = other.fRunFromPath;
       fNcalls     = other. fNcalls;
+      fMaxEntries = other.fMaxEntries;
       fStatisticsMsg = other.fStatisticsMsg;
       fRequestedBranches = other.fRequestedBranches;
+      fStatistics = other.fStatistics;
+      fGlobals = new TMap();
    }
    return *this;
 }
@@ -208,7 +222,7 @@ AliAnalysisManager::~AliAnalysisManager()
    if (fMCtruthEventHandler) delete fMCtruthEventHandler;
    if (fEventPool) delete fEventPool;
    if (fgAnalysisManager==this) fgAnalysisManager = NULL;
-   TObject::SetObjectStat(kTRUE);
+   if (fGlobals) {fGlobals->DeleteAll(); delete fGlobals;}
 }
 
 //______________________________________________________________________________
@@ -217,8 +231,8 @@ Int_t AliAnalysisManager::GetEntry(Long64_t entry, Int_t getall)
 // Read one entry of the tree or a whole branch.
    fCurrentEntry = entry;
    if (!fAutoBranchHandling)
-     return entry;
-   return fTree ? fTree->GetTree()->GetEntry(entry, getall) : 0;
+     return 123456789;
+   return fTree ? fTree->GetTree()->GetEntry(entry, getall) : -1;
 }
 
 //______________________________________________________________________________
@@ -228,27 +242,29 @@ Int_t AliAnalysisManager::GetRunFromAlienPath(const char *path)
 // alice data in alien.
 //    sim:  /alice/sim/<production>/run_no/...
 //    data: /alice/data/year/period/000run_no/... (ESD or AOD)
+   TString type = "unknown";
    TString s(path);
+   if (s.Contains("/alice/data")) type = "real";
+   else if (s.Contains("/alice/sim")) type = "simulated";
    TString srun;
-   Int_t run = 0;
-   Int_t index = s.Index("/alice/sim");
-   if (index >= 0) {
-      for (Int_t i=0; i<3; i++) {
-         index = s.Index("/", index+1);
-         if (index<0) return 0;
-      }
-      srun = s(index+1,6);
-      run = atoi(srun);
-   }
-   index = s.Index("/alice/data");
-   if (index >= 0) {
-      for (Int_t i=0; i<4; i++) {
-         index = s.Index("/", index+1);
-         if (index<0) return 0;
+   Int_t ind1, ind2;
+   ind1 = s.Index("/00");
+   if (ind1>0) {
+      ind2 = s.Index("/",ind1+1);
+      if (ind2-ind1>8) srun = s(ind1+1, ind2-ind1-1);
+   }   
+   if (srun.IsNull()) {
+      ind1 = s.Index("/LHC");
+      if (ind1>0) {
+         ind1 = s.Index("/",ind1+1);
+         if (ind1>0) {
+            ind2 = s.Index("/",ind1+1);
+            if (ind2>0) srun = s(ind1+1, ind2-ind1-1);
+         }
       }
-      srun = s(index+1,9);
-      run = atoi(srun);
-   }
+   }         
+   Int_t run = srun.Atoi();
+   if (run>0) printf("=== GetRunFromAlienPath: run %d of %s data ===\n", run, type.Data());
    return run;
 }   
 
@@ -337,6 +353,7 @@ void AliAnalysisManager::SlaveBegin(TTree *tree)
   // When running with PROOF SlaveBegin() is called on each slave server.
   // The tree argument is deprecated (on PROOF 0 is passed).
    if (fDebug > 1) printf("->AliAnalysisManager::SlaveBegin()\n");
+   if (!CheckTasks()) Fatal("SlaveBegin", "Not all needed libraries were loaded");
    static Bool_t isCalled = kFALSE;
    Bool_t init = kFALSE;
    Bool_t initOK = kTRUE;
@@ -401,6 +418,11 @@ void AliAnalysisManager::SlaveBegin(TTree *tree)
       // Start with memory as current dir and make sure by default histograms do not get attached to files.
       TH1::AddDirectory(kFALSE);
       task->CreateOutputObjects();
+      if (!task->CheckPostData()) {
+         Error("SlaveBegin","####### IMPORTANT! ####### \n\n\n\
+                Task %s (%s) did not call PostData() for all its outputs in (User)CreateOutputObjects()\n\n\
+                ####### FIX YOUR CODE, THIS WILL PRODUCE A FATAL ERROR IN FUTURE! ##########", task->GetName(), task->ClassName());
+      }
       if (getsysInfo) AliSysInfo::AddStamp(Form("%s_CREATEOUTOBJ",task->ClassName()), 0, itask, 0);
       itask++;
    }
@@ -418,6 +440,7 @@ Bool_t AliAnalysisManager::Notify()
    // to the generated code, but the routine can be extended by the
    // user if needed. The return value is currently not used.
    if (!fTree) return kFALSE;
+   if (!TObject::TestBit(AliAnalysisManager::kTrueNotify)) return kFALSE;
 
    fTable.Clear("nodelete"); // clearing the hash table may not be needed -> C.L.
    if (fMode == kProofAnalysis) fIsRemote = kTRUE;
@@ -430,8 +453,10 @@ Bool_t AliAnalysisManager::Notify()
    
    if (fDebug > 1) printf("->AliAnalysisManager::Notify() file: %s\n", curfile->GetName());
    Int_t run = AliAnalysisManager::GetRunFromAlienPath(curfile->GetName());
-   if (run) SetRunFromPath(run);
-   if (fDebug > 1) printf("   ### run found from path: %d\n", run); 
+   if (run && (run != fRunFromPath)) {
+      fRunFromPath = run;
+      if (fDebug > 1) printf("   ### run found from path: %d\n", run);
+   }
    TIter next(fTasks);
    AliAnalysisTask *task;
        
@@ -457,7 +482,7 @@ Bool_t AliAnalysisManager::Notify()
 }    
 
 //______________________________________________________________________________
-Bool_t AliAnalysisManager::Process(Long64_t entry)
+Bool_t AliAnalysisManager::Process(Long64_t)
 {
   // The Process() function is called for each entry in the tree (or possibly
   // keyed object in the case of PROOF) to be processed. The entry argument
@@ -476,18 +501,8 @@ Bool_t AliAnalysisManager::Process(Long64_t entry)
   //  The entry is always the local entry number in the current tree.
   //  Assuming that fChain is the pointer to the TChain being processed,
   //  use fChain->GetTree()->GetEntry(entry).
-   if (fDebug > 1) printf("->AliAnalysisManager::Process(%lld)\n", entry);
-
-   if (fInputEventHandler)   fInputEventHandler  ->BeginEvent(entry);
-   if (fOutputEventHandler)  fOutputEventHandler ->BeginEvent(entry);
-   if (fMCtruthEventHandler) fMCtruthEventHandler->BeginEvent(entry);
-   
-   GetEntry(entry);
 
-   if (fInputEventHandler)   fInputEventHandler  ->GetEntry();
-
-   ExecAnalysis();
-   if (fDebug > 1) printf("<-AliAnalysisManager::Process()\n");
+   // This method is obsolete. ExecAnalysis is called instead.
    return kTRUE;
 }
 
@@ -521,7 +536,7 @@ void AliAnalysisManager::PackOutput(TList *target)
       }
    }
    // Write statistics message on the workers.
-   WriteStatisticsMsg(fNcalls);
+   if (fStatistics) WriteStatisticsMsg(fNcalls);
    
    if (fMode == kProofAnalysis) {
       TIter next(fOutputs);
@@ -752,6 +767,7 @@ void AliAnalysisManager::ImportWrappers(TList *source)
             Error("ImportWrappers", "Cannot open file %s in read-only mode", filename);
             continue;
          }   
+         f->cd();
          TObject *obj = 0;
          // Cd to the directory pointed by the container
          TString folder = cont->GetFolderName();
@@ -949,6 +965,7 @@ void AliAnalysisManager::Terminate()
    }
    gROOT->cd();
    next1.Reset();
+   TString copiedFiles;
    while ((output=(AliAnalysisDataContainer*)next1())) {
       // Close all files at output
       TDirectory *opwd = gDirectory;
@@ -956,20 +973,26 @@ void AliAnalysisManager::Terminate()
          // Clear file list to release object ownership to user.
 //         output->GetFile()->Clear();
          output->GetFile()->Close();
-         output->SetFile(NULL);
          // Copy merged outputs in alien if requested
-         if (fSpecialOutputLocation.Length() && 
-             fSpecialOutputLocation.BeginsWith("alien://")) {
+         if (fSpecialOutputLocation.BeginsWith("alien://")) {
+            if (copiedFiles.Contains(output->GetFile()->GetName())) {
+               if (opwd) opwd->cd();
+               output->SetFile(NULL);
+               continue;
+            } 
             Info("Terminate", "Copy file %s to %s", output->GetFile()->GetName(),fSpecialOutputLocation.Data()); 
+            gROOT->ProcessLine("if (!gGrid) TGrid::Connect(\"alien:\");");
             TFile::Cp(output->GetFile()->GetName(), 
                       Form("%s/%s", fSpecialOutputLocation.Data(), output->GetFile()->GetName()));
+            copiedFiles += output->GetFile()->GetName();
          }             
+         output->SetFile(NULL);
       }   
       if (opwd) opwd->cd();
    }   
    delete allOutputs;
    //Write statistics information on the client
-   WriteStatisticsMsg(fNcalls);
+   if (fStatistics) WriteStatisticsMsg(fNcalls);
    if (getsysInfo) {
       TDirectory *crtdir = gDirectory;
       TFile f("syswatch.root", "RECREATE");
@@ -1010,7 +1033,7 @@ void AliAnalysisManager::Terminate()
                tree->Draw("deltaVM:event",cut,"", 1234567890, 0);
                hist = (TH1*)gPad->GetListOfPrimitives()->FindObject("htemp");            
                if (hist) {
-                  hist->SetTitle(Form("%s: Exec dVM[kB]/event", task->GetName()));
+                  hist->SetTitle(Form("%s: Exec dVM[MB]/event", task->GetName()));
                   hist->GetYaxis()->SetTitle("deltaVM [MB]");
                }   
             }
@@ -1062,7 +1085,7 @@ void AliAnalysisManager::Terminate()
       if (crtdir) crtdir->cd();
    }
    // Validate the output files
-   if (ValidateOutputFiles()) {
+   if (ValidateOutputFiles() && fIsRemote && fMode!=kProofAnalysis) {
       ofstream out;
       out.open("outputs_valid", ios::out);
       out.close();
@@ -1119,8 +1142,8 @@ void AliAnalysisManager::ProfileTask(const char *name, const char */*option*/) c
    tree->Draw("deltaVM:sname",cut,"", 1234567890, 0);
    hist = (TH1*)gPad->GetListOfPrimitives()->FindObject("htemp");
    if (hist) {
-      hist->SetTitle("Alocated VM[kB] for COO and Terminate");
-      hist->GetYaxis()->SetTitle("deltaVM [kB]");
+      hist->SetTitle("Alocated VM[MB] for COO and Terminate");
+      hist->GetYaxis()->SetTitle("deltaVM [MB]");
       hist->GetXaxis()->SetTitle("method");
    }   
    // CPU profile per event
@@ -1138,8 +1161,8 @@ void AliAnalysisManager::ProfileTask(const char *name, const char */*option*/) c
    tree->Draw("deltaVM:event",cut,"", 1234567890, 0);
    hist = (TH1*)gPad->GetListOfPrimitives()->FindObject("htemp");
    if (hist) {
-      hist->SetTitle("Alocated VM[kB] per event");
-      hist->GetYaxis()->SetTitle("deltaVM [kB]");
+      hist->SetTitle("Alocated VM[MB] per event");
+      hist->GetYaxis()->SetTitle("deltaVM [MB]");
    }   
    canvas->Modified();
    delete tree;
@@ -1151,6 +1174,11 @@ void AliAnalysisManager::ProfileTask(const char *name, const char */*option*/) c
 void AliAnalysisManager::AddTask(AliAnalysisTask *task)
 {
 // Adds a user task to the global list of tasks.
+   if (fInitOK) {
+      Error("AddTask", "Cannot add task %s since InitAnalysis was already called", task->GetName());
+      return;
+   }   
+      
    if (fTasks->FindObject(task)) {
       Warning("AddTask", "Task %s: the same object already added to the analysis manager. Not adding.", task->GetName());
       return;
@@ -1260,7 +1288,7 @@ Bool_t AliAnalysisManager::InitAnalysis()
 // Initialization of analysis chain of tasks. Should be called after all tasks
 // and data containers are properly connected
    // Reset flag and remove valid_outputs file if exists
-   fInitOK = kFALSE;
+   if (fInitOK) return kTRUE;
    if (!gSystem->AccessPathName("outputs_valid"))
       gSystem->Unlink("outputs_valid");
    // Check for top tasks (depending only on input data containers)
@@ -1394,7 +1422,7 @@ void AliAnalysisManager::AddBranches(const char *branches)
          fRequestedBranches += obj->GetName();
       }
    }
-   if (arr) delete arr;
+  delete arr;
 }   
 
 //______________________________________________________________________________
@@ -1417,8 +1445,33 @@ void AliAnalysisManager::CheckBranches(Bool_t load)
       fTable.Add(br);
       if (load && br->GetReadEntry()!=GetCurrentEntry()) br->GetEntry(GetCurrentEntry());
    }
+  delete arr;
 }
 
+//______________________________________________________________________________
+Bool_t AliAnalysisManager::CheckTasks() const
+{
+// Check consistency of tasks.
+   Int_t ntasks = fTasks->GetEntries();
+   if (!ntasks) {
+      Error("CheckTasks", "No tasks connected to the manager. This may be due to forgetting to compile the task or to load their library.");
+      return kFALSE;
+   }
+   // Get the pointer to AliAnalysisTaskSE::Class()
+   TClass *badptr = (TClass*)gROOT->ProcessLine("AliAnalysisTaskSE::Class()");
+   // Loop all tasks to check if their corresponding library was loaded
+   TIter next(fTasks);
+   TObject *obj;
+   while ((obj=next())) {
+      if (obj->IsA() == badptr) {
+         Error("CheckTasks", "##################\n \
+         Class for task %s NOT loaded. You probably forgot to load the library for this task (or compile it dynamically).\n###########################\n",obj->GetName());
+         return kFALSE;
+      }
+   }
+   return kTRUE;      
+}   
+
 //______________________________________________________________________________
 void AliAnalysisManager::PrintStatus(Option_t *option) const
 {
@@ -1434,8 +1487,22 @@ void AliAnalysisManager::PrintStatus(Option_t *option) const
    AliAnalysisTask *task;
    while ((task=(AliAnalysisTask*)next()))
       task->PrintTask(option);
+  
    if (!fAutoBranchHandling && !fRequestedBranches.IsNull()) 
       printf("Requested input branches:\n%s\n", fRequestedBranches.Data());
+  
+  TString sopt(option);
+  sopt.ToUpper();
+  
+  if (sopt.Contains("ALL"))
+  {
+    if ( fOutputEventHandler )
+    {
+      cout << TString('_',78) << endl;
+      cout << "OutputEventHandler:" << endl;
+      fOutputEventHandler->Print("   ");
+    }
+  }
 }
 
 //______________________________________________________________________________
@@ -1445,6 +1512,22 @@ void AliAnalysisManager::ResetAnalysis()
    CleanContainers();
 }
 
+//______________________________________________________________________________
+void AliAnalysisManager::RunLocalInit()
+{
+// Run LocalInit method for all tasks.
+   TDirectory *cdir = gDirectory;
+   if (IsTrainInitialized()) return;
+   TIter nextTask(fTasks);
+   AliAnalysisTask *task;
+   while ((task=(AliAnalysisTask*)nextTask())) {
+      gROOT->cd();
+      task->LocalInit();
+   }
+   cdir->cd();
+   TObject::SetBit(kTasksInitialized, kTRUE);
+}   
+
 //______________________________________________________________________________
 Long64_t AliAnalysisManager::StartAnalysis(const char *type, Long64_t nentries, Long64_t firstentry)
 {
@@ -1472,16 +1555,17 @@ Long64_t AliAnalysisManager::StartAnalysis(const char *type, TTree * const tree,
       cdir->cd();
       return -1;
    }
-   if (fDebug > 1) printf("StartAnalysis %s\n",GetName());
+   if (!CheckTasks()) Fatal("StartAnalysis", "Not all needed libraries were loaded");
+   if (fDebug > 1) {
+      printf("StartAnalysis %s\n",GetName());
+      AliLog::SetGlobalLogLevel(AliLog::kInfo);
+   }   
+   fMaxEntries = nentries;
    fIsRemote = kFALSE;
    TString anaType = type;
    anaType.ToLower();
    fMode = kLocalAnalysis;
-   Bool_t runlocalinit = kTRUE;
-   if (anaType.Contains("file")) {
-      runlocalinit = kFALSE;
-      fIsRemote = kTRUE;
-   }   
+   if (anaType.Contains("file"))      fIsRemote = kTRUE;
    if (anaType.Contains("proof"))     fMode = kProofAnalysis;
    else if (anaType.Contains("grid")) fMode = kGridAnalysis;
    else if (anaType.Contains("mix"))  fMode = kMixingAnalysis;
@@ -1498,12 +1582,7 @@ Long64_t AliAnalysisManager::StartAnalysis(const char *type, TTree * const tree,
          // Write analysis manager in the analysis file
          cout << "===== RUNNING GRID ANALYSIS: " << GetName() << endl;
          // run local task configuration
-         TIter nextTask(fTasks);
-         AliAnalysisTask *task;
-         while ((task=(AliAnalysisTask*)nextTask())) {
-            task->LocalInit();
-            gROOT->cd();
-         }
+         RunLocalInit();
          if (!fGridHandler->StartAnalysis(nentries, firstentry)) {
             Info("StartAnalysis", "Grid analysis was stopped and cannot be terminated");
             cdir->cd();
@@ -1549,13 +1628,7 @@ Long64_t AliAnalysisManager::StartAnalysis(const char *type, TTree * const tree,
    // Initialize locally all tasks (happens for all modes)
    TIter next(fTasks);
    AliAnalysisTask *task;
-   if (runlocalinit) {
-      while ((task=(AliAnalysisTask*)next())) {
-         task->LocalInit();
-         gROOT->cd();
-      }
-      if (getsysInfo) AliSysInfo::AddStamp("LocalInit_all", 0);
-   }   
+   RunLocalInit();
    
    switch (fMode) {
       case kLocalAnalysis:
@@ -1567,6 +1640,11 @@ Long64_t AliAnalysisManager::StartAnalysis(const char *type, TTree * const tree,
             while ((task=(AliAnalysisTask*)nextT())) {
                TH1::AddDirectory(kFALSE);
                task->CreateOutputObjects();
+               if (!task->CheckPostData()) {
+                  Error("SlaveBegin","####### IMPORTANT! ####### \n\n\n\
+                        Task %s (%s) did not call PostData() for all its outputs in (User)CreateOutputObjects()\n\n\
+                        ########### FIX YOUR CODE, THIS WILL PRODUCE A FATAL ERROR IN FUTURE! ###########", task->GetName(), task->ClassName());
+               }
                if (getsysInfo) AliSysInfo::AddStamp(Form("%s_CREATEOUTOBJ",task->ClassName()), 0, itask, 0);
                gROOT->cd();
                itask++;
@@ -1615,7 +1693,7 @@ Long64_t AliAnalysisManager::StartAnalysis(const char *type, TTree * const tree,
             cdir->cd();
             return -1;
          }   
-         line = Form("gProof->AddInput((TObject*)0x%lx);", (ULong_t)this);
+         line = Form("gProof->AddInput((TObject*)%p);", this);
          gROOT->ProcessLine(line);
          if (chain) {
             chain->SetProof();
@@ -1712,7 +1790,6 @@ Long64_t AliAnalysisManager::StartAnalysis(const char *type, const char *dataset
    // Set the dataset flag
    TObject::SetBit(kUseDataSet);
    fTree = 0;
-   TChain *chain = 0;
    if (fGridHandler) {
       // Start proof analysis using the grid handler
       if (!fGridHandler->StartAnalysis(nentries, firstentry)) {
@@ -1733,25 +1810,15 @@ Long64_t AliAnalysisManager::StartAnalysis(const char *type, const char *dataset
    }   
 
    // Initialize locally all tasks
-   TIter next(fTasks);
-   AliAnalysisTask *task;
-   while ((task=(AliAnalysisTask*)next())) {
-      task->LocalInit();
-   }
-   
-   line = Form("gProof->AddInput((TObject*)0x%lx);", (ULong_t)this);
+   RunLocalInit();
+      
+   line = Form("gProof->AddInput((TObject*)%p);", this);
    gROOT->ProcessLine(line);
    Long_t retv;
-   if (chain) {
-//      chain->SetProof();
-      cout << "===== RUNNING PROOF ANALYSIS " << GetName() << " ON TEST CHAIN " << chain->GetName() << endl;
-      retv = chain->Process("AliAnalysisSelector", "", nentries, firstentry);
-   } else {   
-      line = Form("gProof->Process(\"%s\", \"AliAnalysisSelector\", \"\", %lld, %lld);",
-                  dataset, nentries, firstentry);
-      cout << "===== RUNNING PROOF ANALYSIS " << GetName() << " ON DATASET " << dataset << endl;
-      retv = (Long_t)gROOT->ProcessLine(line);
-   }   
+   line = Form("gProof->Process(\"%s\", \"AliAnalysisSelector\", \"\", %lld, %lld);",
+               dataset, nentries, firstentry);
+   cout << "===== RUNNING PROOF ANALYSIS " << GetName() << " ON DATASET " << dataset << endl;
+   retv = (Long_t)gROOT->ProcessLine(line);
    return retv;
 }   
 
@@ -1915,6 +1982,12 @@ void AliAnalysisManager::ExecAnalysis(Option_t *option)
    static Long64_t nentries = 0;
    static TTree *lastTree = 0;
    static TStopwatch *timer = new TStopwatch();
+   // Only the first call to Process will trigger a true Notify. Other Notify
+   // coming before is ignored.
+   if (!TObject::TestBit(AliAnalysisManager::kTrueNotify)) {
+      TObject::SetBit(AliAnalysisManager::kTrueNotify);
+      Notify();
+   }   
    if (fDebug > 0) printf("MGR: Processing event #%d\n", fNcalls);
    else {
       if (fTree && (fTree != lastTree)) {
@@ -1922,7 +1995,7 @@ void AliAnalysisManager::ExecAnalysis(Option_t *option)
          lastTree = fTree;
       }   
       if (!fNcalls) timer->Start();
-      if (!fIsRemote && TObject::TestBit(kUseProgressBar)) ProgressBar("Processing event", fNcalls, nentries, timer, kFALSE);
+      if (!fIsRemote && TObject::TestBit(kUseProgressBar)) ProgressBar("Processing event", fNcalls, TMath::Min(fMaxEntries,nentries), timer, kFALSE);
    }
    gROOT->cd();
    TDirectory *cdir = gDirectory;
@@ -2013,13 +2086,25 @@ void AliAnalysisManager::ExecAnalysis(Option_t *option)
    cdir->cd();   
 }
 
+//______________________________________________________________________________
+Bool_t AliAnalysisManager::IsPipe(std::ostream &out)
+{
+// Check if the stdout is connected to a pipe (C.Holm)
+  Bool_t ispipe = kFALSE;
+  out.seekp(0, std::ios_base::cur);
+  if (out.fail()) {
+    out.clear();
+    if (errno == ESPIPE) ispipe = kTRUE;
+  }
+  return ispipe;
+}
+   
 //______________________________________________________________________________
 void AliAnalysisManager::SetInputEventHandler(AliVEventHandler* const handler)
 {
 // Set the input event handler and create a container for it.
    fInputEventHandler   = handler;
-   fCommonInput = CreateContainer("cAUTO_INPUT", TChain::Class(), AliAnalysisManager::kInputContainer);
-//   Warning("SetInputEventHandler", " An automatic input container for the input chain was created.\nPlease use: mgr->GetCommonInputContainer() to access it.");
+   if (!fCommonInput) fCommonInput = CreateContainer("cAUTO_INPUT", TChain::Class(), AliAnalysisManager::kInputContainer);
 }
 
 //______________________________________________________________________________
@@ -2027,11 +2112,31 @@ void AliAnalysisManager::SetOutputEventHandler(AliVEventHandler* const handler)
 {
 // Set the input event handler and create a container for it.
    fOutputEventHandler   = handler;
-   fCommonOutput = CreateContainer("cAUTO_OUTPUT", TTree::Class(), AliAnalysisManager::kOutputContainer, "default");
+   if (!fCommonOutput) fCommonOutput = CreateContainer("cAUTO_OUTPUT", TTree::Class(), AliAnalysisManager::kOutputContainer, "default");
    fCommonOutput->SetSpecialOutput();
-//   Warning("SetOutputEventHandler", " An automatic output container for the output tree was created.\nPlease use: mgr->GetCommonOutputContainer() to access it.");
 }
 
+//______________________________________________________________________________
+void AliAnalysisManager::SetDebugLevel(UInt_t level)
+{
+// Set verbosity of the analysis manager. If the progress bar is used, the call is ignored
+   if (TObject::TestBit(kUseProgressBar)) {
+      Info("SetDebugLevel","Ignored. Disable the progress bar first.");
+      return;
+   }
+   fDebug = level;
+}
+   
+//______________________________________________________________________________
+void AliAnalysisManager::SetUseProgressBar(Bool_t flag, Int_t freq)
+{
+// Enable a text mode progress bar. Resets debug level to 0.
+   Info("SetUseProgressBar", "Progress bar enabled, updated every %d events.\n  ### NOTE: Debug level reset to 0 ###", freq);
+   TObject::SetBit(kUseProgressBar,flag);
+   fPBUpdateFreq = freq;
+   fDebug = 0;
+}   
+
 //______________________________________________________________________________
 void AliAnalysisManager::RegisterExtraFile(const char *fname)
 {
@@ -2157,10 +2262,10 @@ void AliAnalysisManager::ProgressBar(const char *opname, Long64_t current, Long6
    static Bool_t oneoftwo = kFALSE;
    static Int_t nrefresh = 0;
    static Int_t nchecks = 0;
-   const char symbol[4] = {'=','\\','|','/'}; 
-   char progress[11] = "          ";
-   Int_t ichar = icount%4;
+   static char lastChar = 0;
+   const char symbol[4] = {'-','\\','|','/'}; 
    
+   if (!lastChar) lastChar = (IsPipe(std::cerr))?'\r':'\n';
    if (!refresh) {
       nrefresh = 0;
       if (!size) return;
@@ -2173,7 +2278,10 @@ void AliAnalysisManager::ProgressBar(const char *opname, Long64_t current, Long6
       nrefresh++;
       if (!osize) return;
    }     
+   if ((current % fPBUpdateFreq) != 0) return;
    icount++;
+   char progress[11] = "          ";
+   Int_t ichar = icount%4;
    Double_t time = 0.;
    Int_t hours = 0;
    Int_t minutes = 0;
@@ -2181,11 +2289,9 @@ void AliAnalysisManager::ProgressBar(const char *opname, Long64_t current, Long6
    if (owatch && !last) {
       owatch->Stop();
       time = owatch->RealTime();
-      hours = (Int_t)(time/3600.);
-      time -= 3600*hours;
-      minutes = (Int_t)(time/60.);
-      time -= 60*minutes;
-      seconds = (Int_t)time;
+      seconds   = int(time) % 60;
+      minutes   = (int(time) / 60) % 60;
+      hours     = (int(time) / 60 / 60);
       if (refresh)  {
          if (oseconds==seconds) {
             owatch->Continue();
@@ -2214,8 +2320,18 @@ void AliAnalysisManager::ProgressBar(const char *opname, Long64_t current, Long6
    if(size<10000) fprintf(stderr, "%s [%10s] %4lld ", oname.Data(), progress, ocurrent);
    else if(size<100000) fprintf(stderr, "%s [%10s] %5lld ",oname.Data(), progress, ocurrent);
    else fprintf(stderr, "%s [%10s] %7lld ",oname.Data(), progress, ocurrent);
-   if (time>0.) fprintf(stderr, "[%6.2f %%]   TIME %.2d:%.2d:%.2d             \r", percent, hours, minutes, seconds);
-   else fprintf(stderr, "[%6.2f %%]\r", percent);
+   if (time>0.) {
+     Int_t full   = Int_t(ocurrent > 0 ? 
+                         time * (float(osize)/ocurrent) + .5 : 
+                         99*3600+59*60+59); 
+     Int_t remain = Int_t(full - time);
+     Int_t rsec   = remain % 60;
+     Int_t rmin   = (remain / 60) % 60;
+     Int_t rhour  = (remain / 60 / 60);
+     fprintf(stderr, "[%6.2f %%]   TIME %.2d:%.2d:%.2d  ETA %.2d:%.2d:%.2d%c",
+            percent, hours, minutes, seconds, rhour, rmin, rsec, lastChar);
+   }
+   else fprintf(stderr, "[%6.2f %%]%c", percent, lastChar);
    if (refresh && oneoftwo) oname = nname;
    if (owatch) owatch->Continue();
    if (last) {
@@ -2234,6 +2350,7 @@ void AliAnalysisManager::ProgressBar(const char *opname, Long64_t current, Long6
 void AliAnalysisManager::DoLoadBranch(const char *name) 
 {
   // Get tree and load branch if needed.
+  static Long64_t crtEntry = -100;
 
   if (fAutoBranchHandling || !fTree)
     return;
@@ -2247,10 +2364,45 @@ void AliAnalysisManager::DoLoadBranch(const char *name)
     }
     fTable.Add(br);
   }
-  if (br->GetReadEntry()==GetCurrentEntry()) return;
-  br->GetEntry(GetCurrentEntry());
+  if (br->GetReadEntry()==fCurrentEntry) return;
+  Int_t ret = br->GetEntry(GetCurrentEntry());
+  if (ret<0) {
+    Error("DoLoadBranch", "Could not load entry %lld from branch %s",GetCurrentEntry(), name);
+    if (crtEntry != fCurrentEntry) {
+      CountEvent(1,0,1,0);
+      crtEntry = fCurrentEntry;
+    }  
+  } else {
+    if (crtEntry != fCurrentEntry) {
+      CountEvent(1,1,0,0);
+      crtEntry = fCurrentEntry;
+    }
+  }
 }
 
+//______________________________________________________________________________
+void AliAnalysisManager::AddStatisticsTask(UInt_t offlineMask)
+{
+// Add the statistics task to the manager.
+  if (fStatistics) {
+     Info("AddStatisticsTask", "Already added");
+     return;
+  }
+  TString line = Form("AliAnalysisTaskStat::AddToManager(%u);", offlineMask);
+  gROOT->ProcessLine(line);
+}  
+
+//______________________________________________________________________________
+void AliAnalysisManager::CountEvent(Int_t ninput, Int_t nprocessed, Int_t nfailed, Int_t naccepted)
+{
+// Bookkeep current event;
+   if (!fStatistics) return;
+   fStatistics->AddInput(ninput);
+   fStatistics->AddProcessed(nprocessed);
+   fStatistics->AddFailed(nfailed);
+   fStatistics->AddAccepted(naccepted);
+}   
+
 //______________________________________________________________________________
 void AliAnalysisManager::AddStatisticsMsg(const char *line)
 {
@@ -2263,12 +2415,137 @@ void AliAnalysisManager::AddStatisticsMsg(const char *line)
 }
 
 //______________________________________________________________________________
-void AliAnalysisManager::WriteStatisticsMsg(Int_t nevents)
+void AliAnalysisManager::WriteStatisticsMsg(Int_t)
 {
-// Write the statistics message in a file named <nevents.stat>
-   if (!nevents) return;
+// If fStatistics is present, write the file in the format ninput_nprocessed_nfailed_naccepted.stat
+   static Bool_t done = kFALSE;
+   if (done) return;
+   done = kTRUE;
+   if (!fStatistics) return;
    ofstream out;
-   out.open(Form("%09d.stat", nevents), ios::out);
-   if (!fStatisticsMsg.IsNull()) out << fStatisticsMsg << endl;
+   AddStatisticsMsg(Form("Number of input events:        %lld",fStatistics->GetNinput()));
+   AddStatisticsMsg(Form("Number of processed events:    %lld",fStatistics->GetNprocessed()));      
+   AddStatisticsMsg(Form("Number of failed events (I/O): %lld",fStatistics->GetNfailed()));
+   AddStatisticsMsg(Form("Number of accepted events for mask %s: %lld", AliAnalysisStatistics::GetMaskAsString(fStatistics->GetOfflineMask()), fStatistics->GetNaccepted()));
+   out.open(Form("%lld_%lld_%lld_%lld.stat",fStatistics->GetNinput(),
+                 fStatistics->GetNprocessed(),fStatistics->GetNfailed(),
+                 fStatistics->GetNaccepted()), ios::out);      
+   out << fStatisticsMsg << endl;
    out.close();
 }
+
+//______________________________________________________________________________
+const char* AliAnalysisManager::GetOADBPath()
+{
+// returns the path of the OADB
+// this static function just depends on environment variables
+
+   static TString oadbPath;
+
+   if (gSystem->Getenv("OADB_PATH"))
+      oadbPath = gSystem->Getenv("OADB_PATH");
+   else if (gSystem->Getenv("ALICE_ROOT"))
+      oadbPath.Form("%s/OADB", gSystem->Getenv("ALICE_ROOT"));
+   else
+      ::Fatal("AliAnalysisManager::GetOADBPath", "Cannot figure out AODB path. Define ALICE_ROOT or OADB_PATH!");
+      
+   return oadbPath;
+}
+
+//______________________________________________________________________________
+void AliAnalysisManager::SetGlobalStr(const char *key, const char *value)
+{
+// Define a custom string variable mapped to a global unique name. The variable
+// can be then retrieved by a given analysis macro via GetGlobalStr(key).
+   AliAnalysisManager *mgr = AliAnalysisManager::GetAnalysisManager();
+   if (!mgr) {
+      ::Error("AliAnalysisManager::SetGlobalStr", "No analysis manager defined");
+      return;
+   }   
+   Bool_t valid = kFALSE;
+   TString existing = AliAnalysisManager::GetGlobalStr(key, valid);
+   if (valid) {
+      ::Error("AliAnalysisManager::SetGlobalStr", "Global %s = %s already defined.", key, existing.Data());
+      return;
+   }
+   mgr->GetGlobals()->Add(new TObjString(key), new TObjString(value));
+}
+
+//______________________________________________________________________________
+const char *AliAnalysisManager::GetGlobalStr(const char *key, Bool_t &valid)
+{
+// Static method to retrieve a global variable defined via SetGlobalStr.
+   valid = kFALSE;
+   AliAnalysisManager *mgr = AliAnalysisManager::GetAnalysisManager();
+   if (!mgr) return 0;
+   TObject *value = mgr->GetGlobals()->GetValue(key);
+   if (!value) return 0;
+   valid = kTRUE;
+   return value->GetName();
+}
+
+//______________________________________________________________________________
+void AliAnalysisManager::SetGlobalInt(const char *key, Int_t value)
+{
+// Define a custom integer variable mapped to a global unique name. The variable
+// can be then retrieved by a given analysis macro via GetGlobalInt(key).
+   AliAnalysisManager *mgr = AliAnalysisManager::GetAnalysisManager();
+   if (!mgr) {
+      ::Error("AliAnalysisManager::SetGlobalStr", "No analysis manager defined");
+      return;
+   }   
+   Bool_t valid = kFALSE;
+   Int_t existing = AliAnalysisManager::GetGlobalInt(key, valid);
+   if (valid) {
+      ::Error("AliAnalysisManager::SetGlobalInt", "Global %s = %i already defined.", key, existing);
+      return;
+   }
+   mgr->GetGlobals()->Add(new TObjString(key), new TObjString(TString::Format("%i",value)));
+}
+
+//______________________________________________________________________________
+Int_t AliAnalysisManager::GetGlobalInt(const char *key, Bool_t &valid)
+{
+// Static method to retrieve a global variable defined via SetGlobalInt.
+   valid = kFALSE;
+   AliAnalysisManager *mgr = AliAnalysisManager::GetAnalysisManager();
+   if (!mgr) return 0;
+   TObject *value = mgr->GetGlobals()->GetValue(key);
+   if (!value) return 0;
+   valid = kTRUE;
+   TString s = value->GetName();
+   return s.Atoi();
+}
+
+//______________________________________________________________________________
+void AliAnalysisManager::SetGlobalDbl(const char *key, Double_t value)
+{
+// Define a custom double precision variable mapped to a global unique name. The variable
+// can be then retrieved by a given analysis macro via GetGlobalInt(key).
+   AliAnalysisManager *mgr = AliAnalysisManager::GetAnalysisManager();
+   if (!mgr) {
+      ::Error("AliAnalysisManager::SetGlobalStr", "No analysis manager defined");
+      return;
+   }   
+   Bool_t valid = kFALSE;
+   Double_t existing = AliAnalysisManager::GetGlobalDbl(key, valid);
+   if (valid) {
+      ::Error("AliAnalysisManager::SetGlobalInt", "Global %s = %g already defined.", key, existing);
+      return;
+   }
+   mgr->GetGlobals()->Add(new TObjString(key), new TObjString(TString::Format("%f.16",value)));
+}
+
+//______________________________________________________________________________
+Double_t AliAnalysisManager::GetGlobalDbl(const char *key, Bool_t &valid)
+{
+// Static method to retrieve a global variable defined via SetGlobalDbl.
+   valid = kFALSE;
+   AliAnalysisManager *mgr = AliAnalysisManager::GetAnalysisManager();
+   if (!mgr) return 0;
+   TObject *value = mgr->GetGlobals()->GetValue(key);
+   if (!value) return 0;
+   valid = kTRUE;
+   TString s = value->GetName();
+   return s.Atof();
+}