]> git.uio.no Git - u/mrichter/AliRoot.git/blobdiff - ANALYSIS/AliAnalysisManager.cxx
updated documentation
[u/mrichter/AliRoot.git] / ANALYSIS / AliAnalysisManager.cxx
index 4bdd7b3e37e913d22b92b221c6a5ad714c2aac0c..d07b415b7135e466e739324468ec4e69d12c1a36 100644 (file)
@@ -29,6 +29,7 @@
 
 #include <TClass.h>
 #include <TFile.h>
+#include <TKey.h>
 #include <TMethodCall.h>
 #include <TChain.h>
 #include <TSystem.h>
@@ -36,6 +37,7 @@
 #include <TCanvas.h>
 
 #include "AliAnalysisSelector.h"
+#include "AliAnalysisGrid.h"
 #include "AliAnalysisTask.h"
 #include "AliAnalysisDataContainer.h"
 #include "AliAnalysisDataSlot.h"
@@ -55,7 +57,7 @@ AliAnalysisManager::AliAnalysisManager(const char *name, const char *title)
                     fInputEventHandler(NULL),
                     fOutputEventHandler(NULL),
                     fMCtruthEventHandler(NULL),
-                   fEventPool(NULL),
+                    fEventPool(NULL),
                     fCurrentEntry(-1),
                     fNSysInfo(0),
                     fMode(kLocalAnalysis),
@@ -68,7 +70,8 @@ AliAnalysisManager::AliAnalysisManager(const char *name, const char *title)
                     fContainers(NULL),
                     fInputs(NULL),
                     fOutputs(NULL),
-                    fSelector(NULL)
+                    fSelector(NULL),
+                    fGridHandler(NULL)
 {
 // Default constructor.
    fgAnalysisManager = this;
@@ -101,7 +104,8 @@ AliAnalysisManager::AliAnalysisManager(const AliAnalysisManager& other)
                     fContainers(NULL),
                     fInputs(NULL),
                     fOutputs(NULL),
-                    fSelector(NULL)
+                    fSelector(NULL),
+                    fGridHandler(NULL)
 {
 // Copy constructor.
    fTasks      = new TObjArray(*other.fTasks);
@@ -136,6 +140,7 @@ AliAnalysisManager& AliAnalysisManager::operator=(const AliAnalysisManager& othe
       fInputs     = new TObjArray(*other.fInputs);
       fOutputs    = new TObjArray(*other.fOutputs);
       fSelector   = NULL;
+      fGridHandler = NULL;
       fgAnalysisManager = this;
    }
    return *this;
@@ -151,6 +156,7 @@ AliAnalysisManager::~AliAnalysisManager()
    if (fContainers) {fContainers->Delete(); delete fContainers;}
    if (fInputs) delete fInputs;
    if (fOutputs) delete fOutputs;
+   if (fGridHandler) delete fGridHandler;
    if (fgAnalysisManager==this) fgAnalysisManager = NULL;
 }
 
@@ -498,7 +504,8 @@ void AliAnalysisManager::PackOutput(TList *target)
             if (fDebug > 2) {
                printf("   file %s listing content:\n", output->GetFileName());
                file->ls();
-            }   
+            }
+            TString outFilename = file->GetName();
             file->Close();
             // Restore current directory
             if (opwd) opwd->cd();
@@ -509,7 +516,7 @@ void AliAnalysisManager::PackOutput(TList *target)
                Int_t gid = gROOT->ProcessLine("gProofServ->GetGroupId();");
                remote += Form("%s_%d_", gSystem->HostName(), gid);
                remote += output->GetFileName();
-               TFile::Cp(output->GetFileName(), remote.Data());
+               TFile::Cp ( outFilename.Data(), remote.Data() );
             } else {
             // No special location specified-> use TProofOutputFile as merging utility
             // The file at this output slot must be opened in CreateOutputObjects
@@ -530,41 +537,73 @@ void AliAnalysisManager::ImportWrappers(TList *source)
    AliAnalysisDataContainer *cont;
    AliAnalysisDataWrapper   *wrap;
    Int_t icont = 0;
+   Bool_t inGrid = (fMode == kGridAnalysis)?kTRUE:kFALSE;
    while ((cont=(AliAnalysisDataContainer*)next())) {
       wrap = 0;
-      if (cont->GetProducer()->IsPostEventLoop()) continue;
+      if (cont->GetProducer()->IsPostEventLoop() && !inGrid) continue;
       const char *filename = cont->GetFileName();
       Bool_t isManagedByHandler = kFALSE;
       if (!(strcmp(filename, "default")) && fOutputEventHandler) {
          isManagedByHandler = kTRUE;
          filename = fOutputEventHandler->GetOutputFileName();
       }
-      if (cont->IsSpecialOutput()) {
+      if (cont->IsSpecialOutput() || inGrid) {
          if (strlen(fSpecialOutputLocation.Data()) && !isManagedByHandler) continue;
-         // Copy merged file from PROOF scratch space
-         char full_path[512];
-         TObject *pof =  source->FindObject(filename);
-         if (!pof || !pof->InheritsFrom("TProofOutputFile")) {
-            Error("ImportWrappers", "TProofOutputFile object not found in output list for container %s", cont->GetName());
-            continue;
-         }
-         gROOT->ProcessLine(Form("sprintf((char*)0x%lx, \"%%s\", ((TProofOutputFile*)0x%lx)->GetOutputFileName();)", full_path, pof));
-         if (fDebug > 1) 
-            printf("   Copying file %s from PROOF scratch space\n", full_path);
-         Bool_t gotit = TFile::Cp(full_path, filename); 
-         if (!gotit) {
-            Error("ImportWrappers", "Could not get file %s from proof scratch space", cont->GetFileName());
-         }
+         // Copy merged file from PROOF scratch space. 
+         // In case of grid the files are already in the current directory.
+         if (!inGrid) {
+            char full_path[512];
+            char ch_url[512];
+            TObject *pof =  source->FindObject(filename);
+            if (!pof || !pof->InheritsFrom("TProofOutputFile")) {
+               Error("ImportWrappers", "TProofOutputFile object not found in output list for container %s", cont->GetName());
+               continue;
+            }
+            gROOT->ProcessLine(Form("sprintf((char*)0x%lx, \"%%s\", ((TProofOutputFile*)0x%lx)->GetOutputFileName();)", full_path, pof));
+            gROOT->ProcessLine(Form("sprintf((char*)0x%lx, \"%%s\", gProof->GetUrl();)", ch_url));
+            TString clientUrl(ch_url);
+            TString full_path_str(full_path);
+            if (clientUrl.Contains("localhost")){
+               TObjArray* array = full_path_str.Tokenize ( "//" );
+               TObjString *strobj = ( TObjString *)array->At(1);
+               TObjArray* arrayPort = strobj->GetString().Tokenize ( ":" );
+               TObjString *strobjPort = ( TObjString *) arrayPort->At(1);
+               full_path_str.ReplaceAll(strobj->GetString().Data(),"localhost:PORT");
+               full_path_str.ReplaceAll(":PORT",Form(":%s",strobjPort->GetString().Data()));
+               if (fDebug > 1) Info("ImportWrappers","Using tunnel from %s to %s",full_path_str.Data(),filename);
+            }
+            if (fDebug > 1) 
+               printf("   Copying file %s from PROOF scratch space\n", full_path_str.Data());
+            Bool_t gotit = TFile::Cp(full_path_str.Data(), filename); 
+            if (!gotit) {
+               Error("ImportWrappers", "Could not get file %s from proof scratch space", cont->GetFileName());
+               continue;
+            }
+         }   
          // Normally we should connect data from the copied file to the
          // corresponding output container, but it is not obvious how to do this
          // automatically if several objects in file...
-         TFile *f = new TFile(filename, "READ");
-         TObject *obj = 0;
-         if (!isManagedByHandler) obj = f->Get(cont->GetName());
-         if (!obj && !isManagedByHandler) {
-            Error("ImportWrappers", "Could not find object %s in file %s", cont->GetName(), filename);
+         TFile *f = TFile::Open(filename, "READ");
+         if (!f) {
+            Error("ImportWrappers", "Cannot open file %s in read-only mode", filename);
             continue;
+         }   
+         TObject *obj = 0;
+         // Try to fetch first a list object having the container name.
+         obj = f->Get(cont->GetName());
+         if (!obj) {
+         // Fetch first object from file having the container type.
+            TIter nextkey(f->GetListOfKeys());
+            TKey *key;
+            while ((key=(TKey*)nextkey())) {
+               obj = f->Get(key->GetName());
+               if (obj && obj->IsA()->InheritsFrom(cont->GetType())) break;
+            }                     
          }
+         if (!obj) {
+            Error("ImportWrappers", "Could not find object for container %s in file %s", cont->GetName(), filename);
+            continue;
+         }  
          wrap = new AliAnalysisDataWrapper(obj);
          wrap->SetDeleteData(kFALSE);
       }   
@@ -576,7 +615,7 @@ void AliAnalysisManager::ImportWrappers(TList *source)
       icont++;
       if (fDebug > 1) {
          printf("   Importing data for container %s", cont->GetName());
-         if (strlen(filename)) printf("    -> file %s\n", cont->GetFileName());
+         if (strlen(filename)) printf("    -> file %s\n", filename);
          else printf("\n");
       }   
       cont->ImportData(wrap);
@@ -636,8 +675,9 @@ void AliAnalysisManager::Terminate()
    TIter next1(fOutputs);
    AliAnalysisDataContainer *output;
    while ((output=(AliAnalysisDataContainer*)next1())) {
-      // Special outputs have the files already closed and written.
-      if (output->IsSpecialOutput()) continue;
+      // Special outputs or grid files have the files already closed and written.
+      if (fMode == kGridAnalysis) continue;
+      if (output->IsSpecialOutput()&&(fMode == kProofAnalysis)) continue;
       const char *filename = output->GetFileName();
       if (!(strcmp(filename, "default"))) {
          if (fOutputEventHandler) filename = fOutputEventHandler->GetOutputFileName();
@@ -944,13 +984,39 @@ void AliAnalysisManager::StartAnalysis(const char *type, TTree *tree, Long64_t n
    TString anaType = type;
    anaType.ToLower();
    fMode = kLocalAnalysis;
+   Bool_t runlocalinit = kTRUE;
+   if (anaType.Contains("file")) runlocalinit = kFALSE;
    if (anaType.Contains("proof"))     fMode = kProofAnalysis;
    else if (anaType.Contains("grid")) fMode = kGridAnalysis;
    else if (anaType.Contains("mix"))  fMode = kMixingAnalysis;
 
    if (fMode == kGridAnalysis) {
-      Warning("StartAnalysis", "GRID analysis mode not implemented. Running local.");
-      fMode = kLocalAnalysis;
+      if (!fGridHandler) {
+         Error("StartAnalysis", "Cannot start grid analysis without a grid handler.");
+         Info("===", "Add an AliAnalysisAlien object as plugin for this manager and configure it.");
+         return;
+      }
+      // Write analysis manager in the analysis file
+      cout << "===== RUNNING GRID ANALYSIS: " << GetName() << endl;
+      // run local task configuration
+      TIter nextTask(fTasks);
+      AliAnalysisTask *task;
+      while ((task=(AliAnalysisTask*)nextTask())) {
+         task->LocalInit();
+      }
+      fGridHandler->StartAnalysis(nentries, firstentry);
+
+      // Terminate grid analysis
+      if (fGridHandler->GetRunMode() == AliAnalysisGrid::kOffline) return;
+      cout << "===== MERGING OUTPUTS REGISTERED BY YOUR ANALYSIS JOB: " << GetName() << endl;
+      if (!fGridHandler->MergeOutputs()) {
+         // Return if outputs could not be merged or if it alien handler
+         // was configured for offline mode or local testing.
+         return;
+      }
+      ImportWrappers(NULL);
+      Terminate();
+      return;
    }
    char line[256];
    SetEventLoop(kFALSE);
@@ -971,9 +1037,11 @@ void AliAnalysisManager::StartAnalysis(const char *type, TTree *tree, Long64_t n
    // Initialize locally all tasks (happens for all modes)
    TIter next(fTasks);
    AliAnalysisTask *task;
-   while ((task=(AliAnalysisTask*)next())) {
-      task->LocalInit();
-   }
+   if (runlocalinit) {
+      while ((task=(AliAnalysisTask*)next())) {
+         task->LocalInit();
+      }
+   }   
    
    switch (fMode) {
       case kLocalAnalysis: