]> git.uio.no Git - u/mrichter/AliRoot.git/blobdiff - ANALYSIS/AliAnalysisManager.cxx
Fixing bugs in FMD reconstruction. Everything should work now
[u/mrichter/AliRoot.git] / ANALYSIS / AliAnalysisManager.cxx
index 04531c7fc7280eccd9b43fe446c85825cfc8ee24..b9fb460f90ec39ed64cd5e73af1ad753e0f66a52 100644 (file)
@@ -73,7 +73,8 @@ AliAnalysisManager::AliAnalysisManager(const char *name, const char *title)
                     fCommonInput(NULL),
                     fCommonOutput(NULL),
                     fSelector(NULL),
-                    fGridHandler(NULL)
+                    fGridHandler(NULL),
+                    fExtraFiles("")
 {
 // Default constructor.
    fgAnalysisManager = this;
@@ -109,7 +110,8 @@ AliAnalysisManager::AliAnalysisManager(const AliAnalysisManager& other)
                     fCommonInput(NULL),
                     fCommonOutput(NULL),
                     fSelector(NULL),
-                    fGridHandler(NULL)
+                    fGridHandler(NULL),
+                    fExtraFiles()
 {
 // Copy constructor.
    fTasks      = new TObjArray(*other.fTasks);
@@ -147,6 +149,7 @@ AliAnalysisManager& AliAnalysisManager::operator=(const AliAnalysisManager& othe
       fCommonOutput = NULL;
       fSelector   = NULL;
       fGridHandler = NULL;
+      fExtraFiles = other.fExtraFiles;
       fgAnalysisManager = this;
    }
    return *this;
@@ -170,7 +173,7 @@ AliAnalysisManager::~AliAnalysisManager()
 Int_t AliAnalysisManager::GetEntry(Long64_t entry, Int_t getall)
 {
 // Read one entry of the tree or a whole branch.
-   if (fDebug > 0) printf("== AliAnalysisManager::GetEntry(%lld)\n", entry);
+   if (fDebug > 0) Printf("== AliAnalysisManager::GetEntry(%lld)", entry);
    fCurrentEntry = entry;
    return fTree ? fTree->GetTree()->GetEntry(entry, getall) : 0;
 }
@@ -186,7 +189,7 @@ Bool_t AliAnalysisManager::Init(TTree *tree)
    Bool_t init = kFALSE;
    if (!tree) return kFALSE; // Should not happen - protected in selector caller
    if (fDebug > 0) {
-      printf("->AliAnalysisManager::Init(%s)\n", tree->GetName());
+      Printf("->AliAnalysisManager::Init(%s)", tree->GetName());
    }
    // Call InitTree of EventHandler
    if (fOutputEventHandler) {
@@ -246,7 +249,7 @@ Bool_t AliAnalysisManager::Init(TTree *tree)
    }
    top->SetData(tree);
    if (fDebug > 0) {
-      printf("<-AliAnalysisManager::Init(%s)\n", tree->GetName());
+      Printf("<-AliAnalysisManager::Init(%s)", tree->GetName());
    }
    return kTRUE;
 }
@@ -257,7 +260,7 @@ void AliAnalysisManager::SlaveBegin(TTree *tree)
   // The SlaveBegin() function is called after the Begin() function.
   // When running with PROOF SlaveBegin() is called on each slave server.
   // The tree argument is deprecated (on PROOF 0 is passed).
-   if (fDebug > 0) printf("->AliAnalysisManager::SlaveBegin()\n");
+   if (fDebug > 0) Printf("->AliAnalysisManager::SlaveBegin()");
    static Bool_t isCalled = kFALSE;
    Bool_t init = kFALSE;
    Bool_t initOK = kTRUE;
@@ -268,24 +271,13 @@ void AliAnalysisManager::SlaveBegin(TTree *tree)
    // Call Init of EventHandler
    if (fOutputEventHandler) {
       if (fMode == kProofAnalysis) {
-         TIter nextout(fOutputs);
-         AliAnalysisDataContainer *c_aod;
-         while ((c_aod=(AliAnalysisDataContainer*)nextout())) if (!strcmp(c_aod->GetFileName(),"default")) break;
-         if (c_aod && c_aod->IsSpecialOutput()) {
-            // Merging via files
-            if (fDebug > 1) printf("   Initializing special output file %s...\n", fOutputEventHandler->GetOutputFileName());
-            OpenProofFile(fOutputEventHandler->GetOutputFileName(), "RECREATE");
-            c_aod->SetFile(gFile);
-            init = fOutputEventHandler->Init("proofspecial");
-            if (!init) msg = "Failed to initialize output handler on worker using special proof output";
-         } else {
-            // Merging in memory
-            init = fOutputEventHandler->Init("proof");
-            if (!init) msg = "Failed to initialize output handler on worker";
-         }   
+         // Merging AOD's in PROOF via TProofOutputFile
+         if (fDebug > 1) Printf("   Initializing AOD output file %s...", fOutputEventHandler->GetOutputFileName());
+         init = fOutputEventHandler->Init("proof");
+         if (!init) msg = "Failed to initialize output handler on worker";
       } else {
          init = fOutputEventHandler->Init("local");
-         if (!init) msg = "Failed to initialize output handler on worker";
+         if (!init) msg = "Failed to initialize output handler";
       }
       initOK &= init;
       if (!fSelector) Error("SlaveBegin", "Selector not set");
@@ -329,7 +321,7 @@ void AliAnalysisManager::SlaveBegin(TTree *tree)
       task->CreateOutputObjects();
       if (curdir) curdir->cd();
    }
-   if (fDebug > 0) printf("<-AliAnalysisManager::SlaveBegin()\n");
+   if (fDebug > 0) Printf("<-AliAnalysisManager::SlaveBegin()");
 }
 
 //______________________________________________________________________________
@@ -348,7 +340,7 @@ Bool_t AliAnalysisManager::Notify()
       return kFALSE;
    }   
    
-   if (fDebug > 0) printf("->AliAnalysisManager::Notify() file: %s\n", curfile->GetName());
+   if (fDebug > 0) Printf("->AliAnalysisManager::Notify() file: %s", curfile->GetName());
    TIter next(fTasks);
    AliAnalysisTask *task;
    // Call Notify for all tasks
@@ -367,7 +359,7 @@ Bool_t AliAnalysisManager::Notify()
    if (fMCtruthEventHandler) {
        fMCtruthEventHandler->Notify(curfile->GetName());
    }
-   if (fDebug > 0) printf("<-AliAnalysisManager::Notify()\n");
+   if (fDebug > 0) Printf("<-AliAnalysisManager::Notify()");
    return kTRUE;
 }    
 
@@ -391,7 +383,7 @@ Bool_t AliAnalysisManager::Process(Long64_t entry)
   //  The entry is always the local entry number in the current tree.
   //  Assuming that fChain is the pointer to the TChain being processed,
   //  use fChain->GetTree()->GetEntry(entry).
-   if (fDebug > 0) printf("->AliAnalysisManager::Process(%lld)\n", entry);
+   if (fDebug > 0) Printf("->AliAnalysisManager::Process(%lld)", entry);
 
    if (fInputEventHandler)   fInputEventHandler  ->BeginEvent(entry);
    if (fOutputEventHandler)  fOutputEventHandler ->BeginEvent(entry);
@@ -399,7 +391,7 @@ Bool_t AliAnalysisManager::Process(Long64_t entry)
    
    GetEntry(entry);
    ExecAnalysis();
-   if (fDebug > 0) printf("<-AliAnalysisManager::Process()\n");
+   if (fDebug > 0) Printf("<-AliAnalysisManager::Process()");
    return kTRUE;
 }
 
@@ -408,7 +400,7 @@ void AliAnalysisManager::PackOutput(TList *target)
 {
   // Pack all output data containers in the output list. Called at SlaveTerminate
   // stage in PROOF case for each slave.
-   if (fDebug > 0) printf("->AliAnalysisManager::PackOutput()\n");
+   if (fDebug > 0) Printf("->AliAnalysisManager::PackOutput()");
    if (!target) {
       Error("PackOutput", "No target. Aborting.");
       return;
@@ -423,9 +415,9 @@ void AliAnalysisManager::PackOutput(TList *target)
    AliAnalysisTask *task;
    while ((task=(AliAnalysisTask*)nexttask())) {
       if (!task->IsPostEventLoop()) {
-         if (fDebug > 0) printf("->FinishTaskOutput: task %s\n", task->GetName());
+         if (fDebug > 0) Printf("->FinishTaskOutput: task %s", task->GetName());
          task->FinishTaskOutput();
-         if (fDebug > 0) printf("<-FinishTaskOutput: task %s\n", task->GetName());
+         if (fDebug > 0) Printf("<-FinishTaskOutput: task %s", task->GetName());
       }
    }      
    
@@ -440,11 +432,12 @@ void AliAnalysisManager::PackOutput(TList *target)
          const char *filename = output->GetFileName();
          if (!(strcmp(filename, "default")) && fOutputEventHandler) {
             isManagedByHandler = kTRUE;
+            Printf("#### Handler output. Extra: %s", fExtraFiles.Data());
             filename = fOutputEventHandler->GetOutputFileName();
          }
          // Check if data was posted to this container. If not, issue an error.
          if (!output->GetData() && !isManagedByHandler) {
-            Error("PackOutput", "No data for output container %s. Forgot to PostData ?\n", output->GetName());
+            Error("PackOutput", "No data for output container %s. Forgot to PostData ?", output->GetName());
             continue;
          }   
          if (!output->IsSpecialOutput()) {
@@ -458,7 +451,7 @@ void AliAnalysisManager::PackOutput(TList *target)
                if (file) file->cd();
                else      file = new TFile(filename, "RECREATE"); 
                if (file->IsZombie()) {
-                  Fatal("PackOutput", "Could not recreate file %s\n", filename);
+                  Fatal("PackOutput", "Could not recreate file %s", filename);
                   return;
                }   
                output->SetFile(file);
@@ -474,15 +467,15 @@ void AliAnalysisManager::PackOutput(TList *target)
                } else {
                   if (output->GetData()->InheritsFrom(TTree::Class())) {
                      TTree *tree = (TTree*)output->GetData();
-                     tree->SetDirectory(file);
+                     // tree->SetDirectory(file);
                      tree->AutoSave();
                   } else {
                      output->GetData()->Write();
                   }   
                }      
-               if (fDebug > 1) printf("PackOutput %s: memory merge, file resident output\n", output->GetName());
+               if (fDebug > 1) Printf("PackOutput %s: memory merge, file resident output", output->GetName());
                if (fDebug > 2) {
-                  printf("   file %s listing content:\n", filename);
+                  Printf("   file %s listing content:", filename);
                   file->ls();
                }   
                file->Close();
@@ -490,7 +483,7 @@ void AliAnalysisManager::PackOutput(TList *target)
                if (opwd) opwd->cd();
             } else {
                // Memory-resident outputs   
-               if (fDebug > 1) printf("PackOutput %s: memory merge memory resident output\n", filename);
+               if (fDebug > 1) Printf("PackOutput %s: memory merge memory resident output", filename);
             }   
             AliAnalysisDataWrapper *wrap = 0;
             if (isManagedByHandler) {
@@ -502,21 +495,9 @@ void AliAnalysisManager::PackOutput(TList *target)
             wrap->SetDeleteData(kFALSE);
             target->Add(wrap);
          } else {
-         // Special outputs
+         // Special outputs. The file must be opened and connected to the container.
             TDirectory *opwd = gDirectory;
             TFile *file = output->GetFile();
-            if (fDebug > 1 && file) printf("PackOutput %s: file merge, special output\n", output->GetName());
-            if (isManagedByHandler) {
-               // Terminate IO for files managed by the output handler
-               if (file) file->Write();
-               if (file && fDebug > 2) {
-                  printf("   handled file %s listing content:\n", file->GetName());
-                  file->ls();
-               }   
-               fOutputEventHandler->TerminateIO();
-               continue;
-            }   
-            
             if (!file) {
                AliAnalysisTask *producer = output->GetProducer();
                Error("PackOutput", 
@@ -524,30 +505,41 @@ void AliAnalysisManager::PackOutput(TList *target)
                      output->GetFileName(), output->GetName(), producer->ClassName());
                continue;
             }   
-            file->cd();
-            // Release object ownership to users after writing data to file
-            if (output->GetData()->InheritsFrom(TCollection::Class())) {
-               // If data is a collection, we set the name of the collection 
-               // as the one of the container and we save as a single key.
-               TCollection *coll = (TCollection*)output->GetData();
-               coll->SetName(output->GetName());
-               coll->Write(output->GetName(), TObject::kSingleKey);
-            } else {
-               if (output->GetData()->InheritsFrom(TTree::Class())) {
-                  TTree *tree = (TTree*)output->GetData();
-                  tree->SetDirectory(file);
-                  tree->AutoSave();
-               } else {
-                  output->GetData()->Write();
+            TString outFilename = file->GetName();
+            if (fDebug > 1) Printf("PackOutput %s: special output", output->GetName());
+            if (isManagedByHandler) {
+               // Terminate IO for files managed by the output handler
+               if (file) file->Write();
+               if (file && fDebug > 2) {
+                  Printf("   handled file %s listing content:", file->GetName());
+                  file->ls();
                }   
-            }      
-            file->Clear();
-            if (fDebug > 2) {
-               printf("   file %s listing content:\n", output->GetFileName());
-               file->ls();
+               fOutputEventHandler->TerminateIO();
+            } else {               
+               file->cd();
+               // Release object ownership to users after writing data to file
+               if (output->GetData()->InheritsFrom(TCollection::Class())) {
+                  // If data is a collection, we set the name of the collection 
+                  // as the one of the container and we save as a single key.
+                  TCollection *coll = (TCollection*)output->GetData();
+                  coll->SetName(output->GetName());
+                  coll->Write(output->GetName(), TObject::kSingleKey);
+               } else {
+                  if (output->GetData()->InheritsFrom(TTree::Class())) {
+                     TTree *tree = (TTree*)output->GetData();
+                     tree->SetDirectory(file);
+                     tree->AutoSave();
+                  } else {
+                     output->GetData()->Write();
+                  }   
+               }      
+               file->Clear();
+               if (fDebug > 2) {
+                  Printf("   file %s listing content:", output->GetFileName());
+                  file->ls();
+               }
+               file->Close();
             }
-            TString outFilename = file->GetName();
-            file->Close();
             // Restore current directory
             if (opwd) opwd->cd();
             // Check if a special output location was provided or the output files have to be merged
@@ -555,25 +547,57 @@ void AliAnalysisManager::PackOutput(TList *target)
                TString remote = fSpecialOutputLocation;
                remote += "/";
                Int_t gid = gROOT->ProcessLine("gProofServ->GetGroupId();");
-               remote += Form("%s_%d_", gSystem->HostName(), gid);
-               remote += output->GetFileName();
+               if (remote.BeginsWith("alien://")) {
+                  gROOT->ProcessLine("TGrid::Connect(\"alien://pcapiserv01.cern.ch:10000\", gProofServ->GetUser());");
+                  remote += outFilename;
+                  remote.ReplaceAll(".root", Form("_%d.root", gid));
+               } else {   
+                  remote += Form("%s_%d_", gSystem->HostName(), gid);
+                  remote += outFilename;
+               }   
+               if (fDebug > 1) 
+                  Info("PackOutput", "Output file for container %s to be copied \n   at: %s. No merging.",
+                       output->GetName(), remote.Data());
                TFile::Cp ( outFilename.Data(), remote.Data() );
+               // Copy extra outputs
+               if (fExtraFiles.Length() && isManagedByHandler) {
+                  TObjArray *arr = fExtraFiles.Tokenize(" ");
+                  TObjString *os;
+                  TIter nextfilename(arr);
+                  while ((os=(TObjString*)nextfilename())) {
+                     outFilename = os->GetString();
+                     remote = fSpecialOutputLocation;
+                     remote += "/";
+                     if (remote.BeginsWith("alien://")) {
+                        remote += outFilename;
+                        remote.ReplaceAll(".root", Form("_%d.root", gid));
+                     } else {   
+                        remote += Form("%s_%d_", gSystem->HostName(), gid);
+                        remote += outFilename;
+                     }   
+                     if (fDebug > 1) 
+                        Info("PackOutput", "Extra AOD file %s to be copied \n   at: %s. No merging.",
+                             outFilename.Data(), remote.Data());
+                     TFile::Cp ( outFilename.Data(), remote.Data() );
+                  }   
+                  delete arr;
+               }   
             } else {
             // No special location specified-> use TProofOutputFile as merging utility
             // The file at this output slot must be opened in CreateOutputObjects
-               if (fDebug > 1) printf("   File %s to be merged...\n", output->GetFileName());
+               if (fDebug > 1) Printf("   File for container %s to be merged via file merger...", output->GetName());
             }
          }      
       }
    } 
-   if (fDebug > 0) printf("<-AliAnalysisManager::PackOutput: output list contains %d containers\n", target->GetSize());
+   if (fDebug > 0) Printf("<-AliAnalysisManager::PackOutput: output list contains %d containers", target->GetSize());
 }
 
 //______________________________________________________________________________
 void AliAnalysisManager::ImportWrappers(TList *source)
 {
 // Import data in output containers from wrappers coming in source.
-   if (fDebug > 0) printf("->AliAnalysisManager::ImportWrappers()\n");
+   if (fDebug > 0) Printf("->AliAnalysisManager::ImportWrappers()");
    TIter next(fOutputs);
    AliAnalysisDataContainer *cont;
    AliAnalysisDataWrapper   *wrap;
@@ -589,37 +613,19 @@ void AliAnalysisManager::ImportWrappers(TList *source)
          filename = fOutputEventHandler->GetOutputFileName();
       }
       if (cont->IsSpecialOutput() || inGrid) {
-         if (strlen(fSpecialOutputLocation.Data()) && !isManagedByHandler) continue;
+         if (strlen(fSpecialOutputLocation.Data())) continue;
          // Copy merged file from PROOF scratch space. 
          // In case of grid the files are already in the current directory.
          if (!inGrid) {
-            char full_path[512];
-            char ch_url[512];
-            TObject *pof =  source->FindObject(filename);
-            if (!pof || !pof->InheritsFrom("TProofOutputFile")) {
-               Error("ImportWrappers", "TProofOutputFile object not found in output list for container %s", cont->GetName());
-               continue;
-            }
-            gROOT->ProcessLine(Form("sprintf((char*)0x%lx, \"%%s\", ((TProofOutputFile*)0x%lx)->GetOutputFileName();)", full_path, pof));
-            gROOT->ProcessLine(Form("sprintf((char*)0x%lx, \"%%s\", gProof->GetUrl();)", ch_url));
-            TString clientUrl(ch_url);
-            TString full_path_str(full_path);
-            if (clientUrl.Contains("localhost")){
-               TObjArray* array = full_path_str.Tokenize ( "//" );
-               TObjString *strobj = ( TObjString *)array->At(1);
-               TObjArray* arrayPort = strobj->GetString().Tokenize ( ":" );
-               TObjString *strobjPort = ( TObjString *) arrayPort->At(1);
-               full_path_str.ReplaceAll(strobj->GetString().Data(),"localhost:PORT");
-               full_path_str.ReplaceAll(":PORT",Form(":%s",strobjPort->GetString().Data()));
-               if (fDebug > 1) Info("ImportWrappers","Using tunnel from %s to %s",full_path_str.Data(),filename);
-            }
-            if (fDebug > 1) 
-               printf("   Copying file %s from PROOF scratch space\n", full_path_str.Data());
-            Bool_t gotit = TFile::Cp(full_path_str.Data(), filename); 
-            if (!gotit) {
-               Error("ImportWrappers", "Could not get file %s from proof scratch space", cont->GetFileName());
-               continue;
+            if (isManagedByHandler && fExtraFiles.Length()) {
+               // Copy extra registered dAOD files.
+               TObjArray *arr = fExtraFiles.Tokenize(" ");
+               TObjString *os;
+               TIter nextfilename(arr);
+               while ((os=(TObjString*)nextfilename())) GetFileFromWrapper(os->GetString(), source);
+               delete arr;
             }
+            if (!GetFileFromWrapper(filename, source)) continue;
          }   
          // Normally we should connect data from the copied file to the
          // corresponding output container, but it is not obvious how to do this
@@ -655,25 +661,25 @@ void AliAnalysisManager::ImportWrappers(TList *source)
       }
       icont++;
       if (fDebug > 1) {
-         printf("   Importing data for container %s", cont->GetName());
-         if (strlen(filename)) printf("    -> file %s\n", filename);
-         else printf("\n");
+         Printf("   Importing data for container %s", cont->GetName());
+         if (strlen(filename)) Printf("    -> file %s", filename);
+         else Printf("");
       }   
       cont->ImportData(wrap);
    }         
-   if (fDebug > 0) printf("<-AliAnalysisManager::ImportWrappers(): %d containers imported\n", icont);
+   if (fDebug > 0) Printf("<-AliAnalysisManager::ImportWrappers(): %d containers imported", icont);
 }
 
 //______________________________________________________________________________
 void AliAnalysisManager::UnpackOutput(TList *source)
 {
   // Called by AliAnalysisSelector::Terminate only on the client.
-   if (fDebug > 0) printf("->AliAnalysisManager::UnpackOutput()\n");
+   if (fDebug > 0) Printf("->AliAnalysisManager::UnpackOutput()");
    if (!source) {
       Error("UnpackOutput", "No target. Aborting.");
       return;
    }
-   if (fDebug > 1) printf("   Source list contains %d containers\n", source->GetSize());
+   if (fDebug > 1) Printf("   Source list contains %d containers", source->GetSize());
 
    if (fMode == kProofAnalysis) ImportWrappers(source);
 
@@ -692,13 +698,13 @@ void AliAnalysisManager::UnpackOutput(TList *source)
             task->CheckNotify(kTRUE);
             // If task is active, execute it
             if (task->IsPostEventLoop() && task->IsActive()) {
-               if (fDebug > 0) printf("== Executing post event loop task %s\n", task->GetName());
+               if (fDebug > 0) Printf("== Executing post event loop task %s", task->GetName());
                task->ExecuteTask();
             }   
          }
       }   
    }
-   if (fDebug > 0) printf("<-AliAnalysisManager::UnpackOutput()\n");
+   if (fDebug > 0) Printf("<-AliAnalysisManager::UnpackOutput()");
 }
 
 //______________________________________________________________________________
@@ -707,7 +713,7 @@ void AliAnalysisManager::Terminate()
   // The Terminate() function is the last function to be called during
   // a query. It always runs on the client, it can be used to present
   // the results graphically.
-   if (fDebug > 0) printf("->AliAnalysisManager::Terminate()\n");
+   if (fDebug > 0) Printf("->AliAnalysisManager::Terminate()");
    AliAnalysisTask *task;
    TIter next(fTasks);
    // Call Terminate() for tasks
@@ -724,7 +730,7 @@ void AliAnalysisManager::Terminate()
          if (fOutputEventHandler) filename = fOutputEventHandler->GetOutputFileName();
          TFile *aodfile = (TFile*)gROOT->GetListOfFiles()->FindObject(filename);
          if (aodfile) {
-            if (fDebug > 1) printf("Writing output handler file: %s\n", filename);
+            if (fDebug > 1) Printf("Writing output handler file: %s", filename);
             aodfile->Write();
             continue;
          }   
@@ -738,7 +744,7 @@ void AliAnalysisManager::Terminate()
       if (file->IsZombie()) continue;
       output->SetFile(file);
       file->cd();
-      if (fDebug > 1) printf("   writing output data %s to file %s\n", output->GetData()->GetName(), file->GetName());
+      if (fDebug > 1) Printf("   writing output data %s to file %s", output->GetData()->GetName(), file->GetName());
       if (output->GetData()->InheritsFrom(TCollection::Class())) {
       // If data is a collection, we set the name of the collection 
       // as the one of the container and we save as a single key.
@@ -760,7 +766,16 @@ void AliAnalysisManager::Terminate()
    while ((output=(AliAnalysisDataContainer*)next1())) {
       // Close all files at output
       TDirectory *opwd = gDirectory;
-      if (output->GetFile()) output->GetFile()->Close();
+      if (output->GetFile()) {
+         output->GetFile()->Close();
+         // Copy merged outputs in alien if requested
+         if (fSpecialOutputLocation.Length() && 
+             fSpecialOutputLocation.BeginsWith("alien://")) {
+            Info("Terminate", "Copy file %s to %s", output->GetFile()->GetName(),fSpecialOutputLocation.Data()); 
+            TFile::Cp(output->GetFile()->GetName(), 
+                      Form("%s/%s", fSpecialOutputLocation.Data(), output->GetFile()->GetName()));
+         }             
+      }   
       if (opwd) opwd->cd();
    }   
 
@@ -788,8 +803,14 @@ void AliAnalysisManager::Terminate()
          delete tree;
       }
       if (cdir) cdir->cd();
+   }
+   // Validate the output files
+   if (ValidateOutputFiles()) {
+      ofstream out;
+      out.open("outputs_valid", ios::out);
+      out.close();
    }      
-   if (fDebug > 0) printf("<-AliAnalysisManager::Terminate()\n");
+   if (fDebug > 0) Printf("<-AliAnalysisManager::Terminate()");
 }
 
 //______________________________________________________________________________
@@ -821,7 +842,7 @@ AliAnalysisDataContainer *AliAnalysisManager::CreateContainer(const char *name,
 //   kInputContainer   = 1, used to store input data
 //   kOutputContainer  = 2, used for posting results
    if (fContainers->FindObject(name)) {
-      Error("CreateContainer","A container named %s already defined !\n",name);
+      Error("CreateContainer","A container named %s already defined !",name);
       return NULL;
    }   
    AliAnalysisDataContainer *cont = new AliAnalysisDataContainer(name, datatype);
@@ -895,8 +916,10 @@ Bool_t AliAnalysisManager::InitAnalysis()
 {
 // Initialization of analysis chain of tasks. Should be called after all tasks
 // and data containers are properly connected
-   // Check for input/output containers
+   // Reset flag and remove valid_outputs file if exists
    fInitOK = kFALSE;
+   if (!gSystem->AccessPathName("outputs_valid"))
+      gSystem->Unlink("outputs_valid");
    // Check for top tasks (depending only on input data containers)
    if (!fTasks->First()) {
       Error("InitAnalysis", "Analysis has no tasks !");
@@ -1024,7 +1047,7 @@ void AliAnalysisManager::StartAnalysis(const char *type, TTree *tree, Long64_t n
       Error("StartAnalysis","Analysis manager was not initialized !");
       return;
    }
-   if (fDebug > 0) printf("StartAnalysis %s\n",GetName());
+   if (fDebug > 0) Printf("StartAnalysis %s",GetName());
    TString anaType = type;
    anaType.ToLower();
    fMode = kLocalAnalysis;
@@ -1048,7 +1071,10 @@ void AliAnalysisManager::StartAnalysis(const char *type, TTree *tree, Long64_t n
       while ((task=(AliAnalysisTask*)nextTask())) {
          task->LocalInit();
       }
-      fGridHandler->StartAnalysis(nentries, firstentry);
+      if (!fGridHandler->StartAnalysis(nentries, firstentry)) {
+         Info("StartAnalysis", "Grid analysis was stopped and cannot be terminated");
+         return;
+      }   
 
       // Terminate grid analysis
       if (fSelector && fSelector->GetStatus() == -1) return;
@@ -1109,7 +1135,7 @@ void AliAnalysisManager::StartAnalysis(const char *type, TTree *tree, Long64_t n
          break;
       case kProofAnalysis:
          if (!gROOT->GetListOfProofs() || !gROOT->GetListOfProofs()->GetEntries()) {
-            printf("StartAnalysis: no PROOF!!!\n");
+            Error("StartAnalysis", "No PROOF!!! Aborting.");
             return;
          }   
          sprintf(line, "gProof->AddInput((TObject*)0x%lx);", (ULong_t)this);
@@ -1119,7 +1145,7 @@ void AliAnalysisManager::StartAnalysis(const char *type, TTree *tree, Long64_t n
             cout << "===== RUNNING PROOF ANALYSIS " << GetName() << " ON CHAIN " << chain->GetName() << endl;
             chain->Process("AliAnalysisSelector", "", nentries, firstentry);
          } else {
-            printf("StartAnalysis: no chain\n");
+            Error("StartAnalysis", "No chain!!! Aborting.");
             return;
          }      
          break;
@@ -1155,7 +1181,7 @@ void AliAnalysisManager::StartAnalysis(const char *type, const char *dataset, Lo
       Error("StartAnalysis","Analysis manager was not initialized !");
       return;
    }
-   if (fDebug > 0) printf("StartAnalysis %s\n",GetName());
+   if (fDebug > 0) Printf("StartAnalysis %s",GetName());
    TString anaType = type;
    anaType.ToLower();
    if (!anaType.Contains("proof")) {
@@ -1177,7 +1203,7 @@ void AliAnalysisManager::StartAnalysis(const char *type, const char *dataset, Lo
    }
    
    if (!gROOT->GetListOfProofs() || !gROOT->GetListOfProofs()->GetEntries()) {
-      printf("StartAnalysis: no PROOF!!!\n");
+      Error("StartAnalysis", "No PROOF!!! Aborting.");
       return;
    }   
    sprintf(line, "gProof->AddInput((TObject*)0x%lx);", (ULong_t)this);
@@ -1201,18 +1227,23 @@ TFile *AliAnalysisManager::OpenProofFile(const char *filename, const char *optio
    if (fMode!=kProofAnalysis || !fSelector) {
       Error("OpenProofFile","Cannot open PROOF file %s",filename);
       return NULL;
+   } 
+   if (fSpecialOutputLocation.Length()) {
+      TFile *f = (TFile*)gROOT->GetListOfFiles()->FindObject(filename);
+      if (!f) f = new TFile(filename, option);
+      return f;
    }   
    sprintf(line, "TProofOutputFile *pf = new TProofOutputFile(\"%s\");", filename);
-   if (fDebug > 1) printf("=== %s\n", line);
+   if (fDebug > 1) Printf("=== %s", line);
    gROOT->ProcessLine(line);
    sprintf(line, "pf->OpenFile(\"%s\");", option);
    gROOT->ProcessLine(line);
    if (fDebug > 1) {
       gROOT->ProcessLine("pf->Print()");
-      printf(" == proof file name: %s\n", gFile->GetName());
+      Printf(" == proof file name: %s", gFile->GetName());
    }   
    sprintf(line, "((TList*)0x%lx)->Add(pf);",(ULong_t)fSelector->GetOutputList());
-   if (fDebug > 1) printf("=== %s\n", line);
+   if (fDebug > 1) Printf("=== %s", line);
    gROOT->ProcessLine(line);
    return gFile;
 }   
@@ -1312,5 +1343,101 @@ void AliAnalysisManager::SetOutputEventHandler(AliVEventHandler*  handler)
 // Set the input event handler and create a container for it.
    fOutputEventHandler   = handler;
    fCommonOutput = CreateContainer("cAUTO_OUTPUT", TTree::Class(), AliAnalysisManager::kOutputContainer, "default");
+   fCommonOutput->SetSpecialOutput();
    Warning("SetOutputEventHandler", " An automatic output container for the output tree was created.\nPlease use: mgr->GetCommonOutputContainer() to access it.");
 }
+
+//______________________________________________________________________________
+void AliAnalysisManager::RegisterExtraFile(const char *fname)
+{
+// This method is used externally to register output files which are not
+// connected to any output container, so that the manager can properly register,
+// retrieve or merge them when running in distributed mode. The file names are
+// separated by blancs. The method has to be called in MyAnalysisTask::LocalInit().
+   if (fExtraFiles.Length()) fExtraFiles += " ";
+   fExtraFiles += fname;
+}
+
+//______________________________________________________________________________
+Bool_t AliAnalysisManager::GetFileFromWrapper(const char *filename, TList *source)
+{
+// Copy a file from the location specified ina the wrapper with the same name from the source list.
+   char full_path[512];
+   char ch_url[512];
+   TObject *pof =  source->FindObject(filename);
+   if (!pof || !pof->InheritsFrom("TProofOutputFile")) {
+      Error("GetFileFromWrapper", "TProofOutputFile object not found in output list for file %s", filename);
+      return kFALSE;
+   }
+   gROOT->ProcessLine(Form("sprintf((char*)0x%lx, \"%%s\", ((TProofOutputFile*)0x%lx)->GetOutputFileName();)", full_path, pof));
+   gROOT->ProcessLine(Form("sprintf((char*)0x%lx, \"%%s\", gProof->GetUrl();)", ch_url));
+   TString clientUrl(ch_url);
+   TString full_path_str(full_path);
+   if (clientUrl.Contains("localhost")){
+      TObjArray* array = full_path_str.Tokenize ( "//" );
+      TObjString *strobj = ( TObjString *)array->At(1);
+      TObjArray* arrayPort = strobj->GetString().Tokenize ( ":" );
+      TObjString *strobjPort = ( TObjString *) arrayPort->At(1);
+      full_path_str.ReplaceAll(strobj->GetString().Data(),"localhost:PORT");
+      full_path_str.ReplaceAll(":PORT",Form(":%s",strobjPort->GetString().Data()));
+      if (fDebug > 1) Info("GetFileFromWrapper","Using tunnel from %s to %s",full_path_str.Data(),filename);
+      delete arrayPort;
+      delete array;
+   }
+   if (fDebug > 1) 
+      Info("GetFileFromWrapper","Copying file %s from PROOF scratch space", full_path_str.Data());
+   Bool_t gotit = TFile::Cp(full_path_str.Data(), filename); 
+   if (!gotit)
+      Error("GetFileFromWrapper", "Could not get file %s from proof scratch space", filename);
+   return gotit;
+}
+
+//______________________________________________________________________________
+void AliAnalysisManager::GetAnalysisTypeString(TString &type) const
+{
+// Fill analysis type in the provided string.
+   switch (fMode) {
+      case kLocalAnalysis:
+         type = "local";
+         return;
+      case kProofAnalysis:
+         type = "proof";
+         return;
+      case kGridAnalysis:
+         type = "grid";
+         return;
+      case kMixingAnalysis:
+         type = "mix";
+   }
+}
+
+//______________________________________________________________________________
+Bool_t AliAnalysisManager::ValidateOutputFiles() const
+{
+// Validate all output files.
+   TIter next(fOutputs);
+   AliAnalysisDataContainer *output;
+   TDirectory *cdir = gDirectory;
+   while ((output=(AliAnalysisDataContainer*)next())) {
+      TString filename = output->GetFileName();
+      if (filename == "default") {
+         if (!fOutputEventHandler) continue;
+         filename = fOutputEventHandler->GetOutputFileName();
+      }
+      // Check if the file is closed
+      TFile *file = (TFile*)gROOT->GetListOfFiles()->FindObject(filename);
+      if (file) {
+         Warning("ValidateOutputs", "File %s was not closed. Closing.", filename.Data());
+         file->Close();
+      }
+      file = TFile::Open(filename);
+      if (!file || file->IsZombie() || file->TestBit(TFile::kRecovered)) {
+         Error("ValidateOutputs", "Output file <%s> was not created or invalid", filename.Data());
+         cdir->cd();
+         return kFALSE;
+      }
+      file->Close();
+   }
+   cdir->cd();
+   return kTRUE;
+}