]> git.uio.no Git - u/mrichter/AliRoot.git/blobdiff - ANALYSIS/AliAnalysisAlien.cxx
Diffractive event tagging fix
[u/mrichter/AliRoot.git] / ANALYSIS / AliAnalysisAlien.cxx
index e5a3323a28f1edd8908af46a1c5fb7f836373d3e..b622dc2de3678098641f160065a225b8624cff1f 100644 (file)
@@ -131,13 +131,17 @@ AliAnalysisAlien::AliAnalysisAlien()
                   fProofCluster(),
                   fProofDataSet(),
                   fFileForTestMode(),
-                  fRootVersionForProof(),
                   fAliRootMode(),
+                  fProofProcessOpt(),
                   fMergeDirName(),
                   fInputFiles(0),
                   fPackages(0),
                   fModules(0),
-                  fProofParam()
+                  fProofParam(),
+                  fDropToShell(true),
+                  fGridJobIDs(""),
+                  fGridStages(""),
+                  fFriendLibs("")
 {
 // Dummy ctor.
    SetDefaults();
@@ -204,13 +208,17 @@ AliAnalysisAlien::AliAnalysisAlien(const char *name)
                   fProofCluster(),
                   fProofDataSet(),
                   fFileForTestMode(),
-                  fRootVersionForProof(),
                   fAliRootMode(),
+                  fProofProcessOpt(),
                   fMergeDirName(),
                   fInputFiles(0),
                   fPackages(0),
                   fModules(0),
-                  fProofParam()
+                  fProofParam(),
+                  fDropToShell(true),
+                  fGridJobIDs(""),
+                  fGridStages(""),
+                  fFriendLibs("")
 {
 // Default ctor.
    SetDefaults();
@@ -277,13 +285,17 @@ AliAnalysisAlien::AliAnalysisAlien(const AliAnalysisAlien& other)
                   fProofCluster(other.fProofCluster),
                   fProofDataSet(other.fProofDataSet),
                   fFileForTestMode(other.fFileForTestMode),
-                  fRootVersionForProof(other.fRootVersionForProof),
                   fAliRootMode(other.fAliRootMode),
+                  fProofProcessOpt(other.fProofProcessOpt),
                   fMergeDirName(other.fMergeDirName),
                   fInputFiles(0),
                   fPackages(0),
                   fModules(0),
-                  fProofParam()
+                  fProofParam(),
+                  fDropToShell(other.fDropToShell),
+                  fGridJobIDs(other.fGridJobIDs),
+                  fGridStages(other.fGridStages),
+                  fFriendLibs(other.fFriendLibs)
 {
 // Copy ctor.
    fGridJDL = (TGridJDL*)gROOT->ProcessLine("new TAlienJDL()");
@@ -392,9 +404,13 @@ AliAnalysisAlien &AliAnalysisAlien::operator=(const AliAnalysisAlien& other)
       fProofCluster            = other.fProofCluster;
       fProofDataSet            = other.fProofDataSet;
       fFileForTestMode         = other.fFileForTestMode;
-      fRootVersionForProof     = other.fRootVersionForProof;
       fAliRootMode             = other.fAliRootMode;
+      fProofProcessOpt         = other.fProofProcessOpt;
       fMergeDirName            = other.fMergeDirName;
+      fDropToShell             = other.fDropToShell;
+      fGridJobIDs              = other.fGridJobIDs;
+      fGridStages              = other.fGridStages;
+      fFriendLibs              = other.fFriendLibs;
       if (other.fInputFiles) {
          fInputFiles = new TObjArray();
          TIter next(other.fInputFiles);
@@ -650,6 +666,7 @@ Bool_t AliAnalysisAlien::GenerateTest(const char *name, const char *modname)
          return kFALSE;
       }
       if (!LoadModule(mod)) return kFALSE;
+      if (!LoadFriendLibs()) return kFALSE;
    } else if (!LoadModules()) return kFALSE;
    AliAnalysisManager *mgr = AliAnalysisManager::GetAnalysisManager();
    if (!mgr->InitAnalysis()) return kFALSE;
@@ -664,6 +681,14 @@ Bool_t AliAnalysisAlien::GenerateTest(const char *name, const char *modname)
    TString execCommand = fExecutableCommand;
    SetAnalysisMacro(Form("%s.C", name));
    SetExecutable(Form("%s.sh", name));
+      fOutputFiles = GetListOfFiles("outaod");
+      // Add extra files registered to the analysis manager
+      TString extra = GetListOfFiles("ext");
+      if (!extra.IsNull()) {
+         extra.ReplaceAll(".root", "*.root");
+         if (!fOutputFiles.IsNull()) fOutputFiles += ",";
+         fOutputFiles += extra;
+      }
 //   SetExecutableCommand("aliroot -b -q ");
    SetValidationScript(Form("%s_validation.sh", name));
    WriteAnalysisFile();   
@@ -704,9 +729,37 @@ Bool_t AliAnalysisAlien::LoadModules()
       mod = (AliAnalysisTaskCfg*)fModules->At(imod);
       if (!LoadModule(mod)) return kFALSE;
    }
-   return kTRUE;
+   // Load additional friend libraries
+   return LoadFriendLibs();
 }      
 
+//______________________________________________________________________________
+Bool_t AliAnalysisAlien::LoadFriendLibs() const
+{
+// Load libraries required for reading friends.
+   if (fFriendLibs.Length()) {
+      TObjArray *list = 0;
+      TString lib;
+      if (fFriendLibs.Contains(",")) list  = fFriendLibs.Tokenize(",");
+      else                           list  = fFriendLibs.Tokenize(" ");
+      for (Int_t ilib=0; ilib<list->GetEntriesFast(); ilib++) {
+         lib = list->At(ilib)->GetName();
+         lib.ReplaceAll(".so","");
+         lib.ReplaceAll(" ","");
+         if (lib.BeginsWith("lib")) lib.Remove(0, 3);
+         lib.Prepend("lib");
+         Int_t loaded = strlen(gSystem->GetLibraries(lib,"",kFALSE));
+         if (!loaded) loaded = gSystem->Load(lib);
+         if (loaded < 0) {
+            Error("LoadModules", "Cannot load library for friends %s", lib.Data());
+            return kFALSE;
+         }
+      }
+      delete list;
+   }
+   return kTRUE;
+}   
+
 //______________________________________________________________________________
 void AliAnalysisAlien::SetRunPrefix(const char *prefix)
 {
@@ -1682,6 +1735,7 @@ Bool_t AliAnalysisAlien::CreateJDL()
             fMergingJDL->AddToInputSandbox(Form("LF:%s/%s", workdir.Data(), obj->GetName()));
          }
       }
+      const char *comment = "List of output files and archives";
       if (fOutputArchive.Length()) {
          TString outputArchive = fOutputArchive;
          if (!fRegisterExcludes.IsNull()) {
@@ -1696,14 +1750,12 @@ Bool_t AliAnalysisAlien::CreateJDL()
          arr = outputArchive.Tokenize(" ");
          TIter next(arr);
          Bool_t first = kTRUE;
-         const char *comment = "Files to be archived";
-         const char *comment1 = comment;
          while ((os=(TObjString*)next())) {
-            if (!first) comment = NULL;
             if (!os->GetString().Contains("@") && fCloseSE.Length())
-               fGridJDL->AddToOutputArchive(Form("%s@%s",os->GetString().Data(), fCloseSE.Data()), comment); 
+               fGridJDL->AddToSet("Output", Form("%s@%s",os->GetString().Data(), fCloseSE.Data()));
             else
-               fGridJDL->AddToOutputArchive(os->GetString(), comment);
+               fGridJDL->AddToSet("Output", os->GetString());
+            if (first) fGridJDL->AddToSetDescription("Output", comment);
             first = kFALSE;   
          }      
          delete arr;
@@ -1725,7 +1777,7 @@ Bool_t AliAnalysisAlien::CreateJDL()
             files.ReplaceAll(".root", "*.root");
             
             if (mgr->IsCollectThroughput())
-               outputArchive += Form("root_archive.zip:%s,*.stat,*%s@disk=%d",files.Data(),mgr->GetFileInfoLog(),fNreplicas);
+               outputArchive += Form("root_archive.zip:%s,*.stat@disk=%d %s@disk=%d",files.Data(),fNreplicas, mgr->GetFileInfoLog(),fNreplicas);
             else
                outputArchive += Form("root_archive.zip:%s,*.stat@disk=%d",files.Data(),fNreplicas);
          } else {
@@ -1735,15 +1787,14 @@ Bool_t AliAnalysisAlien::CreateJDL()
          }   
          arr = outputArchive.Tokenize(" ");
          TIter next2(arr);
-         comment = comment1;
          first = kTRUE;
          while ((os=(TObjString*)next2())) {
-            if (!first) comment = NULL;
             TString currentfile = os->GetString();
             if (!currentfile.Contains("@") && fCloseSE.Length())
-               fMergingJDL->AddToOutputArchive(Form("%s@%s",currentfile.Data(), fCloseSE.Data()), comment);
+               fMergingJDL->AddToSet("Output", Form("%s@%s",currentfile.Data(), fCloseSE.Data()));
             else
-               fMergingJDL->AddToOutputArchive(currentfile, comment);
+               fMergingJDL->AddToSet("Output", currentfile);
+            if (first) fMergingJDL->AddToSetDescription("Output", comment);
             first = kFALSE;   
          }      
          delete arr;         
@@ -1751,7 +1802,6 @@ Bool_t AliAnalysisAlien::CreateJDL()
       arr = fOutputFiles.Tokenize(",");
       TIter next(arr);
       Bool_t first = kTRUE;
-      const char *comment = "Files to be saved";
       while ((os=(TObjString*)next())) {
          // Ignore ouputs in jdl that are also in outputarchive
          TString sout = os->GetString();
@@ -1763,15 +1813,17 @@ Bool_t AliAnalysisAlien::CreateJDL()
          if (fRegisterExcludes.Contains(sout)) continue;
          if (!first) comment = NULL;
          if (!os->GetString().Contains("@") && fCloseSE.Length())
-            fGridJDL->AddToOutputSandbox(Form("%s@%s",os->GetString().Data(), fCloseSE.Data()), comment); 
+            fGridJDL->AddToSet("Output", Form("%s@%s",os->GetString().Data(), fCloseSE.Data())); 
          else
-            fGridJDL->AddToOutputSandbox(os->GetString(), comment);
-         first = kFALSE;
+            fGridJDL->AddToSet("Output", os->GetString());
+         if (first) fGridJDL->AddToSetDescription("Output", comment); 
          if (fMergeExcludes.Contains(sout)) continue;   
          if (!os->GetString().Contains("@") && fCloseSE.Length())
-            fMergingJDL->AddToOutputSandbox(Form("%s@%s",os->GetString().Data(), fCloseSE.Data()), comment); 
+            fMergingJDL->AddToSet("Output", Form("%s@%s",os->GetString().Data(), fCloseSE.Data())); 
          else
-            fMergingJDL->AddToOutputSandbox(os->GetString(), comment);
+            fMergingJDL->AddToSet("Output", os->GetString());
+         if (first) fMergingJDL->AddToSetDescription("Output", comment);
+         first = kFALSE;
       }   
       delete arr;
       fGridJDL->SetPrice((UInt_t)fPrice, "AliEn price for this job");
@@ -1924,7 +1976,7 @@ Bool_t AliAnalysisAlien::WriteJDL(Bool_t copy)
    }  
    TString sjdl2 = fMergingJDL->Generate();
    Int_t index, index1;
-   sjdl.ReplaceAll("\"LF:", "\n   \"LF:");
+   sjdl.ReplaceAll("\",\"", "\",\n   \"");
    sjdl.ReplaceAll("(member", "\n   (member");
    sjdl.ReplaceAll("\",\"VO_", "\",\n   \"VO_");
    sjdl.ReplaceAll("{", "{\n   ");
@@ -1932,7 +1984,7 @@ Bool_t AliAnalysisAlien::WriteJDL(Bool_t copy)
    sjdl.ReplaceAll("{\n   \n", "{\n");
    sjdl.ReplaceAll("\n\n", "\n");
    sjdl.ReplaceAll("OutputDirectory", "OutputDir");
-   sjdl1.ReplaceAll("\"LF:", "\n   \"LF:");
+   sjdl1.ReplaceAll("\",\"", "\",\n   \"");
    sjdl1.ReplaceAll("(member", "\n   (member");
    sjdl1.ReplaceAll("\",\"VO_", "\",\n   \"VO_");
    sjdl1.ReplaceAll("{", "{\n   ");
@@ -1940,7 +1992,7 @@ Bool_t AliAnalysisAlien::WriteJDL(Bool_t copy)
    sjdl1.ReplaceAll("{\n   \n", "{\n");
    sjdl1.ReplaceAll("\n\n", "\n");
    sjdl1.ReplaceAll("OutputDirectory", "OutputDir");
-   sjdl2.ReplaceAll("\"LF:", "\n   \"LF:");
+   sjdl2.ReplaceAll("\",\"", "\",\n   \"");
    sjdl2.ReplaceAll("(member", "\n   (member");
    sjdl2.ReplaceAll("\",\"VO_", "\",\n   \"VO_");
    sjdl2.ReplaceAll("{", "{\n   ");
@@ -2376,8 +2428,8 @@ void AliAnalysisAlien::Print(Option_t *) const
       printf("=   Soft reset signal will be send to master______ CHANGE BEHAVIOR AFTER COMPLETION\n");      
       if (fProofReset>1)   
       printf("=   Hard reset signal will be send to master______ CHANGE BEHAVIOR AFTER COMPLETION\n");      
-      if (!fRootVersionForProof.IsNull())
-      printf("=   ROOT version requested________________________ %s\n", fRootVersionForProof.Data());
+      if (!fROOTVersion.IsNull())
+      printf("=   ROOT version requested________________________ %s\n", fROOTVersion.Data());
       else
       printf("=   ROOT version requested________________________ default\n");
       printf("=   AliRoot version requested_____________________ %s\n", fAliROOTVersion.Data());
@@ -2529,6 +2581,27 @@ void AliAnalysisAlien::SetDefaults()
    fOverwriteMode              = 1;
 }   
 
+//______________________________________________________________________________
+void AliAnalysisAlien::SetFriendChainName(const char *name, const char *libnames)
+{
+   // Set file name for the chain of friends and optionally additional libs to be loaded.
+   // Libs should be separated by blancs.
+   fFriendChainName = name;
+   fFriendLibs = libnames;
+   if (fFriendLibs.Length() && !fFriendLibs.Contains(".so")) {
+      Fatal("SetFriendChainName()", "You should provide explicit library names (with extension)");
+   }
+}
+
+//______________________________________________________________________________
+void AliAnalysisAlien::SetRootVersionForProof(const char *version)
+{
+// Obsolete method. Use SetROOTVersion instead
+   Warning("SetRootVersionForProof", "Obsolete. Use SetROOTVersion instead");
+   if (fROOTVersion.IsNull()) SetROOTVersion(version);
+   else Error("SetRootVersionForProof", "ROOT version already set to %s", fROOTVersion.Data());
+}
+   
 //______________________________________________________________________________
 Bool_t AliAnalysisAlien::CheckMergedFiles(const char *filename, const char *aliendir, Int_t nperchunk, const char *jdl)
 {
@@ -2580,19 +2653,26 @@ Bool_t AliAnalysisAlien::CheckMergedFiles(const char *filename, const char *alie
    // Check if this is the last stage to be done.
    Bool_t laststage = (nfiles<nperchunk);
    if (fMaxMergeStages && stage>=fMaxMergeStages) laststage = kTRUE;
+   Int_t jobId = 0;
    if (laststage) {
       printf("### Submiting final merging stage %d\n", stage);
       TString finalJDL = jdl;
       finalJDL.ReplaceAll(".jdl", "_final.jdl");
       TString query = Form("submit %s %s %d", finalJDL.Data(), aliendir, stage);
-      Int_t jobId = SubmitSingleJob(query);
-      if (!jobId) return kFALSE;      
+      jobId = SubmitSingleJob(query);
    } else {
       printf("### Submiting merging stage %d\n", stage);
       TString query = Form("submit %s %s %d", jdl, aliendir, stage);
-      Int_t jobId = SubmitSingleJob(query);
-      if (!jobId) return kFALSE;           
+      jobId = SubmitSingleJob(query);
    }
+   if (!jobId) return kFALSE;           
+
+   if (!fGridJobIDs.IsNull()) fGridJobIDs.Append(" ");
+   fGridJobIDs.Append(Form("%d", jobId));
+   if (!fGridStages.IsNull()) fGridStages.Append(" ");
+   fGridStages.Append(Form("%s_merge_stage%d", 
+                          laststage ? "final" : "partial", stage));
+
    return kTRUE;   
 }        
 
@@ -2634,14 +2714,17 @@ Int_t AliAnalysisAlien::SubmitSingleJob(const char *query)
       ::Error("SubmitSingleJob", "Your query %s could not be submitted", query);
       return 0;
    }
-   printf(" Job id: %s\n", jobId.Data());
-   return atoi(jobId);
+   Int_t ijobId = jobId.Atoi();
+   printf(" Job id: '%s' (%d)\n", jobId.Data(), ijobId);
+   return ijobId; 
 }  
 
 //______________________________________________________________________________
 Bool_t AliAnalysisAlien::MergeInfo(const char *output, const char *collection)
 {
 // Merges a collection of output files using concatenation.
+   TString scoll(collection);
+   if (!scoll.Contains(".xml")) return kFALSE;
    TGridCollection *coll = (TGridCollection*)gROOT->ProcessLine(Form("TAlienCollection::Open(\"%s\");", collection));
    if (!coll) {
       ::Error("MergeInfo", "Input XML %s collection empty.", collection);
@@ -2694,6 +2777,7 @@ Bool_t AliAnalysisAlien::MergeOutput(const char *output, const char *basedir, In
    Int_t countChunk = 0;
    Int_t countZero = nmaxmerge;
    Bool_t merged = kTRUE;
+   Bool_t isGrid = kTRUE;
    Int_t index = outputFile.Index("@");
    if (index > 0) outputFile.Remove(index);
    TString inputFile = outputFile;
@@ -2714,17 +2798,29 @@ Bool_t AliAnalysisAlien::MergeOutput(const char *output, const char *basedir, In
          listoffiles->Add(new TNamed(fname.Data(),""));
       }   
    } else if (sbasedir.Contains(".txt")) {
+      // The file having the .txt extension is expected to contain a list of
+      // folders where the output files will be looked. For alien folders,
+      // the full folder LFN is expected (starting with alien://)
       // Assume lfn's on each line
       TString line;
       ifstream in;
       in.open(sbasedir);
+      if (in.fail()) {
+         ::Error("MergeOutput", "File %s cannot be opened. Merging stopped." ,sbasedir.Data());
+         return kTRUE;
+      }           
       Int_t nfiles = 0;
       while (in.good()) {
          in >> line;
          if (line.IsNull() || line.BeginsWith("#")) continue;
+         line.Strip();
+         if (!line.Contains("alien:")) isGrid = kFALSE;
+         line += "/";
+         line += outputFile;
          nfiles++;
          listoffiles->Add(new TNamed(line.Data(),""));
       }
+      in.close();
       if (!nfiles) {
          ::Error("MergeOutput","Input file %s contains no files to be merged\n", sbasedir.Data());
          delete listoffiles;
@@ -2823,7 +2919,7 @@ Bool_t AliAnalysisAlien::MergeOutput(const char *output, const char *basedir, In
          // Loop 'find' results and get next LFN
          if (countZero == nmaxmerge) {
             // First file in chunk - create file merger and add previous chunk if any.
-            fm = new TFileMerger(kTRUE);
+            fm = new TFileMerger(isGrid);
             fm->SetFastMethod(kTRUE);
             if (previousChunk.Length()) fm->AddFile(previousChunk.Data());
             outputChunk = outputFile;
@@ -2863,7 +2959,7 @@ Bool_t AliAnalysisAlien::MergeOutput(const char *output, const char *basedir, In
    }
    // Merging stage different than 0.
    // Move to the begining of the requested chunk.
-   fm = new TFileMerger(kTRUE);
+   fm = new TFileMerger(isGrid);
    fm->SetFastMethod(kTRUE);
    while ((nextfile=next())) fm->AddFile(nextfile->GetName());
    delete listoffiles;
@@ -2975,11 +3071,13 @@ Bool_t AliAnalysisAlien::MergeOutputs()
       merged = MergeOutput(outputFile, fGridOutputDir, fMaxMergeFiles);
       if (!merged) {
          Error("MergeOutputs", "Terminate() will  NOT be executed");
-         return kFALSE;
+        delete list;
+        return kFALSE;
       }
       TFile *fileOpened = (TFile*)gROOT->GetListOfFiles()->FindObject(outputFile);
       if (fileOpened) fileOpened->Close();
    } 
+   delete list;
    return kTRUE;
 }   
 
@@ -3110,9 +3208,9 @@ Bool_t AliAnalysisAlien::StartAnalysis(Long64_t /*nentries*/, Long64_t /*firstEn
         }
       }
       // Do we need to change the ROOT version ? The success of this cannot be checked.
-      if (!fRootVersionForProof.IsNull() && !testMode) {
-         gROOT->ProcessLine(Form("TProof::Mgr(\"%s\")->SetROOTVersion(\"%s\");", 
-                            fProofCluster.Data(), fRootVersionForProof.Data()));
+      if (!fROOTVersion.IsNull() && !testMode) {
+         gROOT->ProcessLine(Form("TProof::Mgr(\"%s\")->SetROOTVersion(\"VO_ALICE@ROOT::%s\");", 
+                            fProofCluster.Data(), fROOTVersion.Data()));
       }
       // Connect to PROOF and check the status
       Long_t proof = 0;
@@ -3175,7 +3273,12 @@ Bool_t AliAnalysisAlien::StartAnalysis(Long64_t /*nentries*/, Long64_t /*firstEn
          if (!alirootMode.IsNull()) extraLibs = "ANALYSIS:OADB:ANALYSISalice";
          // Parse the extra libs for .so
          if (fAdditionalLibs.Length()) {
-            TObjArray *list = fAdditionalLibs.Tokenize(" ");
+            TString additionalLibs = fAdditionalLibs;
+            additionalLibs.Strip();
+            if (additionalLibs.Length() && fFriendLibs.Length())
+               additionalLibs += " ";
+            additionalLibs += fFriendLibs;
+            TObjArray *list = additionalLibs.Tokenize(" ");
             TIter next(list);
             TObjString *str;
             while((str=(TObjString*)next())) {
@@ -3201,10 +3304,10 @@ Bool_t AliAnalysisAlien::StartAnalysis(Long64_t /*nentries*/, Long64_t /*firstEn
             }
             if (list) delete list;            
          }
-        if (!extraLibs.IsNull()) {
-          Info("StartAnalysis", "Adding extra libs: %s",extraLibs.Data());
-          optionsList.Add(new TNamed("ALIROOT_EXTRA_LIBS",extraLibs.Data()));
-        }
+         if (!extraLibs.IsNull()) {
+           Info("StartAnalysis", "Adding extra libs: %s",extraLibs.Data());
+           optionsList.Add(new TNamed("ALIROOT_EXTRA_LIBS",extraLibs.Data()));
+         }
          // Check extra includes
          if (!fIncludePath.IsNull()) {
             TString includePath = fIncludePath;
@@ -3336,7 +3439,7 @@ Bool_t AliAnalysisAlien::StartAnalysis(Long64_t /*nentries*/, Long64_t /*firstEn
       // Compose the output archive.
       fOutputArchive = "log_archive.zip:std*@disk=1 ";
       if (mgr->IsCollectThroughput())
-         fOutputArchive += Form("root_archive.zip:%s,*.stat,*%s@disk=%d",fOutputFiles.Data(),mgr->GetFileInfoLog(),fNreplicas);
+         fOutputArchive += Form("root_archive.zip:%s,*.stat@disk=%d %s@disk=%d",fOutputFiles.Data(),fNreplicas, mgr->GetFileInfoLog(),fNreplicas);
       else
          fOutputArchive += Form("root_archive.zip:%s,*.stat@disk=%d",fOutputFiles.Data(),fNreplicas);
    }
@@ -3422,6 +3525,8 @@ Bool_t AliAnalysisAlien::StartAnalysis(Long64_t /*nentries*/, Long64_t /*firstEn
    gGrid->Cd(fGridOutputDir);
    TGridResult *res;
    TString jobID = "";
+   fGridJobIDs = "";
+   fGridStages = "";
    if (!fRunNumbers.Length() && !fRunRange[0]) {
       // Submit a given xml or a set of runs
       res = gGrid->Command(Form("submit %s", fJDLName.Data()));
@@ -3439,6 +3544,12 @@ Bool_t AliAnalysisAlien::StartAnalysis(Long64_t /*nentries*/, Long64_t /*firstEn
             \n_______________________________________________________________________",
                    fJDLName.Data(), cjobId);
             jobID = cjobId;      
+           if (jobID.Atoi()) { 
+             if (!fGridJobIDs.IsNull()) fGridJobIDs.Append(" ");
+             fGridJobIDs.Append(jobID);
+             if (!fGridStages.IsNull()) fGridStages.Append(" ");
+             fGridStages.Append("full");
+           }
          }          
          delete res;
       } else {
@@ -3448,12 +3559,19 @@ Bool_t AliAnalysisAlien::StartAnalysis(Long64_t /*nentries*/, Long64_t /*firstEn
    } else {
       // Submit for a range of enumeration of runs.
       if (!Submit()) return kFALSE;
+      jobID = fGridJobIDs;
    }   
          
-   Info("StartAnalysis", "\n#### STARTING AN ALIEN SHELL FOR YOU. EXIT WHEN YOUR JOB %s HAS FINISHED. #### \
-   \n You may exit at any time and terminate the job later using the option <terminate> \
-   \n ##################################################################################", jobID.Data());
-   gSystem->Exec("aliensh");
+   if (fDropToShell) {
+      Info("StartAnalysis", "\n#### STARTING AN ALIEN SHELL FOR YOU. EXIT WHEN YOUR JOB %s HAS FINISHED. #### \
+      \n You may exit at any time and terminate the job later using the option <terminate> \
+      \n ##################################################################################", jobID.Data());
+      gSystem->Exec("aliensh");
+   } else {
+      Info("StartAnalysis", "\n#### SUBMITTED JOB %s TO ALIEN QUEUE #### \
+      \n Remember to terminate the job later using the option <terminate> \
+      \n ##################################################################################", jobID.Data());
+   }   
    return kTRUE;
 }
 
@@ -3621,12 +3739,20 @@ Bool_t AliAnalysisAlien::SubmitMerging()
       if (!fRunNumbers.Length() && !fRunRange[0]) break;
    }
    if (!ntosubmit) return kTRUE;
-   Info("StartAnalysis", "\n #### STARTING AN ALIEN SHELL FOR YOU. You can exit any time or inspect your jobs in a different shell.##########\
-                          \n Make sure your jobs are in a final state (you can resubmit failed ones via 'masterjob <id> resubmit ERROR_ALL')\
-                          \n Rerun in 'terminate' mode to submit all merging stages, each AFTER the previous one completed. The final merged \
-                          \n output will be written to your alien output directory, while separate stages in <Stage_n>. \
-                          \n ################################################################################################################");
-   gSystem->Exec("aliensh");
+   if (fDropToShell) {
+      Info("StartAnalysis", "\n #### STARTING AN ALIEN SHELL FOR YOU. You can exit any time or inspect your jobs in a different shell.##########\
+                             \n Make sure your jobs are in a final state (you can resubmit failed ones via 'masterjob <id> resubmit ERROR_ALL')\
+                             \n Rerun in 'terminate' mode to submit all merging stages, each AFTER the previous one completed. The final merged \
+                             \n output will be written to your alien output directory, while separate stages in <Stage_n>. \
+                             \n ################################################################################################################");
+      gSystem->Exec("aliensh");
+   } else {
+      Info("StartAnalysis", "\n #### STARTED MERGING JOBS FOR YOU #### \
+                             \n Make sure your jobs are in a final state (you can resubmit failed ones via 'masterjob <id> resubmit ERROR_ALL') \
+                             \n Rerun in 'terminate' mode to submit all merging stages, each AFTER the previous one completed. The final merged \
+                             \n output will be written to your alien output directory, while separate stages in <Stage_n>. \
+                             \n ################################################################################################################");   
+   }   
    return kTRUE;
 }
 
@@ -3694,6 +3820,10 @@ Bool_t AliAnalysisAlien::SubmitNext()
             \n#####   Your JDL %s submitted (%d to go). \nTHE JOB ID IS: %s \
             \n_______________________________________________________________________",
                 fJDLName.Data(), nmasterjobs-fNsubmitted-1, cjobId1.Data());
+           if (!fGridJobIDs.IsNull()) fGridJobIDs.Append(" ");
+           fGridJobIDs.Append(cjobId1);
+           if (!fGridStages.IsNull()) fGridStages.Append(" ");
+           fGridStages.Append("full");
             jobID += cjobId1;
             jobID += " ";
             lastmaster = cjobId1.Atoi();
@@ -3927,7 +4057,12 @@ void AliAnalysisAlien::WriteAnalysisMacro()
       out << "   printf(\"Include path: %s\\n\", gSystem->GetIncludePath());" << endl << endl;
       if (fAdditionalLibs.Length()) {
          out << "// Add aditional AliRoot libraries" << endl;
-         TObjArray *list = fAdditionalLibs.Tokenize(" ");
+         TString additionalLibs = fAdditionalLibs;
+         additionalLibs.Strip();
+         if (additionalLibs.Length() && fFriendLibs.Length())
+            additionalLibs += " ";
+         additionalLibs += fFriendLibs;
+         TObjArray *list = additionalLibs.Tokenize(" ");
          TIter next(list);
          TObjString *str;
          while((str=(TObjString*)next())) {
@@ -3978,7 +4113,7 @@ void AliAnalysisAlien::WriteAnalysisMacro()
             out << "   plugin->SetFileForTestMode(\"" << fFileForTestMode << "\");" << endl;
          out << "   plugin->SetNtestFiles(" << fNtestFiles << ");" << endl;
          if (!fFriendChainName.IsNull()) 
-            out << "   plugin->SetFriendChainName(\"" << fFriendChainName << "\");" << endl;
+            out << "   plugin->SetFriendChainName(\"" << fFriendChainName << "\",\"" << fFriendLibs << "\");" << endl;
          if (IsUseMCchain())
             out << "   plugin->SetUseMCchain();" << endl;
          out << "   mgr->SetGridHandler(plugin);" << endl;
@@ -4277,7 +4412,12 @@ void AliAnalysisAlien::WriteMergingMacro()
       out << "   printf(\"Include path: %s\\n\", gSystem->GetIncludePath());" << endl << endl;
       if (fAdditionalLibs.Length()) {
          out << "// Add aditional AliRoot libraries" << endl;
-         TObjArray *list = fAdditionalLibs.Tokenize(" ");
+         TString additionalLibs = fAdditionalLibs;
+         additionalLibs.Strip();
+         if (additionalLibs.Length() && fFriendLibs.Length())
+            additionalLibs += " ";
+         additionalLibs += fFriendLibs;
+         TObjArray *list = additionalLibs.Tokenize(" ");
          TIter next(list);
          TObjString *str;
          while((str=(TObjString*)next())) {
@@ -4332,6 +4472,11 @@ void AliAnalysisAlien::WriteMergingMacro()
       out << "      printf(\"ERROR: Analysis manager could not be extracted from file \");" << endl;
       out << "      return;" << endl;
       out << "   }" << endl;
+      if (IsLocalTest()) {
+         out << "   printf(\"===================================\n\");" << endl;      
+         out << "   printf(\"Testing merging...\\n\");" << endl;
+         out << "   printf(\"===================================\n\");" << endl;
+      }        
       out << "   while((str=(TObjString*)iter->Next())) {" << endl;
       out << "      outputFile = str->GetString();" << endl;
       out << "      if (outputFile.Contains(\"*\")) continue;" << endl;
@@ -4339,7 +4484,7 @@ void AliAnalysisAlien::WriteMergingMacro()
       out << "      if (index > 0) outputFile.Remove(index);" << endl;
       out << "      // Skip already merged outputs" << endl;
       out << "      if (!gSystem->AccessPathName(outputFile)) {" << endl;
-      out << "         printf(\"Output file <%s> found. Not merging again.\",outputFile.Data());" << endl;
+      out << "         printf(\"Output file <%s> found. Not merging again.\\n\",outputFile.Data());" << endl;
       out << "         continue;" << endl;
       out << "      }" << endl;
       out << "      if (mergeExcludes.Contains(outputFile.Data())) continue;" << endl;
@@ -4349,7 +4494,7 @@ void AliAnalysisAlien::WriteMergingMacro()
       out << "         return;" << endl;
       out << "      }" << endl;
       out << "   }" << endl;
-      if (mgr && mgr->IsCollectThroughput()) {
+      if (mgr && mgr->IsCollectThroughput() && !IsLocalTest()) {
          out << "   TString infolog = \"" << mgr->GetFileInfoLog() << "\";" << endl;
          out << "   AliAnalysisAlien::MergeInfo(infolog, outputDir);" << endl;
       }
@@ -4358,7 +4503,13 @@ void AliAnalysisAlien::WriteMergingMacro()
       out << "   out.open(\"outputs_valid\", ios::out);" << endl;
       out << "   out.close();" << endl;
       out << "   // read the analysis manager from file" << endl;
-      out << "   if (!outputDir.Contains(\"Stage\")) return;" << endl;
+      if (IsLocalTest()) {
+         out << "   printf(\"===================================\n\");" << endl;      
+         out << "   printf(\"Testing Terminate()...\\n\");" << endl;
+         out << "   printf(\"===================================\n\");" << endl;      
+      } else {   
+         out << "   if (!outputDir.Contains(\"Stage\")) return;" << endl;
+      }   
       out << "   mgr->SetRunFromPath(mgr->GetRunFromAlienPath(dir));" << endl;
       out << "   mgr->SetSkipTerminate(kFALSE);" << endl;
       out << "   mgr->PrintStatus();" << endl;