]> git.uio.no Git - u/mrichter/AliRoot.git/blobdiff - HLT/BASE/AliHLTSystem.cxx
ALIROOT-5433 Transition to CDHv3 in HLT
[u/mrichter/AliRoot.git] / HLT / BASE / AliHLTSystem.cxx
index cefef79c7887d5e80c2a7c5fe4aa379bf18260e2..6c9f8441ab3f6049ad401fa4b94a37b2403fdcf2 100644 (file)
@@ -1,6 +1,6 @@
 // $Id$
 //**************************************************************************
-//* This file is property of and copyright by the ALICE HLT Project        * 
+//* This file is property of and copyright by the                          * 
 //* ALICE Experiment at CERN, All rights reserved.                         *
 //*                                                                        *
 //* Primary Authors: Matthias Richter <Matthias.Richter@ift.uib.no>        *
 //* provided "as is" without express or implied warranty.                  *
 //**************************************************************************
 
-/** @file   AliHLTSystem.cxx
-    @author Matthias Richter
-    @date   
-    @brief  Implementation of HLT module management.
-*/
-
-#if __GNUC__>= 3
-using namespace std;
-#endif
+/// @file   AliHLTSystem.cxx
+/// @author Matthias Richter
+/// @date   
+/// @brief  Implementation of HLT module management.
+///
 
 #include <cassert>
 #include "AliHLTStdIncludes.h"
@@ -32,6 +28,7 @@ using namespace std;
 #include "AliHLTComponent.h"
 #include "AliHLTConfiguration.h"
 #include "AliHLTConfigurationHandler.h"
+#include "AliHLTOnlineConfiguration.h"
 #include "AliHLTTask.h"
 #include "AliHLTModuleAgent.h"
 #include "AliHLTOfflineInterface.h"
@@ -41,6 +38,7 @@ using namespace std;
 #include "AliHLTOUTTask.h"
 #include "AliHLTControlTask.h"
 #include "AliHLTDataBuffer.h"
+#include "AliHLTMisc.h"
 #include <TObjArray.h>
 #include <TObjString.h>
 #include <TStopwatch.h>
@@ -55,10 +53,14 @@ const char* AliHLTSystem::fgkHLTDefaultLibs[]= {
   "libAliHLTRCU.so", 
   "libAliHLTTPC.so", 
   //  "libAliHLTSample.so",
-  //  "libAliHLTPHOS.so",
+  "libAliHLTCalo.so",
+  "libAliHLTEMCAL.so",
+  "libAliHLTPHOS.so",
   "libAliHLTMUON.so",
   "libAliHLTTRD.so",
   "libAliHLTITS.so",
+  "libAliHLTVZERO.so",
+  "libAliHLTZDC.so",
   "libAliHLTGlobal.so",
   "libAliHLTTrigger.so",
   NULL
@@ -67,10 +69,12 @@ const char* AliHLTSystem::fgkHLTDefaultLibs[]= {
 /** ROOT macro for the implementation of ROOT specific class methods */
 ClassImp(AliHLTSystem)
 
-AliHLTSystem::AliHLTSystem(AliHLTComponentLogSeverity loglevel, const char* name)
-  :
-  fpComponentHandler(AliHLTComponentHandler::CreateHandler()),
-  fpConfigurationHandler(AliHLTConfigurationHandler::CreateHandler()),
+AliHLTSystem::AliHLTSystem(AliHLTComponentLogSeverity loglevel, const char* name,
+                          AliHLTComponentHandler* pCompHandler,
+                          AliHLTConfigurationHandler* pConfHandler
+                          )
+  : fpComponentHandler(pCompHandler==NULL?AliHLTComponentHandler::CreateHandler():pCompHandler)
+  , fpConfigurationHandler(pConfHandler==NULL?AliHLTConfigurationHandler::CreateHandler():pConfHandler),
   fTaskList(),
   fState(0),
   fChains(),
@@ -81,8 +85,12 @@ AliHLTSystem::AliHLTSystem(AliHLTComponentLogSeverity loglevel, const char* name
   fpEsdHandlers(NULL),
   fpProprietaryHandlers(NULL),
   fpHLTOUTTask(NULL),
+  fpHLTOUT(NULL),
+  fHLTOUTUse(0),
   fpControlTask(NULL),
   fName(name)
+  , fECSParams()
+  , fUseHLTOUTComponentTypeGlobal(true)
 {
   // see header file for class documentation
   // or
@@ -113,9 +121,7 @@ AliHLTSystem::AliHLTSystem(AliHLTComponentLogSeverity loglevel, const char* name
   } else {
     HLTFatal("can not create Component Handler");
   }
-  if (fpConfigurationHandler) {
-    AliHLTConfiguration::GlobalInit(fpConfigurationHandler);
-  } else {
+  if (fpConfigurationHandler==NULL) {
     HLTFatal("can not create Configuration Handler");
   }
 }
@@ -124,9 +130,8 @@ AliHLTSystem::~AliHLTSystem()
 {
   // see header file for class documentation
   fgNofInstances--;
-  CleanHLTOUT();
+  CleanupHLTOUTHandlers();
   CleanTaskList();
-  AliHLTConfiguration::GlobalDeinit(fpConfigurationHandler);
   if (fpConfigurationHandler) {
     fpConfigurationHandler->Destroy();
   }
@@ -136,6 +141,7 @@ AliHLTSystem::~AliHLTSystem()
     fpComponentHandler->Destroy();
   }
   fpComponentHandler=NULL;
+  delete fStopwatches;
 
   // note: fpHLTOUTTask and fpControlTask are deleted by
   // CleanTaskList
@@ -143,51 +149,6 @@ AliHLTSystem::~AliHLTSystem()
 
 int AliHLTSystem::fgNofInstances=0;
 
-int AliHLTSystem::AddConfiguration(AliHLTConfiguration* pConf)
-{
-  // see header file for class documentation
-  HLTLogKeyword("configuration handling");
-  int iResult=0;
-  if (pConf) {
-    HLTError("function not yet implemented");
-    iResult=-ENOSYS;
-  } else {
-    iResult=-EINVAL;
-  }
-  return iResult;
-}
-
-int AliHLTSystem::InsertConfiguration(AliHLTConfiguration* pConf, AliHLTConfiguration* pPrec)
-{
-  // see header file for class documentation
-  HLTLogKeyword("configuration handling");
-  int iResult=0;
-  if (pConf) {
-    if (pPrec) {
-      // find the position
-      HLTError("function not yet implemented");
-      iResult=-ENOSYS;
-    }
-  } else {
-    iResult=-EINVAL;
-  }
-  return iResult;
-}
-
-int AliHLTSystem::DeleteConfiguration(AliHLTConfiguration* pConf)
-{
-  // see header file for class documentation
-  HLTLogKeyword("configuration handling");
-  int iResult=0;
-  if (pConf) {
-    HLTError("function not yet implemented");
-    iResult=-ENOSYS;
-  } else {
-    iResult=-EINVAL;
-  }
-  return iResult;
-}
-
 int AliHLTSystem::BuildTaskList(const char* id)
 {
   // see header file for class documentation
@@ -223,7 +184,8 @@ int AliHLTSystem::BuildTaskList(AliHLTConfiguration* pConf)
       }
       // task for this configuration exists, terminate
       pTask=NULL;
-    } else if (pConf->SourcesResolved(1)!=1) {
+    // check first if the configuration has all sources resolved, try to extract otherwise
+    } else if (pConf->SourcesResolved()!=1 && pConf->ExtractSources(fpConfigurationHandler)!=1) {
        HLTError("configuration \"%s\" has unresolved sources, aborting ...", pConf->GetName());
        iResult=-ENOLINK;
     } else {
@@ -381,7 +343,17 @@ void AliHLTSystem::PrintTaskList()
   }
 }
 
-int AliHLTSystem::Run(Int_t iNofEvents, int bStop)
+int AliHLTSystem::Run(Int_t iNofEvents, int bStop, AliHLTUInt64_t trgMask,
+                     AliHLTUInt32_t timestamp, AliHLTUInt32_t eventtype,
+                     AliHLTUInt32_t participatingDetectors)
+{
+  return Run(iNofEvents, bStop, AliHLTTriggerMask_t(trgMask), 
+            timestamp, eventtype, participatingDetectors);
+}
+
+int AliHLTSystem::Run(Int_t iNofEvents, int bStop, AliHLTTriggerMask_t trgMask,
+                     AliHLTUInt32_t timestamp, AliHLTUInt32_t eventtype,
+                     AliHLTUInt32_t participatingDetectors)
 {
   // see header file for class documentation
   int iResult=0;
@@ -405,7 +377,11 @@ int AliHLTSystem::Run(Int_t iNofEvents, int bStop)
          // reset and prepare for new data
          fpHLTOUTTask->Reset();
        }
-       if ((iResult=ProcessTasks(i))>=0) {
+       if (eventtype == 0) {
+         eventtype = gkAliEventTypeData;
+         participatingDetectors = 0x0;
+       }
+       if ((iResult=ProcessTasks(i, trgMask, timestamp, eventtype, participatingDetectors))>=0) {
          fGoodEvents++;
          iCount++;
        } else {
@@ -617,20 +593,26 @@ int AliHLTSystem::StartTasks()
   return iResult;
 }
 
-int AliHLTSystem::ProcessTasks(Int_t eventNo)
+int AliHLTSystem::ProcessTasks(Int_t eventNo, AliHLTTriggerMask_t trgMask,
+         AliHLTUInt32_t timestamp, AliHLTUInt32_t eventtype,
+         AliHLTUInt32_t participatingDetectors)
 {
   // see header file for class documentation
   int iResult=0;
   HLTDebug("processing event no %d", eventNo);
   TObjLink *lnk=fTaskList.FirstLink();
-  while (lnk && iResult>=0) {
+  while (lnk) {
     TObject* obj=lnk->GetObject();
     if (obj) {
       AliHLTTask* pTask=(AliHLTTask*)obj;
-      iResult=pTask->ProcessTask(eventNo);
+      if (iResult>=0) {
+      iResult=pTask->ProcessTask(eventNo, eventtype, trgMask, timestamp, participatingDetectors);
 //       ProcInfo_t ProcInfo;
 //       gSystem->GetProcInfo(&ProcInfo);
 //       HLTInfo("task %s processed (%d), current memory usage %d %d", pTask->GetName(), iResult, ProcInfo.fMemResident, ProcInfo.fMemVirtual);
+      } else {
+       pTask->SubscribeSourcesAndSkip();
+      }
     } else {
     }
     lnk = lnk->Next();
@@ -675,6 +657,9 @@ int AliHLTSystem::StopTasks()
     lnk = lnk->Next();
   }
   PrintBenchmarking(fStopwatches, 1 /*clean*/);
+  if (fEventCount!=fGoodEvents) {
+    HLTError("%d out of %d event(s) failed", fEventCount-fGoodEvents, fEventCount);
+  }
   ClearStatusFlags(kStarted);
   return iResult;
 }
@@ -692,18 +677,19 @@ int AliHLTSystem::SendControlEvent(AliHLTComponentDataType dt)
   AliHLTRunDesc runDesc;
   memset(&runDesc, 0, sizeof(AliHLTRunDesc));
   runDesc.fStructSize=sizeof(AliHLTRunDesc);
+  runDesc.fRunNo=AliHLTMisc::Instance().GetCDBRunNo();
   bd.fPtr=&runDesc;
   bd.fSize=sizeof(AliHLTRunDesc);
   bd.fDataType=dt;
   bd.fSpecification=kAliHLTVoidDataSpec;
   controlBlocks.push_back(bd);
 
-  // ECS parameter dummy of type kAliHLTDataTypeECSParam
-  // to be filled at some point from the trigger framework
+  // ECS parameter of type kAliHLTDataTypeECSParam
+  if (fECSParams.IsNull())
+    fECSParams="CTP_TRIGGER_CLASS=00:DUMMY-TRIGGER-ALL:00-01-02-03-04-05-06-07-08-09-10-11-12-13-14-15-16-17";
   AliHLTComponent::FillBlockData(bd);
-  TString ecsParam="CTP_TRIGGER_CLASS=00:DUMMY_TRIGGER_ALL:00-01-02-03-04-05-06-07-08-09-10-11-12-13-14-15-16-17";
-  bd.fPtr=(void*)ecsParam.Data();
-  bd.fSize=ecsParam.Length()+1;
+  bd.fPtr=(void*)fECSParams.Data();
+  bd.fSize=fECSParams.Length()+1;
   bd.fDataType=kAliHLTDataTypeECSParam;
   bd.fSpecification=kAliHLTVoidDataSpec;
   controlBlocks.push_back(bd);  
@@ -719,7 +705,7 @@ int AliHLTSystem::SendControlEvent(AliHLTComponentDataType dt)
       if (dt==kAliHLTDataTypeSOR) eventType=gkAliEventTypeStartOfRun;
       else if (dt==kAliHLTDataTypeEOR) eventType=gkAliEventTypeEndOfRun;
       else HLTWarning("unknown control event %s", AliHLTComponent::DataType2Text(dt).c_str());
-      iResult=pTask->ProcessTask(-1, eventType);
+      iResult=pTask->ProcessTask(-1, eventType, 0, 0);
     } else {
     }
     lnk = lnk->Next();
@@ -737,7 +723,7 @@ int AliHLTSystem::DeinitTasks()
 {
   // see header file for class documentation
   int iResult=0;
-  TObjLink *lnk=fTaskList.FirstLink();
+  TObjLink *lnk=fTaskList.LastLink();
   while (lnk) {
     TObject* obj=lnk->GetObject();
     if (obj) {
@@ -749,7 +735,7 @@ int AliHLTSystem::DeinitTasks()
 //       HLTInfo("task %s cleaned (%d), current memory usage %d %d", pTask->GetName(), iResult, ProcInfo.fMemResident, ProcInfo.fMemVirtual);
     } else {
     }
-    lnk = lnk->Next();
+    lnk = lnk->Prev();
   }
   fEventCount=-1;
   fGoodEvents=-1;
@@ -757,7 +743,7 @@ int AliHLTSystem::DeinitTasks()
   return iResult;
 }
 
-int AliHLTSystem::CleanHLTOUT()
+int AliHLTSystem::CleanupHLTOUTHandlers()
 {
   // see header file for class documentation
   if (fpChainHandlers) {
@@ -837,15 +823,50 @@ int AliHLTSystem::Reconstruct(int nofEvents, AliRunLoader* runLoader,
        if (!CheckStatus(kError)) {
        StopTasks();
        DeinitTasks();
-       CleanHLTOUT();
+       CleanupHLTOUTHandlers();
        }
       } else {
       if ((iResult=AliHLTOfflineInterface::SetParamsToComponents(runLoader, rawReader))>=0) {
+       AliHLTTriggerMask_t trgMask=0x1;
+       AliHLTUInt32_t timestamp=kMaxUInt;
+       AliHLTUInt32_t eventtype=0;
+       if (runLoader==NULL) {
+         // this is a quick workaround for the case of simulation
+         // the trigger framework is still under development, secondly, AliHLTSimulation
+         // does not yet add the emulated ECS parameters, so no CTP trigger is known in the HLT
+         // AliHLTTask will initialize one dummy CTP trigger class with bit 0, that's why the
+         // default trigger mask is 0x1
+         trgMask=AliHLTMisc::Instance().GetTriggerMask(rawReader);
+
+         // get the timestamp and type of the event from the raw reader
+         // this is currently only meaningfull for reconstruction (runloader==NULL)
+         timestamp=AliHLTMisc::Instance().GetTimeStamp(rawReader);
+         eventtype=AliHLTMisc::Instance().GetEventType(rawReader);
+       }
        // the system always remains started after event processing, a specific
        // call with nofEvents==0 is needed to execute the stop sequence
-       if ((iResult=Run(nofEvents, 0))<0) SetStatusFlags(kError);
+       if ((iResult=Run(nofEvents, 0, trgMask, timestamp, eventtype))<0) SetStatusFlags(kError);
       }
       }
+
+      // add the current HLTOUT task to the collection
+      if (fpHLTOUTTask) {
+       AliHLTOUT* pTask=dynamic_cast<AliHLTOUT*>(fpHLTOUTTask);
+       if (pTask && (iResult=pTask->Init())>=0) {
+         if (pTask->GetNofDataBlocks()>0) {
+           AliHLTOUT* pHLTOUT=RequestHLTOUT();
+           if (pHLTOUT) {
+             pHLTOUT->AddSubCollection(pTask);
+             ReleaseHLTOUT(pHLTOUT);
+           } else {
+             HLTWarning("no HLTOUT instance available, output blocks of the chain are ignored");
+           }
+         }
+       } else {
+         HLTWarning("can not initialize HLTOUT sub collection %s for reconstruction chain (%d), data blocks are lost", pTask?fpHLTOUTTask->GetName():"nil", iResult);
+         iResult=0;
+       }
+      }
     } else {
       HLTError("wrong state %#x, required flags %#x", GetStatusFlags(), kReady);
     }
@@ -877,20 +898,6 @@ int AliHLTSystem::ProcessHLTOUT(AliHLTOUT* pHLTOUT, AliESDEvent* esd)
   if (!pHLTOUT) return -EINVAL;
   HLTDebug("processing %d HLT data blocks", pHLTOUT->GetNofDataBlocks());
 
-  // add the current HLTOUT task to the collection
-  if (fpHLTOUTTask) {
-    AliHLTOUT* pTask=dynamic_cast<AliHLTOUT*>(fpHLTOUTTask);
-    if (pTask && (iResult=pTask->Init())>=0) {
-      if (pTask->GetNofDataBlocks()>0) {
-       pHLTOUT->AddSubCollection(pTask);
-      }
-    } else {
-      HLTWarning("can not initialize HLTOUT sub collection %s for reconstruction chain (%d), data blocks are lost", pTask?fpHLTOUTTask->GetName():"nil", iResult);
-      iResult=0;
-    }
-  }
-
-  
   //
   // process all kChain handlers first
   //
@@ -1064,7 +1071,7 @@ int AliHLTSystem::ProcessHLTOUTkChain(AliHLTOUT* pHLTOUT)
     pHandler->ProcessData(pHLTOUT);
     if ((size=pHandler->GetProcessedData(pBuffer))>0) {
       AliHLTModuleAgent::AliHLTOUTHandlerDesc desc=*chainHandler;
-      AliHLTComponentDataType dt=desc;
+      //AliHLTComponentDataType dt=desc;
 
       pHandler->ReleaseProcessedData(pBuffer, size);
     }
@@ -1086,9 +1093,10 @@ int AliHLTSystem::LoadComponentLibraries(const char* libraries)
       TString libs(libraries);
       TObjArray* pTokens=libs.Tokenize(" ");
       if (pTokens) {
-       int iEntries=pTokens->GetEntries();
+       int iEntries=pTokens->GetEntriesFast();
        for (int i=0; i<iEntries && iResult>=0; i++) {
-         iResult=fpComponentHandler->LoadLibrary((((TObjString*)pTokens->At(i))->GetString()).Data());
+         if (!pTokens->At(i)) continue;
+         iResult=fpComponentHandler->LoadLibrary(pTokens->At(i)->GetName());
        }
        delete pTokens;
       }
@@ -1155,12 +1163,14 @@ int AliHLTSystem::ScanOptions(const char* options)
   if (options) {
     //AliHLTComponentHandler::TLibraryMode libMode=AliHLTComponentHandler::kDynamic;
     TString libs("");
+    TString excludelibs("");
     TString alloptions(options);
     TObjArray* pTokens=alloptions.Tokenize(" ");
     if (pTokens) {
-      int iEntries=pTokens->GetEntries();
+      int iEntries=pTokens->GetEntriesFast();
       for (int i=0; i<iEntries; i++) {
-       TString token=(((TObjString*)pTokens->At(i))->GetString());
+       if (!pTokens->At(i)) continue;
+       TString token=pTokens->At(i)->GetName();
        if (token.Contains("loglevel=")) {
          TString param=token.ReplaceAll("loglevel=", "");
          if (param.IsDigit()) {
@@ -1187,15 +1197,53 @@ int AliHLTSystem::ScanOptions(const char* options)
          }
        } else if (token.Contains("alilog=off")) {
          SwitchAliLog(0);
-       } else if (token.Contains("config=")) {
-         TString param=token.ReplaceAll("config=", "");
-         Int_t error=0;
-         gROOT->Macro(param.Data(), &error);
-         if (error==0) {
-           SetStatusFlags(kConfigurationLoaded);
+       } else if (token.Contains("config=") || token.Contains("run-online-config")) {
+         if (!CheckStatus(kConfigurationLoaded)) {
+           Int_t error=0;
+           AliHLTOnlineConfiguration* pConf = NULL;
+           if (token.Contains("run-online-config")) {
+             AliCDBEntry* pEntry=AliHLTMisc::Instance().LoadOCDBEntry("HLT/Calib/OnlineConfig");
+             if (pEntry) {
+               TObject* pObject=AliHLTMisc::Instance().ExtractObject(pEntry);
+               if (pObject && pObject->IsA() == AliHLTOnlineConfiguration::Class())
+                 pConf = (AliHLTOnlineConfiguration*)pObject;
+             }
+           }
+           if (token.Contains("config=")) {
+             TString param=token.ReplaceAll("config=", "");
+             if (token.EndsWith(".xml", TString::kIgnoreCase)) {
+               Int_t filesize = 0;
+               pConf = new AliHLTOnlineConfiguration;
+               filesize = pConf->LoadConfiguration(param.Data());
+               if (filesize <= 0) {
+                 HLTError("cannot load config \'%s\'", param.Data());
+                 iResult=-EBADF;
+               }
+             } else {
+               gROOT->Macro(param.Data(), &error);
+               if (error==0) {
+                 SetStatusFlags(kConfigurationLoaded);
+               } else {
+                 HLTError("cannot execute macro \'%s\'", param.Data());
+                 iResult=-EBADF;
+               }
+             }
+           }
+           if (pConf) {
+               error = pConf->Parse();
+               if (error==0) {
+                 fChains = pConf->GetDefaultChains();
+                 libs = pConf->GetComponentLibraries();
+                 libs += " ";
+                 SetStatusFlags(kConfigurationLoaded);
+               } else {
+                 HLTError("cannot parse online configuration");
+                 iResult=-EBADF;
+               }
+           }
+           delete pConf; pConf=NULL;
          } else {
-           HLTError("can not execute macro \'%s\'", param.Data());
-           iResult=-EBADF;
+           HLTWarning("HLT options has both a config file and run-online-config set");
          }
        } else if (token.Contains("chains=")) {
          TString param=token.ReplaceAll("chains=", "");
@@ -1213,9 +1261,21 @@ int AliHLTSystem::ScanOptions(const char* options)
              HLTWarning("wrong argument for option \'libmode=\', use \'static\' or \'dynamic\'");
            }
          }
+       } else if (token.BeginsWith("ECS=")) {
+         fECSParams=token.ReplaceAll("ECS=", "");
+       } else if (token.BeginsWith("hltout-mode=")) {
+         // The actual parameter for argument 'hltout-mode' is treated in AliSimulation.
+         // For AliHLTSystem the occurrence with parameter 'split' signals the use of the
+         // separated HLTOUTComponents for digit and raw data. All others indicate
+         // HLTOUTComponent type 'global' where the data generation is steered from global
+         // flags
+         fUseHLTOUTComponentTypeGlobal=token.CompareTo("hltout-mode=split")!=0;
        } else if (token.BeginsWith("lib") && token.EndsWith(".so")) {
          libs+=token;
          libs+=" ";
+       } else if (token.BeginsWith("!lib") && token.EndsWith(".so")) {
+         excludelibs+=token;
+         excludelibs+=" ";
        } else {
          HLTWarning("unknown option \'%s\'", token.Data());
        }
@@ -1226,8 +1286,9 @@ int AliHLTSystem::ScanOptions(const char* options)
     if (iResult>=0) {
       if (libs.IsNull()) {
        const char** deflib=fgkHLTDefaultLibs;
-       while (*deflib) {
-         libs+=*deflib++;
+       for (;*deflib; deflib++) {
+         if (excludelibs.Contains(*deflib)) continue;
+         libs+=*deflib;
          libs+=" ";
        }
       }
@@ -1293,7 +1354,8 @@ int AliHLTSystem::LoadConfigurations(AliRawReader* rawReader, AliRunLoader* runl
     TObjArray* pTokens=dependencies.Tokenize(" ");
     if (pTokens) {
       for (int n=0; n<pTokens->GetEntriesFast(); n++) {
-       TString module=((TObjString*)pTokens->At(n))->GetString();
+       if (!pTokens->At(n)) continue;
+       TString module=pTokens->At(n)->GetName();
        HLTDebug("  checking %s", module.Data());
        module.ReplaceAll("libAliHLT", "");
        module.ReplaceAll(".so", "");
@@ -1346,6 +1408,8 @@ int AliHLTSystem::BuildTaskListsFromReconstructionChains(AliRawReader* rawReader
     return 0;
   }
 
+  if (!fpConfigurationHandler || !fpComponentHandler) return -EFAULT;
+
   int iResult=0;
   int bHaveOutput=0;
 
@@ -1355,31 +1419,31 @@ int AliHLTSystem::BuildTaskListsFromReconstructionChains(AliRawReader* rawReader
     chains=fChains;
     HLTImportant("custom reconstruction chain: %s", chains.Data());
   } else {
-    AliHLTModuleAgent* pAgent=AliHLTModuleAgent::GetFirstAgent();
-    while ((pAgent || fChains.Length()>0) && iResult>=0) {
+    for (AliHLTModuleAgent* pAgent=AliHLTModuleAgent::GetFirstAgent();
+        pAgent && iResult>=0;
+        pAgent=AliHLTModuleAgent::GetNextAgent()) {
       const char* agentchains=pAgent->GetReconstructionChains(rawReader, runloader);
       if (agentchains) {
        if (!chains.IsNull()) chains+=" ";
        chains+=agentchains;
        HLTInfo("reconstruction chains for agent %s (%p): %s", pAgent->GetName(), pAgent, agentchains);
       }
-      pAgent=AliHLTModuleAgent::GetNextAgent();
     }
   }
 
   // build task list for chains
   TObjArray* pTokens=chains.Tokenize(" ");
   if (pTokens) {
-    int iEntries=pTokens->GetEntries();
+    int iEntries=pTokens->GetEntriesFast();
     for (int i=0; i<iEntries && iResult>=0; i++) {
-      const char* pCID=((TObjString*)pTokens->At(i))->GetString().Data();
+      if (!pTokens->At(i)) continue;
+      const char* pCID=pTokens->At(i)->GetName();
       AliHLTConfiguration* pConf=fpConfigurationHandler->FindConfiguration(pCID);
       if (pConf) {
        iResult=BuildTaskList(pConf);
        if (true) { // condition was deprecated but kept for sake of svn diff
          // bHaveOutput variable has to be set for both running modes
          // AliHLTSimulation and AliHLTReconstruction
-         assert(fpComponentHandler!=NULL);
          TString cid=pConf->GetComponentID();
          if (runloader!=NULL && cid.CompareTo("HLTOUT")==0) {
            // remove from the input of a global HLTOUT configuration
@@ -1404,9 +1468,34 @@ int AliHLTSystem::BuildTaskListsFromReconstructionChains(AliRawReader* rawReader
     if (bHaveOutput) {
       // there are components in the chain which produce data which need to be
       // piped to an HLTOUT
+
+      // add the SchemaEvolutionComponent which analyzes the ROOT objects in
+      // the output stream
+      if (fpComponentHandler->FindComponentIndex("ROOTSchemaEvolutionComponent")>=0 ||
+         fpComponentHandler->LoadLibrary("libAliHLTUtil.so")>=0) {
+       fpConfigurationHandler->CreateConfiguration("_schemaevolution_", "ROOTSchemaEvolutionComponent", 
+                                                    chains.Data(), "-file=HLT.StreamerInfo.root");
+       iResult=BuildTaskList("_schemaevolution_");
+      } else {
+       HLTWarning("can not load libAliHLTUtil.so and ROOTSchemaEvolutionComponent");
+      }
+
+      // add the HLTOUT component
       if (fpComponentHandler->FindComponentIndex("HLTOUT")>=0 ||
          fpComponentHandler->LoadLibrary("libHLTsim.so")>=0) {
-       AliHLTConfiguration globalout("_globalout_", "HLTOUT", chains.Data(), NULL);
+       // for the default HLTOUTComponent type 'global' the data generation is steered
+       // by global flags from AliSimulation. This allows for emulation of the old
+       // AliHLTSimulation behavior where only one chain is run on either digits or
+       // simulated raw data and the HLT digits and raw files have been generated
+       // depending on the configuration
+       const char* HLTOUTComponentId="HLTOUT";
+       if (!fUseHLTOUTComponentTypeGlobal) {
+         // choose the type of output depending  on the availability of
+         // the raw reader
+         if (rawReader) HLTOUTComponentId="HLTOUTraw";
+         else HLTOUTComponentId="HLTOUTdigits";
+       }
+       fpConfigurationHandler->CreateConfiguration("_globalout_", HLTOUTComponentId, chains.Data(), NULL);
        iResult=BuildTaskList("_globalout_");
       } else {
        HLTError("can not load libHLTsim.so and HLTOUT component");
@@ -1449,9 +1538,10 @@ int AliHLTSystem::AddHLTOUTTask(const char* hltoutchains)
   TString chains=hltoutchains;
   TObjArray* pTokens=chains.Tokenize(" ");
   if (pTokens) {
-    int iEntries=pTokens->GetEntries();
+    int iEntries=pTokens->GetEntriesFast();
     for (int i=0; i<iEntries && iResult>=0; i++) {
-      const char* token=((TObjString*)pTokens->At(i))->GetString().Data();
+      if (!pTokens->At(i)) continue;
+      const char* token=pTokens->At(i)->GetName();
       AliHLTConfiguration* pConf=fpConfigurationHandler->FindConfiguration(token);
       if (pConf) {
        TString cid=pConf->GetComponentID();
@@ -1485,7 +1575,9 @@ int AliHLTSystem::AddHLTOUTTask(const char* hltoutchains)
 
   fpHLTOUTTask=new AliHLTOUTTask(chains);
   if (fpHLTOUTTask) {
-    if (fpHLTOUTTask->GetConf() && fpHLTOUTTask->GetConf()->SourcesResolved()>=0) {
+    if (fpHLTOUTTask->GetConf() && 
+       (fpHLTOUTTask->GetConf()->SourcesResolved()>0 ||
+        fpHLTOUTTask->GetConf()->ExtractSources(fpConfigurationHandler)>0)) {
       iResult=InsertTask(fpHLTOUTTask);
     } else {
       HLTError("HLTOUT task (%s) sources not resolved", fpHLTOUTTask->GetName());
@@ -1530,7 +1622,7 @@ int AliHLTSystem::ClearStatusFlags(int flags)
   return fState;
 }
 
-void (*AliHLTSystem::FindDynamicSymbol(const char* library, const char* symbol))()
+AliHLTfctVoid AliHLTSystem::FindDynamicSymbol(const char* library, const char* symbol)
 {
   // see header file for class documentation
   if (fpComponentHandler==NULL) return NULL;
@@ -1556,9 +1648,52 @@ int AliHLTSystem::LoggingVarargs(AliHLTComponentLogSeverity severity,
   va_start(args, line);
 
   if (!fName.IsNull())
-    AliHLTLogging::SetLogString("%s (%p): ", fName.Data(), this);
+    AliHLTLogging::SetLogString(this, " (%p)", "%s_pfmt_: ", fName.Data());
   iResult=SendMessage(severity, originClass, originFunc, file, line, AliHLTLogging::BuildLogString(NULL, args, !fName.IsNull() /*append if non empty*/));
   va_end(args);
 
   return iResult;
 }
+
+int AliHLTSystem::InitHLTOUT(AliHLTOUT* instance)
+{
+  // Init the HLTOUT instance for the current event.
+  // The instance can be used by other classes to get hold on the data
+  // from HLTOUT.
+  if (!instance) return -EINVAL;
+  if (fpHLTOUT && fpHLTOUT!=instance) return -EBUSY;
+  fpHLTOUT=instance;
+  return 0;
+}
+
+int AliHLTSystem::InvalidateHLTOUT(AliHLTOUT** target)
+{
+  // Clear the HLTOUT instance.
+  int iResult=0;
+  if (fHLTOUTUse>0) {
+    HLTWarning("HLTOUT instance still in use, potential problem due to invalid pointer ahead");
+    fHLTOUTUse=0;
+    iResult=-EBUSY;
+  }
+  if (target) *target=fpHLTOUT;
+  fpHLTOUT=NULL;
+  return iResult;
+}
+
+AliHLTOUT* AliHLTSystem::RequestHLTOUT()
+{
+  // Get the HLTOUT instance.
+  // User method for processing classes. To be released after use.
+  if (!fpHLTOUT) return NULL;
+  fHLTOUTUse++;
+  return fpHLTOUT;
+}
+
+int AliHLTSystem::ReleaseHLTOUT(const AliHLTOUT* instance)
+{
+  // Release the HLTOUT instance after use.
+  if (!instance) return -EINVAL;
+  if (instance!=fpHLTOUT) return -ENOENT;
+  fHLTOUTUse--;
+  return 0;
+}