- adding new print mode for DataType2Text and some documentation
[u/mrichter/AliRoot.git] / HLT / BASE / AliHLTComponent.cxx
1 // $Id$
2
3 //**************************************************************************
4 //* This file is property of and copyright by the ALICE HLT Project        * 
5 //* ALICE Experiment at CERN, All rights reserved.                         *
6 //*                                                                        *
7 //* Primary Authors: Matthias Richter <Matthias.Richter@ift.uib.no>        *
8 //*                  Timm Steinbeck <timm@kip.uni-heidelberg.de>           *
9 //*                  for The ALICE HLT Project.                            *
10 //*                                                                        *
11 //* Permission to use, copy, modify and distribute this software and its   *
12 //* documentation strictly for non-commercial purposes is hereby granted   *
13 //* without fee, provided that the above copyright notice appears in all   *
14 //* copies and that both the copyright notice and this permission notice   *
15 //* appear in the supporting documentation. The authors make no claims     *
16 //* about the suitability of this software for any purpose. It is          *
17 //* provided "as is" without express or implied warranty.                  *
18 //**************************************************************************
19
20 //  @file   AliHLTComponent.cxx
21 //  @author Matthias Richter, Timm Steinbeck
22 //  @date   
23 //  @brief  Base class implementation for HLT components. */
24 //  @note   The class is both used in Online (PubSub) and Offline (AliRoot)
25 //          context
26
27
28 #if __GNUC__>= 3
29 using namespace std;
30 #endif
31
32 //#include "AliHLTStdIncludes.h"
33 #include "AliHLTComponent.h"
34 #include "AliHLTComponentHandler.h"
35 #include "AliHLTMessage.h"
36 #include "AliHLTCTPData.h"
37 #include "AliRawDataHeader.h"
38 #include "TString.h"
39 #include "TMath.h"
40 #include "TObjArray.h"
41 #include "TObjectTable.h"
42 #include "TClass.h"
43 #include "TStopwatch.h"
44 #include "TFormula.h"
45 #include "AliHLTMemoryFile.h"
46 #include "AliHLTMisc.h"
47 #include <cassert>
48 #include <ctime>
49 #include <stdint.h>
50
51 /**
52  * default compression level for ROOT objects
53  */
54 #define ALIHLTCOMPONENT_DEFAULT_OBJECT_COMPRESSION 5
55 #define ALIHLTCOMPONENT_STATTIME_SCALER 1000000
56
57 /** ROOT macro for the implementation of ROOT specific class methods */
58 ClassImp(AliHLTComponent);
59
60 /** stopwatch macro using the stopwatch guard */
61 #define ALIHLTCOMPONENT_STOPWATCH(type) AliHLTStopwatchGuard swguard(fpStopwatches!=NULL?reinterpret_cast<TStopwatch*>(fpStopwatches->At((int)type)):NULL)
62 //#define ALIHLTCOMPONENT_STOPWATCH(type) 
63
64 /** stopwatch macro for operations of the base class */
65 #define ALIHLTCOMPONENT_BASE_STOPWATCH() ALIHLTCOMPONENT_STOPWATCH(kSWBase)
66 /** stopwatch macro for operations of the detector algorithm (DA) */
67 #define ALIHLTCOMPONENT_DA_STOPWATCH() ALIHLTCOMPONENT_STOPWATCH(kSWDA)
68
69 AliHLTComponent::AliHLTComponent()
70   :
71   fEnvironment(),
72   fCurrentEvent(0),
73   fEventCount(-1),
74   fFailedEvents(0),
75   fCurrentEventData(),
76   fpInputBlocks(NULL),
77   fCurrentInputBlock(-1),
78   fSearchDataType(kAliHLTVoidDataType),
79   fClassName(),
80   fpInputObjects(NULL),
81   fpOutputBuffer(NULL),
82   fOutputBufferSize(0),
83   fOutputBufferFilled(0),
84   fOutputBlocks(),
85   fpStopwatches(new TObjArray(kSWTypeCount)),
86   fMemFiles(),
87   fpRunDesc(NULL),
88   fCDBSetRunNoFunc(false),
89   fChainId(),
90   fChainIdCrc(0),
91   fpBenchmark(NULL),
92   fFlags(0),
93   fEventType(gkAliEventTypeUnknown),
94   fComponentArgs(),
95   fEventDoneData(NULL),
96   fEventDoneDataSize(0),
97   fCompressionLevel(ALIHLTCOMPONENT_DEFAULT_OBJECT_COMPRESSION)
98   , fLastObjectSize(0)
99   , fpCTPData(NULL)
100   , fPushbackPeriod(0)
101   , fLastPushBackTime(-1)
102 {
103   // see header file for class documentation
104   // or
105   // refer to README to build package
106   // or
107   // visit http://web.ift.uib.no/~kjeks/doc/alice-hlt
108   memset(&fEnvironment, 0, sizeof(AliHLTAnalysisEnvironment));
109   if (fgpComponentHandler)
110     fgpComponentHandler->ScheduleRegister(this);
111   //SetLocalLoggingLevel(kHLTLogDefault);
112 }
113
114 AliHLTComponent::~AliHLTComponent()
115 {
116   // see header file for function documentation
117   if (fpBenchmark) delete fpBenchmark;
118   fpBenchmark=NULL;
119
120   CleanupInputObjects();
121   if (fpStopwatches!=NULL) delete fpStopwatches;
122   fpStopwatches=NULL;
123   AliHLTMemoryFilePList::iterator element=fMemFiles.begin();
124   while (element!=fMemFiles.end()) {
125     if (*element) {
126       if ((*element)->IsClosed()==0) {
127         HLTWarning("memory file has not been closed, possible data loss or incomplete buffer");
128         // close but do not flush as we dont know whether the buffer is still valid
129         (*element)->CloseMemoryFile(0);
130       }
131       delete *element;
132       *element=NULL;
133     }
134     element++;
135   }
136   if (fpRunDesc) {
137     delete fpRunDesc;
138     fpRunDesc=NULL;
139   }
140   if (fEventDoneData)
141     delete [] reinterpret_cast<AliHLTUInt8_t*>( fEventDoneData );
142   fEventDoneData=NULL;
143
144   if (fpCTPData) {
145     delete fpCTPData;
146   }
147   fpCTPData=NULL;
148 }
149
150 AliHLTComponentHandler* AliHLTComponent::fgpComponentHandler=NULL;
151
152 int AliHLTComponent::SetGlobalComponentHandler(AliHLTComponentHandler* pCH, int bOverwrite) 
153 {
154   // see header file for function documentation
155   int iResult=0;
156   if (fgpComponentHandler==NULL || bOverwrite!=0)
157     fgpComponentHandler=pCH;
158   else
159     iResult=-EPERM;
160   return iResult;
161 }
162
163 int AliHLTComponent::UnsetGlobalComponentHandler() 
164 {
165   // see header file for function documentation
166   return SetGlobalComponentHandler(NULL,1);
167 }
168
169 int AliHLTComponent::SetComponentEnvironment(const AliHLTAnalysisEnvironment* comenv, void* environParam)
170 {
171   // see header file for function documentation
172   HLTLogKeyword(fChainId.c_str());
173   int iResult=0;
174   if (comenv) {
175     memset(&fEnvironment, 0, sizeof(AliHLTAnalysisEnvironment));
176     memcpy(&fEnvironment, comenv, comenv->fStructSize<sizeof(AliHLTAnalysisEnvironment)?comenv->fStructSize:sizeof(AliHLTAnalysisEnvironment));
177     fEnvironment.fStructSize=sizeof(AliHLTAnalysisEnvironment);
178     fEnvironment.fParam=environParam;
179   }
180   return iResult;
181 }
182
183 int AliHLTComponent::Init(const AliHLTAnalysisEnvironment* comenv, void* environParam, int argc, const char** argv )
184 {
185   // see header file for function documentation
186   HLTLogKeyword(fChainId.c_str());
187   int iResult=0;
188   if (comenv) {
189     SetComponentEnvironment(comenv, environParam);
190   }
191   fPushbackPeriod=0;
192   fLastPushBackTime=-1;
193
194   fComponentArgs="";
195   const char** pArguments=NULL;
196   int iNofChildArgs=0;
197   TString argument="";
198   int bMissingParam=0;
199   if (argc>0) {
200     pArguments=new const char*[argc];
201     if (pArguments) {
202       for (int i=0; i<argc && iResult>=0; i++) {
203         if (fComponentArgs.size()>0) fComponentArgs+=" ";
204         fComponentArgs+=argv[i];
205         argument=argv[i];
206         if (argument.IsNull()) continue;
207
208         // benchmark
209         if (argument.CompareTo("-benchmark")==0) {
210
211           // -loglevel=
212         } else if (argument.BeginsWith("-loglevel=")) {
213           TString parameter=argument.ReplaceAll("-loglevel=", "");
214           parameter.Remove(TString::kLeading, ' '); // remove all blanks
215           if (parameter.BeginsWith("0x") &&
216               parameter.Replace(0,2,"",0).IsHex()) {
217             unsigned int loglevel=kHLTLogNone;
218             sscanf(parameter.Data(),"%x", &loglevel);
219             SetLocalLoggingLevel((AliHLTComponentLogSeverity)loglevel);
220           } else {
221             HLTError("wrong parameter for argument %s, hex number expected", argument.Data());
222             iResult=-EINVAL;
223           }
224           // -object-compression=
225         } else if (argument.BeginsWith("-object-compression=")) {
226           argument.ReplaceAll("-object-compression=", "");
227           if (argument.IsDigit()) {
228             fCompressionLevel=argument.Atoi();
229             if (fCompressionLevel<0 || fCompressionLevel>9) {
230               HLTWarning("invalid compression level %d, setting to default %d", fCompressionLevel, ALIHLTCOMPONENT_DEFAULT_OBJECT_COMPRESSION);
231               fCompressionLevel=ALIHLTCOMPONENT_DEFAULT_OBJECT_COMPRESSION;
232             }
233           } else {
234             HLTError("wrong parameter for argument -object-compression, number expected");
235           }
236           // -pushback-period=
237         } else if (argument.BeginsWith("-pushback-period=")) {
238           argument.ReplaceAll("-pushback-period=", "");
239           if (argument.IsDigit()) {
240             fPushbackPeriod=argument.Atoi();
241           } else {
242             HLTError("wrong parameter for argument -pushback-period, number expected");
243           }
244           // -disable-component-stat
245         } else if (argument.CompareTo("-disable-component-stat")==0) {
246           fFlags|=kDisableComponentStat;
247         } else {
248           pArguments[iNofChildArgs++]=argv[i];
249         }
250       }
251     } else {
252       iResult=-ENOMEM;
253     }
254   }
255   if (bMissingParam) {
256     HLTError("missing parameter for argument %s", argument.Data());
257     iResult=-EINVAL;
258   }
259   if (iResult>=0) {
260     iResult=CheckOCDBEntries();
261   }
262   if (iResult>=0) {
263     iResult=DoInit(iNofChildArgs, pArguments);
264   }
265   if (iResult>=0) {
266     fEventCount=0;
267
268     // find out if the component wants to get the steering events
269     // explicitly
270     AliHLTComponentDataTypeList inputDt;
271     GetInputDataTypes(inputDt);
272     bool bRequireSteeringBlocks=false;
273     for (AliHLTComponentDataTypeList::iterator dt=inputDt.begin();
274          dt!=inputDt.end() && !bRequireSteeringBlocks;
275          dt++) {
276       bRequireSteeringBlocks|=MatchExactly(*dt,kAliHLTDataTypeSOR);
277       bRequireSteeringBlocks|=MatchExactly(*dt,kAliHLTDataTypeRunType);
278       bRequireSteeringBlocks|=MatchExactly(*dt,kAliHLTDataTypeEOR);
279       bRequireSteeringBlocks|=MatchExactly(*dt,kAliHLTDataTypeDDL);
280       bRequireSteeringBlocks|=MatchExactly(*dt,kAliHLTDataTypeComponentStatistics);
281     }
282     if (bRequireSteeringBlocks) fFlags|=kRequireSteeringBlocks;
283   }
284   if (pArguments) delete [] pArguments;
285
286 #if defined(HLT_COMPONENT_STATISTICS)
287   // benchmarking stopwatch for the component statistics
288   fpBenchmark=new TStopwatch;
289 #endif // HLT_COMPONENT_STATISTICS
290
291   return iResult;
292 }
293
294 int AliHLTComponent::Deinit()
295 {
296   // see header file for function documentation
297   HLTLogKeyword(fChainId.c_str());
298   int iResult=0;
299   iResult=DoDeinit();
300   if (fpRunDesc) {
301     // TODO: the warning should be kept, but the condition is wrong since the
302     // AliHLTRunDesc is set before the SOR event in the SetRunDescription
303     // method. A couple of state flags should be defined but that is a bit more
304     // work to do. For the moment disable the warning (2009-07-01)
305     // 2009-09-08: now, the info is not cleared in the ProcessEvent, because it
306     // might be needed by components during the event processing.
307     //HLTWarning("did not receive EOR for run %d", fpRunDesc->fRunNo);
308     AliHLTRunDesc* pRunDesc=fpRunDesc;
309     fpRunDesc=NULL;
310     delete pRunDesc;
311   }
312   if (fpCTPData) {
313     delete fpCTPData;
314   }
315   fpCTPData=NULL;
316
317   fEventCount=0;
318   fFlags=0;
319   return iResult;
320 }
321
322 int AliHLTComponent::InitCDB(const char* cdbPath, AliHLTComponentHandler* pHandler)
323 {
324   // see header file for function documentation
325   int iResult=0;
326   HLTInfo("Using CDB: %s", cdbPath);
327   if (pHandler) {
328   // I have to think about separating the library handling from the
329   // component handler. Requiring the component handler here is not
330   // the cleanest solution.
331   // We presume the library already to be loaded, which is the case
332   // because it is loaded in the initialization of the logging functionality
333   //
334   // find the symbol
335   AliHLTMiscInitCDB_t pFunc=(AliHLTMiscInitCDB_t)pHandler->FindSymbol(ALIHLTMISC_LIBRARY, ALIHLTMISC_INIT_CDB);
336   if (pFunc) {
337     TString path;
338     if (cdbPath && cdbPath[0]!=0) {
339       path=cdbPath;
340       // very temporary fix, have to check for other formats
341       if (!path.BeginsWith("local://")) {
342         path="local://";
343         path+=cdbPath;
344       }
345     }
346     if ((iResult=(*pFunc)(path.Data()))>=0) {
347       if (!(fCDBSetRunNoFunc=pHandler->FindSymbol(ALIHLTMISC_LIBRARY, ALIHLTMISC_SET_CDB_RUNNO))) {
348         Message(NULL, kHLTLogWarning, "AliHLTComponent::InitCDB", "init CDB",
349                 "can not find function to set CDB run no");
350       }
351     }
352   } else {
353     Message(NULL, kHLTLogError, "AliHLTComponent::InitCDB", "init CDB",
354             "can not find initialization function");
355     iResult=-ENOSYS;
356   }
357   } else {
358     iResult=-EINVAL;
359   }
360   return iResult;
361 }
362
363 int AliHLTComponent::SetCDBRunNo(int runNo)
364 {
365   // see header file for function documentation
366   if (!fCDBSetRunNoFunc) return 0;
367   return (*((AliHLTMiscSetCDBRunNo_t)fCDBSetRunNoFunc))(runNo);
368 }
369
370 int AliHLTComponent::SetRunDescription(const AliHLTRunDesc* desc, const char* /*runType*/)
371 {
372   // see header file for function documentation
373   if (!desc) return -EINVAL;
374   if (desc->fStructSize!=sizeof(AliHLTRunDesc)) {
375     HLTError("invalid size of RunDesc struct (%ul)", desc->fStructSize);
376     return -EINVAL;
377   }
378
379   if (!fpRunDesc) {
380     fpRunDesc=new AliHLTRunDesc;
381     if (!fpRunDesc) return -ENOMEM;
382     *fpRunDesc=kAliHLTVoidRunDesc;
383   }
384
385   if (fpRunDesc->fRunNo!=kAliHLTVoidRunNo && fpRunDesc->fRunNo!=desc->fRunNo) {
386     HLTWarning("Run description has already been set");
387   }
388   *fpRunDesc=*desc;
389   SetCDBRunNo(fpRunDesc->fRunNo);
390   // TODO: we have to decide about the runType
391   return 0;
392 }
393
394 int AliHLTComponent::SetComponentDescription(const char* desc)
395 {
396   // see header file for function documentation
397   int iResult=0;
398   if (!desc) return 0;
399
400   TString descriptor=desc;
401   TObjArray* pTokens=descriptor.Tokenize(" ");
402   if (pTokens) {
403     for (int i=0; i<pTokens->GetEntriesFast() && iResult>=0; i++) {
404       TString argument=((TObjString*)pTokens->At(i++))->GetString();
405       if (!argument || argument.IsNull()) continue;
406
407       // chainid
408       if (argument.BeginsWith("chainid")) {
409         argument.ReplaceAll("chainid", "");
410         if (argument.BeginsWith("=")) {
411           fChainId=argument.Replace(0,1,"");
412           fChainIdCrc=CalculateChecksum((const AliHLTUInt8_t*)fChainId.c_str(), fChainId.length());
413           HLTDebug("setting component description: chain id %s crc 0x%8x", fChainId.c_str(), fChainIdCrc);
414         } else {
415           fChainId="";
416         }
417       } else {
418         HLTWarning("unknown component description %s", argument.Data());
419       }
420     }
421     delete pTokens;
422   }
423   
424   return iResult;
425 }
426
427 int AliHLTComponent::ConfigureFromArgumentString(int argc, const char** argv)
428 {
429   // see header file for function documentation
430   int iResult=0;
431   vector<const char*> array;
432   TObjArray choppedArguments;
433   TString argument="";
434   int i=0;
435   for (i=0; i<argc && iResult>=0; i++) {
436     // special handling for single component arguments ending with
437     // a sequence of blanks
438     argument=argv[i];
439     argument.Remove(0, argument.First(' '));
440     if (argument.IsWhitespace()) {
441       array.push_back(argv[i]);
442       continue;
443     }
444
445     // extra blank to insert blank token before leading quotes
446     argument=" ";
447     argument+=argv[i];
448     // insert blank in consecutive quotes to correctly tokenize
449     argument.ReplaceAll("''", "' '");
450     // replace newlines by blanks
451     argument.ReplaceAll("\n", " ");
452     if (argument.IsNull()) continue;
453     TObjArray* pTokensQuote=argument.Tokenize("'");
454     if (pTokensQuote) {
455       if (pTokensQuote->GetEntriesFast()>0) {
456         for (int k=0; k<pTokensQuote->GetEntriesFast(); k++) {
457           argument=((TObjString*)pTokensQuote->At(k))->GetString();
458           if (argument.IsWhitespace()) continue;
459           if (k%2) {
460             // every second entry is enclosed by quotes and thus
461             // one single argument
462             array.push_back(argument.Data());
463           } else {
464     TObjArray* pTokens=argument.Tokenize(" ");
465     if (pTokens) {
466       if (pTokens->GetEntriesFast()>0) {
467         for (int n=0; n<pTokens->GetEntriesFast(); n++) {
468           choppedArguments.AddLast(pTokens->At(n));
469           TString data=((TObjString*)pTokens->At(n))->GetString();
470           if (!data.IsNull()) {
471             array.push_back(data.Data());
472           }
473         }
474         pTokens->SetOwner(kFALSE);
475       }
476       delete pTokens;
477     }
478           }
479         }
480         pTokensQuote->SetOwner(kFALSE);
481       }
482       delete pTokensQuote;
483     }
484   }
485
486   for (i=0; (unsigned)i<array.size() && iResult>=0;) {
487     int result=ScanConfigurationArgument(array.size()-i, &array[i]);
488     if (result==0) {
489       HLTWarning("unknown component argument %s", array[i]);
490       i++;
491     } else if (result>0) {
492       i+=result;
493     } else {
494       iResult=result;
495       if (iResult==-EINVAL) {
496         HLTError("unknown argument %s", array[i]);
497       } else if (iResult==-EPROTO) {
498         HLTError("missing/wrong parameter for argument %s (%s)", array[i], (array.size()>(unsigned)i+1)?array[i+1]:"missing");
499       } else {
500         HLTError("scan of argument %s failed (%d)", array[i], iResult);
501       }
502     }
503   }
504
505   return iResult;
506 }
507
508 int AliHLTComponent::ConfigureFromCDBTObjString(const char* entries)
509 {
510   // see header file for function documentation
511   int iResult=0;
512   TString arguments;
513   TString confEntries=entries;
514   TObjArray* pTokens=confEntries.Tokenize(" ");
515   if (pTokens) {
516     for (int n=0; n<pTokens->GetEntriesFast(); n++) {
517       const char* path=((TObjString*)pTokens->At(n))->GetString().Data();
518       const char* chainId=GetChainId();
519       HLTInfo("configure from entry %s, chain id %s", path, (chainId!=NULL && chainId[0]!=0)?chainId:"<none>");
520       TObject* pOCDBObject = LoadAndExtractOCDBObject(path);
521       if (pOCDBObject) {
522         TObjString* pString=dynamic_cast<TObjString*>(pOCDBObject);
523         if (pString) {
524           HLTInfo("received configuration object string: \'%s\'", pString->GetString().Data());
525           arguments+=pString->GetString().Data();
526           arguments+=" ";
527         } else {
528           HLTError("configuration object \"%s\" has wrong type, required TObjString", path);
529           iResult=-EINVAL;
530         }
531       } else {
532         HLTError("can not fetch object \"%s\" from OCDB", path);
533         iResult=-ENOENT;
534       }
535     }
536     delete pTokens;
537   }
538   if (iResult>=0 && !arguments.IsNull())  {
539     const char* array=arguments.Data();
540     iResult=ConfigureFromArgumentString(1, &array);
541   }
542   return iResult;
543 }
544
545 TObject* AliHLTComponent::LoadAndExtractOCDBObject(const char* path, int version, int subVersion)
546 {
547   // see header file for function documentation
548   AliCDBEntry* pEntry=AliHLTMisc::Instance().LoadOCDBEntry(path, GetRunNo(), version, subVersion);
549   if (!pEntry) return NULL;
550   return AliHLTMisc::Instance().ExtractObject(pEntry);
551 }
552
553 int AliHLTComponent::DoInit( int /*argc*/, const char** /*argv*/)
554 {
555   // default implementation, childs can overload
556   HLTLogKeyword("dummy");
557   return 0;
558 }
559
560 int AliHLTComponent::DoDeinit()
561 {
562   // default implementation, childs can overload
563   HLTLogKeyword("dummy");
564   return 0;
565 }
566
567 int AliHLTComponent::Reconfigure(const char* /*cdbEntry*/, const char* /*chainId*/)
568 {
569   // default implementation, childs can overload
570   HLTLogKeyword("dummy");
571   return 0;
572 }
573
574 int AliHLTComponent::ReadPreprocessorValues(const char* /*modules*/)
575 {
576   // default implementation, childs can overload
577   HLTLogKeyword("dummy");
578   return 0;
579 }
580
581 int AliHLTComponent::ScanConfigurationArgument(int /*argc*/, const char** /*argv*/)
582 {
583   // default implementation, childs can overload
584   HLTLogKeyword("dummy");
585   HLTWarning("The function needs to be implemented by the component");
586   return 0;
587 }
588
589 int AliHLTComponent::StartOfRun()
590 {
591   // default implementation, childs can overload
592   HLTLogKeyword("dummy");
593   return 0;
594 }
595
596 int AliHLTComponent::EndOfRun()
597 {
598   // default implementation, childs can overload
599   HLTLogKeyword("dummy");
600   return 0;
601 }
602
603
604 int AliHLTComponent::GetOutputDataTypes(AliHLTComponentDataTypeList& /*tgtList*/)
605 {
606   // default implementation, childs can overload
607   HLTLogKeyword("dummy");
608   return 0;
609 }
610
611 void AliHLTComponent::GetOCDBObjectDescription( TMap* const /*targetArray*/)
612 {
613   // default implementation, childs can overload
614   HLTLogKeyword("dummy");
615 }
616
617 int AliHLTComponent::CheckOCDBEntries(const TMap* const externList)
618 {
619   // check the availability of the OCDB entry descriptions in the TMap
620   //  key : complete OCDB path of the entry
621   //  value : auxiliary object - short description
622   // if the external map was not provided the function invokes
623   // interface function GetOCDBObjectDescription() to retrieve the list.
624   int iResult=0;
625   if (externList) {
626     iResult=AliHLTMisc::Instance().CheckOCDBEntries(externList);
627   } else {
628     TMap* pMap=new TMap;
629     if (pMap) {
630       pMap->SetOwnerKeyValue(kTRUE);
631       GetOCDBObjectDescription(pMap);
632       iResult=AliHLTMisc::Instance().CheckOCDBEntries(pMap);
633       delete pMap;
634       pMap=NULL;
635     }
636   }
637
638   return iResult;
639 }
640
641 void AliHLTComponent::DataType2Text( const AliHLTComponentDataType& type, char output[kAliHLTComponentDataTypefIDsize+kAliHLTComponentDataTypefOriginSize+2] ) const
642 {
643   // see header file for function documentation
644   memset( output, 0, kAliHLTComponentDataTypefIDsize+kAliHLTComponentDataTypefOriginSize+2 );
645   strncat( output, type.fOrigin, kAliHLTComponentDataTypefOriginSize );
646   strcat( output, ":" );
647   strncat( output, type.fID, kAliHLTComponentDataTypefIDsize );
648 }
649
650 string AliHLTComponent::DataType2Text( const AliHLTComponentDataType& type, int mode)
651 {
652   // see header file for function documentation
653   string out("");
654
655   // 'typeid' 'origin'
656   // aligned to 8 and 4 chars respectively, blocks enclosed in quotes and
657   // separated by blank e.g.
658   // 'DDL_RAW ' 'TPC '
659   if (mode==3) {
660     int i=0;
661     char tmp[8];
662     out+="'";
663     for (i=0; i<kAliHLTComponentDataTypefIDsize; i++) {
664       unsigned char* puc=(unsigned char*)type.fID;
665       if (puc[i]<32)
666         sprintf(tmp, "\\%x", type.fID[i]);
667       else
668         sprintf(tmp, "%c", type.fID[i]);
669       out+=tmp;
670     }
671     out+="' '";
672     for (i=0; i<kAliHLTComponentDataTypefOriginSize; i++) {
673       unsigned char* puc=(unsigned char*)type.fOrigin;
674       if ((puc[i])<32)
675         sprintf(tmp, "\\%x", type.fOrigin[i]);
676       else
677         sprintf(tmp, "%c", type.fOrigin[i]);
678       out+=tmp;
679     }
680     out+="'";
681     return out;
682   }
683
684   // origin typeid as numbers separated by colon e.g.
685   // aligned to 8 and 4 chars respectively, all characters separated by
686   // quotes, e.g.
687   // '84'80'67'32':'68'68'76'95'82'65'87'32'
688   if (mode==2) {
689     int i=0;
690     char tmp[8];
691     for (i=0; i<kAliHLTComponentDataTypefOriginSize; i++) {
692       sprintf(tmp, "'%d", type.fOrigin[i]);
693       out+=tmp;
694     }
695     out+="':'";
696     for (i=0; i<kAliHLTComponentDataTypefIDsize; i++) {
697       sprintf(tmp, "%d'", type.fID[i]);
698       out+=tmp;
699     }
700     return out;
701   }
702
703   // origin typeid separated by colon e.g.
704   // aligned to 8 and 4 chars respectively, all characters separated by
705   // quotes, e.g.
706   // 'T'P'C' ':'D'D'L'_'R'A'W' '
707   if (mode==1) {
708     int i=0;
709     char tmp[8];
710     for (i=0; i<kAliHLTComponentDataTypefOriginSize; i++) {
711       unsigned char* puc=(unsigned char*)type.fOrigin;
712       if ((puc[i])<32)
713         sprintf(tmp, "'\\%x", type.fOrigin[i]);
714       else
715         sprintf(tmp, "'%c", type.fOrigin[i]);
716       out+=tmp;
717     }
718     out+="':'";
719     for (i=0; i<kAliHLTComponentDataTypefIDsize; i++) {
720       unsigned char* puc=(unsigned char*)type.fID;
721       if (puc[i]<32)
722         sprintf(tmp, "\\%x'", type.fID[i]);
723       else
724         sprintf(tmp, "%c'", type.fID[i]);
725       out+=tmp;
726     }
727     return out;
728   }
729
730   // origin typeid
731   // aligned to 8 and 4 chars respectively, separated by colon e.g.
732   // TPC :DDL_RAW 
733   if (type==kAliHLTVoidDataType) {
734     out="VOID:VOID";
735   } else {
736     // some gymnastics in order to avoid a '0' which is part of either or both
737     // ID and origin terminating the whole string. Unfortunately, string doesn't
738     // stop appending at the '0' if the number of elements to append was 
739     // explicitely specified
740     string tmp("");
741     tmp.append(type.fOrigin, kAliHLTComponentDataTypefOriginSize);
742     out.append(tmp.c_str());
743     out.append(":");
744     tmp="";
745     tmp.append(type.fID, kAliHLTComponentDataTypefIDsize);
746     out.append(tmp.c_str());
747   }
748   return out;
749 }
750
751
752 void* AliHLTComponent::AllocMemory( unsigned long size ) 
753 {
754   // see header file for function documentation
755   if (fEnvironment.fAllocMemoryFunc)
756     return (*fEnvironment.fAllocMemoryFunc)(fEnvironment.fParam, size );
757   HLTFatal("no memory allocation handler registered");
758   return NULL;
759 }
760
761 int AliHLTComponent::MakeOutputDataBlockList( const AliHLTComponentBlockDataList& blocks, AliHLTUInt32_t* blockCount,
762                                               AliHLTComponentBlockData** outputBlocks ) 
763 {
764   // see header file for function documentation
765     if ( blockCount==NULL || outputBlocks==NULL )
766         return -EFAULT;
767     AliHLTUInt32_t count = blocks.size();
768     if ( !count )
769         {
770         *blockCount = 0;
771         *outputBlocks = NULL;
772         return 0;
773         }
774     *outputBlocks = reinterpret_cast<AliHLTComponentBlockData*>( AllocMemory( sizeof(AliHLTComponentBlockData)*count ) );
775     if ( !*outputBlocks )
776         return -ENOMEM;
777     for ( unsigned long i = 0; i < count; i++ ) {
778         (*outputBlocks)[i] = blocks[i];
779         if (MatchExactly(blocks[i].fDataType, kAliHLTAnyDataType)) {
780           (*outputBlocks)[i].fDataType=GetOutputDataType();
781           /* data type was set to the output data type by the PubSub AliRoot
782              Wrapper component, if data type of the block was ********:****.
783              Now handled by the component base class in order to have same
784              behavior when running embedded in AliRoot
785           memset((*outputBlocks)[i].fDataType.fID, '*', kAliHLTComponentDataTypefIDsize);
786           memset((*outputBlocks)[i].fDataType.fOrigin, '*', kAliHLTComponentDataTypefOriginSize);
787           */
788         }
789     }
790     *blockCount = count;
791     return 0;
792
793 }
794
795 int AliHLTComponent::GetEventDoneData( unsigned long size, AliHLTComponentEventDoneData** edd ) const
796 {
797   // see header file for function documentation
798   if (fEnvironment.fGetEventDoneDataFunc)
799     return (*fEnvironment.fGetEventDoneDataFunc)(fEnvironment.fParam, fCurrentEvent, size, edd );
800   return -ENOSYS;
801 }
802
803 int AliHLTComponent::ReserveEventDoneData( unsigned long size )
804 {
805   // see header file for function documentation
806   int iResult=0;
807
808   unsigned long capacity=fEventDoneDataSize;
809   if (fEventDoneData) capacity-=sizeof(AliHLTComponentEventDoneData)+fEventDoneData->fDataSize;
810   if (size>capacity) {
811     unsigned long newSize=sizeof(AliHLTComponentEventDoneData)+size+(fEventDoneDataSize-capacity);
812     AliHLTComponentEventDoneData* newEDD = reinterpret_cast<AliHLTComponentEventDoneData*>( new AliHLTUInt8_t[newSize] );
813     if (!newEDD)
814       return -ENOMEM;
815     newEDD->fStructSize = sizeof(AliHLTComponentEventDoneData);
816     newEDD->fDataSize = 0;
817     newEDD->fData = reinterpret_cast<AliHLTUInt8_t*>(newEDD)+newEDD->fStructSize;
818     if (fEventDoneData) {
819       memcpy( newEDD->fData, fEventDoneData->fData, fEventDoneData->fDataSize );
820       newEDD->fDataSize = fEventDoneData->fDataSize;
821       delete [] reinterpret_cast<AliHLTUInt8_t*>( fEventDoneData );
822     }
823     fEventDoneData = newEDD;
824     fEventDoneDataSize = newSize;
825   }
826   return iResult;
827
828 }
829
830 int AliHLTComponent::PushEventDoneData( AliHLTUInt32_t eddDataWord )
831 {
832   // see header file for function documentation
833   if (!fEventDoneData)
834     return -ENOMEM;
835   if (fEventDoneData->fDataSize+sizeof(AliHLTUInt32_t)>fEventDoneDataSize)
836     return -ENOSPC;
837   *reinterpret_cast<AliHLTUInt32_t*>((reinterpret_cast<AliHLTUInt8_t*>(fEventDoneData->fData)+fEventDoneData->fDataSize)) = eddDataWord;
838   fEventDoneData->fDataSize += sizeof(AliHLTUInt32_t);
839   return 0;
840 }
841
842 void AliHLTComponent::ReleaseEventDoneData()
843 {
844    // see header file for function documentation
845  if (fEventDoneData)
846     delete [] reinterpret_cast<AliHLTUInt8_t*>( fEventDoneData );
847   fEventDoneData = NULL;
848   fEventDoneDataSize = 0;
849 }
850
851
852 int AliHLTComponent::FindMatchingDataTypes(AliHLTComponent* pConsumer, AliHLTComponentDataTypeList* tgtList) 
853 {
854   // see header file for function documentation
855   int iResult=0;
856   if (pConsumer) {
857     AliHLTComponentDataTypeList itypes;
858     AliHLTComponentDataTypeList otypes;
859     otypes.push_back(GetOutputDataType());
860     if (MatchExactly(otypes[0],kAliHLTMultipleDataType)) {
861       otypes.clear();
862       int count=0;
863       if ((count=GetOutputDataTypes(otypes))>0) {
864       } else if (GetComponentType()!=kSink) {
865         HLTWarning("component %s indicates multiple output data types but GetOutputDataTypes returns %d", GetComponentID(), count);
866       }
867     }
868     pConsumer->GetInputDataTypes(itypes);
869     AliHLTComponentDataTypeList::iterator otype=otypes.begin();
870     for (;otype!=otypes.end();otype++) {
871       //PrintDataTypeContent((*otype), "publisher \'%s\'");
872       if ((*otype)==(kAliHLTAnyDataType|kAliHLTDataOriginPrivate)) {
873         if (tgtList) tgtList->push_back(*otype);
874         iResult++;
875         continue;
876       }
877       
878       AliHLTComponentDataTypeList::iterator itype=itypes.begin();
879       for ( ; itype!=itypes.end() && (*itype)!=(*otype) ; itype++) {/* empty body */};
880       //if (itype!=itypes.end()) PrintDataTypeContent(*itype, "consumer \'%s\'");
881       if (itype!=itypes.end()) {
882         if (tgtList) tgtList->push_back(*otype);
883         iResult++;
884       }
885     }
886   } else {
887     iResult=-EINVAL;
888   }
889   return iResult;
890 }
891
892 void AliHLTComponent::PrintDataTypeContent(AliHLTComponentDataType& dt, const char* format)
893 {
894   // see header file for function documentation
895   const char* fmt="\'%s\'";
896   if (format) fmt=format;
897   AliHLTLogging::Message(NULL, kHLTLogNone, NULL , NULL, Form(fmt, (DataType2Text(dt)).c_str()));
898   AliHLTLogging::Message(NULL, kHLTLogNone, NULL , NULL, 
899                          Form("%x %x %x %x %x %x %x %x : %x %x %x %x", 
900                               dt.fID[0],
901                               dt.fID[1],
902                               dt.fID[2],
903                               dt.fID[3],
904                               dt.fID[4],
905                               dt.fID[5],
906                               dt.fID[6],
907                               dt.fID[7],
908                               dt.fOrigin[0],
909                               dt.fOrigin[1],
910                               dt.fOrigin[2],
911                               dt.fOrigin[3]));
912 }
913
914 void AliHLTComponent::FillBlockData( AliHLTComponentBlockData& blockData )
915 {
916   // see header file for function documentation
917   blockData.fStructSize = sizeof(blockData);
918   FillShmData( blockData.fShmKey );
919   blockData.fOffset = ~(AliHLTUInt32_t)0;
920   blockData.fPtr = NULL;
921   blockData.fSize = 0;
922   FillDataType( blockData.fDataType );
923   blockData.fSpecification = kAliHLTVoidDataSpec;
924 }
925
926 void AliHLTComponent::FillShmData( AliHLTComponentShmData& shmData )
927 {
928   // see header file for function documentation
929   shmData.fStructSize = sizeof(shmData);
930   shmData.fShmType = gkAliHLTComponentInvalidShmType;
931   shmData.fShmID = gkAliHLTComponentInvalidShmID;
932 }
933
934 void AliHLTComponent::FillDataType( AliHLTComponentDataType& dataType )
935 {
936   // see header file for function documentation
937   dataType=kAliHLTAnyDataType;
938 }
939
940 void AliHLTComponent::CopyDataType(AliHLTComponentDataType& tgtdt, const AliHLTComponentDataType& srcdt) 
941 {
942   // see header file for function documentation
943   memcpy(&tgtdt.fID[0], &srcdt.fID[0], kAliHLTComponentDataTypefIDsize);
944   memcpy(&tgtdt.fOrigin[0], &srcdt.fOrigin[0], kAliHLTComponentDataTypefOriginSize);
945 }
946
947 void AliHLTComponent::SetDataType(AliHLTComponentDataType& tgtdt, const char* id, const char* origin) 
948 {
949   // see header file for function documentation
950   tgtdt.fStructSize=sizeof(AliHLTComponentDataType);
951   if (id) {
952     memset(&tgtdt.fID[0], 0, kAliHLTComponentDataTypefIDsize);
953     strncpy(&tgtdt.fID[0], id, strlen(id)<(size_t)kAliHLTComponentDataTypefIDsize?strlen(id):kAliHLTComponentDataTypefIDsize);
954   }
955   if (origin) {
956     memset(&tgtdt.fOrigin[0], 0, kAliHLTComponentDataTypefOriginSize);
957     strncpy(&tgtdt.fOrigin[0], origin, strlen(origin)<(size_t)kAliHLTComponentDataTypefOriginSize?strlen(origin):kAliHLTComponentDataTypefOriginSize);
958   }
959 }
960
961 void AliHLTComponent::SetDataType(AliHLTComponentDataType& dt, AliHLTUInt64_t id, AliHLTUInt32_t origin)
962 {
963   // see header file for function documentation
964   dt.fStructSize=sizeof(AliHLTComponentDataType);
965   assert(kAliHLTComponentDataTypefIDsize==sizeof(id));
966   assert(kAliHLTComponentDataTypefOriginSize==sizeof(origin));
967   memcpy(&dt.fID, &id, kAliHLTComponentDataTypefIDsize);
968   memcpy(&dt.fOrigin, &origin, kAliHLTComponentDataTypefOriginSize);
969 }
970
971 void AliHLTComponent::FillEventData(AliHLTComponentEventData& evtData)
972 {
973   // see header file for function documentation
974   memset(&evtData, 0, sizeof(AliHLTComponentEventData));
975   evtData.fStructSize=sizeof(AliHLTComponentEventData);
976   evtData.fEventID=kAliHLTVoidEventID;
977 }
978
979 void AliHLTComponent::PrintComponentDataTypeInfo(const AliHLTComponentDataType& dt) 
980 {
981   // see header file for function documentation
982   TString msg;
983   msg.Form("AliHLTComponentDataType(%d): ID=\"", dt.fStructSize);
984   for ( int i = 0; i < kAliHLTComponentDataTypefIDsize; i++ ) {
985    if (dt.fID[i]!=0) msg+=dt.fID[i];
986    else msg+="\\0";
987   }
988   msg+="\" Origin=\"";
989   for ( int i = 0; i < kAliHLTComponentDataTypefOriginSize; i++ ) {
990    if (dt.fOrigin[i]!=0) msg+=dt.fOrigin[i];
991    else msg+="\\0";
992   }
993   msg+="\"";
994   AliHLTLogging::Message(NULL, kHLTLogNone, NULL , NULL, msg.Data());
995 }
996
997 int AliHLTComponent::GetEventCount() const
998 {
999   // see header file for function documentation
1000   return fEventCount;
1001 }
1002
1003 int AliHLTComponent::IncrementEventCounter()
1004 {
1005   // see header file for function documentation
1006   if (fEventCount>=0) fEventCount++;
1007   return fEventCount;
1008 }
1009
1010 int AliHLTComponent::GetNumberOfInputBlocks() const
1011 {
1012   // see header file for function documentation
1013   if (fpInputBlocks!=NULL) {
1014     return fCurrentEventData.fBlockCnt;
1015   }
1016   return 0;
1017 }
1018
1019 AliHLTEventID_t AliHLTComponent::GetEventId() const
1020 {
1021   // see header file for function documentation
1022   if (fpInputBlocks!=NULL) {
1023     return fCurrentEventData.fEventID;
1024   }
1025   return 0;
1026 }
1027
1028 const TObject* AliHLTComponent::GetFirstInputObject(const AliHLTComponentDataType& dt,
1029                                                     const char* classname,
1030                                                     int bForce)
1031 {
1032   // see header file for function documentation
1033   ALIHLTCOMPONENT_BASE_STOPWATCH();
1034   fSearchDataType=dt;
1035   if (classname) fClassName=classname;
1036   else fClassName.clear();
1037   int idx=FindInputBlock(fSearchDataType, 0, 1);
1038   TObject* pObj=NULL;
1039   if (idx>=0) {
1040     HLTDebug("found block %d when searching for data type %s", idx, DataType2Text(dt).c_str());
1041     if ((pObj=GetInputObject(idx, fClassName.c_str(), bForce))!=NULL) {
1042       fCurrentInputBlock=idx;
1043     } else {
1044     }
1045   }
1046   return pObj;
1047 }
1048
1049 const TObject* AliHLTComponent::GetFirstInputObject(const char* dtID, 
1050                                                     const char* dtOrigin,
1051                                                     const char* classname,
1052                                                     int         bForce)
1053 {
1054   // see header file for function documentation
1055   ALIHLTCOMPONENT_BASE_STOPWATCH();
1056   AliHLTComponentDataType dt;
1057   SetDataType(dt, dtID, dtOrigin);
1058   return GetFirstInputObject(dt, classname, bForce);
1059 }
1060
1061 const TObject* AliHLTComponent::GetNextInputObject(int bForce)
1062 {
1063   // see header file for function documentation
1064   ALIHLTCOMPONENT_BASE_STOPWATCH();
1065   int idx=FindInputBlock(fSearchDataType, fCurrentInputBlock+1, 1);
1066   //HLTDebug("found block %d when searching for data type %s", idx, DataType2Text(fSearchDataType).c_str());
1067   TObject* pObj=NULL;
1068   if (idx>=0) {
1069     if ((pObj=GetInputObject(idx, fClassName.c_str(), bForce))!=NULL) {
1070       fCurrentInputBlock=idx;
1071     }
1072   }
1073   return pObj;
1074 }
1075
1076 int AliHLTComponent::FindInputBlock(const AliHLTComponentDataType& dt, int startIdx, int bObject) const
1077 {
1078   // see header file for function documentation
1079   int iResult=-ENOENT;
1080   if (fpInputBlocks!=NULL) {
1081     int idx=startIdx<0?0:startIdx;
1082     for ( ; (UInt_t)idx<fCurrentEventData.fBlockCnt && iResult==-ENOENT; idx++) {
1083       if (dt!=fpInputBlocks[idx].fDataType) continue;
1084
1085       if (bObject!=0) {
1086         if (fpInputBlocks[idx].fPtr==NULL) continue;
1087         AliHLTUInt32_t firstWord=*((AliHLTUInt32_t*)fpInputBlocks[idx].fPtr);
1088         if (firstWord!=fpInputBlocks[idx].fSize-sizeof(AliHLTUInt32_t)) continue;
1089       }
1090       iResult=idx;
1091     }
1092   }
1093   return iResult;
1094 }
1095
1096 TObject* AliHLTComponent::CreateInputObject(int idx, int bForce)
1097 {
1098   // see header file for function documentation
1099   TObject* pObj=NULL;
1100   if (fpInputBlocks!=NULL) {
1101     if ((UInt_t)idx<fCurrentEventData.fBlockCnt) {
1102       if (fpInputBlocks[idx].fPtr) {
1103         AliHLTUInt32_t firstWord=*((AliHLTUInt32_t*)fpInputBlocks[idx].fPtr);
1104         if (firstWord==fpInputBlocks[idx].fSize-sizeof(AliHLTUInt32_t)) {
1105           HLTDebug("create object from block %d size %d", idx, fpInputBlocks[idx].fSize);
1106           AliHLTMessage msg(fpInputBlocks[idx].fPtr, fpInputBlocks[idx].fSize);
1107           TClass* objclass=msg.GetClass();
1108           pObj=msg.ReadObject(objclass);
1109           if (pObj && objclass) {
1110             HLTDebug("object %p type %s created", pObj, objclass->GetName());
1111           } else {
1112           }
1113           //} else {
1114         } else if (bForce!=0) {
1115           HLTError("size mismatch: block size %d, indicated %d", fpInputBlocks[idx].fSize, firstWord+sizeof(AliHLTUInt32_t));
1116         }
1117       } else {
1118         HLTFatal("block descriptor empty");
1119       }
1120     } else {
1121       HLTError("index %d out of range %d", idx, fCurrentEventData.fBlockCnt);
1122     }
1123   } else {
1124     HLTError("no input blocks available");
1125   }
1126   
1127   return pObj;
1128 }
1129
1130 TObject* AliHLTComponent::GetInputObject(int idx, const char* /*classname*/, int bForce)
1131 {
1132   // see header file for function documentation
1133   if (fpInputObjects==NULL) {
1134     fpInputObjects=new TObjArray(fCurrentEventData.fBlockCnt);
1135   }
1136   TObject* pObj=NULL;
1137   if (fpInputObjects) {
1138     pObj=fpInputObjects->At(idx);
1139     if (pObj==NULL) {
1140       pObj=CreateInputObject(idx, bForce);
1141       if (pObj) {
1142         fpInputObjects->AddAt(pObj, idx);
1143       }
1144     }
1145   } else {
1146     HLTFatal("memory allocation failed: TObjArray of size %d", fCurrentEventData.fBlockCnt);
1147   }
1148   return pObj;
1149 }
1150
1151 int AliHLTComponent::CleanupInputObjects()
1152 {
1153   // see header file for function documentation
1154   if (!fpInputObjects) return 0;
1155   TObjArray* array=fpInputObjects;
1156   fpInputObjects=NULL;
1157   for (int i=0; i<array->GetEntriesFast(); i++) {
1158     TObject* pObj=array->At(i);
1159     // grrr, garbage collection strikes back: When read via AliHLTMessage
1160     // (CreateInputObject), and written to a TFile afterwards, the
1161     // TFile::Close calls ROOOT's garbage collection. No clue why the
1162     // object ended up in the key list and needs to be deleted
1163     //
1164     // Matthias 09.11.2008 follow up
1165     // This approach doesn't actually work in all cases: the object table
1166     // can be switched off globally, the flag needs to be checked here as
1167     // well in order to avoid memory leaks.
1168     // This means we have to find another solution for the problem if it
1169     // pops up again.
1170     if (pObj &&
1171         (!TObject::GetObjectStat() || gObjectTable->PtrIsValid(pObj))) {
1172       delete pObj;
1173     }
1174   }
1175   delete array;
1176   return 0;
1177 }
1178
1179 AliHLTComponentDataType AliHLTComponent::GetDataType(const TObject* pObject)
1180 {
1181   // see header file for function documentation
1182   ALIHLTCOMPONENT_BASE_STOPWATCH();
1183   AliHLTComponentDataType dt=kAliHLTVoidDataType;
1184   int idx=fCurrentInputBlock;
1185   if (pObject) {
1186     if (fpInputObjects==NULL || (idx=fpInputObjects->IndexOf(pObject))>=0) {
1187     } else {
1188       HLTError("unknown object %p", pObject);
1189     }
1190   }
1191   if (idx>=0) {
1192     if ((UInt_t)idx<fCurrentEventData.fBlockCnt) {
1193       dt=fpInputBlocks[idx].fDataType;
1194     } else {
1195       HLTFatal("severe internal error, index out of range");
1196     }
1197   }
1198   return dt;
1199 }
1200
1201 AliHLTUInt32_t AliHLTComponent::GetSpecification(const TObject* pObject)
1202 {
1203   // see header file for function documentation
1204   ALIHLTCOMPONENT_BASE_STOPWATCH();
1205   AliHLTUInt32_t iSpec=kAliHLTVoidDataSpec;
1206   int idx=fCurrentInputBlock;
1207   if (pObject) {
1208     if (fpInputObjects==NULL || (idx=fpInputObjects->IndexOf(pObject))>=0) {
1209     } else {
1210       HLTError("unknown object %p", pObject);
1211     }
1212   }
1213   if (idx>=0) {
1214     if ((UInt_t)idx<fCurrentEventData.fBlockCnt) {
1215       iSpec=fpInputBlocks[idx].fSpecification;
1216     } else {
1217       HLTFatal("severe internal error, index out of range");
1218     }
1219   }
1220   return iSpec;
1221 }
1222
1223 int AliHLTComponent::Forward(const TObject* pObject)
1224 {
1225   // see header file for function documentation
1226   int iResult=0;
1227   int idx=fCurrentInputBlock;
1228   if (pObject) {
1229     if (fpInputObjects==NULL || (idx=fpInputObjects->IndexOf(pObject))>=0) {
1230     } else {
1231       HLTError("unknown object %p", pObject);
1232       iResult=-ENOENT;
1233     }
1234   }
1235   if (idx>=0) {
1236     fOutputBlocks.push_back(fpInputBlocks[idx]);
1237   }
1238   return iResult;
1239 }
1240
1241 int AliHLTComponent::Forward(const AliHLTComponentBlockData* pBlock)
1242 {
1243   // see header file for function documentation
1244   int iResult=0;
1245   int idx=fCurrentInputBlock;
1246   if (pBlock) {
1247     if ((idx=FindInputBlock(pBlock))>=0) {
1248     } else {
1249       HLTError("unknown Block %p", pBlock);
1250       iResult=-ENOENT;      
1251     }
1252   }
1253   if (idx>=0) {
1254     // check for fpInputBlocks pointer done in FindInputBlock
1255     fOutputBlocks.push_back(fpInputBlocks[idx]);
1256   }
1257   return iResult;
1258 }
1259
1260 const AliHLTComponentBlockData* AliHLTComponent::GetFirstInputBlock(const AliHLTComponentDataType& dt)
1261 {
1262   // see header file for function documentation
1263   ALIHLTCOMPONENT_BASE_STOPWATCH();
1264   fSearchDataType=dt;
1265   fClassName.clear();
1266   int idx=FindInputBlock(fSearchDataType, 0);
1267   const AliHLTComponentBlockData* pBlock=NULL;
1268   if (idx>=0) {
1269     // check for fpInputBlocks pointer done in FindInputBlock
1270     pBlock=&fpInputBlocks[idx];
1271     fCurrentInputBlock=idx;
1272   }
1273   return pBlock;
1274 }
1275
1276 const AliHLTComponentBlockData* AliHLTComponent::GetFirstInputBlock(const char* dtID, 
1277                                                                     const char* dtOrigin)
1278 {
1279   // see header file for function documentation
1280   ALIHLTCOMPONENT_BASE_STOPWATCH();
1281   AliHLTComponentDataType dt;
1282   SetDataType(dt, dtID, dtOrigin);
1283   return GetFirstInputBlock(dt);
1284 }
1285
1286 const AliHLTComponentBlockData* AliHLTComponent::GetInputBlock(int index) const
1287 {
1288   // see header file for function documentation
1289   ALIHLTCOMPONENT_BASE_STOPWATCH();
1290   assert( 0 <= index and index < (int)fCurrentEventData.fBlockCnt );
1291   return &fpInputBlocks[index];
1292 }
1293
1294 const AliHLTComponentBlockData* AliHLTComponent::GetNextInputBlock()
1295 {
1296   // see header file for function documentation
1297   ALIHLTCOMPONENT_BASE_STOPWATCH();
1298   int idx=FindInputBlock(fSearchDataType, fCurrentInputBlock+1);
1299   const AliHLTComponentBlockData* pBlock=NULL;
1300   if (idx>=0) {
1301     // check for fpInputBlocks pointer done in FindInputBlock
1302     pBlock=&fpInputBlocks[idx];
1303     fCurrentInputBlock=idx;
1304   }
1305   return pBlock;
1306 }
1307
1308 int AliHLTComponent::FindInputBlock(const AliHLTComponentBlockData* pBlock) const
1309 {
1310   // see header file for function documentation
1311   int iResult=-ENOENT;
1312   if (fpInputBlocks!=NULL) {
1313     if (pBlock) {
1314       if (pBlock>=fpInputBlocks && pBlock<fpInputBlocks+fCurrentEventData.fBlockCnt) {
1315         iResult=(int)(pBlock-fpInputBlocks);
1316       }
1317     } else {
1318       iResult=-EINVAL;
1319     }
1320   }
1321   return iResult;
1322 }
1323
1324 AliHLTUInt32_t AliHLTComponent::GetSpecification(const AliHLTComponentBlockData* pBlock)
1325 {
1326   // see header file for function documentation
1327   ALIHLTCOMPONENT_BASE_STOPWATCH();
1328   AliHLTUInt32_t iSpec=kAliHLTVoidDataSpec;
1329   int idx=fCurrentInputBlock;
1330   if (pBlock) {
1331     if (fpInputObjects==NULL || (idx=FindInputBlock(pBlock))>=0) {
1332     } else {
1333       HLTError("unknown Block %p", pBlock);
1334     }
1335   }
1336   if (idx>=0) {
1337     // check for fpInputBlocks pointer done in FindInputBlock
1338     iSpec=fpInputBlocks[idx].fSpecification;
1339   }
1340   return iSpec;
1341 }
1342
1343 int AliHLTComponent::PushBack(TObject* pObject, const AliHLTComponentDataType& dt, AliHLTUInt32_t spec, 
1344                               void* pHeader, int headerSize)
1345 {
1346   // see header file for function documentation
1347   ALIHLTCOMPONENT_BASE_STOPWATCH();
1348   int iResult=0;
1349   fLastObjectSize=0;
1350   if (fPushbackPeriod>0) {
1351     // suppress the output
1352     TDatime time;
1353     if (fLastPushBackTime<0 || (int)time.Get()-fLastPushBackTime<fPushbackPeriod) return 0;
1354   }
1355   if (pObject) {
1356     AliHLTMessage msg(kMESS_OBJECT);
1357     msg.SetCompressionLevel(fCompressionLevel);
1358     msg.WriteObject(pObject);
1359     Int_t iMsgLength=msg.Length();
1360     if (iMsgLength>0) {
1361       // Matthias Sep 2008
1362       // NOTE: AliHLTMessage does implement it's own SetLength method
1363       // which is not architecture independent. The original SetLength
1364       // stores the size always in network byte order.
1365       // I'm trying to remember the rational for that, might be that
1366       // it was just some lack of knowledge. Want to change this, but
1367       // has to be done carefullt to be backward compatible.
1368       msg.SetLength(); // sets the length to the first (reserved) word
1369
1370       // does nothing if the level is 0
1371       msg.Compress();
1372
1373       char *mbuf = msg.Buffer();
1374       if (msg.CompBuffer()) {
1375         msg.SetLength(); // set once more to have to byte order
1376         mbuf = msg.CompBuffer();
1377         iMsgLength = msg.CompLength();
1378       }
1379       assert(mbuf!=NULL);
1380       iResult=InsertOutputBlock(mbuf, iMsgLength, dt, spec, pHeader, headerSize);
1381       if (iResult>=0) {
1382         HLTDebug("object %s (%p) size %d compression %d inserted to output", pObject->ClassName(), pObject, iMsgLength, msg.GetCompressionLevel());
1383       }
1384       fLastObjectSize=iMsgLength;
1385     } else {
1386       HLTError("object serialization failed for object %p", pObject);
1387       iResult=-ENOMSG;
1388     }
1389   } else {
1390     iResult=-EINVAL;
1391   }
1392   return iResult;
1393 }
1394
1395 int AliHLTComponent::PushBack(TObject* pObject, const char* dtID, const char* dtOrigin, AliHLTUInt32_t spec,
1396                               void* pHeader, int headerSize)
1397 {
1398   // see header file for function documentation
1399   ALIHLTCOMPONENT_BASE_STOPWATCH();
1400   AliHLTComponentDataType dt;
1401   SetDataType(dt, dtID, dtOrigin);
1402   return PushBack(pObject, dt, spec, pHeader, headerSize);
1403 }
1404
1405 int AliHLTComponent::PushBack(const void* pBuffer, int iSize, const AliHLTComponentDataType& dt, AliHLTUInt32_t spec,
1406                               const void* pHeader, int headerSize)
1407 {
1408   // see header file for function documentation
1409   ALIHLTCOMPONENT_BASE_STOPWATCH();
1410   if (fPushbackPeriod>0) {
1411     // suppress the output
1412     TDatime time;
1413     if (fLastPushBackTime<0 || (int)time.Get()-fLastPushBackTime<fPushbackPeriod) return 0;
1414   }
1415
1416   return InsertOutputBlock(pBuffer, iSize, dt, spec, pHeader, headerSize);
1417 }
1418
1419 int AliHLTComponent::PushBack(const void* pBuffer, int iSize, const char* dtID, const char* dtOrigin, AliHLTUInt32_t spec,
1420                               const void* pHeader, int headerSize)
1421 {
1422   // see header file for function documentation
1423   ALIHLTCOMPONENT_BASE_STOPWATCH();
1424   AliHLTComponentDataType dt;
1425   SetDataType(dt, dtID, dtOrigin);
1426   return PushBack(pBuffer, iSize, dt, spec, pHeader, headerSize);
1427 }
1428
1429 int AliHLTComponent::InsertOutputBlock(const void* pBuffer, int iBufferSize, const AliHLTComponentDataType& dt, AliHLTUInt32_t spec,
1430                                        const void* pHeader, int iHeaderSize)
1431 {
1432   // see header file for function documentation
1433   int iResult=0;
1434   int iBlkSize = iBufferSize + iHeaderSize;
1435
1436   if ((pBuffer!=NULL && iBufferSize>0) || (pHeader!=NULL && iHeaderSize>0)) {
1437     if (fpOutputBuffer && iBlkSize<=(int)(fOutputBufferSize-fOutputBufferFilled)) {
1438       AliHLTUInt8_t* pTgt=fpOutputBuffer+fOutputBufferFilled;
1439
1440       // copy header if provided but skip if the header is the target location
1441       // in that case it has already been copied
1442       if (pHeader!=NULL && pHeader!=pTgt) {
1443         memcpy(pTgt, pHeader, iHeaderSize);
1444       }
1445
1446       pTgt += (AliHLTUInt8_t) iHeaderSize;
1447
1448       // copy buffer if provided but skip if buffer is the target location
1449       // in that case it has already been copied
1450       if (pBuffer!=NULL && pBuffer!=pTgt) {
1451         memcpy(pTgt, pBuffer, iBufferSize);
1452         
1453         //AliHLTUInt32_t firstWord=*((AliHLTUInt32_t*)pBuffer); 
1454         //HLTDebug("copy %d bytes from %p to output buffer %p, first word %#x", iBufferSize, pBuffer, pTgt, firstWord);
1455       }
1456       //HLTDebug("buffer inserted to output: size %d data type %s spec %#x", iBlkSize, DataType2Text(dt).c_str(), spec);
1457     } else {
1458       if (fpOutputBuffer) {
1459         HLTError("too little space in output buffer: %d of %d, required %d", fOutputBufferSize-fOutputBufferFilled, fOutputBufferSize, iBlkSize);
1460       } else {
1461         HLTError("output buffer not available");
1462       }
1463       iResult=-ENOSPC;
1464     }
1465   }
1466   if (iResult>=0) {
1467     AliHLTComponentBlockData bd;
1468     FillBlockData( bd );
1469     bd.fOffset        = fOutputBufferFilled;
1470     bd.fSize          = iBlkSize;
1471     bd.fDataType      = dt;
1472     bd.fSpecification = spec;
1473     fOutputBlocks.push_back( bd );
1474     fOutputBufferFilled+=bd.fSize;
1475   }
1476
1477   return iResult;
1478 }
1479
1480 int AliHLTComponent::EstimateObjectSize(TObject* pObject) const
1481 {
1482   // see header file for function documentation
1483   if (!pObject) return 0;
1484
1485   AliHLTMessage msg(kMESS_OBJECT);
1486   msg.WriteObject(pObject);
1487   return msg.Length();  
1488 }
1489
1490 AliHLTMemoryFile* AliHLTComponent::CreateMemoryFile(int capacity, const char* dtID,
1491                                                     const char* dtOrigin,
1492                                                     AliHLTUInt32_t spec)
1493 {
1494   // see header file for function documentation
1495   ALIHLTCOMPONENT_BASE_STOPWATCH();
1496   AliHLTComponentDataType dt;
1497   SetDataType(dt, dtID, dtOrigin);
1498   return CreateMemoryFile(capacity, dt, spec);
1499 }
1500
1501 AliHLTMemoryFile* AliHLTComponent::CreateMemoryFile(int capacity,
1502                                                     const AliHLTComponentDataType& dt,
1503                                                     AliHLTUInt32_t spec)
1504 {
1505   // see header file for function documentation
1506   ALIHLTCOMPONENT_BASE_STOPWATCH();
1507   AliHLTMemoryFile* pFile=NULL;
1508   if (capacity>=0 && static_cast<unsigned int>(capacity)<=fOutputBufferSize-fOutputBufferFilled){
1509     AliHLTUInt8_t* pTgt=fpOutputBuffer+fOutputBufferFilled;
1510     pFile=new AliHLTMemoryFile((char*)pTgt, capacity);
1511     if (pFile) {
1512       unsigned int nofBlocks=fOutputBlocks.size();
1513       if (nofBlocks+1>fMemFiles.size()) {
1514         fMemFiles.resize(nofBlocks+1, NULL);
1515       }
1516       if (nofBlocks<fMemFiles.size()) {
1517         fMemFiles[nofBlocks]=pFile;
1518         AliHLTComponentBlockData bd;
1519         FillBlockData( bd );
1520         bd.fOffset        = fOutputBufferFilled;
1521         bd.fSize          = capacity;
1522         bd.fDataType      = dt;
1523         bd.fSpecification = spec;
1524         fOutputBufferFilled+=bd.fSize;
1525         fOutputBlocks.push_back( bd );
1526       } else {
1527         HLTError("can not allocate/grow object array");
1528         pFile->CloseMemoryFile(0);
1529         delete pFile;
1530         pFile=NULL;
1531       }
1532     }
1533   } else {
1534     HLTError("can not create memory file of size %d (%d available)", capacity, fOutputBufferSize-fOutputBufferFilled);
1535   }
1536   return pFile;
1537 }
1538
1539 AliHLTMemoryFile* AliHLTComponent::CreateMemoryFile(const char* dtID,
1540                                                     const char* dtOrigin,
1541                                                     AliHLTUInt32_t spec,
1542                                                     float capacity)
1543 {
1544   // see header file for function documentation
1545   ALIHLTCOMPONENT_BASE_STOPWATCH();
1546   AliHLTComponentDataType dt;
1547   SetDataType(dt, dtID, dtOrigin);
1548   int size=fOutputBufferSize-fOutputBufferFilled;
1549   if (capacity<0 || capacity>1.0) {
1550     HLTError("invalid parameter: capacity %f", capacity);
1551     return NULL;
1552   }
1553   size=(int)(size*capacity);
1554   return CreateMemoryFile(size, dt, spec);
1555 }
1556
1557 AliHLTMemoryFile* AliHLTComponent::CreateMemoryFile(const AliHLTComponentDataType& dt,
1558                                                     AliHLTUInt32_t spec,
1559                                                     float capacity)
1560 {
1561   // see header file for function documentation
1562   ALIHLTCOMPONENT_BASE_STOPWATCH();
1563   int size=fOutputBufferSize-fOutputBufferFilled;
1564   if (capacity<0 || capacity>1.0) {
1565     HLTError("invalid parameter: capacity %f", capacity);
1566     return NULL;
1567   }
1568   size=(int)(size*capacity);
1569   return CreateMemoryFile(size, dt, spec);
1570 }
1571
1572 int AliHLTComponent::Write(AliHLTMemoryFile* pFile, const TObject* pObject,
1573                            const char* key, int option)
1574 {
1575   // see header file for function documentation
1576   int iResult=0;
1577   if (pFile && pObject) {
1578     pFile->cd();
1579     iResult=pObject->Write(key, option);
1580     if (iResult>0) {
1581       // success
1582     } else {
1583       iResult=-pFile->GetErrno();
1584       if (iResult==-ENOSPC) {
1585         HLTError("error writing memory file, buffer too small");
1586       }
1587     }
1588   } else {
1589     iResult=-EINVAL;
1590   }
1591   return iResult;
1592 }
1593
1594 int AliHLTComponent::CloseMemoryFile(AliHLTMemoryFile* pFile)
1595 {
1596   // see header file for function documentation
1597   int iResult=0;
1598   if (pFile) {
1599     AliHLTMemoryFilePList::iterator element=fMemFiles.begin();
1600     int i=0;
1601     while (element!=fMemFiles.end() && iResult>=0) {
1602       if (*element && *element==pFile) {
1603         iResult=pFile->CloseMemoryFile();
1604         
1605         // sync memory files and descriptors
1606         if (iResult>=0) {
1607           fOutputBlocks[i].fSize=(*element)->GetSize()+(*element)->GetHeaderSize();
1608         }
1609         delete *element;
1610         *element=NULL;
1611         return iResult;
1612       }
1613       element++; i++;
1614     }
1615     HLTError("can not find memory file %p", pFile);
1616     iResult=-ENOENT;
1617   } else {
1618     iResult=-EINVAL;
1619   }
1620   return iResult;
1621 }
1622
1623 int AliHLTComponent::CreateEventDoneData(AliHLTComponentEventDoneData edd)
1624 {
1625   // see header file for function documentation
1626   int iResult=0;
1627
1628   AliHLTComponentEventDoneData* newEDD = NULL;
1629   
1630   unsigned long newSize=edd.fDataSize;
1631   if (fEventDoneData)
1632     newSize += fEventDoneData->fDataSize;
1633
1634   if (newSize>fEventDoneDataSize) {
1635     newEDD = reinterpret_cast<AliHLTComponentEventDoneData*>( new AliHLTUInt8_t[ sizeof(AliHLTComponentEventDoneData)+newSize ] );
1636     if (!newEDD)
1637       return -ENOMEM;
1638     newEDD->fStructSize = sizeof(AliHLTComponentEventDoneData);
1639     newEDD->fDataSize = newSize;
1640     newEDD->fData = reinterpret_cast<AliHLTUInt8_t*>(newEDD)+newEDD->fStructSize;
1641     unsigned long long offset = 0;
1642     if (fEventDoneData) {
1643       memcpy( newEDD->fData, fEventDoneData->fData, fEventDoneData->fDataSize );
1644       offset += fEventDoneData->fDataSize;
1645     }
1646     memcpy( reinterpret_cast<AliHLTUInt8_t*>(newEDD->fData)+offset, edd.fData, edd.fDataSize );
1647     if (fEventDoneData)
1648       delete [] reinterpret_cast<AliHLTUInt8_t*>( fEventDoneData );
1649     fEventDoneData = newEDD;
1650     fEventDoneDataSize = newSize;
1651   }
1652   else {
1653     memcpy( reinterpret_cast<AliHLTUInt8_t*>(fEventDoneData->fData)+fEventDoneData->fDataSize, edd.fData, edd.fDataSize );
1654     fEventDoneData->fDataSize += edd.fDataSize;
1655   }
1656   return iResult;
1657 }
1658
1659 int AliHLTComponent::ProcessEvent( const AliHLTComponentEventData& evtData,
1660                                    const AliHLTComponentBlockData* blocks, 
1661                                    AliHLTComponentTriggerData& trigData,
1662                                    AliHLTUInt8_t* outputPtr, 
1663                                    AliHLTUInt32_t& size,
1664                                    AliHLTUInt32_t& outputBlockCnt, 
1665                                    AliHLTComponentBlockData*& outputBlocks,
1666                                    AliHLTComponentEventDoneData*& edd )
1667 {
1668   // see header file for function documentation
1669   HLTLogKeyword(fChainId.c_str());
1670   ALIHLTCOMPONENT_BASE_STOPWATCH();
1671   int iResult=0;
1672   fCurrentEvent=evtData.fEventID;
1673   fCurrentEventData=evtData;
1674   fpInputBlocks=blocks;
1675   fCurrentInputBlock=-1;
1676   fSearchDataType=kAliHLTAnyDataType;
1677   fpOutputBuffer=outputPtr;
1678   fOutputBufferSize=size;
1679   fOutputBufferFilled=0;
1680   fOutputBlocks.clear();
1681   outputBlockCnt=0;
1682   outputBlocks=NULL;
1683
1684   AliHLTComponentBlockDataList forwardedBlocks;
1685
1686   // optional component statistics
1687   AliHLTComponentStatisticsList compStats;
1688   bool bAddComponentTableEntry=false;
1689   vector<AliHLTUInt32_t> parentComponentTables;
1690 #if defined(HLT_COMPONENT_STATISTICS)
1691   if ((fFlags&kDisableComponentStat)==0) {
1692     AliHLTComponentStatistics outputStat;
1693     memset(&outputStat, 0, sizeof(AliHLTComponentStatistics));
1694     outputStat.fStructSize=sizeof(AliHLTComponentStatistics);
1695     outputStat.fId=fChainIdCrc;
1696     if (fpBenchmark) {
1697       fpBenchmark->Stop();
1698       outputStat.fComponentCycleTime=(AliHLTUInt32_t)(fpBenchmark->RealTime()*ALIHLTCOMPONENT_STATTIME_SCALER);
1699       fpBenchmark->Reset();
1700       fpBenchmark->Start();
1701     }
1702     compStats.push_back(outputStat);
1703   }
1704 #endif // HLT_COMPONENT_STATISTICS
1705
1706   // data processing is skipped
1707   // -  if there are only steering events in the block list.
1708   //    For the sake of data source components data processing
1709   //    is not skipped if there is no block list at all or if it
1710   //    just contains the eventType block
1711   // - always skipped if the event is of type
1712   //   - gkAliEventTypeConfiguration
1713   //   - gkAliEventTypeReadPreprocessor
1714   const unsigned int skipModeDefault=0x1;
1715   const unsigned int skipModeForce=0x2;
1716   unsigned int bSkipDataProcessing=skipModeDefault;
1717
1718   // find special events
1719   if (fpInputBlocks && evtData.fBlockCnt>0) {
1720     // first look for all special events and execute in the appropriate
1721     // sequence afterwords
1722     int indexComConfEvent=-1;
1723     int indexUpdtDCSEvent=-1;
1724     int indexSOREvent=-1;
1725     int indexEOREvent=-1;
1726     int indexECSParamBlock=-1;
1727     for (unsigned int i=0; i<evtData.fBlockCnt && iResult>=0; i++) {
1728       if (fpInputBlocks[i].fDataType==kAliHLTDataTypeSOR) {
1729         indexSOREvent=i;
1730         // the AliHLTCalibrationProcessor relies on the SOR and EOR events
1731         bSkipDataProcessing&=~skipModeDefault;
1732       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeRunType) {
1733         // run type string
1734         // handling is not clear yet
1735         if (fpInputBlocks[i].fPtr) {
1736           HLTDebug("got run type \"%s\"\n", fpInputBlocks[i].fPtr);
1737         }
1738       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeEOR) {
1739         indexEOREvent=i;
1740         // the calibration processor relies on the SOR and EOR events
1741         bSkipDataProcessing&=~skipModeDefault;
1742       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeDDL) {
1743         // DDL list
1744         // this event is most likely deprecated
1745       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeComConf) {
1746         indexComConfEvent=i;
1747       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeUpdtDCS) {
1748         indexUpdtDCSEvent=i;
1749       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeEvent) {
1750         fEventType=fpInputBlocks[i].fSpecification;
1751
1752         // skip always in case of gkAliEventTypeConfiguration
1753         if (fpInputBlocks[i].fSpecification==gkAliEventTypeConfiguration) bSkipDataProcessing|=skipModeForce;
1754
1755         // skip always in case of gkAliEventTypeReadPreprocessor
1756         if (fpInputBlocks[i].fSpecification==gkAliEventTypeReadPreprocessor) bSkipDataProcessing|=skipModeForce;
1757
1758         // never skip if the event type block is the only block
1759         if (evtData.fBlockCnt==1) bSkipDataProcessing&=~skipModeDefault;
1760
1761       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeComponentStatistics) {
1762         if (compStats.size()>0) {
1763           AliHLTUInt8_t* pData=reinterpret_cast<AliHLTUInt8_t*>(fpInputBlocks[i].fPtr);
1764           for (AliHLTUInt32_t offset=0;
1765                offset+sizeof(AliHLTComponentStatistics)<=fpInputBlocks[i].fSize;
1766                offset+=sizeof(AliHLTComponentStatistics)) {
1767             AliHLTComponentStatistics* pStat=reinterpret_cast<AliHLTComponentStatistics*>(pData+offset);
1768             if (pStat && compStats[0].fLevel<=pStat->fLevel) {
1769               compStats[0].fLevel=pStat->fLevel+1;
1770             }
1771             compStats.push_back(*pStat);
1772           }
1773         }
1774       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeComponentTable) {
1775         forwardedBlocks.push_back(fpInputBlocks[i]);
1776         parentComponentTables.push_back(fpInputBlocks[i].fSpecification);
1777       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeECSParam) {
1778         indexECSParamBlock=i;
1779       } else {
1780         // the processing function is called if there is at least one
1781         // non-steering data block. Steering blocks are not filtered out
1782         // for sake of performance 
1783         bSkipDataProcessing&=~skipModeDefault;
1784         if (compStats.size()>0) {
1785           compStats[0].fInputBlockCount++;
1786           compStats[0].fTotalInputSize+=fpInputBlocks[i].fSize;
1787         }
1788       }
1789     }
1790
1791     if (indexSOREvent>=0) {
1792       // start of run
1793       bAddComponentTableEntry=true;
1794       if (fpRunDesc==NULL) {
1795         fpRunDesc=new AliHLTRunDesc;
1796         if (fpRunDesc) *fpRunDesc=kAliHLTVoidRunDesc;
1797       }
1798       if (fpRunDesc) {
1799         AliHLTRunDesc rundesc;
1800         if ((iResult=CopyStruct(&rundesc, sizeof(AliHLTRunDesc), indexSOREvent, "AliHLTRunDesc", "SOR"))>0) {
1801           if (fpRunDesc->fRunNo==kAliHLTVoidRunNo) {
1802             *fpRunDesc=rundesc;
1803             HLTDebug("set run decriptor, run no %d", fpRunDesc->fRunNo);
1804             SetCDBRunNo(fpRunDesc->fRunNo);
1805           } else if (fpRunDesc->fRunNo!=rundesc.fRunNo) {
1806             HLTWarning("already set run properties run no %d, ignoring SOR with run no %d", fpRunDesc->fRunNo, rundesc.fRunNo);
1807           }
1808         }
1809       } else {
1810         iResult=-ENOMEM;
1811       }
1812
1813       if (indexECSParamBlock>=0) {
1814         if (fpInputBlocks[indexECSParamBlock].fSize>0) {
1815           const char* param=reinterpret_cast<const char*>(fpInputBlocks[indexECSParamBlock].fPtr);
1816           TString paramString;
1817           if (param[fpInputBlocks[indexECSParamBlock].fSize-1]!=0) {
1818             HLTWarning("ECS parameter string not terminated");
1819             paramString.Insert(0, param, fpInputBlocks[indexECSParamBlock].fSize);
1820             paramString+="";
1821           } else {
1822             paramString=param;
1823           }
1824           ScanECSParam(paramString.Data());
1825         } else {
1826           HLTWarning("empty ECS parameter received");
1827         }
1828       } else {
1829         // TODO: later on we might throw a warning here since the CTP trigger classes
1830         // should be mandatory
1831       }
1832     }
1833     if (indexEOREvent>=0) {
1834       fLastPushBackTime=0; // always send at EOR
1835       bAddComponentTableEntry=true;
1836       if (fpRunDesc!=NULL) {
1837         if (fpRunDesc) {
1838           AliHLTRunDesc rundesc;
1839           if ((iResult=CopyStruct(&rundesc, sizeof(AliHLTRunDesc), indexEOREvent, "AliHLTRunDesc", "SOR"))>0) {
1840             if (fpRunDesc->fRunNo!=rundesc.fRunNo) {
1841               HLTWarning("run no mismatch: SOR %d, EOR %d", fpRunDesc->fRunNo, rundesc.fRunNo);
1842             } else {
1843               HLTDebug("EOR run no %d", fpRunDesc->fRunNo);
1844             }
1845           }
1846           // we do not unload the fpRunDesc struct here in order to have the run information
1847           // available during the event processing
1848           // https://savannah.cern.ch/bugs/?39711
1849           // the info will be cleared in DeInit
1850         }
1851       } else {
1852         HLTWarning("did not receive SOR, ignoring EOR");
1853       }
1854     }
1855     if (indexComConfEvent>=0 || fEventType==gkAliEventTypeConfiguration) {
1856       TString cdbEntry;
1857       if (indexComConfEvent>=0 && fpInputBlocks[indexComConfEvent].fPtr!=NULL && fpInputBlocks[indexComConfEvent].fSize>0) {
1858         cdbEntry.Append(reinterpret_cast<const char*>(fpInputBlocks[indexComConfEvent].fPtr), fpInputBlocks[indexComConfEvent].fSize);
1859       }
1860       HLTDebug("received component configuration command: entry %s", cdbEntry.IsNull()?"none":cdbEntry.Data());
1861       int tmpResult=Reconfigure(cdbEntry[0]==0?NULL:cdbEntry.Data(), fChainId.c_str());
1862       if (tmpResult<0) {
1863         HLTWarning("reconfiguration of component %p (%s) failed with error code %d", this, GetComponentID(), tmpResult);
1864       }
1865     }
1866     if (indexUpdtDCSEvent>=0 || fEventType==gkAliEventTypeReadPreprocessor) {
1867       TString modules;
1868       if (fpInputBlocks[indexUpdtDCSEvent].fPtr!=NULL && fpInputBlocks[indexUpdtDCSEvent].fSize>0) {
1869         modules.Append(reinterpret_cast<const char*>(fpInputBlocks[indexUpdtDCSEvent].fPtr), fpInputBlocks[indexUpdtDCSEvent].fSize);
1870       }
1871       HLTDebug("received preprocessor update command: detectors %s", modules.IsNull()?"ALL":modules.Data());
1872       int tmpResult=ReadPreprocessorValues(modules[0]==0?"ALL":modules.Data());
1873       if (tmpResult<0) {
1874         HLTWarning("preprocessor update of component %p (%s) failed with error code %d", this, GetComponentID(), tmpResult);
1875       }
1876     }
1877   } else {
1878     // processing function needs to be called if there are no input data
1879     // blocks in order to make data source components working.
1880     bSkipDataProcessing&=~skipModeDefault;
1881   }
1882
1883   // data processing is not skipped if the component explicitly asks
1884   // for the private blocks
1885   if ((fFlags&kRequireSteeringBlocks)!=0) bSkipDataProcessing=0;
1886
1887   if (fpCTPData) {
1888     // set the active triggers for this event
1889     fpCTPData->SetTriggers(trigData);
1890     // increment CTP trigger counters if available
1891     if (IsDataEvent()) fpCTPData->Increment(trigData);
1892   }
1893
1894   AliHLTComponentBlockDataList blockData;
1895   if (iResult>=0 && !bSkipDataProcessing)
1896   { // dont delete, sets the scope for the stopwatch guard
1897     // do not use ALIHLTCOMPONENT_DA_STOPWATCH(); macro
1898     // in order to avoid 'shadowed variable' warning
1899     AliHLTStopwatchGuard swguard2(fpStopwatches!=NULL?reinterpret_cast<TStopwatch*>(fpStopwatches->At((int)kSWDA)):NULL);
1900     iResult=DoProcessing(evtData, blocks, trigData, outputPtr, size, blockData, edd);
1901   } // end of the scope of the stopwatch guard
1902   if (iResult>=0 && !bSkipDataProcessing) {
1903     if (fOutputBlocks.size()>0) {
1904       // High Level interface
1905
1906       //HLTDebug("got %d block(s) via high level interface", fOutputBlocks.size());      
1907       // sync memory files and descriptors
1908       AliHLTMemoryFilePList::iterator element=fMemFiles.begin();
1909       int i=0;
1910       while (element!=fMemFiles.end() && iResult>=0) {
1911         if (*element) {
1912           if ((*element)->IsClosed()==0) {
1913             HLTWarning("memory file has not been closed, force flush");
1914             iResult=CloseMemoryFile(*element);
1915           }
1916         }
1917         element++; i++;
1918       }
1919
1920       if (iResult>=0) {
1921         // create the descriptor list
1922         if (blockData.size()>0) {
1923           HLTError("low level and high interface must not be mixed; use PushBack methods to insert data blocks");
1924           iResult=-EFAULT;
1925         } else {
1926           if (compStats.size()>0 && IsDataEvent()) {
1927             int offset=AddComponentStatistics(fOutputBlocks, fpOutputBuffer, fOutputBufferSize, fOutputBufferFilled, compStats);
1928             if (offset>0) fOutputBufferFilled+=offset;
1929           }
1930           if (bAddComponentTableEntry) {
1931             int offset=AddComponentTableEntry(fOutputBlocks, fpOutputBuffer, fOutputBufferSize, fOutputBufferFilled, parentComponentTables);
1932             if (offset>0) size+=offset;
1933           }
1934           if (forwardedBlocks.size()>0) {
1935             fOutputBlocks.insert(fOutputBlocks.end(), forwardedBlocks.begin(), forwardedBlocks.end());
1936           }
1937           iResult=MakeOutputDataBlockList(fOutputBlocks, &outputBlockCnt, &outputBlocks);
1938           size=fOutputBufferFilled;
1939         }
1940       }
1941     } else {
1942       // Low Level interface
1943       if (compStats.size()>0) {
1944         int offset=AddComponentStatistics(blockData, fpOutputBuffer, fOutputBufferSize, size, compStats);
1945         if (offset>0) size+=offset;
1946       }
1947       if (bAddComponentTableEntry) {
1948         int offset=AddComponentTableEntry(blockData, fpOutputBuffer, fOutputBufferSize, size, parentComponentTables);
1949         if (offset>0) size+=offset;
1950       }
1951       if (forwardedBlocks.size()>0) {
1952         blockData.insert(blockData.end(), forwardedBlocks.begin(), forwardedBlocks.end());
1953       }
1954       iResult=MakeOutputDataBlockList(blockData, &outputBlockCnt, &outputBlocks);
1955     }
1956     if (iResult<0) {
1957       HLTFatal("component %s (%p): can not convert output block descriptor list", GetComponentID(), this);
1958     }
1959   }
1960   if (iResult<0 || bSkipDataProcessing) {
1961     outputBlockCnt=0;
1962     outputBlocks=NULL;
1963   }
1964   CleanupInputObjects();
1965   if (iResult>=0 && IsDataEvent()) {
1966     IncrementEventCounter();
1967   }
1968   if (outputBlockCnt==0) {
1969     // no output blocks, set size to 0
1970     size=0;
1971   }
1972
1973   // reset the internal EventData struct
1974   FillEventData(fCurrentEventData);
1975
1976   // reset the active triggers
1977   if (fpCTPData) fpCTPData->SetTriggers(0);
1978
1979   // set the time for the pushback period
1980   if (fPushbackPeriod>0) {
1981     // suppress the output
1982     TDatime time;
1983     if (fLastPushBackTime<0 || (int)time.Get()-fLastPushBackTime>=fPushbackPeriod) {
1984       fLastPushBackTime=time.Get();
1985     }
1986   }
1987
1988   return iResult;
1989 }
1990
1991 int  AliHLTComponent::AddComponentStatistics(AliHLTComponentBlockDataList& blocks, 
1992                                              AliHLTUInt8_t* buffer,
1993                                              AliHLTUInt32_t bufferSize,
1994                                              AliHLTUInt32_t offset,
1995                                              AliHLTComponentStatisticsList& stats) const
1996 {
1997   // see header file for function documentation
1998   int iResult=0;
1999   if ((fFlags&kDisableComponentStat)!=0) return 0;
2000 #if defined(HLT_COMPONENT_STATISTICS)
2001   if (stats.size()==0) return -ENOENT;
2002   // check if there is space for at least one entry
2003   if (offset+sizeof(AliHLTComponentStatistics)>bufferSize) return 0;
2004   stats[0].fTotalOutputSize=offset;
2005   stats[0].fOutputBlockCount=blocks.size();
2006   if (fpBenchmark) {
2007     fpBenchmark->Stop();
2008     stats[0].fTime=(AliHLTUInt32_t)(fpBenchmark->RealTime()*ALIHLTCOMPONENT_STATTIME_SCALER);
2009     stats[0].fCTime=(AliHLTUInt32_t)(fpBenchmark->CpuTime()*ALIHLTCOMPONENT_STATTIME_SCALER);
2010     fpBenchmark->Continue();
2011   }
2012   if (offset+stats.size()*sizeof(AliHLTComponentStatistics)>bufferSize) {
2013     AliHLTUInt32_t removedLevel=0;
2014     do {
2015       // remove all entries of the level of the last entry
2016       removedLevel=stats.back().fLevel;
2017       AliHLTComponentStatisticsList::iterator element=stats.begin();
2018       element++;
2019       while (element!=stats.end()) {
2020         if (element->fLevel<=removedLevel) {
2021           element=stats.erase(element);
2022         } else {
2023           element++;
2024         }
2025       }
2026     } while (stats.size()>1 && 
2027              (offset+stats.size()*sizeof(AliHLTComponentStatistics)>bufferSize));
2028   }
2029   assert(stats.size()>0);
2030   if (stats.size()==0) return 0;
2031
2032   if (offset+stats.size()*sizeof(AliHLTComponentStatistics)<=bufferSize) {
2033     AliHLTComponentBlockData bd;
2034     FillBlockData( bd );
2035     bd.fOffset        = offset;
2036     bd.fSize          = stats.size()*sizeof(AliHLTComponentStatistics);
2037     bd.fDataType      = kAliHLTDataTypeComponentStatistics;
2038     bd.fSpecification = kAliHLTVoidDataSpec;
2039     unsigned int master=0;
2040     for (unsigned int i=1; i<blocks.size(); i++) {
2041       if (blocks[i].fSize>blocks[master].fSize && 
2042           !MatchExactly(blocks[i].fDataType, kAliHLTVoidDataType|kAliHLTDataOriginPrivate))
2043         master=i;
2044     }
2045     if (blocks.size()>0 && !MatchExactly(blocks[master].fDataType, kAliHLTVoidDataType|kAliHLTDataOriginPrivate)) {
2046       // take the data origin of the biggest block as specification
2047       // this is similar to the treatment in the HOMER interface. For traditional
2048       // reasons, the bytes are swapped there on a little endian architecture, so
2049       // we do it as well.
2050       memcpy(&bd.fSpecification, &blocks[master].fDataType.fOrigin, sizeof(bd.fSpecification));
2051 #ifdef R__BYTESWAP // set on little endian architectures
2052       bd.fSpecification=((bd.fSpecification & 0xFFULL) << 24) | 
2053         ((bd.fSpecification & 0xFF00ULL) << 8) | 
2054         ((bd.fSpecification & 0xFF0000ULL) >> 8) | 
2055         ((bd.fSpecification & 0xFF000000ULL) >> 24);
2056 #endif
2057     }
2058     memcpy(buffer+offset, &(stats[0]), bd.fSize);
2059     blocks.push_back(bd);
2060     iResult=bd.fSize;
2061   }
2062 #else
2063   if (blocks.size() && buffer && bufferSize && offset && stats.size()) {
2064     // get rid of warning
2065   }
2066 #endif // HLT_COMPONENT_STATISTICS
2067   return iResult;
2068 }
2069
2070 int  AliHLTComponent::AddComponentTableEntry(AliHLTComponentBlockDataList& blocks, 
2071                                              AliHLTUInt8_t* buffer,
2072                                              AliHLTUInt32_t bufferSize,
2073                                              AliHLTUInt32_t offset,
2074                                              const vector<AliHLTUInt32_t>& parents) const
2075 {
2076   // see header file for function documentation
2077   int iResult=0;
2078   if ((fFlags&kDisableComponentStat)!=0) return 0;
2079 #if defined(HLT_COMPONENT_STATISTICS)
2080   // the payload consists of the AliHLTComponentTableEntry struct,
2081   // followed by a an array of 32bit crc chain ids and the component
2082   // description string
2083   unsigned int payloadSize=sizeof(AliHLTComponentTableEntry);
2084   payloadSize+=parents.size()*sizeof(AliHLTUInt32_t);
2085
2086   // the component description has the following format:
2087   // chain-id{component-id:arguments}
2088   const char* componentId=const_cast<AliHLTComponent*>(this)->GetComponentID();
2089   unsigned int descriptionSize=fChainId.size()+1;
2090   descriptionSize+=2; // the '{}' around the component id
2091   descriptionSize+=strlen(componentId);
2092   descriptionSize+=1; // the ':' between component id and arguments
2093   descriptionSize+=fComponentArgs.size();
2094
2095   payloadSize+=descriptionSize;
2096   if (buffer && (offset+payloadSize<=bufferSize)) {
2097     AliHLTUInt8_t* pTgt=buffer+offset;
2098     memset(pTgt, 0, payloadSize);
2099
2100     // write entry
2101     AliHLTComponentTableEntry* pEntry=reinterpret_cast<AliHLTComponentTableEntry*>(pTgt);
2102     pEntry->fStructSize=sizeof(AliHLTComponentTableEntry);
2103     pEntry->fNofParents=parents.size();
2104     pEntry->fSizeDescription=descriptionSize;
2105     pTgt=pEntry->fBuffer;
2106
2107     // write array of parents
2108     if (parents.size()>0) {
2109       unsigned int copy=parents.size()*sizeof(vector<AliHLTUInt32_t>::value_type);
2110       memcpy(pTgt, &parents[0], parents.size()*sizeof(vector<AliHLTUInt32_t>::value_type));
2111       pTgt+=copy;
2112     }
2113
2114     // write component description
2115     memcpy(pTgt, fChainId.c_str(), fChainId.size());
2116     pTgt+=fChainId.size();
2117     *pTgt++='{';
2118     memcpy(pTgt, componentId, strlen(componentId));
2119     pTgt+=strlen(componentId);
2120     *pTgt++=':';
2121     memcpy(pTgt, fComponentArgs.c_str(), fComponentArgs.size());
2122     pTgt+=fComponentArgs.size();
2123     *pTgt++='}';
2124     *pTgt++=0;
2125
2126     AliHLTComponentBlockData bd;
2127     FillBlockData( bd );
2128     bd.fOffset        = offset;
2129     bd.fSize          = payloadSize;
2130     bd.fDataType      = kAliHLTDataTypeComponentTable;
2131     bd.fSpecification = fChainIdCrc;
2132     blocks.push_back(bd);
2133     iResult=bd.fSize;
2134   }
2135 #else
2136   if (blocks.size() && buffer && bufferSize && offset && parents.size()) {
2137     // get rid of warning
2138   }
2139 #endif // HLT_COMPONENT_STATISTICS
2140   return iResult;
2141 }
2142
2143 AliHLTComponent::AliHLTStopwatchGuard::AliHLTStopwatchGuard()
2144   :
2145   fpStopwatch(NULL),
2146   fpPrec(NULL)
2147 {
2148   // standard constructor (not for use)
2149 }
2150
2151 AliHLTComponent::AliHLTStopwatchGuard::AliHLTStopwatchGuard(TStopwatch* pStopwatch)
2152   :
2153   fpStopwatch(pStopwatch),
2154   fpPrec(NULL)
2155 {
2156   // constructor
2157
2158   // check for already existing guard
2159   if (fgpCurrent) fpPrec=fgpCurrent;
2160   fgpCurrent=this;
2161
2162   // stop the preceeding guard if it controls a different stopwatch
2163   int bStart=1;
2164   if (fpPrec && fpPrec!=this) bStart=fpPrec->Hold(fpStopwatch);
2165
2166   // start the stopwatch if the current guard controls a different one
2167   if (fpStopwatch && bStart==1) fpStopwatch->Start(kFALSE);
2168 }
2169
2170 AliHLTComponent::AliHLTStopwatchGuard::AliHLTStopwatchGuard(const AliHLTStopwatchGuard&)
2171   :
2172   fpStopwatch(NULL),
2173   fpPrec(NULL)
2174 {
2175   //
2176   // copy constructor not for use
2177   //
2178 }
2179
2180 AliHLTComponent::AliHLTStopwatchGuard& AliHLTComponent::AliHLTStopwatchGuard::operator=(const AliHLTStopwatchGuard&)
2181 {
2182   //
2183   // assignment operator not for use
2184   //
2185   fpStopwatch=NULL;
2186   fpPrec=NULL;
2187   return *this;
2188 }
2189
2190 AliHLTComponent::AliHLTStopwatchGuard* AliHLTComponent::AliHLTStopwatchGuard::fgpCurrent=NULL;
2191
2192 AliHLTComponent::AliHLTStopwatchGuard::~AliHLTStopwatchGuard()
2193 {
2194   // destructor
2195
2196   // resume the preceeding guard if it controls a different stopwatch
2197   int bStop=1;
2198   if (fpPrec && fpPrec!=this) bStop=fpPrec->Resume(fpStopwatch);
2199
2200   // stop the stopwatch if the current guard controls a different one
2201   if (fpStopwatch && bStop==1) fpStopwatch->Stop();
2202
2203   // resume to the preceeding guard
2204   fgpCurrent=fpPrec;
2205 }
2206
2207 int AliHLTComponent::AliHLTStopwatchGuard::Hold(const TStopwatch* pSucc)
2208 {
2209   // see header file for function documentation
2210   if (fpStopwatch!=NULL && fpStopwatch!=pSucc) fpStopwatch->Stop();
2211   return fpStopwatch!=pSucc?1:0;
2212 }
2213
2214 int AliHLTComponent::AliHLTStopwatchGuard::Resume(const TStopwatch* pSucc)
2215 {
2216   // see header file for function documentation
2217   if (fpStopwatch!=NULL && fpStopwatch!=pSucc) fpStopwatch->Start(kFALSE);
2218   return fpStopwatch!=pSucc?1:0;
2219 }
2220
2221 int AliHLTComponent::SetStopwatch(TObject* pSW, AliHLTStopwatchType type) 
2222 {
2223   // see header file for function documentation
2224   int iResult=0;
2225   if (pSW!=NULL && type<kSWTypeCount) {
2226     if (fpStopwatches) {
2227       TObject* pObj=fpStopwatches->At((int)type);
2228       if (pSW==NULL        // explicit reset
2229           || pObj==NULL) { // explicit set
2230         fpStopwatches->AddAt(pSW, (int)type);
2231       } else if (pObj!=pSW) {
2232         HLTWarning("stopwatch %d already set, reset first", (int)type);
2233         iResult=-EBUSY;
2234       }
2235     }
2236   } else {
2237     iResult=-EINVAL;
2238   }
2239   return iResult;
2240 }
2241
2242 int AliHLTComponent::SetStopwatches(TObjArray* pStopwatches)
2243 {
2244   // see header file for function documentation
2245   if (pStopwatches==NULL) return -EINVAL;
2246
2247   int iResult=0;
2248   for (int i=0 ; i<(int)kSWTypeCount && pStopwatches->GetEntriesFast(); i++)
2249     SetStopwatch(pStopwatches->At(i), (AliHLTStopwatchType)i);
2250   return iResult;
2251 }
2252
2253 AliHLTUInt32_t AliHLTComponent::GetRunNo() const
2254 {
2255   // see header file for function documentation
2256
2257   // 2010-02-11 OCDB is now the reliable source for the run number, it is
2258   // initialized either by aliroot or the external interface depending
2259   // on the environment. It turned out that the rundescriptor is not set
2260   // in the aliroot mode, resulting in an invalid run number. However this
2261   // did not cause problems until now. OCDB initialization has been revised
2262   // already in 10/2009. This was a remnant.
2263   // Have to check whether we get rid of the rundescriptor at some point.
2264   if (fpRunDesc==NULL) return AliHLTMisc::Instance().GetCDBRunNo();
2265   if (fpRunDesc->fRunNo!=(unsigned)AliHLTMisc::Instance().GetCDBRunNo()) {
2266     HLTWarning("run number mismatch: ocdb %d   run descriptor %d", AliHLTMisc::Instance().GetCDBRunNo(), fpRunDesc->fRunNo);
2267   }
2268   return fpRunDesc->fRunNo;
2269 }
2270
2271 AliHLTUInt32_t AliHLTComponent::GetRunType() const
2272 {
2273   // see header file for function documentation
2274   if (fpRunDesc==NULL) return kAliHLTVoidRunType;
2275   return fpRunDesc->fRunType;
2276 }
2277
2278 AliHLTUInt32_t    AliHLTComponent::GetTimeStamp() const
2279 {
2280   // see header file for function documentation
2281   if (fCurrentEventData.fEventCreation_s) {
2282     return  fCurrentEventData.fEventCreation_s;
2283   }
2284   // using the actual UTC if the time stamp was not set by the framework
2285   return static_cast<AliHLTUInt32_t>(time(NULL));
2286 }
2287
2288 AliHLTUInt32_t    AliHLTComponent::GetPeriodNumber() const
2289 {
2290   // see header file for function documentation
2291   return (GetEventId()>>36)&0xfffffff;
2292 }
2293
2294 AliHLTUInt32_t    AliHLTComponent::GetOrbitNumber() const
2295 {
2296   // see header file for function documentation
2297   return (GetEventId()>>12)&0xffffff;
2298 }
2299
2300 AliHLTUInt16_t    AliHLTComponent::GetBunchCrossNumber() const
2301 {
2302   // see header file for function documentation
2303   return GetEventId()&0xfff;
2304 }
2305
2306 bool AliHLTComponent::IsDataEvent(AliHLTUInt32_t* pTgt) const
2307 {
2308   // see header file for function documentation
2309   if (pTgt) *pTgt=fEventType;
2310   return (fEventType==gkAliEventTypeData ||
2311           fEventType==gkAliEventTypeDataReplay ||
2312           fEventType==gkAliEventTypeCalibration);
2313 }
2314
2315 int AliHLTComponent::CopyStruct(void* pStruct, unsigned int iStructSize, unsigned int iBlockNo,
2316                                 const char* structname, const char* eventname)
2317 {
2318   // see header file for function documentation
2319   int iResult=0;
2320   if (pStruct!=NULL && iStructSize>sizeof(AliHLTUInt32_t)) {
2321     if (fpInputBlocks!=NULL && iBlockNo<fCurrentEventData.fBlockCnt) {
2322       AliHLTUInt32_t* pTgt=(AliHLTUInt32_t*)pStruct;
2323       if (fpInputBlocks[iBlockNo].fPtr && fpInputBlocks[iBlockNo].fSize) {
2324         AliHLTUInt32_t copy=*((AliHLTUInt32_t*)fpInputBlocks[iBlockNo].fPtr);
2325         if (fpInputBlocks[iBlockNo].fSize!=copy) {
2326           HLTWarning("%s event: mismatch of block size (%d) and structure size (%d)", eventname, fpInputBlocks[iBlockNo].fSize, copy);
2327           if (copy>fpInputBlocks[iBlockNo].fSize) copy=fpInputBlocks[iBlockNo].fSize;
2328         }
2329         if (copy!=iStructSize) {
2330           HLTWarning("%s event: mismatch in %s version (data type version %d)", eventname, structname, ALIHLT_DATA_TYPES_VERSION);
2331           if (copy>iStructSize) {
2332             copy=iStructSize;
2333           } else {
2334             memset(pTgt, 0, iStructSize);
2335           }
2336         }
2337         memcpy(pTgt, fpInputBlocks[iBlockNo].fPtr, copy);
2338         *pTgt=iStructSize;
2339         iResult=copy;
2340       } else {
2341         HLTWarning("%s event: missing data block", eventname);
2342       }
2343     } else {
2344       iResult=-ENODATA;
2345     }
2346   } else {
2347     HLTError("invalid struct");
2348     iResult=-EINVAL;
2349   }
2350   return iResult;
2351 }
2352
2353 AliHLTUInt32_t AliHLTComponent::CalculateChecksum(const AliHLTUInt8_t* buffer, int size)
2354 {
2355   // see header file for function documentation
2356   AliHLTUInt32_t  remainder = 0; 
2357   const AliHLTUInt8_t crcwidth=(8*sizeof(AliHLTUInt32_t));
2358   const AliHLTUInt32_t topbit=1 << (crcwidth-1);
2359   const AliHLTUInt32_t polynomial=0xD8;  /* 11011 followed by 0's */
2360
2361   // code from
2362   // http://www.netrino.com/Embedded-Systems/How-To/CRC-Calculation-C-Code
2363
2364   /*
2365    * Perform modulo-2 division, a byte at a time.
2366    */
2367   for (int byte = 0; byte < size; ++byte)
2368     {
2369       /*
2370        * Bring the next byte into the remainder.
2371        */
2372       remainder ^= (buffer[byte] << (crcwidth - 8));
2373
2374       /*
2375        * Perform modulo-2 division, a bit at a time.
2376        */
2377       for (uint8_t bit = 8; bit > 0; --bit)
2378         {
2379           /*
2380            * Try to divide the current data bit.
2381            */
2382           if (remainder & topbit)
2383             {
2384               remainder = (remainder << 1) ^ polynomial;
2385             }
2386           else
2387             {
2388               remainder = (remainder << 1);
2389             }
2390         }
2391     }
2392
2393   /*
2394    * The final remainder is the CRC result.
2395    */
2396   return (remainder);
2397 }
2398
2399 int AliHLTComponent::ExtractComponentTableEntry(const AliHLTUInt8_t* pBuffer, AliHLTUInt32_t size,
2400                                                 string& retChainId, string& retCompId, string& retCompArgs,
2401                                                 vector<AliHLTUInt32_t>& parents)
2402 {
2403   // see header file for function documentation
2404   retChainId.clear();
2405   retCompId.clear();
2406   retCompArgs.clear();
2407   parents.clear();
2408   if (!pBuffer || size==0) return 0;
2409
2410   const AliHLTComponentTableEntry* pEntry=reinterpret_cast<const AliHLTComponentTableEntry*>(pBuffer);
2411   if (size<8/* the initial size of the structure*/ ||
2412       pEntry==NULL || pEntry->fStructSize<8) return -ENOMSG;
2413   const AliHLTUInt32_t* pParents=reinterpret_cast<const AliHLTUInt32_t*>(pEntry->fBuffer);
2414   const AliHLTUInt8_t* pEnd=pBuffer+size;
2415
2416   if (pParents+pEntry->fNofParents>=reinterpret_cast<const AliHLTUInt32_t*>(pEnd)) return -ENODEV;
2417   for (unsigned int i=0; i<pEntry->fNofParents; i++, pParents++) {
2418     parents.push_back(*pParents);
2419   }
2420
2421   const char* pDescription=reinterpret_cast<const char*>(pParents);
2422   if (pDescription+pEntry->fSizeDescription>=reinterpret_cast<const char*>(pEnd) ||
2423       *(pDescription+pEntry->fSizeDescription)!=0) {
2424     return -EBADF;
2425   }
2426
2427   TString descriptor=reinterpret_cast<const char*>(pDescription);
2428   TString chainId;
2429   TString compId;
2430   TString compArgs;
2431   TObjArray* pTokens=descriptor.Tokenize("{");
2432   if (pTokens) {
2433     int n=0;
2434     if (pTokens->GetEntriesFast()>n) {
2435       retChainId=((TObjString*)pTokens->At(n++))->GetString();
2436     }
2437     if (pTokens->GetEntriesFast()>n) {
2438       compId=((TObjString*)pTokens->At(n++))->GetString();
2439     }
2440     delete pTokens;
2441   }
2442   if (!compId.IsNull() && (pTokens=compId.Tokenize(":"))!=NULL) {
2443     int n=0;
2444     if (pTokens->GetEntriesFast()>n) {
2445       compId=((TObjString*)pTokens->At(n++))->GetString();
2446     }
2447     if (pTokens->GetEntriesFast()>n) {
2448       compArgs=((TObjString*)pTokens->At(n++))->GetString();
2449     }
2450     delete pTokens;
2451   }
2452   compId.ReplaceAll("}", "");
2453   compArgs.ReplaceAll("}", "");
2454
2455   retCompId=compId;
2456   retCompArgs=compArgs;
2457
2458   if (retChainId.size()==0) return -ENODATA;
2459
2460   return 1;
2461 }
2462
2463 int AliHLTComponent::ExtractTriggerData(
2464     const AliHLTComponentTriggerData& trigData,
2465     const AliHLTUInt8_t (**attributes)[gkAliHLTBlockDAttributeCount],
2466     AliHLTUInt64_t* status,
2467     const AliRawDataHeader** cdh,
2468     AliHLTReadoutList* readoutlist,
2469     bool printErrors
2470   )
2471 {
2472   // see header file for function documentation
2473   
2474   // Check that the trigger data structure is the correct size.
2475   if (trigData.fStructSize != sizeof(AliHLTComponentTriggerData))
2476   {
2477     if (printErrors)
2478     {
2479       AliHLTLogging log;
2480       log.LoggingVarargs(kHLTLogError, Class_Name(), FUNCTIONNAME(), __FILE__, __LINE__,
2481           "Invalid trigger structure size: %d but expected %d.", trigData.fStructSize, sizeof(AliHLTComponentTriggerData)
2482         );
2483     }
2484     return -ENOENT;
2485   }
2486   
2487   // Get the size of the AliHLTEventTriggerData structure without the readout list part.
2488   // The way we do this here should also handle memory alignment correctly.
2489   AliHLTEventTriggerData* dummy = NULL;
2490   size_t sizeWithoutReadout = (char*)(&dummy->fReadoutList) - (char*)(dummy);
2491   
2492   // Check that the trigger data pointer points to data of a size we can handle.
2493   // Either it is the size of AliHLTEventTriggerData or the size of the old
2494   // version of AliHLTEventTriggerData using AliHLTEventDDLV0.
2495   if (trigData.fDataSize != sizeof(AliHLTEventTriggerData) and
2496       trigData.fDataSize != sizeWithoutReadout + sizeof(AliHLTEventDDLV0)
2497      )
2498   {
2499     if (printErrors)
2500     {
2501       AliHLTLogging log;
2502       log.LoggingVarargs(kHLTLogError, Class_Name(), FUNCTIONNAME(), __FILE__, __LINE__,
2503           "Invalid trigger data size: %d but expected %d.", trigData.fDataSize, sizeof(AliHLTEventTriggerData)
2504         );
2505     }
2506     return -EBADF;
2507   }
2508   
2509   AliHLTEventTriggerData* evtData = reinterpret_cast<AliHLTEventTriggerData*>(trigData.fData);
2510   assert(evtData != NULL);
2511   
2512   // Check that the CDH has 8 words.
2513   if (cdh != NULL and evtData->fCommonHeaderWordCnt != 8)
2514   {
2515     if (printErrors)
2516     {
2517       AliHLTLogging log;
2518       log.LoggingVarargs(kHLTLogError, Class_Name(), FUNCTIONNAME(), __FILE__, __LINE__,
2519           "Common Data Header (CDH) has wrong number of data words: %d but expected %d",
2520           evtData->fCommonHeaderWordCnt, sizeof(AliRawDataHeader)/sizeof(AliHLTUInt32_t)
2521         );
2522     }
2523     return -EBADMSG;
2524   }
2525   
2526   // Check that the readout list has the correct count of words. i.e. something we can handle,
2527   if (readoutlist != NULL and
2528       evtData->fReadoutList.fCount != (unsigned)gkAliHLTDDLListSizeV0 and
2529       evtData->fReadoutList.fCount != (unsigned)gkAliHLTDDLListSizeV1
2530      )
2531   {
2532     if (printErrors)
2533     {
2534       AliHLTLogging log;
2535       log.LoggingVarargs(kHLTLogError, Class_Name(), FUNCTIONNAME(), __FILE__, __LINE__,
2536           "Readout list structure has wrong number of data words: %d but expected %d",
2537           evtData->fReadoutList.fCount, gkAliHLTDDLListSize
2538         );
2539     }
2540     return -EPROTO;
2541   }
2542   
2543   if (attributes != NULL)
2544   {
2545     *attributes = &evtData->fAttributes;
2546   }
2547   if (status != NULL)
2548   {
2549     *status = evtData->fHLTStatus;
2550   }
2551   if (cdh != NULL)
2552   {
2553     const AliRawDataHeader* cdhptr = reinterpret_cast<const AliRawDataHeader*>(&evtData->fCommonHeader);
2554     *cdh = cdhptr;
2555   }
2556   if (readoutlist != NULL)
2557   {
2558     *readoutlist = AliHLTReadoutList(evtData->fReadoutList);
2559   }
2560   return 0;
2561 }
2562
2563 int AliHLTComponent::LoggingVarargs(AliHLTComponentLogSeverity severity, 
2564                                     const char* originClass, const char* originFunc,
2565                                     const char* file, int line, ... ) const
2566 {
2567   // see header file for function documentation
2568   int iResult=0;
2569
2570   va_list args;
2571   va_start(args, line);
2572
2573   // logging function needs to be const in order to be called from const member functions
2574   // without problems. But at this point we face the problem with virtual members which
2575   // are not necessarily const.
2576   AliHLTComponent* nonconst=const_cast<AliHLTComponent*>(this);
2577   AliHLTLogging::SetLogString(this, ", %p", "%s (%s_pfmt_): ", 
2578                               fChainId[0]!=0?fChainId.c_str():nonconst->GetComponentID(),
2579                               nonconst->GetComponentID());
2580   iResult=SendMessage(severity, originClass, originFunc, file, line, AliHLTLogging::BuildLogString(NULL, args, true /*append*/));
2581   va_end(args);
2582
2583   return iResult;
2584 }
2585
2586 int AliHLTComponent::ScanECSParam(const char* ecsParam)
2587 {
2588   // see header file for function documentation
2589
2590   // format of the parameter string from ECS
2591   // <command>;<parameterkey>=<parametervalue>;<parameterkey>=<parametervalue>;...
2592   // search for a subset of the parameterkeys
2593   //   RUN_TYPE=
2594   //   RUN_NUMBER=
2595   //   HLT_IN_DDL_LIST=
2596   //   CTP_TRIGGER_CLASS=
2597   //   DATA_FORMAT_VERSION=
2598   //   BEAM_TYPE=
2599   //   HLT_OUT_DDL_LIST=
2600   //   HLT_TRIGGER_CODE=
2601   //   DETECTOR_LIST=
2602   //   HLT_MODE=
2603   // The command apears not to be sent by the online framework
2604   int iResult=0;
2605   TString string=ecsParam;
2606   TObjArray* parameter=string.Tokenize(";");
2607   if (parameter) {
2608     for (int i=0; i<parameter->GetEntriesFast(); i++) {
2609       TString entry=((TObjString*)parameter->At(i))->GetString();
2610       HLTDebug("scanning ECS entry: %s", entry.Data());
2611       TObjArray* entryParams=entry.Tokenize("=");
2612       if (entryParams) {
2613         if (entryParams->GetEntriesFast()>1) {
2614           if ((((TObjString*)entryParams->At(0))->GetString()).CompareTo("CTP_TRIGGER_CLASS")==0) {
2615             int result=InitCTPTriggerClasses((((TObjString*)entryParams->At(1))->GetString()).Data());
2616             if (iResult>=0 && result<0) iResult=result;
2617           } else {
2618             // TODO: scan the other parameters
2619             // e.g. consistency check of run number
2620           }
2621         }
2622         delete entryParams;
2623       }
2624     }
2625     delete parameter;
2626   }
2627
2628   return iResult;
2629 }
2630
2631 int AliHLTComponent::SetupCTPData()
2632 {
2633   // see header file for function documentation
2634   if (fpCTPData) delete fpCTPData;
2635   fpCTPData=new AliHLTCTPData;
2636   if (!fpCTPData) return -ENOMEM;
2637   return 0;
2638 }
2639
2640 int AliHLTComponent::InitCTPTriggerClasses(const char* ctpString)
2641 {
2642   // see header file for function documentation
2643   if (!fpCTPData) return 0; // silently accept as the component has to announce that it want's the CTP info
2644   return fpCTPData->InitCTPTriggerClasses(ctpString);
2645 }
2646
2647 bool AliHLTComponent::EvaluateCTPTriggerClass(const char* expression, AliHLTComponentTriggerData& trigData) const
2648 {
2649   // see header file for function documentation
2650   if (!fpCTPData) {
2651     static bool bWarningThrown=false;
2652     if (!bWarningThrown) HLTError("Trigger classes not initialized, use SetupCTPData from DoInit()");
2653     bWarningThrown=true;
2654     return false;
2655   }
2656
2657   return fpCTPData->EvaluateCTPTriggerClass(expression, trigData);
2658 }
2659
2660 int AliHLTComponent::CheckCTPTrigger(const char* name) const
2661 {
2662   // see header file for function documentation
2663   if (!fpCTPData) {
2664     static bool bWarningThrown=false;
2665     if (!bWarningThrown) HLTError("Trigger classes not initialized, use SetupCTPData from DoInit()");
2666     bWarningThrown=true;
2667     return false;
2668   }
2669
2670   return fpCTPData->CheckTrigger(name);
2671 }
2672
2673 Double_t AliHLTComponent::GetBz()
2674 {
2675   // Returns Bz.
2676   return AliHLTMisc::Instance().GetBz();
2677 }
2678
2679 Double_t AliHLTComponent::GetBz(const Double_t *r)
2680 {
2681   // Returns Bz (kG) at the point "r" .
2682   return AliHLTMisc::Instance().GetBz(r);
2683 }
2684
2685 void AliHLTComponent::GetBxByBz(const Double_t r[3], Double_t b[3])
2686 {
2687   // Returns Bx, By and Bz (kG) at the point "r" .
2688   AliHLTMisc::Instance().GetBxByBz(r, b);
2689 }