bugfix: object table was used to check validity of TObject pointers before deleting...
[u/mrichter/AliRoot.git] / HLT / BASE / AliHLTComponent.cxx
1 // $Id$
2
3 //**************************************************************************
4 //* This file is property of and copyright by the ALICE HLT Project        * 
5 //* ALICE Experiment at CERN, All rights reserved.                         *
6 //*                                                                        *
7 //* Primary Authors: Matthias Richter <Matthias.Richter@ift.uib.no>        *
8 //*                  Timm Steinbeck <timm@kip.uni-heidelberg.de>           *
9 //*                  for The ALICE HLT Project.                            *
10 //*                                                                        *
11 //* Permission to use, copy, modify and distribute this software and its   *
12 //* documentation strictly for non-commercial purposes is hereby granted   *
13 //* without fee, provided that the above copyright notice appears in all   *
14 //* copies and that both the copyright notice and this permission notice   *
15 //* appear in the supporting documentation. The authors make no claims     *
16 //* about the suitability of this software for any purpose. It is          *
17 //* provided "as is" without express or implied warranty.                  *
18 //**************************************************************************
19
20 /** @file   AliHLTComponent.cxx
21     @author Matthias Richter, Timm Steinbeck
22     @date   
23     @brief  Base class implementation for HLT components. */
24
25 #if __GNUC__>= 3
26 using namespace std;
27 #endif
28
29 //#include "AliHLTStdIncludes.h"
30 #include "AliHLTComponent.h"
31 #include "AliHLTComponentHandler.h"
32 #include "AliHLTMessage.h"
33 #include "TString.h"
34 #include "TMath.h"
35 #include "TObjArray.h"
36 #include "TObjectTable.h"
37 #include "TClass.h"
38 #include "TStopwatch.h"
39 #include "AliHLTMemoryFile.h"
40 #include "AliHLTMisc.h"
41 #include <cassert>
42 #include <stdint.h>
43
44 /**
45  * default compression level for ROOT objects
46  */
47 #define ALIHLTCOMPONENT_DEFAULT_OBJECT_COMPRESSION 5
48
49 /** ROOT macro for the implementation of ROOT specific class methods */
50 ClassImp(AliHLTComponent);
51
52 /** stopwatch macro using the stopwatch guard */
53 #define ALIHLTCOMPONENT_STOPWATCH(type) AliHLTStopwatchGuard swguard(fpStopwatches!=NULL?reinterpret_cast<TStopwatch*>(fpStopwatches->At((int)type)):NULL)
54 //#define ALIHLTCOMPONENT_STOPWATCH(type) 
55
56 /** stopwatch macro for operations of the base class */
57 #define ALIHLTCOMPONENT_BASE_STOPWATCH() ALIHLTCOMPONENT_STOPWATCH(kSWBase)
58 /** stopwatch macro for operations of the detector algorithm (DA) */
59 #define ALIHLTCOMPONENT_DA_STOPWATCH() ALIHLTCOMPONENT_STOPWATCH(kSWDA)
60
61 AliHLTComponent::AliHLTComponent()
62   :
63   fEnvironment(),
64   fCurrentEvent(0),
65   fEventCount(-1),
66   fFailedEvents(0),
67   fCurrentEventData(),
68   fpInputBlocks(NULL),
69   fCurrentInputBlock(-1),
70   fSearchDataType(kAliHLTVoidDataType),
71   fClassName(),
72   fpInputObjects(NULL),
73   fpOutputBuffer(NULL),
74   fOutputBufferSize(0),
75   fOutputBufferFilled(0),
76   fOutputBlocks(),
77   fpStopwatches(new TObjArray(kSWTypeCount)),
78   fMemFiles(),
79   fpRunDesc(NULL),
80   fpDDLList(NULL),
81   fCDBSetRunNoFunc(false),
82   fChainId(),
83   fChainIdCrc(0),
84   fpBenchmark(NULL),
85   fRequireSteeringBlocks(false),
86   fEventType(gkAliEventTypeUnknown),
87   fComponentArgs(),
88   fEventDoneData(NULL),
89   fEventDoneDataSize(0),
90   fCompressionLevel(ALIHLTCOMPONENT_DEFAULT_OBJECT_COMPRESSION)
91 {
92   // see header file for class documentation
93   // or
94   // refer to README to build package
95   // or
96   // visit http://web.ift.uib.no/~kjeks/doc/alice-hlt
97   memset(&fEnvironment, 0, sizeof(AliHLTAnalysisEnvironment));
98   if (fgpComponentHandler)
99     fgpComponentHandler->ScheduleRegister(this);
100   //SetLocalLoggingLevel(kHLTLogDefault);
101 }
102
103 AliHLTComponent::~AliHLTComponent()
104 {
105   // see header file for function documentation
106   if (fpBenchmark) delete fpBenchmark;
107   fpBenchmark=NULL;
108
109   CleanupInputObjects();
110   if (fpStopwatches!=NULL) delete fpStopwatches;
111   fpStopwatches=NULL;
112   AliHLTMemoryFilePList::iterator element=fMemFiles.begin();
113   while (element!=fMemFiles.end()) {
114     if (*element) {
115       if ((*element)->IsClosed()==0) {
116         HLTWarning("memory file has not been closed, possible data loss or incomplete buffer");
117         // close but do not flush as we dont know whether the buffer is still valid
118         (*element)->CloseMemoryFile(0);
119       }
120       delete *element;
121       *element=NULL;
122     }
123     element++;
124   }
125   if (fpRunDesc) {
126     delete fpRunDesc;
127     fpRunDesc=NULL;
128   }
129   if (fEventDoneData)
130     delete [] reinterpret_cast<AliHLTUInt8_t*>( fEventDoneData );
131 }
132
133 AliHLTComponentHandler* AliHLTComponent::fgpComponentHandler=NULL;
134
135 int AliHLTComponent::SetGlobalComponentHandler(AliHLTComponentHandler* pCH, int bOverwrite) 
136 {
137   // see header file for function documentation
138   int iResult=0;
139   if (fgpComponentHandler==NULL || bOverwrite!=0)
140     fgpComponentHandler=pCH;
141   else
142     iResult=-EPERM;
143   return iResult;
144 }
145
146 int AliHLTComponent::UnsetGlobalComponentHandler() 
147 {
148   // see header file for function documentation
149   return SetGlobalComponentHandler(NULL,1);
150 }
151
152 int AliHLTComponent::Init(const AliHLTAnalysisEnvironment* comenv, void* environParam, int argc, const char** argv )
153 {
154   // see header file for function documentation
155   HLTLogKeyword(GetComponentID());
156   int iResult=0;
157   if (comenv) {
158     memset(&fEnvironment, 0, sizeof(AliHLTAnalysisEnvironment));
159     memcpy(&fEnvironment, comenv, comenv->fStructSize<sizeof(AliHLTAnalysisEnvironment)?comenv->fStructSize:sizeof(AliHLTAnalysisEnvironment));
160     fEnvironment.fStructSize=sizeof(AliHLTAnalysisEnvironment);
161     fEnvironment.fParam=environParam;
162   }
163   fComponentArgs="";
164   const char** pArguments=NULL;
165   int iNofChildArgs=0;
166   TString argument="";
167   int bMissingParam=0;
168   if (argc>0) {
169     pArguments=new const char*[argc];
170     if (pArguments) {
171       for (int i=0; i<argc && iResult>=0; i++) {
172         if (fComponentArgs.size()>0) fComponentArgs+=" ";
173         fComponentArgs+=argv[i];
174         argument=argv[i];
175         if (argument.IsNull()) continue;
176
177         // benchmark
178         if (argument.CompareTo("benchmark")==0) {
179
180           // loglevel
181         } else if (argument.CompareTo("loglevel")==0) {
182           if ((bMissingParam=(++i>=argc))) break;
183           TString parameter(argv[i]);
184           parameter.Remove(TString::kLeading, ' '); // remove all blanks
185           if (parameter.BeginsWith("0x") &&
186               parameter.Replace(0,2,"",0).IsHex()) {
187             unsigned int loglevel=kHLTLogNone;
188             sscanf(parameter.Data(),"%x", &loglevel);
189             SetLocalLoggingLevel((AliHLTComponentLogSeverity)loglevel);
190           } else {
191             HLTError("wrong parameter for argument %s, hex number expected", argument.Data());
192             iResult=-EINVAL;
193           }
194           // -object-compression=
195         } else if (argument.BeginsWith("-object-compression=")) {
196           argument.ReplaceAll("-object-compression=", "");
197           if (argument.IsDigit()) {
198             fCompressionLevel=argument.Atoi();
199             if (fCompressionLevel<0 || fCompressionLevel>9) {
200               HLTWarning("invalid compression level %d, setting to default %d", fCompressionLevel, ALIHLTCOMPONENT_DEFAULT_OBJECT_COMPRESSION);
201               fCompressionLevel=ALIHLTCOMPONENT_DEFAULT_OBJECT_COMPRESSION;
202             }
203           } else {
204             HLTError("wrong parameter for argument -object-compression, number expected");
205           }
206         } else {
207           pArguments[iNofChildArgs++]=argv[i];
208         }
209       }
210     } else {
211       iResult=-ENOMEM;
212     }
213   }
214   if (bMissingParam) {
215     HLTError("missing parameter for argument %s", argument.Data());
216     iResult=-EINVAL;
217   }
218   if (iResult>=0) {
219     iResult=DoInit(iNofChildArgs, pArguments);
220   }
221   if (iResult>=0) {
222     fEventCount=0;
223
224     // find out if the component wants to get the steering events
225     // explicitly
226     AliHLTComponentDataTypeList inputDt;
227     GetInputDataTypes(inputDt);
228     for (AliHLTComponentDataTypeList::iterator dt=inputDt.begin();
229          dt!=inputDt.end() && !fRequireSteeringBlocks;
230          dt++) {
231       fRequireSteeringBlocks|=MatchExactly(*dt,kAliHLTDataTypeSOR);
232       fRequireSteeringBlocks|=MatchExactly(*dt,kAliHLTDataTypeRunType);
233       fRequireSteeringBlocks|=MatchExactly(*dt,kAliHLTDataTypeEOR);
234       fRequireSteeringBlocks|=MatchExactly(*dt,kAliHLTDataTypeDDL);
235       fRequireSteeringBlocks|=MatchExactly(*dt,kAliHLTDataTypeComponentStatistics);
236     }
237   }
238   if (pArguments) delete [] pArguments;
239
240 #if defined(__DEBUG) || defined(HLT_COMPONENT_STATISTICS)
241   // benchmarking stopwatch for the component statistics
242   fpBenchmark=new TStopwatch;
243   if (fpBenchmark) {
244     fpBenchmark->Start();
245   }
246 #endif
247
248   return iResult;
249 }
250
251 int AliHLTComponent::Deinit()
252 {
253   // see header file for function documentation
254   HLTLogKeyword(GetComponentID());
255   int iResult=0;
256   iResult=DoDeinit();
257   if (fpRunDesc) {
258     HLTWarning("did not receive EOR for run %d", fpRunDesc->fRunNo);
259     AliHLTRunDesc* pRunDesc=fpRunDesc;
260     fpRunDesc=NULL;
261     delete pRunDesc;
262   }
263   fEventCount=0;
264   return iResult;
265 }
266
267 int AliHLTComponent::InitCDB(const char* cdbPath, AliHLTComponentHandler* pHandler)
268 {
269   // see header file for function documentation
270   int iResult=0;
271   if (pHandler) {
272   // I have to think about separating the library handling from the
273   // component handler. Requiring the component hanlder here is not
274   // the cleanest solution.
275   // We presume the library already to be loaded
276   // find the symbol
277   AliHLTMiscInitCDB_t pFunc=(AliHLTMiscInitCDB_t)pHandler->FindSymbol(ALIHLTMISC_LIBRARY, ALIHLTMISC_INIT_CDB);
278   if (pFunc) {
279     TString path;
280     if (cdbPath && cdbPath[0]!=0) {
281       path=cdbPath;
282       // very temporary fix, have to check for other formats
283       if (!path.BeginsWith("local://")) {
284         path="local://";
285         path+=cdbPath;
286       }
287     }
288     if ((iResult=(*pFunc)(path.Data()))>=0) {
289       if (!(fCDBSetRunNoFunc=pHandler->FindSymbol(ALIHLTMISC_LIBRARY, ALIHLTMISC_SET_CDB_RUNNO))) {
290         Message(NULL, kHLTLogWarning, "AliHLTComponent::InitCDB", "init CDB",
291                 "can not find function to set CDB run no");
292       }
293     }
294   } else {
295     Message(NULL, kHLTLogError, "AliHLTComponent::InitCDB", "init CDB",
296             "can not find initialization function");
297     iResult=-ENOSYS;
298   }
299   } else {
300     iResult=-EINVAL;
301   }
302   return iResult;
303 }
304
305 int AliHLTComponent::SetCDBRunNo(int runNo)
306 {
307   // see header file for function documentation
308   if (!fCDBSetRunNoFunc) return 0;
309   return (*((AliHLTMiscSetCDBRunNo_t)fCDBSetRunNoFunc))(runNo);
310 }
311
312 int AliHLTComponent::SetRunDescription(const AliHLTRunDesc* desc, const char* /*runType*/)
313 {
314   // see header file for function documentation
315   if (!desc) return -EINVAL;
316   if (desc->fStructSize!=sizeof(AliHLTRunDesc)) {
317     HLTError("invalid size of RunDesc struct (%ul)", desc->fStructSize);
318     return -EINVAL;
319   }
320
321   if (!fpRunDesc) {
322     fpRunDesc=new AliHLTRunDesc;
323     if (!fpRunDesc) return -ENOMEM;
324     *fpRunDesc=kAliHLTVoidRunDesc;
325   }
326
327   if (fpRunDesc->fRunNo!=kAliHLTVoidRunNo && fpRunDesc->fRunNo!=desc->fRunNo) {
328     HLTWarning("Run description has already been set");
329   }
330   *fpRunDesc=*desc;
331   SetCDBRunNo(fpRunDesc->fRunNo);
332   // TODO: we have to decide about the runType
333   return 0;
334 }
335
336 int AliHLTComponent::SetComponentDescription(const char* desc)
337 {
338   // see header file for function documentation
339   int iResult=0;
340   if (!desc) return 0;
341
342   TString descriptor=desc;
343   TObjArray* pTokens=descriptor.Tokenize(" ");
344   if (pTokens) {
345     for (int i=0; i<pTokens->GetEntries() && iResult>=0; i++) {
346       TString argument=((TObjString*)pTokens->At(i++))->GetString();
347       if (!argument || argument.IsNull()) continue;
348
349       // chainid
350       if (argument.BeginsWith("chainid")) {
351         argument.ReplaceAll("chainid", "");
352         if (argument.BeginsWith("=")) {
353           fChainId=argument.Replace(0,1,"");
354           fChainIdCrc=CalculateChecksum((const AliHLTUInt8_t*)fChainId.c_str(), fChainId.length());
355           HLTDebug("setting component description: chain id %s crc 0x%8x", fChainId.c_str(), fChainIdCrc);
356         } else {
357           fChainId="";
358         }
359       } else {
360         HLTWarning("unknown component description %s", argument.Data());
361       }
362     }
363   }
364   
365   return iResult;
366 }
367
368 int AliHLTComponent::DoInit( int /*argc*/, const char** /*argv*/)
369 {
370   // default implementation, childs can overload
371   HLTLogKeyword("dummy");
372   return 0;
373 }
374
375 int AliHLTComponent::DoDeinit()
376 {
377   // default implementation, childs can overload
378   HLTLogKeyword("dummy");
379   return 0;
380 }
381
382 int AliHLTComponent::Reconfigure(const char* /*cdbEntry*/, const char* /*chainId*/)
383 {
384   // default implementation, childs can overload
385   HLTLogKeyword("dummy");
386   return 0;
387 }
388
389 int AliHLTComponent::ReadPreprocessorValues(const char* /*modules*/)
390 {
391   // default implementation, childs can overload
392   HLTLogKeyword("dummy");
393   return 0;
394 }
395
396 int AliHLTComponent::StartOfRun()
397 {
398   // default implementation, childs can overload
399   HLTLogKeyword("dummy");
400   return 0;
401 }
402
403 int AliHLTComponent::EndOfRun()
404 {
405   // default implementation, childs can overload
406   HLTLogKeyword("dummy");
407   return 0;
408 }
409
410
411 int AliHLTComponent::GetOutputDataTypes(AliHLTComponentDataTypeList& /*tgtList*/)
412 {
413   // default implementation, childs can overload
414   HLTLogKeyword("dummy");
415   return 0;
416 }
417
418 void AliHLTComponent::DataType2Text( const AliHLTComponentDataType& type, char output[kAliHLTComponentDataTypefIDsize+kAliHLTComponentDataTypefOriginSize+2] ) const
419 {
420   // see header file for function documentation
421   memset( output, 0, kAliHLTComponentDataTypefIDsize+kAliHLTComponentDataTypefOriginSize+2 );
422   strncat( output, type.fOrigin, kAliHLTComponentDataTypefOriginSize );
423   strcat( output, ":" );
424   strncat( output, type.fID, kAliHLTComponentDataTypefIDsize );
425 }
426
427 string AliHLTComponent::DataType2Text( const AliHLTComponentDataType& type, int mode)
428 {
429   // see header file for function documentation
430   string out("");
431
432   if (mode==2) {
433     int i=0;
434     char tmp[8];
435     for (i=0; i<kAliHLTComponentDataTypefOriginSize; i++) {
436       sprintf(tmp, "'%d", type.fOrigin[i]);
437       out+=tmp;
438     }
439     out+="':'";
440     for (i=0; i<kAliHLTComponentDataTypefIDsize; i++) {
441       sprintf(tmp, "%d'", type.fID[i]);
442       out+=tmp;
443     }
444     return out;
445   }
446
447   if (mode==1) {
448     int i=0;
449     char tmp[8];
450     for (i=0; i<kAliHLTComponentDataTypefOriginSize; i++) {
451       unsigned char* puc=(unsigned char*)type.fOrigin;
452       if ((puc[i])<32)
453         sprintf(tmp, "'\\%x", type.fOrigin[i]);
454       else
455         sprintf(tmp, "'%c", type.fOrigin[i]);
456       out+=tmp;
457     }
458     out+="':'";
459     for (i=0; i<kAliHLTComponentDataTypefIDsize; i++) {
460       unsigned char* puc=(unsigned char*)type.fID;
461       if (puc[i]<32)
462         sprintf(tmp, "\\%x'", type.fID[i]);
463       else
464         sprintf(tmp, "%c'", type.fID[i]);
465       out+=tmp;
466     }
467     return out;
468   }
469
470   if (type==kAliHLTVoidDataType) {
471     out="VOID:VOID";
472   } else {
473     // some gymnastics in order to avoid a '0' which is part of either or both
474     // ID and origin terminating the whole string. Unfortunately, string doesn't
475     // stop appending at the '0' if the number of elements to append was 
476     // explicitely specified
477     string tmp("");
478     tmp.append(type.fOrigin, kAliHLTComponentDataTypefOriginSize);
479     out.append(tmp.c_str());
480     out.append(":");
481     tmp="";
482     tmp.append(type.fID, kAliHLTComponentDataTypefIDsize);
483     out.append(tmp.c_str());
484   }
485   return out;
486 }
487
488
489 void* AliHLTComponent::AllocMemory( unsigned long size ) 
490 {
491   // see header file for function documentation
492   if (fEnvironment.fAllocMemoryFunc)
493     return (*fEnvironment.fAllocMemoryFunc)(fEnvironment.fParam, size );
494   HLTFatal("no memory allocation handler registered");
495   return NULL;
496 }
497
498 int AliHLTComponent::MakeOutputDataBlockList( const AliHLTComponentBlockDataList& blocks, AliHLTUInt32_t* blockCount,
499                                               AliHLTComponentBlockData** outputBlocks ) 
500 {
501   // see header file for function documentation
502     if ( blockCount==NULL || outputBlocks==NULL )
503         return -EFAULT;
504     AliHLTUInt32_t count = blocks.size();
505     if ( !count )
506         {
507         *blockCount = 0;
508         *outputBlocks = NULL;
509         return 0;
510         }
511     *outputBlocks = reinterpret_cast<AliHLTComponentBlockData*>( AllocMemory( sizeof(AliHLTComponentBlockData)*count ) );
512     if ( !*outputBlocks )
513         return -ENOMEM;
514     for ( unsigned long i = 0; i < count; i++ ) {
515         (*outputBlocks)[i] = blocks[i];
516         if (MatchExactly(blocks[i].fDataType, kAliHLTAnyDataType)) {
517           (*outputBlocks)[i].fDataType=GetOutputDataType();
518           /* data type was set to the output data type by the PubSub AliRoot
519              Wrapper component, if data type of the block was ********:****.
520              Now handled by the component base class in order to have same
521              behavior when running embedded in AliRoot
522           memset((*outputBlocks)[i].fDataType.fID, '*', kAliHLTComponentDataTypefIDsize);
523           memset((*outputBlocks)[i].fDataType.fOrigin, '*', kAliHLTComponentDataTypefOriginSize);
524           */
525         }
526     }
527     *blockCount = count;
528     return 0;
529
530 }
531
532 int AliHLTComponent::GetEventDoneData( unsigned long size, AliHLTComponentEventDoneData** edd ) 
533 {
534   // see header file for function documentation
535   if (fEnvironment.fGetEventDoneDataFunc)
536     return (*fEnvironment.fGetEventDoneDataFunc)(fEnvironment.fParam, fCurrentEvent, size, edd );
537   return -ENOSYS;
538 }
539
540 int AliHLTComponent::ReserveEventDoneData( unsigned long size )
541 {
542   // see header file for function documentation
543   int iResult=0;
544
545   
546   if (size>fEventDoneDataSize) {
547     AliHLTComponentEventDoneData* newEDD = reinterpret_cast<AliHLTComponentEventDoneData*>( new AliHLTUInt8_t[ sizeof(AliHLTComponentEventDoneData)+size ] );
548     if (!newEDD)
549       return -ENOMEM;
550     newEDD->fStructSize = sizeof(AliHLTComponentEventDoneData);
551     newEDD->fDataSize = 0;
552     newEDD->fData = reinterpret_cast<AliHLTUInt8_t*>(newEDD)+newEDD->fStructSize;
553     if (fEventDoneData) {
554       memcpy( newEDD->fData, fEventDoneData->fData, fEventDoneData->fDataSize );
555       newEDD->fDataSize = fEventDoneData->fDataSize;
556       delete [] reinterpret_cast<AliHLTUInt8_t*>( fEventDoneData );
557     }
558     fEventDoneData = newEDD;
559     fEventDoneDataSize = size;
560   }
561   return iResult;
562
563 }
564
565 int AliHLTComponent::PushEventDoneData( AliHLTUInt32_t eddDataWord )
566 {
567   if (!fEventDoneData)
568     return -ENOMEM;
569   if (fEventDoneData->fDataSize+sizeof(AliHLTUInt32_t)>fEventDoneDataSize)
570     return -ENOSPC;
571   *reinterpret_cast<AliHLTUInt32_t*>((reinterpret_cast<AliHLTUInt8_t*>(fEventDoneData->fData)+fEventDoneData->fDataSize)) = eddDataWord;
572   fEventDoneData->fDataSize += sizeof(AliHLTUInt32_t);
573   return 0;
574 }
575
576 void AliHLTComponent::ReleaseEventDoneData()
577 {
578   if (fEventDoneData)
579     delete [] reinterpret_cast<AliHLTUInt8_t*>( fEventDoneData );
580   fEventDoneData = NULL;
581   fEventDoneDataSize = 0;
582 }
583
584
585 int AliHLTComponent::FindMatchingDataTypes(AliHLTComponent* pConsumer, AliHLTComponentDataTypeList* tgtList) 
586 {
587   // see header file for function documentation
588   int iResult=0;
589   if (pConsumer) {
590     AliHLTComponentDataTypeList itypes;
591     AliHLTComponentDataTypeList otypes;
592     otypes.push_back(GetOutputDataType());
593     if (otypes[0]==kAliHLTMultipleDataType) {
594       otypes.clear();
595       int count=0;
596       if ((count=GetOutputDataTypes(otypes))>0) {
597       } else if (GetComponentType()!=kSink) {
598         HLTWarning("component %s indicates multiple output data types but GetOutputDataTypes returns %d", GetComponentID(), count);
599       }
600     }
601     ((AliHLTComponent*)pConsumer)->GetInputDataTypes(itypes);
602     AliHLTComponentDataTypeList::iterator otype=otypes.begin();
603     for (;otype!=otypes.end();otype++) {
604       //PrintDataTypeContent((*otype), "publisher \'%s\'");
605       if ((*otype)==(kAliHLTAnyDataType|kAliHLTDataOriginPrivate)) {
606         if (tgtList) tgtList->push_back(*otype);
607         iResult++;
608         continue;
609       }
610       
611       AliHLTComponentDataTypeList::iterator itype=itypes.begin();
612       for ( ; itype!=itypes.end() && (*itype)!=(*otype) ; itype++) {/* empty body */};
613       //if (itype!=itypes.end()) PrintDataTypeContent(*itype, "consumer \'%s\'");
614       if (itype!=itypes.end()) {
615         if (tgtList) tgtList->push_back(*otype);
616         iResult++;
617       }
618     }
619   } else {
620     iResult=-EINVAL;
621   }
622   return iResult;
623 }
624
625 void AliHLTComponent::PrintDataTypeContent(AliHLTComponentDataType& dt, const char* format)
626 {
627   // see header file for function documentation
628   const char* fmt="\'%s\'";
629   if (format) fmt=format;
630   AliHLTLogging::Message(NULL, kHLTLogNone, NULL , NULL, Form(fmt, (DataType2Text(dt)).c_str()));
631   AliHLTLogging::Message(NULL, kHLTLogNone, NULL , NULL, 
632                          Form("%x %x %x %x %x %x %x %x : %x %x %x %x", 
633                               dt.fID[0],
634                               dt.fID[1],
635                               dt.fID[2],
636                               dt.fID[3],
637                               dt.fID[4],
638                               dt.fID[5],
639                               dt.fID[6],
640                               dt.fID[7],
641                               dt.fOrigin[0],
642                               dt.fOrigin[1],
643                               dt.fOrigin[2],
644                               dt.fOrigin[3]));
645 }
646
647 void AliHLTComponent::FillBlockData( AliHLTComponentBlockData& blockData )
648 {
649   // see header file for function documentation
650   blockData.fStructSize = sizeof(blockData);
651   FillShmData( blockData.fShmKey );
652   blockData.fOffset = ~(AliHLTUInt32_t)0;
653   blockData.fPtr = NULL;
654   blockData.fSize = 0;
655   FillDataType( blockData.fDataType );
656   blockData.fSpecification = kAliHLTVoidDataSpec;
657 }
658
659 void AliHLTComponent::FillShmData( AliHLTComponentShmData& shmData )
660 {
661   // see header file for function documentation
662   shmData.fStructSize = sizeof(shmData);
663   shmData.fShmType = gkAliHLTComponentInvalidShmType;
664   shmData.fShmID = gkAliHLTComponentInvalidShmID;
665 }
666
667 void AliHLTComponent::FillDataType( AliHLTComponentDataType& dataType )
668 {
669   // see header file for function documentation
670   dataType=kAliHLTAnyDataType;
671 }
672
673 void AliHLTComponent::CopyDataType(AliHLTComponentDataType& tgtdt, const AliHLTComponentDataType& srcdt) 
674 {
675   // see header file for function documentation
676   memcpy(&tgtdt.fID[0], &srcdt.fID[0], kAliHLTComponentDataTypefIDsize);
677   memcpy(&tgtdt.fOrigin[0], &srcdt.fOrigin[0], kAliHLTComponentDataTypefOriginSize);
678 }
679
680 void AliHLTComponent::SetDataType(AliHLTComponentDataType& tgtdt, const char* id, const char* origin) 
681 {
682   // see header file for function documentation
683   tgtdt.fStructSize=sizeof(AliHLTComponentDataType);
684   if (id) {
685     memset(&tgtdt.fID[0], 0, kAliHLTComponentDataTypefIDsize);
686     strncpy(&tgtdt.fID[0], id, strlen(id)<(size_t)kAliHLTComponentDataTypefIDsize?strlen(id):kAliHLTComponentDataTypefIDsize);
687   }
688   if (origin) {
689     memset(&tgtdt.fOrigin[0], 0, kAliHLTComponentDataTypefOriginSize);
690     strncpy(&tgtdt.fOrigin[0], origin, strlen(origin)<(size_t)kAliHLTComponentDataTypefOriginSize?strlen(origin):kAliHLTComponentDataTypefOriginSize);
691   }
692 }
693
694 void AliHLTComponent::SetDataType(AliHLTComponentDataType& dt, AliHLTUInt64_t id, AliHLTUInt32_t origin)
695 {
696   // see header file for function documentation
697   dt.fStructSize=sizeof(AliHLTComponentDataType);
698   assert(kAliHLTComponentDataTypefIDsize==sizeof(id));
699   assert(kAliHLTComponentDataTypefOriginSize==sizeof(origin));
700   memcpy(&dt.fID, &id, kAliHLTComponentDataTypefIDsize);
701   memcpy(&dt.fOrigin, &origin, kAliHLTComponentDataTypefOriginSize);
702 }
703
704 void AliHLTComponent::FillEventData(AliHLTComponentEventData& evtData)
705 {
706   // see header file for function documentation
707   memset(&evtData, 0, sizeof(AliHLTComponentEventData));
708   evtData.fStructSize=sizeof(AliHLTComponentEventData);
709   evtData.fEventID=kAliHLTVoidEventID;
710 }
711
712 void AliHLTComponent::PrintComponentDataTypeInfo(const AliHLTComponentDataType& dt) 
713 {
714   // see header file for function documentation
715   TString msg;
716   msg.Form("AliHLTComponentDataType(%d): ID=\"", dt.fStructSize);
717   for ( int i = 0; i < kAliHLTComponentDataTypefIDsize; i++ ) {
718    if (dt.fID[i]!=0) msg+=dt.fID[i];
719    else msg+="\\0";
720   }
721   msg+="\" Origin=\"";
722   for ( int i = 0; i < kAliHLTComponentDataTypefOriginSize; i++ ) {
723    if (dt.fOrigin[i]!=0) msg+=dt.fOrigin[i];
724    else msg+="\\0";
725   }
726   msg+="\"";
727   AliHLTLogging::Message(NULL, kHLTLogNone, NULL , NULL, msg.Data());
728 }
729
730 int AliHLTComponent::GetEventCount() const
731 {
732   // see header file for function documentation
733   return fEventCount;
734 }
735
736 int AliHLTComponent::IncrementEventCounter()
737 {
738   // see header file for function documentation
739   if (fEventCount>=0) fEventCount++;
740   return fEventCount;
741 }
742
743 int AliHLTComponent::GetNumberOfInputBlocks() const
744 {
745   // see header file for function documentation
746   if (fpInputBlocks!=NULL) {
747     return fCurrentEventData.fBlockCnt;
748   }
749   return 0;
750 }
751
752 AliHLTEventID_t AliHLTComponent::GetEventId() const
753 {
754   // see header file for function documentation
755   if (fpInputBlocks!=NULL) {
756     return fCurrentEventData.fEventID;
757   }
758   return 0;
759 }
760
761 const TObject* AliHLTComponent::GetFirstInputObject(const AliHLTComponentDataType& dt,
762                                                     const char* classname,
763                                                     int bForce)
764 {
765   // see header file for function documentation
766   ALIHLTCOMPONENT_BASE_STOPWATCH();
767   fSearchDataType=dt;
768   if (classname) fClassName=classname;
769   else fClassName.clear();
770   int idx=FindInputBlock(fSearchDataType, 0, 1);
771   TObject* pObj=NULL;
772   if (idx>=0) {
773     HLTDebug("found block %d when searching for data type %s", idx, DataType2Text(dt).c_str());
774     if ((pObj=GetInputObject(idx, fClassName.c_str(), bForce))!=NULL) {
775       fCurrentInputBlock=idx;
776     } else {
777     }
778   }
779   return pObj;
780 }
781
782 const TObject* AliHLTComponent::GetFirstInputObject(const char* dtID, 
783                                                     const char* dtOrigin,
784                                                     const char* classname,
785                                                     int         bForce)
786 {
787   // see header file for function documentation
788   ALIHLTCOMPONENT_BASE_STOPWATCH();
789   AliHLTComponentDataType dt;
790   SetDataType(dt, dtID, dtOrigin);
791   return GetFirstInputObject(dt, classname, bForce);
792 }
793
794 const TObject* AliHLTComponent::GetNextInputObject(int bForce)
795 {
796   // see header file for function documentation
797   ALIHLTCOMPONENT_BASE_STOPWATCH();
798   int idx=FindInputBlock(fSearchDataType, fCurrentInputBlock+1, 1);
799   //HLTDebug("found block %d when searching for data type %s", idx, DataType2Text(fSearchDataType).c_str());
800   TObject* pObj=NULL;
801   if (idx>=0) {
802     if ((pObj=GetInputObject(idx, fClassName.c_str(), bForce))!=NULL) {
803       fCurrentInputBlock=idx;
804     }
805   }
806   return pObj;
807 }
808
809 int AliHLTComponent::FindInputBlock(const AliHLTComponentDataType& dt, int startIdx, int bObject) const
810 {
811   // see header file for function documentation
812   int iResult=-ENOENT;
813   if (fpInputBlocks!=NULL) {
814     int idx=startIdx<0?0:startIdx;
815     for ( ; (UInt_t)idx<fCurrentEventData.fBlockCnt && iResult==-ENOENT; idx++) {
816       if (dt!=fpInputBlocks[idx].fDataType) continue;
817
818       if (bObject!=0) {
819         if (fpInputBlocks[idx].fPtr==NULL) continue;
820         AliHLTUInt32_t firstWord=*((AliHLTUInt32_t*)fpInputBlocks[idx].fPtr);
821         if (firstWord!=fpInputBlocks[idx].fSize-sizeof(AliHLTUInt32_t)) continue;
822       }
823       iResult=idx;
824     }
825   }
826   return iResult;
827 }
828
829 TObject* AliHLTComponent::CreateInputObject(int idx, int bForce)
830 {
831   // see header file for function documentation
832   TObject* pObj=NULL;
833   if (fpInputBlocks!=NULL) {
834     if ((UInt_t)idx<fCurrentEventData.fBlockCnt) {
835       if (fpInputBlocks[idx].fPtr) {
836         AliHLTUInt32_t firstWord=*((AliHLTUInt32_t*)fpInputBlocks[idx].fPtr);
837         if (firstWord==fpInputBlocks[idx].fSize-sizeof(AliHLTUInt32_t)) {
838           HLTDebug("create object from block %d size %d", idx, fpInputBlocks[idx].fSize);
839           AliHLTMessage msg(fpInputBlocks[idx].fPtr, fpInputBlocks[idx].fSize);
840           TClass* objclass=msg.GetClass();
841           pObj=msg.ReadObject(objclass);
842           if (pObj && objclass) {
843             HLTDebug("object %p type %s created", pObj, objclass->GetName());
844           } else {
845           }
846           //} else {
847         } else if (bForce!=0) {
848           HLTError("size mismatch: block size %d, indicated %d", fpInputBlocks[idx].fSize, firstWord+sizeof(AliHLTUInt32_t));
849         }
850       } else {
851         HLTFatal("block descriptor empty");
852       }
853     } else {
854       HLTError("index %d out of range %d", idx, fCurrentEventData.fBlockCnt);
855     }
856   } else {
857     HLTError("no input blocks available");
858   }
859   
860   return pObj;
861 }
862
863 TObject* AliHLTComponent::GetInputObject(int idx, const char* /*classname*/, int bForce)
864 {
865   // see header file for function documentation
866   if (fpInputObjects==NULL) {
867     fpInputObjects=new TObjArray(fCurrentEventData.fBlockCnt);
868   }
869   TObject* pObj=NULL;
870   if (fpInputObjects) {
871     pObj=fpInputObjects->At(idx);
872     if (pObj==NULL) {
873       pObj=CreateInputObject(idx, bForce);
874       if (pObj) {
875         fpInputObjects->AddAt(pObj, idx);
876       }
877     }
878   } else {
879     HLTFatal("memory allocation failed: TObjArray of size %d", fCurrentEventData.fBlockCnt);
880   }
881   return pObj;
882 }
883
884 int AliHLTComponent::CleanupInputObjects()
885 {
886   // see header file for function documentation
887   if (!fpInputObjects) return 0;
888   TObjArray* array=fpInputObjects;
889   fpInputObjects=NULL;
890   for (int i=0; i<array->GetEntries(); i++) {
891     TObject* pObj=array->At(i);
892     // grrr, garbage collection strikes back: When read via AliHLTMessage
893     // (CreateInputObject), and written to a TFile afterwards, the
894     // TFile::Close calls ROOOT's garbage collection. No clue why the
895     // object ended up in the key list and needs to be deleted
896     //
897     // Matthias 09.11.2008 follow up
898     // This approach doesn't actually work in all cases: the object table
899     // can be switched off globally, the flag needs to be checked here as
900     // well in order to avoid memory leaks.
901     // This means we have to find another solution for the problem if it
902     // pops up again.
903     if (pObj &&
904         (!TObject::GetObjectStat() || gObjectTable->PtrIsValid(pObj))) {
905       delete pObj;
906     }
907   }
908   delete array;
909   return 0;
910 }
911
912 AliHLTComponentDataType AliHLTComponent::GetDataType(const TObject* pObject)
913 {
914   // see header file for function documentation
915   ALIHLTCOMPONENT_BASE_STOPWATCH();
916   AliHLTComponentDataType dt=kAliHLTVoidDataType;
917   int idx=fCurrentInputBlock;
918   if (pObject) {
919     if (fpInputObjects==NULL || (idx=fpInputObjects->IndexOf(pObject))>=0) {
920     } else {
921       HLTError("unknown object %p", pObject);
922     }
923   }
924   if (idx>=0) {
925     if ((UInt_t)idx<fCurrentEventData.fBlockCnt) {
926       dt=fpInputBlocks[idx].fDataType;
927     } else {
928       HLTFatal("severe internal error, index out of range");
929     }
930   }
931   return dt;
932 }
933
934 AliHLTUInt32_t AliHLTComponent::GetSpecification(const TObject* pObject)
935 {
936   // see header file for function documentation
937   ALIHLTCOMPONENT_BASE_STOPWATCH();
938   AliHLTUInt32_t iSpec=kAliHLTVoidDataSpec;
939   int idx=fCurrentInputBlock;
940   if (pObject) {
941     if (fpInputObjects==NULL || (idx=fpInputObjects->IndexOf(pObject))>=0) {
942     } else {
943       HLTError("unknown object %p", pObject);
944     }
945   }
946   if (idx>=0) {
947     if ((UInt_t)idx<fCurrentEventData.fBlockCnt) {
948       iSpec=fpInputBlocks[idx].fSpecification;
949     } else {
950       HLTFatal("severe internal error, index out of range");
951     }
952   }
953   return iSpec;
954 }
955
956 int AliHLTComponent::Forward(const TObject* pObject)
957 {
958   // see header file for function documentation
959   int iResult=0;
960   int idx=fCurrentInputBlock;
961   if (pObject) {
962     if (fpInputObjects==NULL || (idx=fpInputObjects->IndexOf(pObject))>=0) {
963     } else {
964       HLTError("unknown object %p", pObject);
965       iResult=-ENOENT;
966     }
967   }
968   if (idx>=0) {
969     fOutputBlocks.push_back(fpInputBlocks[idx]);
970   }
971   return iResult;
972 }
973
974 int AliHLTComponent::Forward(const AliHLTComponentBlockData* pBlock)
975 {
976   // see header file for function documentation
977   int iResult=0;
978   int idx=fCurrentInputBlock;
979   if (pBlock) {
980     if (fpInputObjects==NULL || (idx=FindInputBlock(pBlock))>=0) {
981     } else {
982       HLTError("unknown Block %p", pBlock);
983       iResult=-ENOENT;      
984     }
985   }
986   if (idx>=0) {
987     // check for fpInputBlocks pointer done in FindInputBlock
988     fOutputBlocks.push_back(fpInputBlocks[idx]);
989   }
990   return iResult;
991 }
992
993 const AliHLTComponentBlockData* AliHLTComponent::GetFirstInputBlock(const AliHLTComponentDataType& dt)
994 {
995   // see header file for function documentation
996   ALIHLTCOMPONENT_BASE_STOPWATCH();
997   fSearchDataType=dt;
998   fClassName.clear();
999   int idx=FindInputBlock(fSearchDataType, 0);
1000   const AliHLTComponentBlockData* pBlock=NULL;
1001   if (idx>=0) {
1002     // check for fpInputBlocks pointer done in FindInputBlock
1003     pBlock=&fpInputBlocks[idx];
1004     fCurrentInputBlock=idx;
1005   }
1006   return pBlock;
1007 }
1008
1009 const AliHLTComponentBlockData* AliHLTComponent::GetFirstInputBlock(const char* dtID, 
1010                                                                     const char* dtOrigin)
1011 {
1012   // see header file for function documentation
1013   ALIHLTCOMPONENT_BASE_STOPWATCH();
1014   AliHLTComponentDataType dt;
1015   SetDataType(dt, dtID, dtOrigin);
1016   return GetFirstInputBlock(dt);
1017 }
1018
1019 const AliHLTComponentBlockData* AliHLTComponent::GetInputBlock(int index) const
1020 {
1021   // see header file for function documentation
1022   ALIHLTCOMPONENT_BASE_STOPWATCH();
1023   assert( 0 <= index and index < (int)fCurrentEventData.fBlockCnt );
1024   return &fpInputBlocks[index];
1025 }
1026
1027 const AliHLTComponentBlockData* AliHLTComponent::GetNextInputBlock()
1028 {
1029   // see header file for function documentation
1030   ALIHLTCOMPONENT_BASE_STOPWATCH();
1031   int idx=FindInputBlock(fSearchDataType, fCurrentInputBlock+1);
1032   const AliHLTComponentBlockData* pBlock=NULL;
1033   if (idx>=0) {
1034     // check for fpInputBlocks pointer done in FindInputBlock
1035     pBlock=&fpInputBlocks[idx];
1036     fCurrentInputBlock=idx;
1037   }
1038   return pBlock;
1039 }
1040
1041 int AliHLTComponent::FindInputBlock(const AliHLTComponentBlockData* pBlock) const
1042 {
1043   // see header file for function documentation
1044   int iResult=-ENOENT;
1045   if (fpInputBlocks!=NULL) {
1046     if (pBlock) {
1047       if (pBlock>=fpInputBlocks && pBlock<fpInputBlocks+fCurrentEventData.fBlockCnt) {
1048         iResult=(int)(pBlock-fpInputBlocks);
1049       }
1050     } else {
1051       iResult=-EINVAL;
1052     }
1053   }
1054   return iResult;
1055 }
1056
1057 AliHLTUInt32_t AliHLTComponent::GetSpecification(const AliHLTComponentBlockData* pBlock)
1058 {
1059   // see header file for function documentation
1060   ALIHLTCOMPONENT_BASE_STOPWATCH();
1061   AliHLTUInt32_t iSpec=kAliHLTVoidDataSpec;
1062   int idx=fCurrentInputBlock;
1063   if (pBlock) {
1064     if (fpInputObjects==NULL || (idx=FindInputBlock(pBlock))>=0) {
1065     } else {
1066       HLTError("unknown Block %p", pBlock);
1067     }
1068   }
1069   if (idx>=0) {
1070     // check for fpInputBlocks pointer done in FindInputBlock
1071     iSpec=fpInputBlocks[idx].fSpecification;
1072   }
1073   return iSpec;
1074 }
1075
1076 int AliHLTComponent::PushBack(TObject* pObject, const AliHLTComponentDataType& dt, AliHLTUInt32_t spec, 
1077                               void* pHeader, int headerSize)
1078 {
1079   // see header file for function documentation
1080   ALIHLTCOMPONENT_BASE_STOPWATCH();
1081   int iResult=0;
1082   if (pObject) {
1083     AliHLTMessage msg(kMESS_OBJECT);
1084     msg.SetCompressionLevel(fCompressionLevel);
1085     msg.WriteObject(pObject);
1086     Int_t iMsgLength=msg.Length();
1087     if (iMsgLength>0) {
1088       // Matthias Sep 2008
1089       // NOTE: AliHLTMessage does implement it's own SetLength method
1090       // which is not architecture independent. The original SetLength
1091       // stores the size always in network byte order.
1092       // I'm trying to remember the rational for that, might be that
1093       // it was just some lack of knowledge. Want to change this, but
1094       // has to be done carefullt to be backward compatible.
1095       msg.SetLength(); // sets the length to the first (reserved) word
1096
1097       // does nothing if the level is 0
1098       msg.Compress();
1099
1100       char *mbuf = msg.Buffer();
1101       if (msg.CompBuffer()) {
1102         msg.SetLength(); // set once more to have to byte order
1103         mbuf = msg.CompBuffer();
1104         iMsgLength = msg.CompLength();
1105       }
1106       assert(mbuf!=NULL);
1107       iResult=InsertOutputBlock(mbuf, iMsgLength, dt, spec, pHeader, headerSize);
1108       if (iResult>=0) {
1109         HLTDebug("object %s (%p) size %d compression %d inserted to output", pObject->ClassName(), pObject, iMsgLength, msg.GetCompressionLevel());
1110       }
1111     } else {
1112       HLTError("object serialization failed for object %p", pObject);
1113       iResult=-ENOMSG;
1114     }
1115   } else {
1116     iResult=-EINVAL;
1117   }
1118   return iResult;
1119 }
1120
1121 int AliHLTComponent::PushBack(TObject* pObject, const char* dtID, const char* dtOrigin, AliHLTUInt32_t spec,
1122                               void* pHeader, int headerSize)
1123 {
1124   // see header file for function documentation
1125   ALIHLTCOMPONENT_BASE_STOPWATCH();
1126   AliHLTComponentDataType dt;
1127   SetDataType(dt, dtID, dtOrigin);
1128   return PushBack(pObject, dt, spec, pHeader, headerSize);
1129 }
1130
1131 int AliHLTComponent::PushBack(const void* pBuffer, int iSize, const AliHLTComponentDataType& dt, AliHLTUInt32_t spec,
1132                               const void* pHeader, int headerSize)
1133 {
1134   // see header file for function documentation
1135   ALIHLTCOMPONENT_BASE_STOPWATCH();
1136   return InsertOutputBlock(pBuffer, iSize, dt, spec, pHeader, headerSize);
1137 }
1138
1139 int AliHLTComponent::PushBack(const void* pBuffer, int iSize, const char* dtID, const char* dtOrigin, AliHLTUInt32_t spec,
1140                               const void* pHeader, int headerSize)
1141 {
1142   // see header file for function documentation
1143   ALIHLTCOMPONENT_BASE_STOPWATCH();
1144   AliHLTComponentDataType dt;
1145   SetDataType(dt, dtID, dtOrigin);
1146   return PushBack(pBuffer, iSize, dt, spec, pHeader, headerSize);
1147 }
1148
1149 int AliHLTComponent::InsertOutputBlock(const void* pBuffer, int iBufferSize, const AliHLTComponentDataType& dt, AliHLTUInt32_t spec,
1150                                        const void* pHeader, int iHeaderSize)
1151 {
1152   // see header file for function documentation
1153   int iResult=0;
1154   int iBlkSize = iBufferSize + iHeaderSize;
1155
1156   if ((pBuffer!=NULL && iBufferSize>0) || (pHeader!=NULL && iHeaderSize>0)) {
1157     if (fpOutputBuffer && iBlkSize<=(int)(fOutputBufferSize-fOutputBufferFilled)) {
1158       AliHLTUInt8_t* pTgt=fpOutputBuffer+fOutputBufferFilled;
1159
1160       // copy header if provided but skip if the header is the target location
1161       // in that case it has already been copied
1162       if (pHeader!=NULL && pHeader!=pTgt) {
1163         memcpy(pTgt, pHeader, iHeaderSize);
1164       }
1165
1166       pTgt += (AliHLTUInt8_t) iHeaderSize;
1167
1168       // copy buffer if provided but skip if buffer is the target location
1169       // in that case it has already been copied
1170       if (pBuffer!=NULL && pBuffer!=pTgt) {
1171         memcpy(pTgt, pBuffer, iBufferSize);
1172         
1173         //AliHLTUInt32_t firstWord=*((AliHLTUInt32_t*)pBuffer); 
1174         //HLTDebug("copy %d bytes from %p to output buffer %p, first word %#x", iBufferSize, pBuffer, pTgt, firstWord);
1175       }
1176       //HLTDebug("buffer inserted to output: size %d data type %s spec %#x", iBlkSize, DataType2Text(dt).c_str(), spec);
1177     } else {
1178       if (fpOutputBuffer) {
1179         HLTError("too little space in output buffer: %d, required %d", fOutputBufferSize-fOutputBufferFilled, iBlkSize);
1180       } else {
1181         HLTError("output buffer not available");
1182       }
1183       iResult=-ENOSPC;
1184     }
1185   }
1186   if (iResult>=0) {
1187     AliHLTComponentBlockData bd;
1188     FillBlockData( bd );
1189     bd.fOffset        = fOutputBufferFilled;
1190     bd.fSize          = iBlkSize;
1191     bd.fDataType      = dt;
1192     bd.fSpecification = spec;
1193     fOutputBlocks.push_back( bd );
1194     fOutputBufferFilled+=bd.fSize;
1195   }
1196
1197   return iResult;
1198 }
1199
1200 int AliHLTComponent::EstimateObjectSize(TObject* pObject) const
1201 {
1202   // see header file for function documentation
1203   if (!pObject) return -EINVAL;
1204     AliHLTMessage msg(kMESS_OBJECT);
1205     msg.WriteObject(pObject);
1206     return msg.Length();  
1207 }
1208
1209 AliHLTMemoryFile* AliHLTComponent::CreateMemoryFile(int capacity, const char* dtID,
1210                                                     const char* dtOrigin,
1211                                                     AliHLTUInt32_t spec)
1212 {
1213   // see header file for function documentation
1214   ALIHLTCOMPONENT_BASE_STOPWATCH();
1215   AliHLTComponentDataType dt;
1216   SetDataType(dt, dtID, dtOrigin);
1217   return CreateMemoryFile(capacity, dt, spec);
1218 }
1219
1220 AliHLTMemoryFile* AliHLTComponent::CreateMemoryFile(int capacity,
1221                                                     const AliHLTComponentDataType& dt,
1222                                                     AliHLTUInt32_t spec)
1223 {
1224   // see header file for function documentation
1225   ALIHLTCOMPONENT_BASE_STOPWATCH();
1226   AliHLTMemoryFile* pFile=NULL;
1227   if (capacity>=0 && static_cast<unsigned int>(capacity)<=fOutputBufferSize-fOutputBufferFilled){
1228     AliHLTUInt8_t* pTgt=fpOutputBuffer+fOutputBufferFilled;
1229     pFile=new AliHLTMemoryFile((char*)pTgt, capacity);
1230     if (pFile) {
1231       unsigned int nofBlocks=fOutputBlocks.size();
1232       if (nofBlocks+1>fMemFiles.size()) {
1233         fMemFiles.resize(nofBlocks+1, NULL);
1234       }
1235       if (nofBlocks<fMemFiles.size()) {
1236         fMemFiles[nofBlocks]=pFile;
1237         AliHLTComponentBlockData bd;
1238         FillBlockData( bd );
1239         bd.fOffset        = fOutputBufferFilled;
1240         bd.fSize          = capacity;
1241         bd.fDataType      = dt;
1242         bd.fSpecification = spec;
1243         fOutputBufferFilled+=bd.fSize;
1244         fOutputBlocks.push_back( bd );
1245       } else {
1246         HLTError("can not allocate/grow object array");
1247         pFile->CloseMemoryFile(0);
1248         delete pFile;
1249         pFile=NULL;
1250       }
1251     }
1252   } else {
1253     HLTError("can not create memory file of size %d (%d available)", capacity, fOutputBufferSize-fOutputBufferFilled);
1254   }
1255   return pFile;
1256 }
1257
1258 AliHLTMemoryFile* AliHLTComponent::CreateMemoryFile(const char* dtID,
1259                                                     const char* dtOrigin,
1260                                                     AliHLTUInt32_t spec,
1261                                                     float capacity)
1262 {
1263   // see header file for function documentation
1264   ALIHLTCOMPONENT_BASE_STOPWATCH();
1265   AliHLTComponentDataType dt;
1266   SetDataType(dt, dtID, dtOrigin);
1267   int size=fOutputBufferSize-fOutputBufferFilled;
1268   if (capacity<0 || capacity>1.0) {
1269     HLTError("invalid parameter: capacity %f", capacity);
1270     return NULL;
1271   }
1272   size=(int)(size*capacity);
1273   return CreateMemoryFile(size, dt, spec);
1274 }
1275
1276 AliHLTMemoryFile* AliHLTComponent::CreateMemoryFile(const AliHLTComponentDataType& dt,
1277                                                     AliHLTUInt32_t spec,
1278                                                     float capacity)
1279 {
1280   // see header file for function documentation
1281   ALIHLTCOMPONENT_BASE_STOPWATCH();
1282   int size=fOutputBufferSize-fOutputBufferFilled;
1283   if (capacity<0 || capacity>1.0) {
1284     HLTError("invalid parameter: capacity %f", capacity);
1285     return NULL;
1286   }
1287   size=(int)(size*capacity);
1288   return CreateMemoryFile(size, dt, spec);
1289 }
1290
1291 int AliHLTComponent::Write(AliHLTMemoryFile* pFile, const TObject* pObject,
1292                            const char* key, int option)
1293 {
1294   // see header file for function documentation
1295   int iResult=0;
1296   if (pFile && pObject) {
1297     pFile->cd();
1298     iResult=pObject->Write(key, option);
1299     if (iResult>0) {
1300       // success
1301     } else {
1302       iResult=-pFile->GetErrno();
1303       if (iResult==-ENOSPC) {
1304         HLTError("error writing memory file, buffer too small");
1305       }
1306     }
1307   } else {
1308     iResult=-EINVAL;
1309   }
1310   return iResult;
1311 }
1312
1313 int AliHLTComponent::CloseMemoryFile(AliHLTMemoryFile* pFile)
1314 {
1315   // see header file for function documentation
1316   int iResult=0;
1317   if (pFile) {
1318     AliHLTMemoryFilePList::iterator element=fMemFiles.begin();
1319     int i=0;
1320     while (element!=fMemFiles.end() && iResult>=0) {
1321       if (*element && *element==pFile) {
1322         iResult=pFile->CloseMemoryFile();
1323         
1324         // sync memory files and descriptors
1325         if (iResult>=0) {
1326           fOutputBlocks[i].fSize=(*element)->GetSize()+(*element)->GetHeaderSize();
1327         }
1328         delete *element;
1329         *element=NULL;
1330         return iResult;
1331       }
1332       element++; i++;
1333     }
1334     HLTError("can not find memory file %p", pFile);
1335     iResult=-ENOENT;
1336   } else {
1337     iResult=-EINVAL;
1338   }
1339   return iResult;
1340 }
1341
1342 int AliHLTComponent::CreateEventDoneData(AliHLTComponentEventDoneData edd)
1343 {
1344   // see header file for function documentation
1345   int iResult=0;
1346
1347   AliHLTComponentEventDoneData* newEDD = NULL;
1348   
1349   unsigned long newSize=edd.fDataSize;
1350   if (fEventDoneData)
1351     newSize += fEventDoneData->fDataSize;
1352
1353   if (newSize>fEventDoneDataSize) {
1354     newEDD = reinterpret_cast<AliHLTComponentEventDoneData*>( new AliHLTUInt8_t[ sizeof(AliHLTComponentEventDoneData)+newSize ] );
1355     if (!newEDD)
1356       return -ENOMEM;
1357     newEDD->fStructSize = sizeof(AliHLTComponentEventDoneData);
1358     newEDD->fDataSize = newSize;
1359     newEDD->fData = reinterpret_cast<AliHLTUInt8_t*>(newEDD)+newEDD->fStructSize;
1360     unsigned long long offset = 0;
1361     if (fEventDoneData) {
1362       memcpy( newEDD->fData, fEventDoneData->fData, fEventDoneData->fDataSize );
1363       offset += fEventDoneData->fDataSize;
1364     }
1365     memcpy( reinterpret_cast<AliHLTUInt8_t*>(newEDD->fData)+offset, edd.fData, edd.fDataSize );
1366     if (fEventDoneData)
1367       delete [] reinterpret_cast<AliHLTUInt8_t*>( fEventDoneData );
1368     fEventDoneData = newEDD;
1369     fEventDoneDataSize = newSize;
1370   }
1371   else {
1372     memcpy( reinterpret_cast<AliHLTUInt8_t*>(fEventDoneData->fData)+fEventDoneData->fDataSize, edd.fData, edd.fDataSize );
1373     fEventDoneData->fDataSize += edd.fDataSize;
1374   }
1375   return iResult;
1376 }
1377
1378 int AliHLTComponent::ProcessEvent( const AliHLTComponentEventData& evtData,
1379                                    const AliHLTComponentBlockData* blocks, 
1380                                    AliHLTComponentTriggerData& trigData,
1381                                    AliHLTUInt8_t* outputPtr, 
1382                                    AliHLTUInt32_t& size,
1383                                    AliHLTUInt32_t& outputBlockCnt, 
1384                                    AliHLTComponentBlockData*& outputBlocks,
1385                                    AliHLTComponentEventDoneData*& edd )
1386 {
1387   // see header file for function documentation
1388   HLTLogKeyword(GetComponentID());
1389   ALIHLTCOMPONENT_BASE_STOPWATCH();
1390   int iResult=0;
1391   fCurrentEvent=evtData.fEventID;
1392   fCurrentEventData=evtData;
1393   fpInputBlocks=blocks;
1394   fCurrentInputBlock=-1;
1395   fSearchDataType=kAliHLTAnyDataType;
1396   fpOutputBuffer=outputPtr;
1397   fOutputBufferSize=size;
1398   fOutputBufferFilled=0;
1399   fOutputBlocks.clear();
1400   outputBlockCnt=0;
1401   outputBlocks=NULL;
1402
1403   AliHLTComponentBlockDataList forwardedBlocks;
1404
1405   // optional component statistics
1406   AliHLTComponentStatisticsList compStats;
1407   bool bAddComponentTableEntry=false;
1408   vector<AliHLTUInt32_t> parentComponentTables;
1409 #if defined(__DEBUG) || defined(HLT_COMPONENT_STATISTICS)
1410   AliHLTComponentStatistics outputStat;
1411   memset(&outputStat, 0, sizeof(AliHLTComponentStatistics));
1412   outputStat.fId=fChainIdCrc;
1413   compStats.push_back(outputStat);
1414   if (fpBenchmark) {
1415     fpBenchmark->Reset();
1416     fpBenchmark->Start();
1417   }
1418 #endif
1419
1420   // data processing is skipped
1421   // -  if there are only steering events in the block list.
1422   //    For the sake of data source components data processing
1423   //    is not skipped if there is no block list at all or if it
1424   //    just contains the eventType block
1425   // - always skipped if the event is of type
1426   //   - gkAliEventTypeConfiguration
1427   //   - gkAliEventTypeReadPreprocessor
1428   const unsigned int skipModeDefault=0x1;
1429   const unsigned int skipModeForce=0x2;
1430   unsigned int bSkipDataProcessing=skipModeDefault;
1431
1432   // find special events
1433   if (fpInputBlocks && evtData.fBlockCnt>0) {
1434     // first look for all special events and execute in the appropriate
1435     // sequence afterwords
1436     int indexComConfEvent=-1;
1437     int indexUpdtDCSEvent=-1;
1438     int indexSOREvent=-1;
1439     int indexEOREvent=-1;
1440     for (unsigned int i=0; i<evtData.fBlockCnt && iResult>=0; i++) {
1441       if (fpInputBlocks[i].fDataType==kAliHLTDataTypeSOR) {
1442         indexSOREvent=i;
1443         // the AliHLTCalibrationProcessor relies on the SOR and EOR events
1444         bSkipDataProcessing&=~skipModeDefault;
1445       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeRunType) {
1446         // run type string
1447         // handling is not clear yet
1448         if (fpInputBlocks[i].fPtr) {
1449           HLTDebug("got run type \"%s\"\n", fpInputBlocks[i].fPtr);
1450         }
1451       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeEOR) {
1452         indexEOREvent=i;
1453         // the calibration processor relies on the SOR and EOR events
1454         bSkipDataProcessing&=~skipModeDefault;
1455       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeDDL) {
1456         // DDL list
1457         // this event is most likely deprecated
1458       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeComConf) {
1459         indexComConfEvent=i;
1460       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeUpdtDCS) {
1461         indexUpdtDCSEvent=i;
1462       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeEvent) {
1463         fEventType=fpInputBlocks[i].fSpecification;
1464
1465         // skip always in case of gkAliEventTypeConfiguration
1466         if (fpInputBlocks[i].fSpecification==gkAliEventTypeConfiguration) bSkipDataProcessing|=skipModeForce;
1467
1468         // skip always in case of gkAliEventTypeReadPreprocessor
1469         if (fpInputBlocks[i].fSpecification==gkAliEventTypeReadPreprocessor) bSkipDataProcessing|=skipModeForce;
1470
1471         // never skip if the event type block is the only block
1472         if (evtData.fBlockCnt==1) bSkipDataProcessing&=~skipModeDefault;
1473
1474       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeComponentStatistics) {
1475         if (compStats.size()>0) {
1476           AliHLTUInt8_t* pData=reinterpret_cast<AliHLTUInt8_t*>(fpInputBlocks[i].fPtr);
1477           for (AliHLTUInt32_t offset=0;
1478                offset+sizeof(AliHLTComponentStatistics)<=fpInputBlocks[i].fSize;
1479                offset+=sizeof(AliHLTComponentStatistics)) {
1480             AliHLTComponentStatistics* pStat=reinterpret_cast<AliHLTComponentStatistics*>(pData+offset);
1481             if (pStat && compStats[0].fLevel<=pStat->fLevel) {
1482               compStats[0].fLevel=pStat->fLevel+1;
1483             }
1484             compStats.push_back(*pStat);
1485           }
1486         }
1487       } else if (fpInputBlocks[i].fDataType==kAliHLTDataTypeComponentTable) {
1488         forwardedBlocks.push_back(fpInputBlocks[i]);
1489         parentComponentTables.push_back(fpInputBlocks[i].fSpecification);
1490       } else {
1491         // the processing function is called if there is at least one
1492         // non-steering data block. Steering blocks are not filtered out
1493         // for sake of performance 
1494         bSkipDataProcessing&=~skipModeDefault;
1495         if (compStats.size()>0) {
1496           compStats[0].fInputBlockCount++;
1497           compStats[0].fTotalInputSize+=fpInputBlocks[i].fSize;
1498         }
1499       }
1500     }
1501
1502     if (indexSOREvent>=0) {
1503       // start of run
1504       bAddComponentTableEntry=true;
1505       if (fpRunDesc==NULL) {
1506         fpRunDesc=new AliHLTRunDesc;
1507         if (fpRunDesc) *fpRunDesc=kAliHLTVoidRunDesc;
1508       }
1509       if (fpRunDesc) {
1510         AliHLTRunDesc rundesc;
1511         if ((iResult=CopyStruct(&rundesc, sizeof(AliHLTRunDesc), indexSOREvent, "AliHLTRunDesc", "SOR"))>0) {
1512           if (fpRunDesc->fRunNo==kAliHLTVoidRunNo) {
1513             *fpRunDesc=rundesc;
1514             HLTDebug("set run decriptor, run no %d", fpRunDesc->fRunNo);
1515             SetCDBRunNo(fpRunDesc->fRunNo);
1516           } else if (fpRunDesc->fRunNo!=rundesc.fRunNo) {
1517             HLTWarning("already set run properties run no %d, ignoring SOR with run no %d", fpRunDesc->fRunNo, rundesc.fRunNo);
1518           }
1519         }
1520       } else {
1521         iResult=-ENOMEM;
1522       }
1523     }
1524     if (indexEOREvent>=0) {
1525       bAddComponentTableEntry=true;
1526       if (fpRunDesc!=NULL) {
1527         if (fpRunDesc) {
1528           AliHLTRunDesc rundesc;
1529           if ((iResult=CopyStruct(&rundesc, sizeof(AliHLTRunDesc), indexEOREvent, "AliHLTRunDesc", "SOR"))>0) {
1530             if (fpRunDesc->fRunNo!=rundesc.fRunNo) {
1531               HLTWarning("run no mismatch: SOR %d, EOR %d", fpRunDesc->fRunNo, rundesc.fRunNo);
1532             } else {
1533               HLTDebug("EOR run no %d", fpRunDesc->fRunNo);
1534             }
1535           }
1536           AliHLTRunDesc* pRunDesc=fpRunDesc;
1537           fpRunDesc=NULL;
1538           delete pRunDesc;
1539         }
1540       } else {
1541         HLTWarning("did not receive SOR, ignoring EOR");
1542       }
1543     }
1544     if (indexComConfEvent>=0 || fEventType==gkAliEventTypeConfiguration) {
1545       TString cdbEntry;
1546       if (indexComConfEvent>=0 && fpInputBlocks[indexComConfEvent].fPtr!=NULL && fpInputBlocks[indexComConfEvent].fSize>0) {
1547         cdbEntry.Append(reinterpret_cast<const char*>(fpInputBlocks[indexComConfEvent].fPtr), fpInputBlocks[indexComConfEvent].fSize);
1548       }
1549       HLTDebug("received component configuration command: entry %s", cdbEntry.IsNull()?"none":cdbEntry.Data());
1550       int tmpResult=Reconfigure(cdbEntry[0]==0?NULL:cdbEntry.Data(), fChainId.c_str());
1551       if (tmpResult<0) {
1552         HLTWarning("reconfiguration of component %p (%s) failed with error code %d", this, GetComponentID(), tmpResult);
1553       }
1554     }
1555     if (indexUpdtDCSEvent>=0 || fEventType==gkAliEventTypeReadPreprocessor) {
1556       TString modules;
1557       if (fpInputBlocks[indexUpdtDCSEvent].fPtr!=NULL && fpInputBlocks[indexUpdtDCSEvent].fSize>0) {
1558         modules.Append(reinterpret_cast<const char*>(fpInputBlocks[indexUpdtDCSEvent].fPtr), fpInputBlocks[indexUpdtDCSEvent].fSize);
1559       }
1560       HLTDebug("received preprocessor update command: detectors %s", modules.IsNull()?"ALL":modules.Data());
1561       int tmpResult=ReadPreprocessorValues(modules[0]==0?"ALL":modules.Data());
1562       if (tmpResult<0) {
1563         HLTWarning("preprocessor update of component %p (%s) failed with error code %d", this, GetComponentID(), tmpResult);
1564       }
1565     }
1566   } else {
1567     // processing function needs to be called if there are no input data
1568     // blocks in order to make data source components working.
1569     bSkipDataProcessing&=~skipModeDefault;
1570   }
1571
1572   // data processing is not skipped if the component explicitly asks
1573   // for the private blocks
1574   if (fRequireSteeringBlocks) bSkipDataProcessing=0;
1575
1576   AliHLTComponentBlockDataList blockData;
1577   if (iResult>=0 && !bSkipDataProcessing)
1578   { // dont delete, sets the scope for the stopwatch guard
1579     // do not use ALIHLTCOMPONENT_DA_STOPWATCH(); macro
1580     // in order to avoid 'shadowed variable' warning
1581     AliHLTStopwatchGuard swguard2(fpStopwatches!=NULL?reinterpret_cast<TStopwatch*>(fpStopwatches->At((int)kSWDA)):NULL);
1582     iResult=DoProcessing(evtData, blocks, trigData, outputPtr, size, blockData, edd);
1583   } // end of the scope of the stopwatch guard
1584   if (iResult>=0 && !bSkipDataProcessing) {
1585     if (fOutputBlocks.size()>0) {
1586       // High Level interface
1587
1588       //HLTDebug("got %d block(s) via high level interface", fOutputBlocks.size());      
1589       // sync memory files and descriptors
1590       AliHLTMemoryFilePList::iterator element=fMemFiles.begin();
1591       int i=0;
1592       while (element!=fMemFiles.end() && iResult>=0) {
1593         if (*element) {
1594           if ((*element)->IsClosed()==0) {
1595             HLTWarning("memory file has not been closed, force flush");
1596             iResult=CloseMemoryFile(*element);
1597           }
1598         }
1599         element++; i++;
1600       }
1601
1602       if (iResult>=0) {
1603         // create the descriptor list
1604         if (blockData.size()>0) {
1605           HLTError("low level and high interface must not be mixed; use PushBack methods to insert data blocks");
1606           iResult=-EFAULT;
1607         } else {
1608           if (compStats.size()>0 && IsDataEvent()) {
1609             int offset=AddComponentStatistics(fOutputBlocks, fpOutputBuffer, fOutputBufferSize, fOutputBufferFilled, compStats);
1610             if (offset>0) fOutputBufferFilled+=offset;
1611           }
1612           if (bAddComponentTableEntry) {
1613             int offset=AddComponentTableEntry(fOutputBlocks, fpOutputBuffer, fOutputBufferSize, fOutputBufferFilled, parentComponentTables);
1614             if (offset>0) size+=offset;
1615           }
1616           if (forwardedBlocks.size()>0) {
1617             fOutputBlocks.insert(fOutputBlocks.end(), forwardedBlocks.begin(), forwardedBlocks.end());
1618           }
1619           iResult=MakeOutputDataBlockList(fOutputBlocks, &outputBlockCnt, &outputBlocks);
1620           size=fOutputBufferFilled;
1621         }
1622       }
1623     } else {
1624       // Low Level interface
1625       if (compStats.size()>0) {
1626         int offset=AddComponentStatistics(blockData, fpOutputBuffer, fOutputBufferSize, size, compStats);
1627         if (offset>0) size+=offset;
1628       }
1629       if (bAddComponentTableEntry) {
1630         int offset=AddComponentTableEntry(blockData, fpOutputBuffer, fOutputBufferSize, size, parentComponentTables);
1631         if (offset>0) size+=offset;
1632       }
1633       if (forwardedBlocks.size()>0) {
1634         blockData.insert(blockData.end(), forwardedBlocks.begin(), forwardedBlocks.end());
1635       }
1636       iResult=MakeOutputDataBlockList(blockData, &outputBlockCnt, &outputBlocks);
1637     }
1638     if (iResult<0) {
1639       HLTFatal("component %s (%p): can not convert output block descriptor list", GetComponentID(), this);
1640     }
1641   }
1642   if (iResult<0 || bSkipDataProcessing) {
1643     outputBlockCnt=0;
1644     outputBlocks=NULL;
1645   }
1646   CleanupInputObjects();
1647   if (iResult>=0 && IsDataEvent()) {
1648     IncrementEventCounter();
1649   }
1650   if (outputBlockCnt==0) {
1651     // no output blocks, set size to 0
1652     size=0;
1653   }
1654   FillEventData(fCurrentEventData);
1655   return iResult;
1656 }
1657
1658 int  AliHLTComponent::AddComponentStatistics(AliHLTComponentBlockDataList& blocks, 
1659                                              AliHLTUInt8_t* buffer,
1660                                              AliHLTUInt32_t bufferSize,
1661                                              AliHLTUInt32_t offset,
1662                                              AliHLTComponentStatisticsList& stats) const
1663 {
1664   // see header file for function documentation
1665   int iResult=0;
1666 #if defined(__DEBUG) || defined(HLT_COMPONENT_STATISTICS)
1667   if (stats.size()==0) return -ENOENT;
1668   stats[0].fTotalOutputSize=offset;
1669   stats[0].fOutputBlockCount=blocks.size();
1670   if (fpBenchmark) {
1671     stats[0].fTime=(AliHLTUInt32_t)(fpBenchmark->RealTime()*1000000);
1672     stats[0].fCTime=(AliHLTUInt32_t)(fpBenchmark->CpuTime()*1000000);
1673   }
1674   if (offset+stats.size()*sizeof(AliHLTComponentStatistics)<=bufferSize) {
1675     AliHLTComponentBlockData bd;
1676     FillBlockData( bd );
1677     bd.fOffset        = offset;
1678     bd.fSize          = stats.size()*sizeof(AliHLTComponentStatistics);
1679     bd.fDataType      = kAliHLTDataTypeComponentStatistics;
1680     bd.fSpecification = kAliHLTVoidDataSpec;
1681     unsigned int master=0;
1682     for (unsigned int i=1; i<blocks.size(); i++) {
1683       if (blocks[i].fSize>blocks[master].fSize && 
1684           !MatchExactly(blocks[i].fDataType, kAliHLTVoidDataType|kAliHLTDataOriginPrivate))
1685         master=i;
1686     }
1687     if (blocks.size()>0 && !MatchExactly(blocks[master].fDataType, kAliHLTVoidDataType|kAliHLTDataOriginPrivate)) {
1688       // take the data origin of the biggest block as specification
1689       // this is similar to the treatment in the HOMER interface. For traditional
1690       // reasons, the bytes are swapped there on a little endian architecture, so
1691       // we do it as well.
1692       memcpy(&bd.fSpecification, &blocks[master].fDataType.fOrigin, sizeof(bd.fSpecification));
1693 #ifdef R__BYTESWAP // set on little endian architectures
1694       bd.fSpecification=((bd.fSpecification & 0xFFULL) << 24) | 
1695         ((bd.fSpecification & 0xFF00ULL) << 8) | 
1696         ((bd.fSpecification & 0xFF0000ULL) >> 8) | 
1697         ((bd.fSpecification & 0xFF000000ULL) >> 24);
1698 #endif
1699     }
1700     memcpy(buffer+offset, &(stats[0]), bd.fSize);
1701     blocks.push_back(bd);
1702     iResult=bd.fSize;
1703   }
1704 #else
1705   if (blocks.size() && buffer && bufferSize && offset && stats.size()) {
1706     // get rid of warning
1707   }
1708 #endif
1709   return iResult;
1710 }
1711
1712 int  AliHLTComponent::AddComponentTableEntry(AliHLTComponentBlockDataList& blocks, 
1713                                              AliHLTUInt8_t* buffer,
1714                                              AliHLTUInt32_t bufferSize,
1715                                              AliHLTUInt32_t offset,
1716                                              const vector<AliHLTUInt32_t>& parents) const
1717 {
1718   // see header file for function documentation
1719   int iResult=0;
1720 #if defined(__DEBUG) || defined(HLT_COMPONENT_STATISTICS)
1721   // the payload consists of the AliHLTComponentTableEntry struct,
1722   // followed by a an array of 32bit crc chain ids and the component
1723   // description string
1724   unsigned int payloadSize=sizeof(AliHLTComponentTableEntry);
1725   payloadSize+=parents.size()*sizeof(AliHLTUInt32_t);
1726
1727   // the component description has the following format:
1728   // chain-id{component-id:arguments}
1729   const char* componentId=const_cast<AliHLTComponent*>(this)->GetComponentID();
1730   unsigned int descriptionSize=fChainId.size()+1;
1731   descriptionSize+=2; // the '{}' around the component id
1732   descriptionSize+=strlen(componentId);
1733   descriptionSize+=1; // the ':' between component id and arguments
1734   descriptionSize+=fComponentArgs.size();
1735
1736   payloadSize+=descriptionSize;
1737   if (buffer && (offset+payloadSize<=bufferSize)) {
1738     AliHLTUInt8_t* pTgt=buffer+offset;
1739     memset(pTgt, 0, payloadSize);
1740
1741     // write entry
1742     AliHLTComponentTableEntry* pEntry=reinterpret_cast<AliHLTComponentTableEntry*>(pTgt);
1743     pEntry->fStructSize=sizeof(AliHLTComponentTableEntry);
1744     pEntry->fNofParents=parents.size();
1745     pEntry->fSizeDescription=descriptionSize;
1746     pTgt=pEntry->fBuffer;
1747
1748     // write array of parents
1749     if (parents.size()>0) {
1750       unsigned int copy=parents.size()*sizeof(vector<AliHLTUInt32_t>::value_type);
1751       memcpy(pTgt, &parents[0], parents.size()*sizeof(vector<AliHLTUInt32_t>::value_type));
1752       pTgt+=copy;
1753     }
1754
1755     // write component description
1756     memcpy(pTgt, fChainId.c_str(), fChainId.size());
1757     pTgt+=fChainId.size();
1758     *pTgt++='{';
1759     memcpy(pTgt, componentId, strlen(componentId));
1760     pTgt+=strlen(componentId);
1761     *pTgt++=':';
1762     memcpy(pTgt, fComponentArgs.c_str(), fComponentArgs.size());
1763     pTgt+=fComponentArgs.size();
1764     *pTgt++='}';
1765     *pTgt++=0;
1766
1767     AliHLTComponentBlockData bd;
1768     FillBlockData( bd );
1769     bd.fOffset        = offset;
1770     bd.fSize          = payloadSize;
1771     bd.fDataType      = kAliHLTDataTypeComponentTable;
1772     bd.fSpecification = fChainIdCrc;
1773     blocks.push_back(bd);
1774     iResult=bd.fSize;
1775   }
1776 #else
1777   if (blocks.size() && buffer && bufferSize && offset && parents.size()) {
1778     // get rid of warning
1779   }
1780  #endif
1781   return iResult;
1782 }
1783
1784 AliHLTComponent::AliHLTStopwatchGuard::AliHLTStopwatchGuard()
1785   :
1786   fpStopwatch(NULL),
1787   fpPrec(NULL)
1788 {
1789   // standard constructor (not for use)
1790 }
1791
1792 AliHLTComponent::AliHLTStopwatchGuard::AliHLTStopwatchGuard(TStopwatch* pStopwatch)
1793   :
1794   fpStopwatch(pStopwatch),
1795   fpPrec(NULL)
1796 {
1797   // constructor
1798
1799   // check for already existing guard
1800   if (fgpCurrent) fpPrec=fgpCurrent;
1801   fgpCurrent=this;
1802
1803   // stop the preceeding guard if it controls a different stopwatch
1804   int bStart=1;
1805   if (fpPrec && fpPrec!=this) bStart=fpPrec->Hold(fpStopwatch);
1806
1807   // start the stopwatch if the current guard controls a different one
1808   if (fpStopwatch && bStart==1) fpStopwatch->Start(kFALSE);
1809 }
1810
1811 AliHLTComponent::AliHLTStopwatchGuard::AliHLTStopwatchGuard(const AliHLTStopwatchGuard&)
1812   :
1813   fpStopwatch(NULL),
1814   fpPrec(NULL)
1815 {
1816   //
1817   // copy constructor not for use
1818   //
1819 }
1820
1821 AliHLTComponent::AliHLTStopwatchGuard& AliHLTComponent::AliHLTStopwatchGuard::operator=(const AliHLTStopwatchGuard&)
1822 {
1823   //
1824   // assignment operator not for use
1825   //
1826   fpStopwatch=NULL;
1827   fpPrec=NULL;
1828   return *this;
1829 }
1830
1831 AliHLTComponent::AliHLTStopwatchGuard* AliHLTComponent::AliHLTStopwatchGuard::fgpCurrent=NULL;
1832
1833 AliHLTComponent::AliHLTStopwatchGuard::~AliHLTStopwatchGuard()
1834 {
1835   // destructor
1836
1837   // resume the preceeding guard if it controls a different stopwatch
1838   int bStop=1;
1839   if (fpPrec && fpPrec!=this) bStop=fpPrec->Resume(fpStopwatch);
1840
1841   // stop the stopwatch if the current guard controls a different one
1842   if (fpStopwatch && bStop==1) fpStopwatch->Stop();
1843
1844   // resume to the preceeding guard
1845   fgpCurrent=fpPrec;
1846 }
1847
1848 int AliHLTComponent::AliHLTStopwatchGuard::Hold(TStopwatch* pSucc)
1849 {
1850   // see header file for function documentation
1851   if (fpStopwatch!=NULL && fpStopwatch!=pSucc) fpStopwatch->Stop();
1852   return fpStopwatch!=pSucc?1:0;
1853 }
1854
1855 int AliHLTComponent::AliHLTStopwatchGuard::Resume(TStopwatch* pSucc)
1856 {
1857   // see header file for function documentation
1858   if (fpStopwatch!=NULL && fpStopwatch!=pSucc) fpStopwatch->Start(kFALSE);
1859   return fpStopwatch!=pSucc?1:0;
1860 }
1861
1862 int AliHLTComponent::SetStopwatch(TObject* pSW, AliHLTStopwatchType type) 
1863 {
1864   // see header file for function documentation
1865   int iResult=0;
1866   if (pSW!=NULL && type<kSWTypeCount) {
1867     if (fpStopwatches) {
1868       TObject* pObj=fpStopwatches->At((int)type);
1869       if (pSW==NULL        // explicit reset
1870           || pObj==NULL) { // explicit set
1871         fpStopwatches->AddAt(pSW, (int)type);
1872       } else if (pObj!=pSW) {
1873         HLTWarning("stopwatch %d already set, reset first", (int)type);
1874         iResult=-EBUSY;
1875       }
1876     }
1877   } else {
1878     iResult=-EINVAL;
1879   }
1880   return iResult;
1881 }
1882
1883 int AliHLTComponent::SetStopwatches(TObjArray* pStopwatches)
1884 {
1885   // see header file for function documentation
1886   if (pStopwatches==NULL) return -EINVAL;
1887
1888   int iResult=0;
1889   for (int i=0 ; i<(int)kSWTypeCount && pStopwatches->GetEntries(); i++)
1890     SetStopwatch(pStopwatches->At(i), (AliHLTStopwatchType)i);
1891   return iResult;
1892 }
1893
1894 AliHLTUInt32_t AliHLTComponent::GetRunNo() const
1895 {
1896   // see header file for function documentation
1897   if (fpRunDesc==NULL) return kAliHLTVoidRunNo;
1898   return fpRunDesc->fRunNo;
1899 }
1900
1901 AliHLTUInt32_t AliHLTComponent::GetRunType() const
1902 {
1903   // see header file for function documentation
1904   if (fpRunDesc==NULL) return kAliHLTVoidRunType;
1905   return fpRunDesc->fRunType;
1906 }
1907
1908 bool AliHLTComponent::IsDataEvent(AliHLTUInt32_t* pTgt)
1909 {
1910   // see header file for function documentation
1911   if (pTgt) *pTgt=fEventType;
1912   return (fEventType==gkAliEventTypeData ||
1913           fEventType==gkAliEventTypeDataReplay ||
1914           fEventType==gkAliEventTypeCalibration);
1915 }
1916
1917 int AliHLTComponent::CopyStruct(void* pStruct, unsigned int iStructSize, unsigned int iBlockNo,
1918                                 const char* structname, const char* eventname)
1919 {
1920   // see header file for function documentation
1921   int iResult=0;
1922   if (pStruct!=NULL && iStructSize>sizeof(AliHLTUInt32_t)) {
1923     if (fpInputBlocks!=NULL && iBlockNo<fCurrentEventData.fBlockCnt) {
1924       AliHLTUInt32_t* pTgt=(AliHLTUInt32_t*)pStruct;
1925       if (fpInputBlocks[iBlockNo].fPtr && fpInputBlocks[iBlockNo].fSize) {
1926         AliHLTUInt32_t copy=*((AliHLTUInt32_t*)fpInputBlocks[iBlockNo].fPtr);
1927         if (fpInputBlocks[iBlockNo].fSize!=copy) {
1928           HLTWarning("%s event: mismatch of block size (%d) and structure size (%d)", eventname, fpInputBlocks[iBlockNo].fSize, copy);
1929           if (copy>fpInputBlocks[iBlockNo].fSize) copy=fpInputBlocks[iBlockNo].fSize;
1930         }
1931         if (copy!=iStructSize) {
1932           HLTWarning("%s event: mismatch in %s version (data type version %d)", eventname, structname, ALIHLT_DATA_TYPES_VERSION);
1933           if (copy>iStructSize) {
1934             copy=iStructSize;
1935           } else {
1936             memset(pTgt, 0, iStructSize);
1937           }
1938         }
1939         memcpy(pTgt, fpInputBlocks[iBlockNo].fPtr, copy);
1940         *pTgt=iStructSize;
1941         iResult=copy;
1942       } else {
1943         HLTWarning("%s event: missing data block", eventname);
1944       }
1945     } else {
1946       iResult=-ENODATA;
1947     }
1948   } else {
1949     HLTError("invalid struct");
1950     iResult=-EINVAL;
1951   }
1952   return iResult;
1953 }
1954
1955 void AliHLTComponent::SetDDLBit(AliHLTEventDDL &list, Int_t ddlId, Bool_t state ) const
1956 {
1957   // see header file for function documentation
1958   
1959   // -- Detector offset
1960   Int_t ddlIdBase =  TMath::FloorNint( (Double_t) ddlId / 256.0 );
1961   
1962   // -- Word Base = 1. word of detector ( TPC has 8 words, TOF 3 ) 
1963   Int_t wordBase = 0;
1964
1965   if ( ddlIdBase <= 3 )
1966     wordBase = ddlIdBase;
1967   else if ( ddlIdBase > 3 && ddlIdBase < 5 )
1968     wordBase = ddlIdBase + 7;
1969   else 
1970     wordBase = ddlIdBase + 9;
1971
1972   // -- Bit index in Word
1973   Int_t bitIdx = ddlId % 32;
1974
1975   // -- Index of word
1976   Int_t wordIdx = wordBase;
1977
1978   // -- if TPC (3) or TOD (5) add word idx
1979   if ( ( ddlIdBase == 3 ) || ( ddlIdBase == 5 ) ) {
1980     wordIdx += TMath::FloorNint( (Double_t) ( ddlId - ( ddlIdBase * 256 ) ) / 32.0 );
1981   }
1982
1983   // -- Set -- 'OR' word with bit mask;
1984   if ( state )
1985     list.fList[wordIdx] |= ( 0x00000001 << bitIdx );
1986   // -- Unset -- 'AND' word with bit mask;
1987   else
1988     list.fList[wordIdx] &= ( 0xFFFFFFFF ^ ( 0x00000001 << bitIdx ) );
1989 }
1990
1991 Int_t AliHLTComponent::GetFirstUsedDDLWord(AliHLTEventDDL &list) const
1992 {
1993   // see header file for function documentation
1994
1995   Int_t iResult = -1;
1996
1997   for ( Int_t wordNdx = 0 ; wordNdx < gkAliHLTDDLListSize ; wordNdx++ ) {
1998
1999     if ( list.fList[wordNdx] != 0 && iResult == -1 ) {
2000       // check for special cases TPC and TOF
2001       if ( wordNdx > 3 && wordNdx <= 10 ) {
2002         wordNdx = 10;
2003         iResult = 3;
2004       }
2005       else if ( wordNdx > 12 && wordNdx <= 14 ) {
2006         wordNdx = 14;
2007         iResult = 12;
2008       }
2009       else
2010         iResult = wordNdx;
2011     }
2012     else if ( list.fList[wordNdx] != 0 && iResult >= 0 ) {
2013       HLTError( "DDLIDs for minimum of TWO detectors ( %d, %d ) set, this function works only for ONE detector.", iResult, wordNdx );
2014       iResult = -1;
2015       break;
2016     }
2017   }
2018
2019   return iResult;
2020 }
2021
2022 AliHLTUInt32_t AliHLTComponent::CalculateChecksum(const AliHLTUInt8_t* buffer, int size)
2023 {
2024   // see header file for function documentation
2025   AliHLTUInt32_t  remainder = 0; 
2026   const AliHLTUInt8_t crcwidth=(8*sizeof(AliHLTUInt32_t));
2027   const AliHLTUInt32_t topbit=1 << (crcwidth-1);
2028   const AliHLTUInt32_t polynomial=0xD8;  /* 11011 followed by 0's */
2029
2030   // code from
2031   // http://www.netrino.com/Embedded-Systems/How-To/CRC-Calculation-C-Code
2032
2033   /*
2034    * Perform modulo-2 division, a byte at a time.
2035    */
2036   for (int byte = 0; byte < size; ++byte)
2037     {
2038       /*
2039        * Bring the next byte into the remainder.
2040        */
2041       remainder ^= (buffer[byte] << (crcwidth - 8));
2042
2043       /*
2044        * Perform modulo-2 division, a bit at a time.
2045        */
2046       for (uint8_t bit = 8; bit > 0; --bit)
2047         {
2048           /*
2049            * Try to divide the current data bit.
2050            */
2051           if (remainder & topbit)
2052             {
2053               remainder = (remainder << 1) ^ polynomial;
2054             }
2055           else
2056             {
2057               remainder = (remainder << 1);
2058             }
2059         }
2060     }
2061
2062   /*
2063    * The final remainder is the CRC result.
2064    */
2065   return (remainder);
2066 }
2067
2068 int AliHLTComponent::ExtractComponentTableEntry(const AliHLTUInt8_t* pBuffer, AliHLTUInt32_t size,
2069                                                 string& retChainId, string& retCompId, string& retCompArgs,
2070                                                 vector<AliHLTUInt32_t>& parents)
2071 {
2072   // see header file for function documentation
2073   retChainId.clear();
2074   retCompId.clear();
2075   retCompArgs.clear();
2076   parents.clear();
2077   if (!pBuffer || size==0) return 0;
2078
2079   const AliHLTComponentTableEntry* pEntry=reinterpret_cast<const AliHLTComponentTableEntry*>(pBuffer);
2080   if (size<8/* the initial size of the structure*/ ||
2081       pEntry==NULL || pEntry->fStructSize<8) return -ENOMSG;
2082   const AliHLTUInt32_t* pParents=reinterpret_cast<const AliHLTUInt32_t*>(pEntry->fBuffer);
2083   const AliHLTUInt8_t* pEnd=pBuffer+size;
2084
2085   if (pParents+pEntry->fNofParents>=reinterpret_cast<const AliHLTUInt32_t*>(pEnd)) return -ENODEV;
2086   for (unsigned int i=0; i<pEntry->fNofParents; i++, pParents++) {
2087     parents.push_back(*pParents);
2088   }
2089
2090   const char* pDescription=reinterpret_cast<const char*>(pParents);
2091   if (pDescription+pEntry->fSizeDescription>=reinterpret_cast<const char*>(pEnd) ||
2092       *(pDescription+pEntry->fSizeDescription)!=0) {
2093     return -EBADF;
2094   }
2095
2096   TString descriptor=reinterpret_cast<const char*>(pDescription);
2097   TString chainId;
2098   TString compId;
2099   TString compArgs;
2100   TObjArray* pTokens=descriptor.Tokenize("{");
2101   if (pTokens) {
2102     int n=0;
2103     if (pTokens->GetEntries()>n) {
2104       retChainId=((TObjString*)pTokens->At(n++))->GetString();
2105     }
2106     if (pTokens->GetEntries()>n) {
2107       compId=((TObjString*)pTokens->At(n++))->GetString();
2108     }
2109     delete pTokens;
2110   }
2111   if (!compId.IsNull() && (pTokens=compId.Tokenize(":"))!=NULL) {
2112     int n=0;
2113     if (pTokens->GetEntries()>n) {
2114       compId=((TObjString*)pTokens->At(n++))->GetString();
2115     }
2116     if (pTokens->GetEntries()>n) {
2117       compArgs=((TObjString*)pTokens->At(n++))->GetString();
2118     }
2119     delete pTokens;
2120   }
2121   compId.ReplaceAll("}", "");
2122   compArgs.ReplaceAll("}", "");
2123
2124   retCompId=compId;
2125   retCompArgs=compArgs;
2126
2127   if (retChainId.size()==0) return -ENODATA;
2128
2129   return 1;
2130 }