HLT/BASE/AliHLTComponent.h

   1 //-*- Mode: C++ -*-
   2 // @(#) $Id$
   3
   4 #ifndef ALIHLTCOMPONENT_H
   5 #define ALIHLTCOMPONENT_H
   6 /* This file is property of and copyright by the ALICE HLT Project        *
   7  * ALICE Experiment at CERN, All rights reserved.                         *
   8  * See cxx source for full Copyright notice                               */
   9
  10 /** @file   AliHLTComponent.h
  11     @author Matthias Richter, Timm Steinbeck
  12     @date
  13     @brief  Base class declaration for HLT components.
  14     @note   The class is both used in Online (PubSub) and Offline (AliRoot)
  15             context
  16
  17 // see below for class documentation
  18 // or
  19 // refer to README to build package
  20 // or
  21 // visit http://web.ift.uib.no/~kjeks/doc/alice-hlt
  22                                                                           */
  23 /**
  24  * @defgroup alihlt_component Component handling of the HLT module
  25  * This section describes the the component handling for the HLT module.
  26  */
  27
  28 #include <vector>
  29 #include <string>
  30 #include "AliHLTLogging.h"
  31 #include "AliHLTDataTypes.h"
  32 //#include "AliHLTDefinitions.h"
  33
  34 /* Matthias Dec 2006
  35  * The names have been changed for Aliroot's coding conventions sake
  36  * The old names are defined for backward compatibility with the
  37  * stand alone SampleLib package
  38  */
  39 typedef AliHLTComponentLogSeverity AliHLTComponent_LogSeverity;
  40 typedef AliHLTComponentEventData AliHLTComponent_EventData;
  41 typedef AliHLTComponentShmData AliHLTComponent_ShmData;
  42 typedef AliHLTComponentDataType AliHLTComponent_DataType;
  43 typedef AliHLTComponentBlockData AliHLTComponent_BlockData;
  44 typedef AliHLTComponentTriggerData AliHLTComponent_TriggerData;
  45 typedef AliHLTComponentEventDoneData AliHLTComponent_EventDoneData;
  46
  47 class AliHLTComponentHandler;
  48 class TObjArray;
  49 class TStopwatch;
  50 class AliHLTComponent;
  51 class AliHLTMemoryFile;
  52
  53 /** list of component data type structures */
  54 typedef vector<AliHLTComponentDataType>   AliHLTComponentDataTypeList;
  55 /** list of component block data structures */
  56 typedef vector<AliHLTComponentBlockData>  AliHLTComponentBlockDataList;
  57 /** list of component pointers */
  58 typedef vector<AliHLTComponent*>          AliHLTComponentPList;
  59 /** list of memory file pointers */
  60 typedef vector<AliHLTMemoryFile*>         AliHLTMemoryFilePList;
  61
  62 /**
  63  * @class AliHLTComponent
  64  * Base class of HLT data processing components.
  65  * The class provides a common interface for HLT data processing components.
  66  * The interface can be accessed from the online HLT framework or the AliRoot
  67  * offline analysis framework.
  68  * @section alihltcomponent-properties Component identification and properties
  69  * Each component must provide a unique ID, input and output data type indications,
  70  * and a spawn function.
  71  * @subsection alihltcomponent-req-methods Required property methods
  72  * - @ref GetComponentID
  73  * - @ref GetInputDataTypes (see @ref alihltcomponent-type for default
  74  *   implementations.)
  75  * - @ref GetOutputDataType (see @ref alihltcomponent-type for default
  76  *   implementations.)
  77  * - @ref GetOutputDataSize (see @ref alihltcomponent-type for default
  78  *   implementations.)
  79  * - @ref Spawn
  80  *
  81  * @subsection alihltcomponent-opt-mehods Optional handlers
  82  * - @ref DoInit
  83  * - @ref DoDeinit
  84  * - @ref GetOutputDataTypes
  85  *   If the component has multiple output data types @ref GetOutputDataType
  86  *   should return @ref kAliHLTMultipleDataType. The framework will invoke
  87  *   @ref GetOutputDataTypes, a list can be filled.
  88  *
  89  * @subsection alihltcomponent-processing-mehods Data processing
  90  *
  91  *
  92  * @subsection alihltcomponent-type Component type
  93  * Components can be of type
  94  * - @ref kSource     components which only produce data
  95  * - @ref kProcessor  components which consume and produce data
  96  * - @ref kSink       components which only consume data
  97  *
  98  * where data production and consumption refer to the analysis data stream. In
  99  * order to indicate the type, a child component can overload the
 100  * @ref GetComponentType function.
 101  * @subsubsection alihltcomponent-type-std Standard implementations
 102  * Components in general do not need to implement this function, standard
 103  * implementations of the 3 types are available:
 104  * - AliHLTDataSource for components of type @ref kSource <br>
 105  *   All types of data sources can inherit from AliHLTDataSource and must
 106  *   implement the @ref AliHLTDataSource::GetEvent method. The class
 107  *   also implements a standard method for @ref GetInputDataTypes.
 108  *
 109  * - AliHLTProcessor for components of type @ref kProcessor <br>
 110  *   All types of data processors can inherit from AliHLTDataSource and must
 111  *   implement the @ref AliHLTProcessor::DoEvent method.
 112  *
 113  * - AliHLTDataSink for components of type @ref kSink <br>
 114  *   All types of data processors can inherit from AliHLTDataSource and must
 115  *   implement the @ref AliHLTDataSink::DumpEvent method. The class
 116  *   also implements a standard method for @ref GetOutputDataType and @ref
 117  *   GetOutputDataSize.
 118  *
 119  * @subsection alihltcomponent-environment Running environment
 120  *
 121  * In order to adapt to different environments (on-line/off-line), the component
 122  * gets an environment structure with function pointers. The base class provides
 123  * member functions for those environment dependend functions. The member
 124  * functions are used by the component implementation and are re-mapped to the
 125  * corresponding functions.
 126  *
 127  * @section alihltcomponent-interfaces Component interfaces
 128  * Each of the 3 standard component base classes AliHLTProcessor, AliHLTDataSource
 129  * and AliHLTDataSink provides it's own processing method (see
 130  * @ref alihltcomponent-type-std), which splits into a high and a low-level
 131  * method. For the @ref alihltcomponent-low-level-interface, all parameters are
 132  * shipped as function arguments, the component is supposed to dump data to the
 133  * output buffer and handle all block descriptors.
 134  * The @ref alihltcomponent-high-level-interface is the standard processing
 135  * method and will be used whenever the low-level method is not overloaded.
 136  *
 137  * In both cases it is necessary to calculate/estimate the size of the output
 138  * buffer before the processing. Output buffers can never be allocated inside
 139  * the component because of the push-architecture of the HLT.
 140  * For that reason the @ref GetOutputDataSize function should return a rough
 141  * estimatian of the data to be produced by the component. The component is
 142  * responsible for checking the memory size and must return -ENOSPC if the
 143  * available buffer is to small, and update the estimator respectively. The
 144  * framework will allocate a buffer of appropriate size and call the processing
 145  * again.
 146  *
 147  * @subsection alihltcomponent-error-codes Data processing
 148  * For return codes, the following scheme applies:
 149  * - The data processing methods have to indicate error conditions by a negative
 150  * error/return code. Preferably the system error codes are used like
 151  * e.g. -EINVAL. This requires to include the header
 152  * <pre>
 153  * \#include \<cerrno\>
 154  * </pre>
 155  * - If no suitable input block could be found (e.g. no clusters for the TPC cluster
 156  * finder) set size to 0, block list is empty, return 0
 157  * - If no ususable or significant signal could be found in the input blocks
 158  * return an empty output block, set size accordingly, and return 0. An empty output
 159  * block here could be either a real empty one of size 0 (in which case size also
 160  * would have to be set to zero) or a block filled with just the minimum necessary
 161  * accounting/meta-structures. E.g. in the TPC
 162  *
 163  * @subsection alihltcomponent-high-level-interface High-level interface
 164  * The high-level component interface provides functionality to exchange ROOT
 165  * structures between components. In contrast to the
 166  * @ref alihltcomponent-low-level-interface, a couple of functions can be used
 167  * to access data blocks of the input stream
 168  * and send data blocks or ROOT TObject's to the output stream. The functionality
 169  * is hidden from the user and is implemented by using ROOT's TMessage class.
 170  *
 171  * @subsubsection alihltcomponent-high-level-int-methods Interface methods
 172  * The interface provides a couple of methods in order to get objects from the
 173  * input, data blocks (non TObject) from the input, and to push back objects and
 174  * data blocks to the output. For convenience there are several functions of
 175  * identical name (and similar behavior) with different parameters defined.
 176  * Please refer to the function documentation.
 177  * - @ref GetNumberOfInputBlocks <br>
 178  *        return the number of data blocks in the input stream
 179  * - @ref GetFirstInputObject <br>
 180  *        get the first object of a specific data type
 181  * - @ref GetNextInputObject <br>
 182  *        get the next object of same data type as last GetFirstInputObject/Block call
 183  * - @ref GetFirstInputBlock <br>
 184  *        get the first block of a specific data type
 185  * - @ref GetNextInputBlock <br>
 186  *        get the next block of same data type as last GetFirstInputBlock/Block call
 187  * - @ref PushBack <br>
 188  *        insert an object or data buffer into the output
 189  * - @ref CreateEventDoneData <br>
 190  *        add event information to the output
 191  *
 192  * In addition, the processing methods are simplified a bit by cutting out most of
 193  * the parameters.
 194  * @see
 195  * - @ref AliHLTProcessor::DoEvent
 196  * - @ref AliHLTDataSource::GetEvent
 197  * - @ref AliHLTDataSink::DumpEvent
 198  *
 199  * \em IMPORTANT: objects and block descriptors provided by the high-level interface
 200  *  <b>MUST NOT BE DELETED</b> by the caller.
 201  *
 202  * @subsubsection alihltcomponent-high-level-int-guidelines High-level interface guidelines
 203  * - Structures must inherit from the ROOT object base class TObject in order be
 204  * transported by the transportation framework.
 205  * - all pointer members must be transient (marked <tt>//!</tt> behind the member
 206  * definition), i.e. will not be stored/transported, or properly marked
 207  * (<tt>//-></tt>) in order to call the streamer of the object the member is pointing
 208  * to. The latter is not recomended. Structures to be transported between components
 209  * should be streamlined.
 210  * - no use of stl vectors/strings, use appropriate ROOT classes instead
 211  *
 212  * @subsection alihltcomponent-low-level-interface Low-level interface
 213  * The low-level component interface consists of the specific data processing
 214  * methods for @ref AliHLTProcessor, @ref AliHLTDataSource, and @ref AliHLTDataSink.
 215  * - @ref AliHLTProcessor::DoEvent
 216  * - @ref AliHLTDataSource::GetEvent
 217  * - @ref AliHLTDataSink::DumpEvent
 218  *
 219  *
 220  * @section alihltcomponent-handling Component handling
 221  * The handling of HLT analysis components is carried out by the AliHLTComponentHandler.
 222  * Component are registered automatically at load-time of the component shared library
 223  * under the following suppositions:
 224  * - the component library has to be loaded from the AliHLTComponentHandler using the
 225  *   @ref AliHLTComponentHandler::LoadLibrary method.
 226  * - the component implementation defines one global object (which is generated
 227  *   when the library is loaded)
 228  *
 229  * @subsection alihltcomponent-design-rules General design considerations
 230  * The analysis code should be implemented in one or more destict class(es). A
 231  * \em component should be implemented which interface the destict analysis code to the
 232  * component interface. This component generates the analysis object dynamically. <br>
 233  *
 234  * Assume you have an implemetation <tt> AliHLTDetMyAnalysis </tt>, another class <tt>
 235  * AliHLTDetMyAnalysisComponent </tt> contains:
 236  * <pre>
 237  * private:
 238  *   AliHLTDetMyAnalysis* fMyAnalysis;  //!
 239  * </pre>
 240  * The object should then be instantiated in the DoInit handler of
 241  * <tt>AliHLTDetMyAnalysisComponent </tt>, and cleaned in the DoDeinit handler.
 242  *
 243  * Further rules:
 244  * - avoid big static arrays in the component, allocate the memory at runtime
 245  *
 246  * @ingroup alihlt_component
 247  * @section alihltcomponent-members Class members
 248  */
 249 class AliHLTComponent : public AliHLTLogging {
 250  public:
 251   /** standard constructor */
 252   AliHLTComponent();
 253   /** standard destructor */
 254   virtual ~AliHLTComponent();
 255
 256   /** component type definitions */
 257   enum TComponentType { kUnknown=0, kSource=1, kProcessor=2, kSink=3 };
 258
 259   /**
 260    * Init function to prepare data processing.
 261    * Initialization of common data structures for a sequence of events.
 262    * The call is redirected to the internal method @ref DoInit which can be
 263    * overridden by the child class.<br>
 264    * During Init also the environment structure is passed to the component.
 265    * @param environ        environment pointer with environment dependend function
 266    *                       calls
 267    * @param environParam   additionel parameter for function calls, the pointer
 268    *                       is passed as it is
 269    * @param argc           size of the argument array
 270    * @param argv           agument array for component initialization
 271    */
 272   virtual int Init( AliHLTComponentEnvironment* environ, void* environParam, int argc, const char** argv );
 273
 274   /**
 275    * Clean-up function to terminate data processing.
 276    * Clean-up of common data structures after data processing.
 277    * The call is redirected to the internal method @ref DoDeinit which can be
 278    * overridden by the child class.
 279    */
 280   virtual int Deinit();
 281
 282   /**
 283    * Processing of one event.
 284    * The method is the entrance of the event processing. The parameters are
 285    * cached for uses with the high-level interface and the DoProcessing
 286    * implementation is called.
 287    *
 288    * @param evtData
 289    * @param blocks
 290    * @param trigData
 291    * @param outputPtr
 292    * @param size
 293    * @param outputBlockCnt  out: size of the output block array, set by the component
 294    * @param outputBlocks    out: the output block array is allocated internally
 295    * @param edd
 296    * @return neg. error code if failed
 297    */
 298   int ProcessEvent( const AliHLTComponentEventData& evtData, const AliHLTComponentBlockData* blocks,
 299                             AliHLTComponentTriggerData& trigData, AliHLTUInt8_t* outputPtr,
 300                             AliHLTUInt32_t& size, AliHLTUInt32_t& outputBlockCnt,
 301                             AliHLTComponentBlockData*& outputBlocks,
 302                             AliHLTComponentEventDoneData*& edd );
 303
 304   /**
 305    * Internal processing of one event.
 306    * The method is pure virtual and implemented by the child classes
 307    * - @ref AliHLTProcessor
 308    * - @ref AliHLTDataSource
 309    * - @ref AliHLTDataSink
 310    *
 311    * @param evtData
 312    * @param blocks
 313    * @param trigData
 314    * @param outputPtr
 315    * @param size
 316    * @param outputBlocks    out: the output block array is allocated internally
 317    * @param edd
 318    * @return neg. error code if failed
 319    */
 320   virtual int DoProcessing( const AliHLTComponentEventData& evtData, const AliHLTComponentBlockData* blocks,
 321                             AliHLTComponentTriggerData& trigData, AliHLTUInt8_t* outputPtr,
 322                             AliHLTUInt32_t& size,
 323                             AliHLTComponentBlockDataList& outputBlocks,
 324                             AliHLTComponentEventDoneData*& edd ) = 0;
 325
 326   // Information member functions for registration.
 327
 328   /**
 329    * Get the type of the component.
 330    * The function is pure virtual and must be implemented by the child class.
 331    * @return component type id
 332    */
 333   virtual TComponentType GetComponentType() = 0; // Source, sink, or processor
 334
 335   /**
 336    * Get the id of the component.
 337    * Each component is identified by a unique id.
 338    * The function is pure virtual and must be implemented by the child class.
 339    * @return component id (string)
 340    */
 341   virtual const char* GetComponentID() = 0;
 342
 343   /**
 344    * Get the input data types of the component.
 345    * The function is pure virtual and must be implemented by the child class.
 346    * @return list of data types in the vector reference
 347    */
 348   virtual void GetInputDataTypes( AliHLTComponentDataTypeList& ) = 0;
 349
 350   /**
 351    * Get the output data type of the component.
 352    * The function is pure virtual and must be implemented by the child class.
 353    * @return output data type
 354    */
 355   virtual AliHLTComponentDataType GetOutputDataType() = 0;
 356
 357   /**
 358    * Get the output data types of the component.
 359    * The function can be implemented to indicate multiple output data types
 360    * in the target array.
 361    * @ref GetOutputDataType must return @ref kAliHLTMultipleDataType in order
 362    * to invoke this method.
 363    * @param tgtList          list to receive the data types
 364    * @return no of output data types, data types in the target list
 365    */
 366   virtual int GetOutputDataTypes(AliHLTComponentDataTypeList& tgtList);
 367
 368   /**
 369    * Get a ratio by how much the data volume is shrinked or enhanced.
 370    * The function is pure virtual and must be implemented by the child class.
 371    * @param constBase        <i>return</i>: additive part, independent of the
 372    *                                   input data volume
 373    * @param inputMultiplier  <i>return</i>: multiplication ratio
 374    * @return values in the reference variables
 375    */
 376   virtual void GetOutputDataSize( unsigned long& constBase, double& inputMultiplier ) = 0;
 377
 378   /**
 379    * Spawn function.
 380    * Each component must implement a spawn function to create a new instance of
 381    * the class. Basically the function must return <i>new <b>my_class_name</b></i>.
 382    * @return new class instance
 383    */
 384   virtual AliHLTComponent* Spawn() = 0;
 385
 386   /**
 387    * Find matching data types between this component and a consumer component.
 388    * Currently, a component can produce only one type of data. This restriction is most
 389    * likely to be abolished in the future.
 390    * @param pConsumer a component and consumer of the data produced by this component
 391    * @param tgtList   reference to a vector list to receive the matching data types.
 392    * @return >= 0 success, neg. error code if failed
 393    */
 394   int FindMatchingDataTypes(AliHLTComponent* pConsumer, AliHLTComponentDataTypeList* tgtList);
 395
 396   /**
 397    * Set the global component handler.
 398    * The static method is needed for the automatic registration of components.
 399    */
 400   static int SetGlobalComponentHandler(AliHLTComponentHandler* pCH, int bOverwrite=0);
 401
 402   /**
 403    * Clear the global component handler.
 404    * The static method is needed for the automatic registration of components.
 405    */
 406   static int UnsetGlobalComponentHandler();
 407
 408   /**
 409    * Helper function to convert the data type to a string.
 410    * @param type        data type structure
 411    * @param mode        0 print string origin:type          <br>
 412    *                    1 print chars                       <br>
 413    *                    2 print numbers
 414    */
 415   static string DataType2Text( const AliHLTComponentDataType& type, int mode=0);
 416
 417   /**
 418    * Helper function to print content of data type.
 419    */
 420   void PrintDataTypeContent(AliHLTComponentDataType& dt, const char* format=NULL) const;
 421
 422   /**
 423    * helper function to initialize AliHLTComponentEventData structure
 424    */
 425   static void FillEventData(AliHLTComponentEventData& evtData);
 426
 427   /**
 428    * Print info on an AliHLTComponentDataType structure
 429    * This is just a helper function to examine an @ref AliHLTComponentDataType
 430    * structur.
 431    */
 432   void PrintComponentDataTypeInfo(const AliHLTComponentDataType& dt);
 433
 434   /**
 435    * Fill AliHLTComponentBlockData structure with default values.
 436    * @param blockData   reference to data structure
 437    */
 438   static void FillBlockData( AliHLTComponentBlockData& blockData );
 439
 440   /**
 441    * Fill AliHLTComponentShmData structure with default values.
 442    * @param shmData   reference to data structure
 443    */
 444   static void FillShmData( AliHLTComponentShmData& shmData );
 445
 446   /**
 447    * Fill AliHLTComponentDataType structure with default values.
 448    * @param dataType   reference to data structure
 449    */
 450   static void FillDataType( AliHLTComponentDataType& dataType );
 451
 452   /**
 453    * Copy data type structure
 454    * Copies the value an AliHLTComponentDataType structure to another one
 455    * @param[out] tgtdt   target structure
 456    * @param[in] srcdt   source structure
 457    */
 458   static void CopyDataType(AliHLTComponentDataType& tgtdt, const AliHLTComponentDataType& srcdt);
 459
 460   /**
 461    * Set the ID and Origin of an AliHLTComponentDataType structure.
 462    * The function sets the fStructureSize member and copies the strings
 463    * to the ID and Origin. Only characters from the valid part of the string
 464    * are copied, the rest is filled with 0's. <br>
 465    * Please note that the fID and fOrigin members are not strings, just arrays of
 466    * chars of size @ref kAliHLTComponentDataTypefIDsize and
 467    * @ref kAliHLTComponentDataTypefOriginSize respectively and not necessarily with
 468    * a terminating zero. <br>
 469    * It is possible to pass NULL pointers as id or origin argument, in that case they
 470    * are just ignored.
 471    * @param tgtdt   target data type structure
 472    * @param id      ID string
 473    * @param origin  Origin string
 474    */
 475   static void SetDataType(AliHLTComponentDataType& tgtdt, const char* id, const char* origin);
 476
 477   /**
 478    * Stopwatch type for benchmarking.
 479    */
 480   enum AliHLTStopwatchType {
 481     /** total time for event processing */
 482     kSWBase,
 483     /** detector algorithm w/o interface callbacks */
 484     kSWDA,
 485     /** data sources */
 486     kSWInput,
 487     /** data sinks */
 488     kSWOutput,
 489     /** number of types */
 490     kSWTypeCount
 491   };
 492
 493   /**
 494    * Helper class for starting and stopping a stopwatch.
 495    * The guard can be used by instantiating an object in a function. The
 496    * specified stopwatch is started and the previous stopwatch put on
 497    * hold. When the function is terminated, the object is deleted automatically
 498    * deleted, stopping the stopwatch and starting the one on hold.<br>
 499    * \em IMPORTANT: never create dynamic objects from this guard as this violates
 500    * the idea of a guard.
 501    */
 502   class AliHLTStopwatchGuard {
 503   public:
 504     /** standard constructor (not for use) */
 505     AliHLTStopwatchGuard();
 506     /** constructor */
 507     AliHLTStopwatchGuard(TStopwatch* pStart);
 508     /** copy constructor (not for use) */
 509     AliHLTStopwatchGuard(const AliHLTStopwatchGuard&);
 510     /** assignment operator (not for use) */
 511     AliHLTStopwatchGuard& operator=(const AliHLTStopwatchGuard&);
 512     /** destructor */
 513     ~AliHLTStopwatchGuard();
 514
 515   private:
 516     /**
 517      * Hold the previous guard for the existence of this guard.
 518      * Checks whether this guard controls a new stopwatch. In that case, the
 519      * previous guard and its stopwatch are put on hold.
 520      * @param pSucc        instance of the stopwatch of the new guard
 521      * @return    1 if pSucc is a different stopwatch which should
 522      *            be started<br>
 523      *            0 if it controls the same stopwatch
 524      */
 525     int Hold(TStopwatch* pSucc);
 526
 527     /**
 528      * Resume the previous guard.
 529      * Checks whether the peceeding guard controls a different stopwatch. In that
 530      * case, the its stopwatch is resumed.
 531      * @param pSucc        instance of the stopwatch of the new guard
 532      * @return    1 if pSucc is a different stopwatch which should
 533      *            be stopped<br>
 534      *            0 if it controls the same stopwatch
 535      */
 536     int Resume(TStopwatch* pSucc);
 537
 538     /** the stopwatch controlled by this guard */
 539     TStopwatch* fpStopwatch;                                                //!transient
 540
 541     /** previous stopwatch guard, put on hold during existence of the guard */
 542     AliHLTStopwatchGuard* fpPrec;                                           //!transient
 543
 544     /** active stopwatch guard */
 545     static AliHLTStopwatchGuard* fgpCurrent;                                //!transient
 546   };
 547
 548   /**
 549    * Set a stopwatch for a given purpose.
 550    * @param pSW         stopwatch object
 551    * @param type        type of the stopwatch
 552    */
 553   int SetStopwatch(TObject* pSW, AliHLTStopwatchType type=kSWBase);
 554
 555   /**
 556    * Init a set of stopwatches.
 557    * @param pStopwatches object array of stopwatches
 558    */
 559   int SetStopwatches(TObjArray* pStopwatches);
 560
 561  protected:
 562
 563   /**
 564    * Default method for the internal initialization.
 565    * The method is called by @ref Init
 566    */
 567   virtual int DoInit( int argc, const char** argv );
 568
 569   /**
 570    * Default method for the internal clean-up.
 571    * The method is called by @ref Deinit
 572    */
 573   virtual int DoDeinit();
 574
 575   /**
 576    * General memory allocation method.
 577    * All memory which is going to be used 'outside' of the interface must
 578    * be provided by the framework (online or offline).
 579    * The method is redirected to a function provided by the current
 580    * framework. Function pointers are transferred via the @ref
 581    * AliHLTComponentEnvironment structure.
 582    */
 583   void* AllocMemory( unsigned long size );
 584
 585   /**
 586    * Helper function to create a monolithic BlockData description block out
 587    * of a list BlockData descriptors.
 588    * For convenience, inside the interface vector lists are used, to make the
 589    * interface pure C style, monilithic blocks must be exchanged.
 590    * The method is redirected to a function provided by the current
 591    * framework. Function pointers are transferred via the @ref
 592    * AliHLTComponentEnvironment structure.
 593    */
 594   int MakeOutputDataBlockList( const AliHLTComponentBlockDataList& blocks, AliHLTUInt32_t* blockCount,
 595                                AliHLTComponentBlockData** outputBlocks );
 596
 597   /**
 598    * Fill the EventDoneData structure.
 599    * The method is redirected to a function provided by the current
 600    * framework. Function pointers are transferred via the @ref
 601    * AliHLTComponentEnvironment structure.
 602    */
 603   int GetEventDoneData( unsigned long size, AliHLTComponentEventDoneData** edd );
 604
 605   /**
 606    * Helper function to convert the data type to a string.
 607    */
 608   void DataType2Text(const AliHLTComponentDataType& type, char output[kAliHLTComponentDataTypefIDsize+kAliHLTComponentDataTypefOriginSize+2]) const;
 609
 610   /**
 611    * Get event number.
 612    * @return value of the internal event counter
 613    */
 614   int GetEventCount() const;
 615
 616   /**
 617    * Get the number of input blocks.
 618    * @return number of input blocks
 619    */
 620   int GetNumberOfInputBlocks() const;
 621
 622   /**
 623    * Get the first object of a specific data type from the input data.
 624    * The hight-level methods provide functionality to transfer ROOT data
 625    * structures which inherit from TObject.
 626    * The method looks for the first ROOT object of type dt in the input stream.
 627    * If also the class name is provided, the object is checked for the right
 628    * class type. The input data block needs a certain structure, namely the
 629    * buffer size as first word. If the cross check fails, the retrieval is
 630    * silently abondoned, unless the \em bForce parameter is set.<br>
 631    * \em Note: THE OBJECT MUST NOT BE DELETED by the caller.
 632    * @param dt          data type of the object
 633    * @param classname   class name of the object
 634    * @param bForce      force the retrieval of an object, error messages
 635    *                    are suppressed if \em bForce is not set
 636    * @return pointer to @ref TObject, NULL if no objects of specified type
 637    *         available
 638    */
 639   const TObject* GetFirstInputObject(const AliHLTComponentDataType& dt=kAliHLTAnyDataType,
 640                                      const char* classname=NULL,
 641                                      int bForce=0);
 642
 643   /**
 644    * Get the first object of a specific data type from the input data.
 645    * The hight-level methods provide functionality to transfer ROOT data
 646    * structures which inherit from TObject.
 647    * The method looks for the first ROOT object of type specified by the ID and
 648    * Origin strings in the input stream.
 649    * If also the class name is provided, the object is checked for the right
 650    * class type. The input data block needs a certain structure, namely the
 651    * buffer size as first word. If the cross check fails, the retrieval is
 652    * silently abondoned, unless the \em bForce parameter is set.<br>
 653    * \em Note: THE OBJECT MUST NOT BE DELETED by the caller.
 654    * @param dtID        data type ID of the object
 655    * @param dtOrigin    data type origin of the object
 656    * @param classname   class name of the object
 657    * @param bForce      force the retrieval of an object, error messages
 658    *                    are suppressed if \em bForce is not set
 659    * @return pointer to @ref TObject, NULL if no objects of specified type
 660    *         available
 661    */
 662   const TObject* GetFirstInputObject(const char* dtID,
 663                                      const char* dtOrigin,
 664                                      const char* classname=NULL,
 665                                      int bForce=0);
 666
 667   /**
 668    * Get the next object of a specific data type from the input data.
 669    * The hight-level methods provide functionality to transfer ROOT data
 670    * structures which inherit from TObject.
 671    * The method looks for the next ROOT object of type and class specified
 672    * to the previous @ref GetFirstInputObject call.<br>
 673    * \em Note: THE OBJECT MUST NOT BE DELETED by the caller.
 674    * @param bForce      force the retrieval of an object, error messages
 675    *                    are suppressed if \em bForce is not set
 676    * @return pointer to @ref TObject, NULL if no more objects available
 677    */
 678   const TObject* GetNextInputObject(int bForce=0);
 679
 680   /**
 681    * Get data type of an input block.
 682    * Get data type of the object previously fetched via
 683    * GetFirstInputObject/NextInputObject or the last one if no object
 684    * specified.
 685    * @param pObject     pointer to TObject
 686    * @return data specification, kAliHLTVoidDataSpec if failed
 687    */
 688   AliHLTComponentDataType GetDataType(const TObject* pObject=NULL);
 689
 690   /**
 691    * Get data specification of an input block.
 692    * Get data specification of the object previously fetched via
 693    * GetFirstInputObject/NextInputObject or the last one if no object
 694    * specified.
 695    * @param pObject     pointer to TObject
 696    * @return data specification, kAliHLTVoidDataSpec if failed
 697    */
 698   AliHLTUInt32_t GetSpecification(const TObject* pObject=NULL);
 699
 700   /**
 701    * Get the first block of a specific data type from the input data.
 702    * The method looks for the first block of type dt in the input stream. It is intended
 703    * to be used within the high-level interface.<br>
 704    * \em Note: THE BLOCK DESCRIPTOR MUST NOT BE DELETED by the caller.
 705    * @param dt          data type of the block
 706    * @return pointer to @ref AliHLTComponentBlockData
 707    */
 708   const AliHLTComponentBlockData* GetFirstInputBlock(const AliHLTComponentDataType& dt=kAliHLTAnyDataType);
 709
 710   /**
 711    * Get the first block of a specific data type from the input data.
 712    * The method looks for the first block of type specified by the ID and
 713    * Origin strings in the input stream.  It is intended
 714    * to be used within the high-level interface.<br>
 715    * \em Note: THE BLOCK DESCRIPTOR MUST NOT BE DELETED by the caller.
 716    * @param dtID        data type ID of the block
 717    * @param dtOrigin    data type origin of the block
 718    * @return pointer to @ref AliHLTComponentBlockData
 719    */
 720   const AliHLTComponentBlockData* GetFirstInputBlock(const char* dtID,
 721                                                       const char* dtOrigin);
 722
 723   /**
 724    * Get input block by index.<br>
 725    * \em Note: THE BLOCK DESCRIPTOR MUST NOT BE DELETED by the caller.
 726    * @return pointer to AliHLTComponentBlockData, NULL if index out of range
 727    */
 728   const AliHLTComponentBlockData* GetInputBlock(int index);
 729
 730   /**
 731    * Get the next block of a specific data type from the input data.
 732    * The method looks for the next block  of type and class specified
 733    * to the previous @ref GetFirstInputBlock call.
 734    * To be used within the high-level interface.<br>
 735    * \em Note: THE BLOCK DESCRIPTOR MUST NOT BE DELETED by the caller.
 736    */
 737   const AliHLTComponentBlockData* GetNextInputBlock();
 738
 739   /**
 740    * Get data specification of an input block.
 741    * Get data specification of the input bblock previously fetched via
 742    * GetFirstInputObject/NextInputObject or the last one if no block
 743    * specified.
 744    * @param pBlock     pointer to input block
 745    * @return data specification, kAliHLTVoidDataSpec if failed
 746    */
 747   AliHLTUInt32_t GetSpecification(const AliHLTComponentBlockData* pBlock=NULL);
 748
 749   /**
 750    * Forward an input object to the output.
 751    * Forward the input block of an object previously fetched via
 752    * GetFirstInputObject/NextInputObject or the last one if no object
 753    * specified.
 754    * The block descriptor of the input block is forwarded to the
 755    * output block list.
 756    * @param pObject     pointer to TObject
 757    * @return neg. error code if failed
 758    */
 759   int Forward(const TObject* pObject);
 760
 761   /**
 762    * Forward an input block to the output.
 763    * Forward the input block fetched via GetFirstInputObject/
 764    * NextInputBlock or the last one if no block specified.
 765    * The block descriptor of the input block is forwarded to the
 766    * output block list.
 767    * @param pBlock     pointer to input block
 768    * @return neg. error code if failed
 769    */
 770   int Forward(const AliHLTComponentBlockData* pBlock=NULL);
 771
 772   /**
 773    * Insert an object into the output.
 774    * If header is specified, it will be inserted before the root object,
 775    * default is no header.
 776    * @param pObject     pointer to root object
 777    * @param dt          data type of the object
 778    * @param spec        data specification
 779    * @param pHeader     pointer to header
 780    * @param headerSize  size of Header
 781    * @return neg. error code if failed
 782    */
 783   int PushBack(TObject* pObject, const AliHLTComponentDataType& dt,
 784                AliHLTUInt32_t spec=kAliHLTVoidDataSpec,
 785                void* pHeader=NULL, int headerSize=0);
 786
 787   /**
 788    * Insert an object into the output.
 789    * If header is specified, it will be inserted before the root object,
 790    * default is no header.
 791    * @param pObject     pointer to root object
 792    * @param dtID        data type ID of the object
 793    * @param dtOrigin    data type origin of the object
 794    * @param spec        data specification
 795    * @param pHeader     pointer to header
 796    * @param headerSize  size of Header
 797    * @return neg. error code if failed
 798    */
 799   int PushBack(TObject* pObject, const char* dtID, const char* dtOrigin,
 800                AliHLTUInt32_t spec=kAliHLTVoidDataSpec,
 801                void* pHeader=NULL, int headerSize=0);
 802
 803   /**
 804    * Insert an object into the output.
 805    * @param pBuffer     pointer to buffer
 806    * @param iSize       size of the buffer
 807    * @param dt          data type of the object
 808    * @param spec        data specification
 809    * @param pHeader     pointer to header
 810    * @param headerSize size of Header
 811    * @return neg. error code if failed
 812    */
 813   int PushBack(void* pBuffer, int iSize, const AliHLTComponentDataType& dt,
 814                AliHLTUInt32_t spec=kAliHLTVoidDataSpec,
 815                void* pHeader=NULL, int headerSize=0);
 816
 817   /**
 818    * Insert an object into the output.
 819    * @param pBuffer     pointer to buffer
 820    * @param iSize       size of the buffer
 821    * @param dtID        data type ID of the object
 822    * @param dtOrigin    data type origin of the object
 823    * @param spec        data specification
 824    * @param pHeader     pointer to header
 825    * @param headerSize size of Header
 826    * @return neg. error code if failed
 827    */
 828   int PushBack(void* pBuffer, int iSize, const char* dtID, const char* dtOrigin,
 829                AliHLTUInt32_t spec=kAliHLTVoidDataSpec,
 830                void* pHeader=NULL, int headerSize=0);
 831
 832   /**
 833    * Estimate size of a TObject
 834    * @param pObject
 835    * @return buffer size in byte
 836    */
 837   int EstimateObjectSize(TObject* pObject) const;
 838
 839   /**
 840    * Create a memory file in the output stream.
 841    * This method creates a TFile object which stores all data in
 842    * memory instead of disk. The TFile object is published as binary data.
 843    * The instance can be used like a normal TFile object. The TFile::Close
 844    * or @ref CloseMemoryFile method has to be called in order to flush the
 845    * output stream.
 846    *
 847    * \b Note: The returned object is deleted by the framework.
 848    * @param capacity    total size reserved for the memory file
 849    * @param dtID        data type ID of the file
 850    * @param dtOrigin    data type origin of the file
 851    * @param spec        data specification
 852    * @return file handle, NULL if failed
 853    */
 854   AliHLTMemoryFile* CreateMemoryFile(int capacity, const char* dtID, const char* dtOrigin,
 855                                      AliHLTUInt32_t spec=kAliHLTVoidDataSpec);
 856
 857   /**
 858    * Create a memory file in the output stream.
 859    * This method creates a TFile object which stores all data in
 860    * memory instead of disk. The TFile object is published as binary data.
 861    * The instance can be used like a normal TFile object. The TFile::Close
 862    * or @ref CloseMemoryFile method has to be called in order to flush the
 863    * output stream.
 864    *
 865    * \b Note: The returned object is deleted by the framework.
 866    * @param capacity    total size reserved for the memory file
 867    * @param dt          data type of the file
 868    * @param spec        data specification
 869    * @return file handle, NULL if failed
 870    */
 871   AliHLTMemoryFile* CreateMemoryFile(int capacity,
 872                                      const AliHLTComponentDataType& dt=kAliHLTAnyDataType,
 873                                      AliHLTUInt32_t spec=kAliHLTVoidDataSpec);
 874
 875   /**
 876    * Create a memory file in the output stream.
 877    * This method creates a TFile object which stores all data in
 878    * memory instead of disk. The TFile object is published as binary data.
 879    * The instance can be used like a normal TFile object. The TFile::Close
 880    * or @ref CloseMemoryFile method has to be called in order to flush the
 881    * output stream.
 882    *
 883    * \b Note: The returned object is deleted by the framework.
 884    * @param dtID        data type ID of the file
 885    * @param dtOrigin    data type origin of the file
 886    * @param spec        data specification
 887    * @param capacity    fraction of the available output buffer size
 888    * @return file handle, NULL if failed
 889    */
 890   AliHLTMemoryFile* CreateMemoryFile(const char* dtID, const char* dtOrigin,
 891                                      AliHLTUInt32_t spec=kAliHLTVoidDataSpec,
 892                                      float capacity=1.0);
 893
 894   /**
 895    * Create a memory file in the output stream.
 896    * This method creates a TFile object which stores all data in
 897    * memory instead of disk. The TFile object is published as binary data.
 898    * The instance can be used like a normal TFile object. The TFile::Close
 899    * or @ref CloseMemoryFile method has to be called in order to flush the
 900    * output stream.
 901    *
 902    * \b Note: The returned object is deleted by the framework.
 903    * @param dt          data type of the file
 904    * @param spec        data specification
 905    * @param capacity    fraction of the available output buffer size
 906    * @return file handle, NULL if failed
 907    */
 908   AliHLTMemoryFile* CreateMemoryFile(const AliHLTComponentDataType& dt=kAliHLTAnyDataType,
 909                                      AliHLTUInt32_t spec=kAliHLTVoidDataSpec,
 910                                      float capacity=1.0);
 911
 912   /**
 913    * Write an object to memory file in the output stream.
 914    * @param pFile       file handle
 915    * @param pObject     pointer to root object
 916    * @param key         key in ROOT file
 917    * @param option      options, see TObject::Write
 918    * @return neg. error code if failed
 919    *         - -ENOSPC    no space left
 920    */
 921   int Write(AliHLTMemoryFile* pFile, const TObject* pObject, const char* key=NULL, int option=TObject::kOverwrite);
 922
 923   /**
 924    * Close object memory file.
 925    * @param pFile       file handle
 926    * @return neg. error code if failed
 927    *         - -ENOSPC    buffer size too small
 928    */
 929   int CloseMemoryFile(AliHLTMemoryFile* pFile);
 930
 931   /**
 932    * Insert event-done data information into the output.
 933    * @param edd          event-done data information
 934    */
 935   int CreateEventDoneData(AliHLTComponentEventDoneData edd);
 936
 937   /**
 938    * Get current run number
 939    */
 940   AliHLTUInt32_t GetRunNo() const;
 941
 942   /**
 943    * Get the current run type.
 944    */
 945   AliHLTUInt32_t GetRunType() const;
 946
 947   /**
 948    * Set a bit to 1 in a readout list ( = AliHLTEventDDL )
 949    * -> enable DDL for readout
 950    * @param list        readout list
 951    * @param ddlId       DDL Id to be turned on ( Decimal )
 952    */
 953   void EnableDDLBit(AliHLTEventDDL &list, Int_t ddlId ) const {
 954     SetDDLBit( list, ddlId, kTRUE );
 955   }
 956
 957   /**
 958    * Set a bit to 0 in a readout list ( = AliHLTEventDDL )
 959    * -> disable DDL for readout
 960    * @param list        readout list
 961    * @param ddlId       DDL Id to be turned on ( Decimal )
 962    */
 963   void DisableDDLBit(AliHLTEventDDL &list, Int_t ddlId ) const {
 964     SetDDLBit( list, ddlId, kFALSE );
 965   }
 966
 967   /**
 968    * Set or unset  bit a readout list ( = AliHLTEventDDL )
 969    * -> enable or disable DDL for readout
 970    * @param list        readout list
 971    * @param ddlId       DDL Id to be turned on ( Decimal )
 972    * @param state       kTRUE sets it, kFALSE unsets it
 973    */
 974   void SetDDLBit(AliHLTEventDDL &list, Int_t ddlId, Bool_t state ) const;
 975
 976   /**
 977    * Get the first word of a detector, which has a set DDL bit.
 978    * Beware, this only works if DDLs of 1 detector are set. In the
 979    * case of the TPC and TOF, which use 8 and 3 words, the first
 980    * word is returned.
 981    * @param list        readout list
 982    * @return            returns the detector index, -1 if no bit is set
 983    *                    at all or several detectors (=error)
 984    */
 985   Int_t GetFirstUsedDDLWord(AliHLTEventDDL &list) const;
 986
 987   /**
 988    * Copy a struct from block data.
 989    * The function checks for block size and struct size. The least common
 990    * size will be copied to the target struct, remaining fields are initialized
 991    * to zero.<br>
 992    * The target struct must have a 32bit struct size indicator as first member.
 993    * @param pStruct     target struct
 994    * @param iStructSize size of the struct
 995    * @param iBlockNo    index of input block
 996    * @param structname  name of the struct (log messages)
 997    * @param eventname   name of the event (log messages)
 998    * @return size copied, neg. error if failed
 999    */
1000   int CopyStruct(void* pStruct, unsigned int iStructSize, unsigned int iBlockNo,
1001                  const char* structname="", const char* eventname="");
1002
1003  private:
1004   /** copy constructor prohibited */
1005   AliHLTComponent(const AliHLTComponent&);
1006   /** assignment operator prohibited */
1007   AliHLTComponent& operator=(const AliHLTComponent&);
1008
1009   /**
1010    * Increment the internal event counter.
1011    * To be used by the friend classes AliHLTProcessor, AliHLTDataSource
1012    * and AliHLTDataSink.
1013    * @return new value of the internal event counter
1014    * @internal
1015    */
1016   int IncrementEventCounter();
1017
1018   /**
1019    * Find the first input block of specified data type beginning at index.
1020    * Input blocks containing a TObject have the size of the object as an
1021    * unsigned 32 bit number in the first 4 bytes. This has to match the block
1022    * size minus 4.
1023    * @param dt          data type
1024    * @param startIdx    index to start the search
1025    * @param bObject     check if this is an object
1026    * @return index of the block, -ENOENT if no block found
1027    *
1028    * @internal
1029    */
1030   int FindInputBlock(const AliHLTComponentDataType& dt, int startIdx=-1, int bObject=0) const;
1031
1032   /**
1033    * Get index in the array of input bocks.
1034    * Calculate index and check integrety of a block data structure pointer.
1035    * @param pBlock      pointer to block data
1036    * @return index of the block, -ENOENT if no block found
1037    *
1038    * @internal
1039    */
1040   int FindInputBlock(const AliHLTComponentBlockData* pBlock) const;
1041
1042   /**
1043    * Create an object from a specified input block.
1044    * @param idx         index of the input block
1045    * @param bForce      force the retrieval of an object, error messages
1046    *                    are suppressed if \em bForce is not set
1047    * @return pointer to TObject, caller must delete the object after use
1048    *
1049    * @internal
1050    */
1051   TObject* CreateInputObject(int idx, int bForce=0);
1052
1053   /**
1054    * Get input object
1055    * Get object from the input block list. The methods first checks whether the
1056    * object was already created. If not, it is created by @ref CreateInputObject
1057    * and inserted into the list of objects.
1058    * @param idx         index in the input block list
1059    * @param classname   name of the class, object is checked for correct class
1060    *                    name if set
1061    * @param bForce      force the retrieval of an object, error messages
1062    *                    are suppressed if \em bForce is not set
1063    * @return pointer to TObject
1064    *
1065    * @internal
1066    */
1067   TObject* GetInputObject(int idx, const char* classname=NULL, int bForce=0);
1068
1069   /**
1070    * Clean the list of input objects.
1071    * Cleanup is done at the end of each event processing.
1072    */
1073   int CleanupInputObjects();
1074
1075   /**
1076    * Insert a buffer into the output block stream.
1077    * This is the only method to insert blocks into the output stream, called
1078    * from all types of the Pushback method. The actual data might have been
1079    * written to the output buffer already. In that case NULL can be provided
1080    * as buffer, only the block descriptor will be build. If a header is specified,
1081    * it will be inserted before the buffer, default is no header.
1082    * @param pBuffer     pointer to buffer
1083    * @param iBufferSize size of the buffer in byte
1084    * @param dt          data type
1085    * @param spec        data specification
1086    * @param pHeader     pointer to header
1087    * @param iHeaderSize size of Header
1088    * @return neg. error code if failed
1089    */
1090   int InsertOutputBlock(void* pBuffer, int iBufferSize,
1091                         const AliHLTComponentDataType& dt,
1092                         AliHLTUInt32_t spec,
1093                         void* pHeader=NULL, int iHeaderSize=0);
1094
1095   /** The global component handler instance */
1096   static AliHLTComponentHandler* fgpComponentHandler;              //! transient
1097
1098   /** The environment where the component is running in */
1099   AliHLTComponentEnvironment fEnvironment;                         // see above
1100
1101   /** Set by ProcessEvent before the processing starts */
1102   AliHLTEventID_t fCurrentEvent;                                   // see above
1103
1104   /** internal event no */
1105   int fEventCount;                                                 // see above
1106
1107   /** the number of failed events */
1108   int fFailedEvents;                                               // see above
1109
1110   /** event data struct of the current event under processing */
1111   AliHLTComponentEventData fCurrentEventData;                      // see above
1112
1113   /** array of input data blocks of the current event */
1114   const AliHLTComponentBlockData* fpInputBlocks;                   //! transient
1115
1116   /** index of the current input block */
1117   int fCurrentInputBlock;                                          // see above
1118
1119   /** data type of the last block search */
1120   AliHLTComponentDataType fSearchDataType;                         // see above
1121
1122   /** name of the class for the object to search for */
1123   string fClassName;                                               // see above
1124
1125   /** array of generated input objects */
1126   TObjArray* fpInputObjects;                                       //! transient
1127
1128   /** the output buffer */
1129   AliHLTUInt8_t* fpOutputBuffer;                                   //! transient
1130
1131   /** size of the output buffer */
1132   AliHLTUInt32_t fOutputBufferSize;                                // see above
1133
1134   /** size of data written to output buffer */
1135   AliHLTUInt32_t fOutputBufferFilled;                              // see above
1136
1137   /** list of ouput block data descriptors */
1138   AliHLTComponentBlockDataList fOutputBlocks;                      // see above
1139
1140   /** stopwatch array */
1141   TObjArray* fpStopwatches;                                        //! transient
1142
1143   /** array of memory files AliHLTMemoryFile */
1144   AliHLTMemoryFilePList fMemFiles;                                 //! transient
1145
1146   /** descriptor of the current run */
1147   AliHLTRunDesc* fpRunDesc;                                        //! transient
1148
1149   /** the current DDL list */
1150   AliHLTEventDDL* fpDDLList;                                       //! transient
1151
1152   ClassDef(AliHLTComponent, 3)
1153 };
1154 #endif