]> git.uio.no Git - u/mrichter/AliRoot.git/blobdiff - HLT/BASE/AliHLTComponent.h
various fixes in the HLTOUT treatment
[u/mrichter/AliRoot.git] / HLT / BASE / AliHLTComponent.h
index 2f14c322ed9cb628611ac1604a8d9d72c5c96d36..1af914c56388412fb6210d0066d91555b1b1b803 100644 (file)
@@ -3,7 +3,8 @@
 
 #ifndef ALIHLTCOMPONENT_H
 #define ALIHLTCOMPONENT_H
-/* Copyright(c) 1998-1999, ALICE Experiment at CERN, All rights reserved. *
+/* This file is property of and copyright by the ALICE HLT Project        * 
+ * ALICE Experiment at CERN, All rights reserved.                         *
  * See cxx source for full Copyright notice                               */
 
 /** @file   AliHLTComponent.h
     @brief  Base class declaration for HLT components. 
     @note   The class is both used in Online (PubSub) and Offline (AliRoot)
             context
+
+// see below for class documentation
+// or
+// refer to README to build package
+// or
+// visit http://web.ift.uib.no/~kjeks/doc/alice-hlt
                                                                           */
 /**
  * @defgroup alihlt_component Component handling of the HLT module
@@ -22,7 +29,7 @@
 #include <string>
 #include "AliHLTLogging.h"
 #include "AliHLTDataTypes.h"
-#include "AliHLTDefinitions.h"
+//#include "AliHLTDefinitions.h"
 
 /* Matthias Dec 2006
  * The names have been changed for Aliroot's coding conventions sake
@@ -39,6 +46,18 @@ typedef AliHLTComponentEventDoneData AliHLTComponent_EventDoneData;
 
 class AliHLTComponentHandler;
 class TObjArray;
+class TStopwatch;
+class AliHLTComponent;
+class AliHLTMemoryFile;
+
+/** list of component data type structures */
+typedef vector<AliHLTComponentDataType>   AliHLTComponentDataTypeList;
+/** list of component block data structures */
+typedef vector<AliHLTComponentBlockData>  AliHLTComponentBlockDataList;
+/** list of component pointers */
+typedef vector<AliHLTComponent*>          AliHLTComponentPList;
+/** list of memory file pointers */
+typedef vector<AliHLTMemoryFile*>         AliHLTMemoryFilePList;
 
 /**
  * @class AliHLTComponent
@@ -62,15 +81,19 @@ class TObjArray;
  * @subsection alihltcomponent-opt-mehods Optional handlers
  * - @ref DoInit
  * - @ref DoDeinit
+ * - @ref GetOutputDataTypes
+ *   If the component has multiple output data types @ref GetOutputDataType
+ *   should return @ref kAliHLTMultipleDataType. The framework will invoke
+ *   @ref GetOutputDataTypes, a list can be filled.
  *
  * @subsection alihltcomponent-processing-mehods Data processing
  * 
  * 
  * @subsection alihltcomponent-type Component type
  * Components can be of type
- * - @ref kSource:    components which only produce data 
- * - @ref kProcessor: components which consume and produce data
- * - @ref kSink:      components which only consume data
+ * - @ref kSource     components which only produce data 
+ * - @ref kProcessor  components which consume and produce data
+ * - @ref kSink       components which only consume data
  *
  * where data production and consumption refer to the analysis data stream. In
  * order to indicate the type, a child component can overload the
@@ -100,6 +123,7 @@ class TObjArray;
  * member functions for those environment dependend functions. The member 
  * functions are used by the component implementation and are re-mapped to the
  * corresponding functions.
+ *
  * @section alihltcomponent-interfaces Component interfaces
  * Each of the 3 standard component base classes AliHLTProcessor, AliHLTDataSource
  * and AliHLTDataSink provides it's own processing method (see
@@ -110,6 +134,32 @@ class TObjArray;
  * The @ref alihltcomponent-high-level-interface is the standard processing
  * method and will be used whenever the low-level method is not overloaded.
  *
+ * In both cases it is necessary to calculate/estimate the size of the output
+ * buffer before the processing. Output buffers can never be allocated inside
+ * the component because of the push-architecture of the HLT.
+ * For that reason the @ref GetOutputDataSize function should return a rough
+ * estimatian of the data to be produced by the component. The component is
+ * responsible for checking the memory size and must return -ENOSPC if the
+ * available buffer is to small, and update the estimator respectively. The
+ * framework will allocate a buffer of appropriate size and call the processing
+ * again.
+ *
+ * @subsection alihltcomponent-error-codes Data processing
+ * For return codes, the following scheme applies:
+ * - The data processing methods have to indicate error conditions by a negative
+ * error/return code. Preferably the system error codes are used like
+ * e.g. -EINVAL. This requires to include the header
+ * <pre>
+ * \#include \<cerrno\>
+ * </pre>
+ * - If no suitable input block could be found (e.g. no clusters for the TPC cluster
+ * finder) set size to 0, block list is empty, return 0
+ * - If no ususable or significant signal could be found in the input blocks
+ * return an empty output block, set size accordingly, and return 0. An empty output
+ * block here could be either a real empty one of size 0 (in which case size also
+ * would have to be set to zero) or a block filled with just the minimum necessary
+ * accounting/meta-structures. E.g. in the TPC
+ *
  * @subsection alihltcomponent-high-level-interface High-level interface
  * The high-level component interface provides functionality to exchange ROOT
  * structures between components. In contrast to the 
@@ -140,8 +190,14 @@ class TObjArray;
  *        add event information to the output
  * 
  * In addition, the processing methods are simplified a bit by cutting out most of
- * the parameters. The component implementation 
- * @see AliHLTProcessor AliHLTDataSource AliHLTDataSink
+ * the parameters.
+ * @see 
+ * - @ref AliHLTProcessor::DoEvent
+ * - @ref AliHLTDataSource::GetEvent
+ * - @ref AliHLTDataSink::DumpEvent
+ *
+ * \em IMPORTANT: objects and block descriptors provided by the high-level interface
+ *  <b>MUST NOT BE DELETED</b> by the caller.
  *
  * @subsubsection alihltcomponent-high-level-int-guidelines High-level interface guidelines
  * - Structures must inherit from the ROOT object base class TObject in order be 
@@ -194,10 +250,6 @@ class AliHLTComponent : public AliHLTLogging {
  public:
   /** standard constructor */
   AliHLTComponent();
-  /** not a valid copy constructor, defined according to effective C++ style */
-  AliHLTComponent(const AliHLTComponent&);
-  /** not a valid assignment op, but defined according to effective C++ style */
-  AliHLTComponent& operator=(const AliHLTComponent&);
   /** standard destructor */
   virtual ~AliHLTComponent();
 
@@ -268,9 +320,38 @@ class AliHLTComponent : public AliHLTLogging {
   virtual int DoProcessing( const AliHLTComponentEventData& evtData, const AliHLTComponentBlockData* blocks, 
                            AliHLTComponentTriggerData& trigData, AliHLTUInt8_t* outputPtr, 
                            AliHLTUInt32_t& size,
-                           vector<AliHLTComponentBlockData>& outputBlocks,
+                           AliHLTComponentBlockDataList& outputBlocks,
                            AliHLTComponentEventDoneData*& edd ) = 0;
 
+  /**
+   * Init the CDB.
+   * The function must not be called when running in AliRoot unless it it
+   * really wanted. The CDB path will be set to the specified path, which might
+   * override the path initialized at the beginning of the AliRoot reconstruction.
+   *
+   * The method is used from the external interface in order to set the correct
+   * path when running on-line. The function also initializes the function
+   * callback for setting the run no during operation.
+   *
+   * A separation of library and component handling is maybe appropriate in the
+   * future. Using the global component handler here is maybe not the cleanest
+   * solution.
+   * @param cdbPath      path of the CDB
+   * @param pHandler     the component handler used for llibrary handling.
+   */
+  int InitCDB(const char* cdbPath, AliHLTComponentHandler* pHandler);
+
+  /**
+   * Set the run no for the CDB.
+   * The function must not be called when running in AliRoot unless it it
+   * really wanted. The CDB path will be set to the specified path, which might
+   * override the run no initialized at the beginning of the AliRoot reconstruction.
+   *
+   * The method is used from the external interface in order to set the correct
+   * path when running on-line.
+   */
+  int SetCDBRunNo(int runNo);
+
   // Information member functions for registration.
 
   /**
@@ -293,7 +374,7 @@ class AliHLTComponent : public AliHLTLogging {
    * The function is pure virtual and must be implemented by the child class.
    * @return list of data types in the vector reference
    */
-  virtual void GetInputDataTypes( vector<AliHLTComponentDataType>& ) = 0;
+  virtual void GetInputDataTypes( AliHLTComponentDataTypeList& ) = 0;
 
   /**
    * Get the output data type of the component.
@@ -302,6 +383,17 @@ class AliHLTComponent : public AliHLTLogging {
    */
   virtual AliHLTComponentDataType GetOutputDataType() = 0;
 
+  /**
+   * Get the output data types of the component.
+   * The function can be implemented to indicate multiple output data types
+   * in the target array.
+   * @ref GetOutputDataType must return @ref kAliHLTMultipleDataType in order
+   * to invoke this method.
+   * @param tgtList          list to receive the data types
+   * @return no of output data types, data types in the target list
+   */
+  virtual int GetOutputDataTypes(AliHLTComponentDataTypeList& tgtList);
+
   /**
    * Get a ratio by how much the data volume is shrinked or enhanced.
    * The function is pure virtual and must be implemented by the child class.
@@ -328,7 +420,7 @@ class AliHLTComponent : public AliHLTLogging {
    * @param tgtList   reference to a vector list to receive the matching data types.
    * @return >= 0 success, neg. error code if failed
    */ 
-  int FindMatchingDataTypes(AliHLTComponent* pConsumer, vector<AliHLTComponentDataType>* tgtList);
+  int FindMatchingDataTypes(AliHLTComponent* pConsumer, AliHLTComponentDataTypeList* tgtList);
  
   /**
    * Set the global component handler.
@@ -344,8 +436,17 @@ class AliHLTComponent : public AliHLTLogging {
 
   /**
    * Helper function to convert the data type to a string.
+   * @param type        data type structure
+   * @param mode        0 print string origin:type          <br>
+   *                    1 print chars                       <br>
+   *                    2 print numbers
    */
-  static string DataType2Text( const AliHLTComponentDataType& type );
+  static string DataType2Text( const AliHLTComponentDataType& type, int mode=0);
+
+  /**
+   * Helper function to print content of data type.
+   */
+  static void PrintDataTypeContent(AliHLTComponentDataType& dt, const char* format=NULL);
 
   /**
    * helper function to initialize AliHLTComponentEventData structure
@@ -357,28 +458,25 @@ class AliHLTComponent : public AliHLTLogging {
    * This is just a helper function to examine an @ref AliHLTComponentDataType
    * structur.
    */
-  void PrintComponentDataTypeInfo(const AliHLTComponentDataType& dt);
-
-
- protected:
+  static void PrintComponentDataTypeInfo(const AliHLTComponentDataType& dt);
 
   /**
    * Fill AliHLTComponentBlockData structure with default values.
    * @param blockData   reference to data structure
    */
-  void FillBlockData( AliHLTComponentBlockData& blockData ) const;
+  static void FillBlockData( AliHLTComponentBlockData& blockData );
 
   /**
    * Fill AliHLTComponentShmData structure with default values.
    * @param shmData   reference to data structure
    */
-  void FillShmData( AliHLTComponentShmData& shmData ) const;
+  static void FillShmData( AliHLTComponentShmData& shmData );
 
   /**
    * Fill AliHLTComponentDataType structure with default values.
    * @param dataType   reference to data structure
    */
-  void FillDataType( AliHLTComponentDataType& dataType ) const;
+  static void FillDataType( AliHLTComponentDataType& dataType );
   
   /**
    * Copy data type structure
@@ -386,22 +484,120 @@ class AliHLTComponent : public AliHLTLogging {
    * @param[out] tgtdt   target structure
    * @param[in] srcdt   source structure
    */
-  void CopyDataType(AliHLTComponentDataType& tgtdt, const AliHLTComponentDataType& srcdt);
+  static void CopyDataType(AliHLTComponentDataType& tgtdt, const AliHLTComponentDataType& srcdt);
 
   /**
    * Set the ID and Origin of an AliHLTComponentDataType structure.
    * The function sets the fStructureSize member and copies the strings
    * to the ID and Origin. Only characters from the valid part of the string
-   * are copied, the rest is fille with 0's.
+   * are copied, the rest is filled with 0's. <br>
    * Please note that the fID and fOrigin members are not strings, just arrays of
    * chars of size @ref kAliHLTComponentDataTypefIDsize and
    * @ref kAliHLTComponentDataTypefOriginSize respectively and not necessarily with
-   * a terminating zero.
+   * a terminating zero. <br>
+   * It is possible to pass NULL pointers as id or origin argument, in that case they
+   * are just ignored.
    * @param tgtdt   target data type structure
    * @param id      ID string
    * @param origin  Origin string
    */
-  void SetDataType(AliHLTComponentDataType& tgtdt, const char* id, const char* origin);
+  static void SetDataType(AliHLTComponentDataType& tgtdt, const char* id, const char* origin);
+
+  /**
+   * Set the ID and Origin of an AliHLTComponentDataType structure.
+   * Given the fact that the data type ID is 64bit wide and origin 32, this helper
+   * function sets the data type from those two parameters.
+   * @param tgtdt   target data type structure
+   * @param id      64bit id
+   * @param origin  32bit origin
+   */
+  static void SetDataType(AliHLTComponentDataType& dt, AliHLTUInt64_t id, AliHLTUInt32_t orig); 
+
+  /**
+   * Stopwatch type for benchmarking.
+   */
+  enum AliHLTStopwatchType {
+    /** total time for event processing */
+    kSWBase,
+    /** detector algorithm w/o interface callbacks */
+    kSWDA,
+    /** data sources */
+    kSWInput,
+    /** data sinks */
+    kSWOutput,
+    /** number of types */
+    kSWTypeCount
+  };
+
+  /**
+   * Helper class for starting and stopping a stopwatch.
+   * The guard can be used by instantiating an object in a function. The
+   * specified stopwatch is started and the previous stopwatch put on
+   * hold. When the function is terminated, the object is deleted automatically
+   * deleted, stopping the stopwatch and starting the one on hold.<br>
+   * \em IMPORTANT: never create dynamic objects from this guard as this violates
+   * the idea of a guard.
+   */
+  class AliHLTStopwatchGuard {
+  public:
+    /** standard constructor (not for use) */
+    AliHLTStopwatchGuard();
+    /** constructor */
+    AliHLTStopwatchGuard(TStopwatch* pStart);
+    /** copy constructor (not for use) */
+    AliHLTStopwatchGuard(const AliHLTStopwatchGuard&);
+    /** assignment operator (not for use) */
+    AliHLTStopwatchGuard& operator=(const AliHLTStopwatchGuard&);
+    /** destructor */
+    ~AliHLTStopwatchGuard();
+
+  private:
+    /**
+     * Hold the previous guard for the existence of this guard.
+     * Checks whether this guard controls a new stopwatch. In that case, the
+     * previous guard and its stopwatch are put on hold.
+     * @param pSucc        instance of the stopwatch of the new guard
+     * @return    1 if pSucc is a different stopwatch which should
+     *            be started<br>
+     *            0 if it controls the same stopwatch
+     */
+    int Hold(TStopwatch* pSucc);
+
+    /**
+     * Resume the previous guard.
+     * Checks whether the peceeding guard controls a different stopwatch. In that
+     * case, the its stopwatch is resumed.
+     * @param pSucc        instance of the stopwatch of the new guard
+     * @return    1 if pSucc is a different stopwatch which should
+     *            be stopped<br>
+     *            0 if it controls the same stopwatch
+     */
+    int Resume(TStopwatch* pSucc);
+
+    /** the stopwatch controlled by this guard */
+    TStopwatch* fpStopwatch;                                                //!transient
+
+    /** previous stopwatch guard, put on hold during existence of the guard */
+    AliHLTStopwatchGuard* fpPrec;                                           //!transient
+
+    /** active stopwatch guard */
+    static AliHLTStopwatchGuard* fgpCurrent;                                //!transient
+  };
+
+  /**
+   * Set a stopwatch for a given purpose.
+   * @param pSW         stopwatch object
+   * @param type        type of the stopwatch
+   */
+  int SetStopwatch(TObject* pSW, AliHLTStopwatchType type=kSWBase);
+
+  /**
+   * Init a set of stopwatches.
+   * @param pStopwatches object array of stopwatches
+   */
+  int SetStopwatches(TObjArray* pStopwatches);
+
+ protected:
 
   /**
    * Default method for the internal initialization.
@@ -415,6 +611,25 @@ class AliHLTComponent : public AliHLTLogging {
    */
   virtual int DoDeinit();
 
+  /**
+   * Reconfigure the component.
+   * The method is called when an event of type @ref kAliHLTDataTypeComConf
+   * {COM_CONF:PRIV} is received by the component. If the event is sent as
+   * part of a normal event, the component configuration is called first.
+   *
+   * The CDB path parameter specifies the path in the CDB, i.e. without
+   * leading absolute path of the CDB location. The framework might alse
+   * provide the id of the component in the analysis chain.
+   *
+   * \b Note: The CDB will be initialized by the framework, either already set
+   * from AliRoot or from the wrapper interface during initialization.
+   *
+   * @param cdbEntry     path of the cdbEntry
+   * @param chainId      the id of the component in the analysis chain
+   * @note both parameters can be NULL, check before usage
+   */
+  virtual int Reconfigure(const char* cdbEntry, const char* chainId);
+
   /**
    * General memory allocation method.
    * All memory which is going to be used 'outside' of the interface must
@@ -434,7 +649,7 @@ class AliHLTComponent : public AliHLTLogging {
    * framework. Function pointers are transferred via the @ref
    * AliHLTComponentEnvironment structure.
    */
-  int MakeOutputDataBlockList( const vector<AliHLTComponentBlockData>& blocks, AliHLTUInt32_t* blockCount,
+  int MakeOutputDataBlockList( const AliHLTComponentBlockDataList& blocks, AliHLTUInt32_t* blockCount,
                               AliHLTComponentBlockData** outputBlocks );
 
   /**
@@ -460,7 +675,7 @@ class AliHLTComponent : public AliHLTLogging {
    * Get the number of input blocks.
    * @return number of input blocks
    */
-  int GetNumberOfInputBlocks();
+  int GetNumberOfInputBlocks() const;
 
   /**
    * Get the first object of a specific data type from the input data.
@@ -470,7 +685,8 @@ class AliHLTComponent : public AliHLTLogging {
    * If also the class name is provided, the object is checked for the right
    * class type. The input data block needs a certain structure, namely the 
    * buffer size as first word. If the cross check fails, the retrieval is
-   * silently abondoned, unless the \em bForce parameter is set.
+   * silently abondoned, unless the \em bForce parameter is set.<br>
+   * \em Note: THE OBJECT MUST NOT BE DELETED by the caller.
    * @param dt          data type of the object
    * @param classname   class name of the object
    * @param bForce      force the retrieval of an object, error messages
@@ -491,7 +707,8 @@ class AliHLTComponent : public AliHLTLogging {
    * If also the class name is provided, the object is checked for the right
    * class type. The input data block needs a certain structure, namely the 
    * buffer size as first word. If the cross check fails, the retrieval is
-   * silently abondoned, unless the \em bForce parameter is set.
+   * silently abondoned, unless the \em bForce parameter is set.<br>
+   * \em Note: THE OBJECT MUST NOT BE DELETED by the caller.
    * @param dtID        data type ID of the object
    * @param dtOrigin    data type origin of the object
    * @param classname   class name of the object
@@ -510,7 +727,8 @@ class AliHLTComponent : public AliHLTLogging {
    * The hight-level methods provide functionality to transfer ROOT data
    * structures which inherit from TObject.
    * The method looks for the next ROOT object of type and class specified
-   * to the previous @ref GetFirstInputObject call.
+   * to the previous @ref GetFirstInputObject call.<br>
+   * \em Note: THE OBJECT MUST NOT BE DELETED by the caller.
    * @param bForce      force the retrieval of an object, error messages
    *                    are suppressed if \em bForce is not set
    * @return pointer to @ref TObject, NULL if no more objects available
@@ -540,7 +758,8 @@ class AliHLTComponent : public AliHLTLogging {
   /**
    * Get the first block of a specific data type from the input data.
    * The method looks for the first block of type dt in the input stream. It is intended
-   * to be used within the high-level interface.
+   * to be used within the high-level interface.<br>
+   * \em Note: THE BLOCK DESCRIPTOR MUST NOT BE DELETED by the caller.
    * @param dt          data type of the block
    * @return pointer to @ref AliHLTComponentBlockData
    */
@@ -550,7 +769,8 @@ class AliHLTComponent : public AliHLTLogging {
    * Get the first block of a specific data type from the input data.
    * The method looks for the first block of type specified by the ID and 
    * Origin strings in the input stream.  It is intended
-   * to be used within the high-level interface.
+   * to be used within the high-level interface.<br>
+   * \em Note: THE BLOCK DESCRIPTOR MUST NOT BE DELETED by the caller.
    * @param dtID        data type ID of the block
    * @param dtOrigin    data type origin of the block
    * @return pointer to @ref AliHLTComponentBlockData
@@ -559,7 +779,8 @@ class AliHLTComponent : public AliHLTLogging {
                                                      const char* dtOrigin);
 
   /**
-   * Get input block by index
+   * Get input block by index.<br>
+   * \em Note: THE BLOCK DESCRIPTOR MUST NOT BE DELETED by the caller.
    * @return pointer to AliHLTComponentBlockData, NULL if index out of range
    */
   const AliHLTComponentBlockData* GetInputBlock(int index);
@@ -568,7 +789,8 @@ class AliHLTComponent : public AliHLTLogging {
    * Get the next block of a specific data type from the input data.
    * The method looks for the next block  of type and class specified
    * to the previous @ref GetFirstInputBlock call.
-   * To be used within the high-level interface.
+   * To be used within the high-level interface.<br>
+   * \em Note: THE BLOCK DESCRIPTOR MUST NOT BE DELETED by the caller.
    */
   const AliHLTComponentBlockData* GetNextInputBlock();
 
@@ -582,37 +804,73 @@ class AliHLTComponent : public AliHLTLogging {
    */
   AliHLTUInt32_t GetSpecification(const AliHLTComponentBlockData* pBlock=NULL);
 
+  /**
+   * Forward an input object to the output.
+   * Forward the input block of an object previously fetched via
+   * GetFirstInputObject/NextInputObject or the last one if no object
+   * specified.
+   * The block descriptor of the input block is forwarded to the
+   * output block list.
+   * @param pObject     pointer to TObject
+   * @return neg. error code if failed
+   */
+  int Forward(const TObject* pObject);
+
+  /**
+   * Forward an input block to the output.
+   * Forward the input block fetched via GetFirstInputObject/
+   * NextInputBlock or the last one if no block specified.
+   * The block descriptor of the input block is forwarded to the
+   * output block list.
+   * @param pBlock     pointer to input block
+   * @return neg. error code if failed
+   */
+  int Forward(const AliHLTComponentBlockData* pBlock=NULL);
+
   /**
    * Insert an object into the output.
+   * If header is specified, it will be inserted before the root object,
+   * default is no header.
    * @param pObject     pointer to root object
    * @param dt          data type of the object
    * @param spec        data specification
+   * @param pHeader     pointer to header
+   * @param headerSize  size of Header
    * @return neg. error code if failed 
    */
   int PushBack(TObject* pObject, const AliHLTComponentDataType& dt, 
-              AliHLTUInt32_t spec=kAliHLTVoidDataSpec);
+              AliHLTUInt32_t spec=kAliHLTVoidDataSpec, 
+              void* pHeader=NULL, int headerSize=0);
 
   /**
    * Insert an object into the output.
+   * If header is specified, it will be inserted before the root object,
+   * default is no header.
    * @param pObject     pointer to root object
    * @param dtID        data type ID of the object
    * @param dtOrigin    data type origin of the object
    * @param spec        data specification
+   * @param pHeader     pointer to header
+   * @param headerSize  size of Header
    * @return neg. error code if failed 
    */
   int PushBack(TObject* pObject, const char* dtID, const char* dtOrigin,
-              AliHLTUInt32_t spec=kAliHLTVoidDataSpec);
-
+              AliHLTUInt32_t spec=kAliHLTVoidDataSpec,
+              void* pHeader=NULL, int headerSize=0);
   /**
    * Insert an object into the output.
    * @param pBuffer     pointer to buffer
    * @param iSize       size of the buffer
    * @param dt          data type of the object
    * @param spec        data specification
+   * @param pHeader     pointer to header
+   * @param headerSize size of Header
    * @return neg. error code if failed 
    */
   int PushBack(void* pBuffer, int iSize, const AliHLTComponentDataType& dt,
-              AliHLTUInt32_t spec=kAliHLTVoidDataSpec);
+              AliHLTUInt32_t spec=kAliHLTVoidDataSpec,
+              void* pHeader=NULL, int headerSize=0);
 
   /**
    * Insert an object into the output.
@@ -621,10 +879,112 @@ class AliHLTComponent : public AliHLTLogging {
    * @param dtID        data type ID of the object
    * @param dtOrigin    data type origin of the object
    * @param spec        data specification
+   * @param pHeader     pointer to header
+   * @param headerSize size of Header
    * @return neg. error code if failed 
    */
   int PushBack(void* pBuffer, int iSize, const char* dtID, const char* dtOrigin,
-              AliHLTUInt32_t spec=kAliHLTVoidDataSpec);
+              AliHLTUInt32_t spec=kAliHLTVoidDataSpec,
+              void* pHeader=NULL, int headerSize=0);
+
+  /**
+   * Estimate size of a TObject
+   * @param pObject
+   * @return buffer size in byte
+   */
+  int EstimateObjectSize(TObject* pObject) const;
+
+  /**
+   * Create a memory file in the output stream.
+   * This method creates a TFile object which stores all data in
+   * memory instead of disk. The TFile object is published as binary data.
+   * The instance can be used like a normal TFile object. The TFile::Close
+   * or @ref CloseMemoryFile method has to be called in order to flush the
+   * output stream.
+   *
+   * \b Note: The returned object is deleted by the framework.
+   * @param capacity    total size reserved for the memory file
+   * @param dtID        data type ID of the file
+   * @param dtOrigin    data type origin of the file
+   * @param spec        data specification
+   * @return file handle, NULL if failed 
+   */
+  AliHLTMemoryFile* CreateMemoryFile(int capacity, const char* dtID, const char* dtOrigin,
+                                    AliHLTUInt32_t spec=kAliHLTVoidDataSpec);
+
+  /**
+   * Create a memory file in the output stream.
+   * This method creates a TFile object which stores all data in
+   * memory instead of disk. The TFile object is published as binary data.
+   * The instance can be used like a normal TFile object. The TFile::Close
+   * or @ref CloseMemoryFile method has to be called in order to flush the
+   * output stream.
+   *
+   * \b Note: The returned object is deleted by the framework.
+   * @param capacity    total size reserved for the memory file
+   * @param dt          data type of the file
+   * @param spec        data specification
+   * @return file handle, NULL if failed 
+   */
+  AliHLTMemoryFile* CreateMemoryFile(int capacity, 
+                                    const AliHLTComponentDataType& dt=kAliHLTAnyDataType,
+                                    AliHLTUInt32_t spec=kAliHLTVoidDataSpec);
+
+  /**
+   * Create a memory file in the output stream.
+   * This method creates a TFile object which stores all data in
+   * memory instead of disk. The TFile object is published as binary data.
+   * The instance can be used like a normal TFile object. The TFile::Close
+   * or @ref CloseMemoryFile method has to be called in order to flush the
+   * output stream.
+   *
+   * \b Note: The returned object is deleted by the framework.
+   * @param dtID        data type ID of the file
+   * @param dtOrigin    data type origin of the file
+   * @param spec        data specification
+   * @param capacity    fraction of the available output buffer size
+   * @return file handle, NULL if failed 
+   */
+  AliHLTMemoryFile* CreateMemoryFile(const char* dtID, const char* dtOrigin,
+                                    AliHLTUInt32_t spec=kAliHLTVoidDataSpec,
+                                    float capacity=1.0);
+
+  /**
+   * Create a memory file in the output stream.
+   * This method creates a TFile object which stores all data in
+   * memory instead of disk. The TFile object is published as binary data.
+   * The instance can be used like a normal TFile object. The TFile::Close
+   * or @ref CloseMemoryFile method has to be called in order to flush the
+   * output stream.
+   *
+   * \b Note: The returned object is deleted by the framework.
+   * @param dt          data type of the file
+   * @param spec        data specification
+   * @param capacity    fraction of the available output buffer size
+   * @return file handle, NULL if failed 
+   */
+  AliHLTMemoryFile* CreateMemoryFile(const AliHLTComponentDataType& dt=kAliHLTAnyDataType,
+                                    AliHLTUInt32_t spec=kAliHLTVoidDataSpec,
+                                    float capacity=1.0);
+
+  /**
+   * Write an object to memory file in the output stream.
+   * @param pFile       file handle
+   * @param pObject     pointer to root object
+   * @param key         key in ROOT file
+   * @param option      options, see TObject::Write
+   * @return neg. error code if failed
+   *         - -ENOSPC    no space left
+   */
+  int Write(AliHLTMemoryFile* pFile, const TObject* pObject, const char* key=NULL, int option=TObject::kOverwrite);
+
+  /**
+   * Close object memory file.
+   * @param pFile       file handle
+   * @return neg. error code if failed
+   *         - -ENOSPC    buffer size too small
+   */
+  int CloseMemoryFile(AliHLTMemoryFile* pFile);
 
   /**
    * Insert event-done data information into the output.
@@ -632,7 +992,78 @@ class AliHLTComponent : public AliHLTLogging {
    */
   int CreateEventDoneData(AliHLTComponentEventDoneData edd);
 
+  /**
+   * Get current run number
+   */
+  AliHLTUInt32_t GetRunNo() const;
+
+  /**
+   * Get the current run type.
+   */
+  AliHLTUInt32_t GetRunType() const;
+
+  /**
+   * Set a bit to 1 in a readout list ( = AliHLTEventDDL )
+   * -> enable DDL for readout
+   * @param list        readout list
+   * @param ddlId       DDL Id to be turned on ( Decimal )
+   */
+  void EnableDDLBit(AliHLTEventDDL &list, Int_t ddlId ) const {
+    SetDDLBit( list, ddlId, kTRUE ); 
+  }
+
+  /**
+   * Set a bit to 0 in a readout list ( = AliHLTEventDDL )
+   * -> disable DDL for readout
+   * @param list        readout list
+   * @param ddlId       DDL Id to be turned on ( Decimal )
+   */
+  void DisableDDLBit(AliHLTEventDDL &list, Int_t ddlId ) const { 
+    SetDDLBit( list, ddlId, kFALSE );  
+  }
+  
+  /**
+   * Set or unset  bit a readout list ( = AliHLTEventDDL )
+   * -> enable or disable DDL for readout
+   * @param list        readout list
+   * @param ddlId       DDL Id to be turned on ( Decimal )
+   * @param state       kTRUE sets it, kFALSE unsets it
+   */
+  void SetDDLBit(AliHLTEventDDL &list, Int_t ddlId, Bool_t state ) const;
+  
+  /**
+   * Get the first word of a detector, which has a set DDL bit. 
+   * Beware, this only works if DDLs of 1 detector are set. In the 
+   * case of the TPC and TOF, which use 8 and 3 words, the first 
+   * word is returned.
+   * @param list        readout list
+   * @return            returns the detector index, -1 if no bit is set
+   *                    at all or several detectors (=error)
+   */
+  Int_t GetFirstUsedDDLWord(AliHLTEventDDL &list) const;
+
+  /**
+   * Copy a struct from block data.
+   * The function checks for block size and struct size. The least common
+   * size will be copied to the target struct, remaining fields are initialized
+   * to zero.<br>
+   * The target struct must have a 32bit struct size indicator as first member.
+   * @param pStruct     target struct
+   * @param iStructSize size of the struct
+   * @param iBlockNo    index of input block
+   * @param structname  name of the struct (log messages)
+   * @param eventname   name of the event (log messages)
+   * @return size copied, neg. error if failed
+   */
+  int CopyStruct(void* pStruct, unsigned int iStructSize, unsigned int iBlockNo,
+                const char* structname="", const char* eventname="");
+
  private:
+  /** copy constructor prohibited */
+  AliHLTComponent(const AliHLTComponent&);
+  /** assignment operator prohibited */
+  AliHLTComponent& operator=(const AliHLTComponent&);
+
   /**
    * Increment the internal event counter.
    * To be used by the friend classes AliHLTProcessor, AliHLTDataSource
@@ -644,13 +1075,17 @@ class AliHLTComponent : public AliHLTLogging {
 
   /**
    * Find the first input block of specified data type beginning at index.
+   * Input blocks containing a TObject have the size of the object as an
+   * unsigned 32 bit number in the first 4 bytes. This has to match the block
+   * size minus 4.
    * @param dt          data type
    * @param startIdx    index to start the search
+   * @param bObject     check if this is an object
    * @return index of the block, -ENOENT if no block found
    *
    * @internal
    */
-  int FindInputBlock(const AliHLTComponentDataType& dt, int startIdx=-1);
+  int FindInputBlock(const AliHLTComponentDataType& dt, int startIdx=-1, int bObject=0) const;
 
   /**
    * Get index in the array of input bocks.
@@ -660,7 +1095,7 @@ class AliHLTComponent : public AliHLTLogging {
    *
    * @internal
    */
-  int FindInputBlock(const AliHLTComponentBlockData* pBlock);
+  int FindInputBlock(const AliHLTComponentBlockData* pBlock) const;
 
   /**
    * Create an object from a specified input block.
@@ -675,7 +1110,9 @@ class AliHLTComponent : public AliHLTLogging {
 
   /**
    * Get input object
-   * Get object from the input block list
+   * Get object from the input block list. The methods first checks whether the
+   * object was already created. If not, it is created by @ref CreateInputObject
+   * and inserted into the list of objects.
    * @param idx         index in the input block list
    * @param classname   name of the class, object is checked for correct class
    *                    name if set
@@ -687,21 +1124,31 @@ class AliHLTComponent : public AliHLTLogging {
    */
   TObject* GetInputObject(int idx, const char* classname=NULL, int bForce=0);
 
+  /**
+   * Clean the list of input objects.
+   * Cleanup is done at the end of each event processing.
+   */
+  int CleanupInputObjects();
+
   /**
    * Insert a buffer into the output block stream.
    * This is the only method to insert blocks into the output stream, called
    * from all types of the Pushback method. The actual data might have been
    * written to the output buffer already. In that case NULL can be provided
-   * as buffer, only the block descriptor will be build.
+   * as buffer, only the block descriptor will be build. If a header is specified, 
+   * it will be inserted before the buffer, default is no header.
    * @param pBuffer     pointer to buffer
-   * @param iSize       size of the buffer in byte
+   * @param iBufferSize size of the buffer in byte
    * @param dt          data type
    * @param spec        data specification
+   * @param pHeader     pointer to header
+   * @param iHeaderSize size of Header
+   * @return neg. error code if failed
    */
-  int InsertOutputBlock(void* pBuffer, int iSize,
+  int InsertOutputBlock(void* pBuffer, int iBufferSize,
                        const AliHLTComponentDataType& dt,
-                       AliHLTUInt32_t spec);
-
+                       AliHLTUInt32_t spec,
+                       void* pHeader=NULL, int iHeaderSize=0);
 
   /** The global component handler instance */
   static AliHLTComponentHandler* fgpComponentHandler;              //! transient
@@ -746,8 +1193,26 @@ class AliHLTComponent : public AliHLTLogging {
   AliHLTUInt32_t fOutputBufferFilled;                              // see above
 
   /** list of ouput block data descriptors */
-  vector<AliHLTComponentBlockData> fOutputBlocks;                  // see above
+  AliHLTComponentBlockDataList fOutputBlocks;                      // see above
+
+  /** stopwatch array */
+  TObjArray* fpStopwatches;                                        //! transient
+
+  /** array of memory files AliHLTMemoryFile */
+  AliHLTMemoryFilePList fMemFiles;                                 //! transient
+
+  /** descriptor of the current run */
+  AliHLTRunDesc* fpRunDesc;                                        //! transient
+
+  /** the current DDL list */
+  AliHLTEventDDL* fpDDLList;                                       //! transient
+
+  /** external fct to set CDB run no, indicates external CDB initialization */
+  void* fCDBSetRunNoFunc;                                          //! transient
+
+  /** id of the component in the analysis chain */
+  string fChainId;                                                 //! transient
 
-  ClassDef(AliHLTComponent, 1)
+  ClassDef(AliHLTComponent, 5)
 };
 #endif