Porting HLT doxygen documentation to cmake
[u/mrichter/AliRoot.git] / HLT / SampleLib / tutorial.c
1 /************************************************************************
2 **
3 ** ALICE HLT project
4 ** Copyright (c) 2005
5 **
6 ** This file is property of and copyright by the Experimental Nuclear 
7 ** Physics Group, Dep. of Physics and Technology
8 ** University of Bergen, Norway, 2004
9 ** This file has been written by Matthias Richter,
10 ** Matthias.Richter@ift.uib.no
11 **
12 ** Permission to use, copy, modify and distribute this software and its  
13 ** documentation strictly for non-commercial purposes is hereby granted  
14 ** without fee, provided that the above copyright notice appears in all  
15 ** copies and that both the copyright notice and this permission notice  
16 ** appear in the supporting documentation. The authors make no claims    
17 ** about the suitability of this software for any purpose. It is         
18 ** provided "as is" without express or implied warranty.                 
19 **
20 *************************************************************************/
21
22 /** @file   SampleLib/tutorial.c
23     @author Matthias Richter
24     @date   
25     @brief  HLT examples and tutorial. */
26
27 /** 
28 @defgroup alihlt_tutorial HLT examples and tutorial
29
30 The HLT analysis components can be run either in the AliRoot
31 framework (simulation and/or reconstruction) or the HLT online
32 framework.
33
34 We think of the HLT as a 'black box' with data input and output. In
35 addition there is access to calibration data from OCDB (or the local
36 HLT copy HCDB). All components can only work on the data they get as
37 input. As the different detector algorithms/components will run in 
38 separate processes and even on different machines, no data exchange
39 is possible via global data structures and variables.
40
41 HLT chains in the AliRoot framework are described by means of
42 AliHLTConfiguration.
43
44 -# @ref tut_hltsystem
45    -# @ref tut_load_libraries
46    -# @ref tut_dummy_chain
47    -# @ref tut_tpc_sector
48 -# @ref tut_simulation
49 -# @ref tut_reconstruction
50    -# @ref tut_module_agent
51    -# @ref tut_reconstruction_sample
52    -# @ref tut_reconstruction_custom
53 -# @ref tut_alirawreaderhlt
54 -# @ref tut_macros 
55
56 <br>
57 <hr width="75%">
58 <br>
59 @section tut_hltsystem Running Components in the HLT System
60
61 @subsection tut_load_libraries Library setup
62 Component libraries must be loader via the AliHLTComponentHandler
63 or AliHLTSystem::LoadComponentLibraries. You can run the following
64 macro from the AliRoot promt.
65 <pre>
66 {
67   AliHLTSystem gHLT;
68   gHLT.LoadComponentLibraries("libAliHLTUtil.so");
69 }
70 </pre>
71
72 <br>
73 @subsection tut_dummy_chain Example: Running a dummy chain
74 The simplest chain consists of a publisher component, a processor
75 and a data sink. The AliHLTDummyComponent is a sample component
76 which just copies a fraction of the input data to the output.
77 You can run the following macro from the AliRoot promt.
78 <pre>
79 {
80   AliHLTSystem gHLT;
81   gHLT.LoadComponentLibraries("libAliHLTUtil.so libAliHLTSample.so");
82   // The AliHLTFilePublisher (component Id \em 'FilePublisher' provides
83   // the given file (see AliHLTFilePublisher for more options) to the
84   // subsequent components in the chain.
85   AliHLTConfiguration publisher("fp1", "FilePublisher", NULL, "-datatype 'DUMMYDAT' 'SMPL' -datafile some-data.dat");
86
87   // The AliHLTDummyComponent (Id \em 'Dummy') just forwards a certain
88   // fraction of the input to the output or just repeats the input data
89   // if percentage > 100
90   AliHLTConfiguration copy("cp", "Dummy", "fp1", "output_percentage 80");
91
92   // The AliHLTFileWriter (Id 'FileWriter') is a data sink. It writes
93   // all incoming data blocks to files. Several options available.
94   AliHLTConfiguration sink1("sink1", "FileWriter", "cp", NULL);
95
96   // here you specify the top most configuration of the chain. The
97   // configuration depends on all the parents. The task lisy is build
98   // according to that.
99   gHLT.BuildTaskList("sink1");
100   gHLT.Run();
101 }
102 </pre>
103 @note You have to specify a real file name instead of \em some-data.dat
104
105 <br>
106 @subsection tut_tpc_sector Example: One sector of the TPC
107 This example builds an analysis chain for TPC sector 0. It works on 
108 simulated data and assumes the ddl files to be present in the current
109 directory.
110 <pre>
111 {
112   AliHLTSystem gHLT;
113   // load the component library
114   gHLT.LoadComponentLibraries("libAliHLTUtil.so libAliHLTRCU.so libAliHLTTPC.so");
115
116   // data source components
117   AliHLTConfiguration fp0("fp0", "FilePublisher", NULL, "-datatype 'DDL_RAW ' 'TPC ' -dataspec 0x00000000 "
118                                                         "-datafile TPC_768.ddl");
119   AliHLTConfiguration fp1("fp1", "FilePublisher", NULL, "-datatype 'DDL_RAW ' 'TPC ' -dataspec 0x00000101 "
120                                                         "-datafile TPC_769.ddl");
121   AliHLTConfiguration fp2("fp2", "FilePublisher", NULL, "-datatype 'DDL_RAW ' 'TPC ' -dataspec 0x00000202 "
122                                                         "-datafile TPC_840.ddl");
123   AliHLTConfiguration fp3("fp3", "FilePublisher", NULL, "-datatype 'DDL_RAW ' 'TPC ' -dataspec 0x00000303 "
124                                                         "-datafile TPC_841.ddl");
125   AliHLTConfiguration fp4("fp4", "FilePublisher", NULL, "-datatype 'DDL_RAW ' 'TPC ' -dataspec 0x00000404 "
126                                                         "-datafile TPC_842.ddl");
127   AliHLTConfiguration fp5("fp5", "FilePublisher", NULL, "-datatype 'DDL_RAW ' 'TPC ' -dataspec 0x00000505 "
128                                                         "-datafile TPC_843.ddl");
129
130   // cluster finders
131   AliHLTConfiguration cf0("cf0", "TPCClusterFinderPacked", "fp0", "pp-run rawreadermode 4 timebins 446");
132   AliHLTConfiguration cf1("cf1", "TPCClusterFinderPacked", "fp1", "pp-run rawreadermode 4 timebins 446");
133   AliHLTConfiguration cf2("cf2", "TPCClusterFinderPacked", "fp2", "pp-run rawreadermode 4 timebins 446");
134   AliHLTConfiguration cf3("cf3", "TPCClusterFinderPacked", "fp3", "pp-run rawreadermode 4 timebins 446");
135   AliHLTConfiguration cf4("cf4", "TPCClusterFinderPacked", "fp4", "pp-run rawreadermode 4 timebins 446");
136   AliHLTConfiguration cf5("cf5", "TPCClusterFinderPacked", "fp5", "pp-run rawreadermode 4 timebins 446");
137
138   // tracker
139   AliHLTConfiguration tracker("tracker", "TPCSliceTracker", "cf0 cf1 cf2 cf3 cf4 cf5", "-pp-run -bfield 0.5");
140
141   // the data sink component
142   AliHLTConfiguration writer("writer", "TPCEsdWriter", "tracker", "-datafile AliHLTTPCESDs.root");
143
144   gHLT.BuildTaskList("writer");
145   gHLT.Run();
146 }
147 </pre>
148
149 <br>
150 <hr width="75%">
151 <br>
152
153 @section tut_reconstruction AliRoot reconstruction
154 The integration into the AliRoot reconstruction works via the
155 @ref AliHLTReconstructor plugin. The intention is to run HLT analysis
156 chains in AliRoot in the same way as in the online framework, i.e.
157 the full components are run also from the offline framework rather
158 than just the algorithm hooked on by a special interface class.
159 By this one achieves the highest possible compatibility.
160
161 Regarding HLT, all analysis is supposed to run on-line on the HLT farm.
162 Thus, only the processing of the HLTOUT data is necessary during the
163 default reconstruction. However, it is possible to run HLT chains embedded
164 into AliReconstruction mainly for the purpose of debugging and the
165 development cycle.
166
167 The AliRoot reconstruction consists mainly of three steps which
168 are executed on an event by event basis:
169 -# event reconstruction: this is usually the place for digit/raw
170 data conversion to clusters/space points. HLT chains can be executed
171 in the event reconstruction for raw data. HLT Reconstruction from
172 digit data is not supported.
173 -# tracking: the complete reconstruction on an event by event
174 basis.
175 -# ESD filling: the reconstructed event is written to the ESD. The
176 HLTOUT is processed in this step. All output data blocks produced by
177 during the HLT reconstruction are added to the HLTOUT collection
178 and are treated as they would have come from the detector.
179
180 Note: The AliRoot reconstruction scheme has been changed in Sep 2007
181 (revision 20822). Formerly, a stage "LocalEventReconstruction" of
182 AliReconstruction was looping over all events and running the event
183 reconstruction in one go.
184
185 The actual HLT chains to be run and the HLTOUT handlers to be applied depend
186 on the HLT library modules which are loaded to the system. There is a
187 default collection of libraries defined in AliHLTSystem::fgkHLTDefaultLibs.
188 The default libraries are loaded if nothing else is specified. The libraries
189 implement \em agents (AliHLTModuleAgent childs) describing the properties
190 of a module.
191
192 A specific library can be chosen like (provided you have a simulated
193 event in the current directory):
194 <pre>
195 {
196   AliReconstruction rec;                 // the reconstruction instance
197   rec.SetInput("raw.root");              // choose some raw data
198   rec.SetRunLocalReconstruction("HLT");  // run local rec only for HLT 
199   rec.SetRunTracking("");                // switch off tracking
200   rec.SetFillESD("HLT");                 // 
201   rec.SetOption("HLT", "libAliHLTSample.so loglevel=0x7c");
202   rec.Run();
203 }
204 </pre>
205 Please note the specification of raw data input. HLT reconstruction can
206 only run on raw data, either real or simulated.
207
208 HLT reconstruction on simulated digit data must be run embedded into
209 @ref tut_simulation.
210
211 @subsection tut_module_agent The Module Agent
212 Each component library has to implement a module agent in order to be
213 hooked up to the AliRoot reconstruction or simulation. The agent defines
214 the features of the libraries and the configurations to be run during the
215 different steps of the reconstruction. The agent 
216 - can register all components of the library. This is an 
217   alternative to the component registration via global objects (see 
218   @ref alihltcomponent-handling).
219 - registers HLT configurations (see @ref AliHLTConfiguration)
220 - specifies the configurations to be run
221 - specifies additional component libraries required to run the
222   configurations.
223 - provides a preprocessor (see AliHLTModulePreprocessor /
224                            AliHLTPreprocessor)
225 - provides handlers and handler descriptions for HLTOUT data blocks.
226
227 Finally, one global object of the module agent has to be specified in
228 the source code. All registration and integration into the HLT system
229 is carried out automatically.
230
231 @see 
232     @ref AliHLTModuleAgent for the interface description <br>
233     @ref AliHLTAgentSample for a sample implementation
234
235 @subsection tut_reconstruction_sample The sample library
236 The libAliHLTSample library provides examples how to implement the
237 library agent (@ref AliHLTAgentSample), how to add configurations and
238 define HLT chains for reconstruction. 
239
240 The sample library is not part of the default libraries loaded by the
241 HLT steering during reconstruction. The example can be run by the
242 following macro macro above.
243
244 The agent defines the following chains:
245 -# a simple data copying consisting of a
246    - @ref AliHLTFilePublisher  publishes some data generated before in /tmp
247    - @ref AliHLTDummyComponent copies a fraction of the incoming data
248    - @ref AliHLTFileWriter     writes the data input to a file
249 -# digit publishing from the TPCloader <br>
250    This chain illustrates how data can be published from the AliRunLoader
251    in order to be processed by another component (not in the sample chain).
252    Finally, the @ref AliHLTSampleOfflineSinkComponent is component which is
253    the backend and has again the AliRoot structures.
254    - @ref AliHLTLoaderPublisherComponent
255    - @ref AliHLTSampleOfflineSinkComponent
256
257 In the same way any other component library can be integrated into the
258 AliRoot reconstruction.
259
260 @subsection tut_reconstruction_custom Running a custom HLT chain
261 The default configurations from the library modules can be overridden by
262 custom configurations by means of options specified to AliReconstruction.
263 - <tt>config=\em macro</tt><br> a configuration macro. The macro is a normal
264   ROOT macro defining HLT component configurations by means of
265   AliHLTConfiguration
266 - <tt>chains=\em chains</tt><br> a comma separated list of chains to be run.
267   A chain is defined by the topmost configuration.
268
269 \b Note: The file publisher needs a file to read, either you replace
270 \em some-data.dat with the path of an existing file or just create a
271 dummy file in the current working directory. Futhermore, there has to be at
272 least one simulated event since AliReconstruction relies on a couple of files
273 in the folder.
274 <pre>
275 {
276   AliReconstruction rec;                 // the reconstruction instance
277   rec.SetInput("./");                    // to be independent of galice.root
278   rec.SetLoadAlignFromCDB(kFALSE);
279   rec.SetFillTriggerESD(kFALSE);
280   rec.SetRunQA(kFALSE);
281   rec.SetRunVertexFinder(kFALSE);
282   rec.SetRunLocalReconstruction("HLT");  // run local rec only for HLT 
283   rec.SetRunTracking("");                // switch off tracking
284   rec.SetFillESD("HLT");                 // 
285   rec.SetOption("HLT", "libAliHLTSample.so libAliHLTUtil.so "
286                        "config=$ALICE_ROOT/HLT/exa/conf-sample.C "
287                        "chains=sink");
288   //rec.SetEventRange(0,0);
289   rec.Run();
290 }
291 </pre>
292
293 @see
294 - conf-sample.C
295
296 <br>
297 <hr width="75%">
298 <br>
299
300 @section tut_simulation AliRoot simulation
301 In order to simulate the behavior of HLT analysis chains and to
302 include this functionality, HLT reconstruction can be embedded
303 into AliRoot simulation. As a matter of fact, HLT always reconstructs
304 data, <em><b>HLT simulation</b></em> means <em><b>HLT reconstruction
305 embedded into AliRoot</b></em>.
306
307 The HLT simulation is run at the last step of the AliSimulation, the
308 setup to be run depends on the available plugins as described in section
309 @ref tut_reconstruction. The options for the HLT simulation can be set
310 with the <tt>AliSimulation::SetRunHLT</tt> function.
311 <pre>
312   AliSimulation sim;
313   ...
314   sim.SetRunHLT("libAliHLTSample.so loglevel=0x7c");
315 </pre>
316
317 Options:
318 - <tt>config=\em macro</tt><br> a configuration macro. The macro is a normal
319   ROOT macro defining HLT component configurations by means of
320   AliHLTConfiguration
321 - <tt>chains=\em chains</tt><br> a comma separated list of chains to be run.
322   A chain is defined by the topmost configuration.
323 - <tt>rawfile=\em chains</tt><br> provide a raw reader to the HLT simulation.
324   Some chains work solely on raw data. The data needs to be simulated before
325   and a RawReader is created internally to provide the data to the source
326   components.
327 - <tt>loglevel=\em 0x7c</tt><br> default loglevel is 0x79, only Warnings and
328   higher are printed. 0x7c also makes the Info messages visible.
329
330 @see
331   - sim-hlt-rawddl.C for example
332
333
334 <br>
335 <hr width="75%">
336 <br>
337
338 @section tut_alirawreaderhlt Replacing reconstruction input by data from the HLT
339 The HLTOUT data can contain data blocks which obey exactly the raw DDL 
340 format of a detector. E.g. selective readout components or loss-less
341 compression algorithms allow to provide a sub sample of the original data.
342 All data from the HLT is transferred via the 10 HLT DDL links, a redirection
343 mechanism is necessary to replace the original detector input by the data
344 from HLTOUT. The replacements works by means of the AliRawReaderHLT and
345 needs the following modules:
346 -# Implementation of an AliHLTOUTHandlerEquId child class<br>
347    A handler of this type is necessary to determine the equipment Id of a
348    data block from the data type and specification.
349 <pre>
350   class AliHLTSampleRawDataHandler : public AliHLTOUTHandlerEquId {
351   public:
352     // ... constructors and destructor
353     &nbsp;
354     // overloaded AliHLTOUTHandlerEquId::ProcessData(AliHLTOUT*)
355     int ProcessData(AliHLTOUT* pData);
356   };
357 </pre>
358   Alternatively the AliHLTOUTHandlerEquId can be used directly. It implements
359   a default processing.
360 -# Adjust module agent
361    The module agent needs to provide the handler and the description of the
362    handler and has to implement the following functions: 
363 <pre>
364    // see AliHLTAgentSample::GetHandlerDescription()
365    int GetHandlerDescription(AliHLTComponentDataType,
366                              AliHLTUInt32_t,
367                              AliHLTOUTHandlerDesc&) const;
368 &nbsp;   
369    // see AliHLTAgentSample::GetOutputHandler()
370    AliHLTOUTHandler* GetOutputHandler(AliHLTComponentDataType,
371                                       AliHLTUInt32_t);
372    &nbsp;   
373    // see AliHLTAgentSample::DeleteOutputHandler()
374    int DeleteOutputHandler(AliHLTOUTHandler*);
375 </pre>
376 -# Set the HLT input
377    The AliReconstruction class handles the redirection transparently by
378    use of the AliRawReaderHLT.
379 <pre>
380    AliReconstruction rec;
381    // ....
382    rec.SetUseHLTData("ITSSDD");
383 </pre>
384 -# Run
385    Run the reconstruction as normal
386
387 @see
388    - AliHLTReconstructor
389    - AliRawReaderHLT
390    - rec-from-hltout.C
391
392 <br>
393 <hr width="75%">
394 <br>
395
396 @section tut_macros Example macros
397  */
398
399
400 /* note pad
401
402 Making a new module/library
403
404 Automatic ROOT dictionary generation:
405 The automatic ROOT dictionary generation relies on the rule, that the main class
406 of a header file has the same name as the file (except the prefix).
407
408 Troubleshooting:
409 Error: link requested for unknown class <class name> <library>-LinkDef.h:<line no>
410 most likely there is no class <class name> defined in the header file <class name>.h*
411
412  */
413 #error Not for compilation
414 //
415 // EOF
416 //