b4c922e6beb0ed447c926faee2e36d2204b89e45
[u/mrichter/AliRoot.git] / HLT / BASE / AliHLTDataBuffer.cxx
1 // $Id$
2
3 //**************************************************************************
4 //* This file is property of and copyright by the ALICE HLT Project        * 
5 //* ALICE Experiment at CERN, All rights reserved.                         *
6 //*                                                                        *
7 //* Primary Authors: Matthias Richter <Matthias.Richter@ift.uib.no>        *
8 //*                  for The ALICE HLT Project.                            *
9 //*                                                                        *
10 //* Permission to use, copy, modify and distribute this software and its   *
11 //* documentation strictly for non-commercial purposes is hereby granted   *
12 //* without fee, provided that the above copyright notice appears in all   *
13 //* copies and that both the copyright notice and this permission notice   *
14 //* appear in the supporting documentation. The authors make no claims     *
15 //* about the suitability of this software for any purpose. It is          *
16 //* provided "as is" without express or implied warranty.                  *
17 //**************************************************************************
18
19 //  @file   AliHLTDataBuffer.cxx
20 //  @author Matthias Richter
21 //  @date   
22 //  @brief  Handling of Data Buffers for HLT components.
23 //  @note   Only used in the AliRoot framework
24
25 // see header file for class documentation
26 // or
27 // refer to README to build package
28 // or
29 // visit http://web.ift.uib.no/~kjeks/doc/alice-hlt
30
31 #if __GNUC__>= 3
32 using namespace std;
33 #endif
34
35 #include "AliHLTDataBuffer.h"
36 #include "AliHLTConsumerDescriptor.h"
37 #include "AliHLTComponent.h"
38 #include "AliHLTTask.h"
39 #include <cerrno>
40 #include <cassert>
41 //#include <string>
42 //#include "AliHLTSystem.h"
43
44 #define USE_ALIHLTRAWPAGE
45
46 typedef vector<AliHLTDataBuffer::AliHLTDataSegment> AliHLTDataSegmentList;
47
48 /** ROOT macro for the implementation of ROOT specific class methods */
49 ClassImp(AliHLTDataBuffer)
50
51 AliHLTDataBuffer::AliHLTDataBuffer()
52   :
53   fSegments(),
54   fConsumers(),
55   fActiveConsumers(),
56   fReleasedConsumers(),
57   fpBuffer(NULL),
58   fFlags(0),
59   fForwardedSegmentSources(),
60   fForwardedSegments()
61 {
62   // see header file for class documentation
63   // or
64   // refer to README to build package
65   // or
66   // visit http://web.ift.uib.no/~kjeks/doc/alice-hlt
67   fSegments.empty();
68   fConsumers.empty();
69   fActiveConsumers.empty();
70   fReleasedConsumers.empty();
71   fgNofInstances++;
72 }
73
74 int AliHLTDataBuffer::fgNofInstances=0;
75 AliHLTDataBuffer::AliHLTRawBufferPList AliHLTDataBuffer::fgFreeBuffers;
76 AliHLTDataBuffer::AliHLTRawBufferPList AliHLTDataBuffer::fgActiveBuffers;
77 AliHLTUInt32_t AliHLTDataBuffer::fgMargin=1024;
78 AliHLTLogging AliHLTDataBuffer::fgLogging;
79 const Int_t AliHLTDataBuffer::fgkSafetyPatternSize=16;
80 const char AliHLTDataBuffer::fgkSafetyPattern[]={0x28, 0x63, 0x29, 0x4d, 0x52, 0x49, 0x43, 0x48, 0x54, 0x45, 0x52, 0x20, 0x32, 0x30, 0x30, 0x37};
81 AliHLTUInt32_t AliHLTDataBuffer::fgEventCount=0;
82
83 AliHLTDataBuffer::~AliHLTDataBuffer()
84 {
85   // see header file for function documentation
86   CleanupConsumerList();
87
88   if (--fgNofInstances<=0) {
89     DeleteRawBuffers();
90   }
91 }
92
93 int AliHLTDataBuffer::SetConsumer(AliHLTComponent* pConsumer)
94 {
95   // see header file for function documentation
96   int iResult=0;
97   if (pConsumer) {
98     if (FindConsumer(pConsumer)) {
99       HLTWarning("consumer %s (%p) already set to data buffer %p", pConsumer->GetComponentID(), pConsumer, this);
100     }
101     AliHLTConsumerDescriptor* pDesc=new AliHLTConsumerDescriptor(pConsumer);
102     if (pDesc) {
103       fConsumers.push_back(pDesc);
104       HLTDebug("set consumer %s (%p) to data buffer %p", pConsumer->GetComponentID(), pConsumer, this);
105     } else {
106       HLTError("memory allocation failed");
107       iResult=-ENOMEM;
108     }
109   } else {
110     HLTError("invalid parameter: consumer component (nil)");
111     iResult=-EINVAL;
112   }
113   return iResult;
114 }
115
116 int AliHLTDataBuffer::FindMatchingDataBlocks(const AliHLTComponent* pConsumer, AliHLTComponentDataTypeList* tgtList)
117 {
118   // see header file for function documentation
119   int iResult=0;
120   if (pConsumer) {
121     AliHLTDataSegmentList segments;
122     if ((iResult=FindMatchingDataSegments(pConsumer, segments))>=0) {
123       if (tgtList) {
124         AliHLTDataSegmentList::iterator segment=segments.begin();
125         while (segment!=segments.end()) {
126           tgtList->push_back((*segment).fDataType);
127           segment++;
128         }
129       }
130       iResult=segments.size();
131     }
132   } else {
133     iResult=-EINVAL;
134   }
135   return iResult;
136 }
137
138 int AliHLTDataBuffer::FindMatchingDataSegments(const AliHLTComponent* pConsumer,
139                                                vector<AliHLTDataBuffer::AliHLTDataSegment>& tgtList)
140 {
141   // see header file for function documentation
142   int iResult=0;
143
144   // Matthias 26.09.2007 relax the restriction to matching data blocks
145   // all blocks are passed to the consumer, which is the policy also in
146   // PubSub
147   tgtList.assign(fSegments.begin(), fSegments.end());
148
149   // add all forwarded blocks
150   tgtList.insert(tgtList.begin(), fForwardedSegments.begin(), fForwardedSegments.end());
151   iResult=tgtList.size();
152   return iResult;
153   
154   // NOTE: the remaining code is disabled
155   // to be deleted at cleanup
156   if (pConsumer) {
157     AliHLTComponentDataTypeList dtlist;
158     ((AliHLTComponent*)pConsumer)->GetInputDataTypes(dtlist);
159     AliHLTDataSegmentList::iterator segment=fSegments.begin();
160     while (segment!=fSegments.end()) {
161       AliHLTComponentDataTypeList::iterator type=dtlist.begin();
162       while (type!=dtlist.end()) {
163         if ((*segment).fDataType==(*type)) {
164           tgtList.push_back(*segment);
165           iResult++;
166           break;
167         }
168         type++;
169       }
170       segment++;
171     }
172   } else {
173     iResult=-EINVAL;
174   }
175   return iResult;
176 }
177
178 int AliHLTDataBuffer::Subscribe(const AliHLTComponent* pConsumer, AliHLTComponentBlockDataList& blockDescList)
179 {
180   // see header file for function documentation
181   int iResult=0;
182   if (pConsumer) {
183     if (1/*fpBuffer*/) {
184       AliHLTConsumerDescriptor* pDesc=FindConsumer(pConsumer, fConsumers);
185       if (pDesc) {
186         AliHLTDataSegmentList tgtList;
187         // Matthias 26.07.2007 AliHLTSystem should behave the same way as PubSub
188         // so it does not matter if there are matching data types or not, unless
189         // we implement such a check in PubSub
190         if ((iResult=FindMatchingDataSegments(pConsumer, tgtList))>=0) {
191           AliHLTDataSegmentList::iterator segment=tgtList.begin();
192           while (segment!=tgtList.end()) {
193             // fill the block data descriptor
194             AliHLTComponentBlockData bd;
195             AliHLTComponent::FillBlockData(bd);
196             // This models the behavior of PubSub.
197             // For incoming data blocks, fOffset must be ignored by the
198             // processing component. It is set for bookkeeping in the framework.
199             // fPtr always points to the beginning of the data.
200             bd.fOffset=0;
201             AliHLTUInt8_t* pTgt=*segment;
202             bd.fPtr=reinterpret_cast<void*>(pTgt);
203             bd.fSize=(*segment).fSegmentSize;
204             bd.fDataType=(*segment).fDataType;
205             bd.fSpecification=(*segment).fSpecification;
206             blockDescList.push_back(bd);
207             pDesc->SetActiveDataSegment(*segment);
208             HLTDebug("component %p (%s) subscribed to segment offset %d size %d data type %s %#x", 
209                      pConsumer, ((AliHLTComponent*)pConsumer)->GetComponentID(), bd.fOffset,
210                      bd.fSize, (AliHLTComponent::DataType2Text(bd.fDataType)).c_str(), 
211                      bd.fSpecification);
212             segment++;
213           }
214           // move this consumer to the active list
215           if (tgtList.size()==0) {
216             ChangeConsumerState(pDesc, fConsumers, fReleasedConsumers);
217             HLTDebug("no input data for component %p (%s) available", pConsumer, ((AliHLTComponent*)pConsumer)->GetComponentID());
218           } else if (ChangeConsumerState(pDesc, fConsumers, fActiveConsumers)>=0) {
219             HLTDebug("component %p (%s) subscribed to data buffer %p", pConsumer, ((AliHLTComponent*)pConsumer)->GetComponentID(), this);
220           } else {
221             // TODO: cleanup the consumer descriptor correctly
222             segment=tgtList.begin();
223             while (segment!=tgtList.end()) {
224               blockDescList.pop_back();
225               segment++;
226             }
227             HLTError("can not activate consumer %p for data buffer %p", pConsumer, this);
228             iResult=-EACCES;
229           }
230         } else {
231           HLTError("unresolved data segment(s) for component %p (%s)", pConsumer, ((AliHLTComponent*)pConsumer)->GetComponentID());
232           iResult=-EBADF;
233         }
234       } else {
235         if (!FindConsumer(pConsumer)) {
236           HLTError("component %p is not a data consumer of data buffer %p", pConsumer, this);
237         } else {
238           HLTError("component %p is a valid data consumer of data buffer %p, but did not release it's buffer subscription", pConsumer, this);
239         }
240         iResult=-ENOENT;
241       }
242     } else {
243       // Matthias 26.07.2007 until now, data had to be present for successful subscription
244       // in order to be consistent with the PubSub framework, this restiction has been
245       // removed
246       //HLTError("data buffer %p is empty", this);
247       //iResult=-ENODATA;
248     }
249   } else {
250     HLTError("invalid parameter");
251     iResult=-EINVAL;
252   }
253   return iResult;
254 }
255
256 int AliHLTDataBuffer::Release(AliHLTComponentBlockData* pBlockDesc,
257                               const AliHLTComponent* pConsumer,
258                               const AliHLTTask* pOwnerTask)
259 {
260   // see header file for function documentation
261   int iResult=0;
262   if (pBlockDesc && pConsumer) {
263     AliHLTConsumerDescriptor* pDesc=FindConsumer(pConsumer, fActiveConsumers);
264     if (pDesc) {
265       if ((iResult=pDesc->CheckActiveDataSegment(AliHLTDataSegment(pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize)))!=1) {
266         HLTWarning("data segment mismatch, component %p has not subscribed to a segment with offset %#x and size %d", pConsumer, pBlockDesc->fOffset, pBlockDesc->fSize);
267         // TODO: appropriate error handling, but so far optional
268         iResult=0;
269       } else {
270         pDesc->ReleaseActiveDataSegment(AliHLTDataSegment(pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize));
271       }
272       if (GetNofPendingConsumers()==0 && fForwardedSegments.size()>0) {
273         // last consumer, release forwarded segments
274         ReleaseForwardedBlock(pBlockDesc, pOwnerTask);
275       }
276       pBlockDesc->fOffset=0;
277       pBlockDesc->fPtr=NULL;
278       pBlockDesc->fSize=0;
279       if (pDesc->GetNofActiveSegments()==0) {
280         if ((iResult=ChangeConsumerState(pDesc, fActiveConsumers, fReleasedConsumers))>=0) {
281           if (GetNofActiveConsumers()==0 && GetNofPendingConsumers()==0) {
282             // this is the last consumer, reset the consumer list and release the raw buffer
283             ResetDataBuffer();
284           }
285         } else {
286           HLTError("can not deactivate consumer %p for data buffer %p", pConsumer, this);
287           iResult=-EACCES;
288         }
289       }
290     } else {
291       HLTWarning("component %p has currently not subscribed to the data buffer %p", pConsumer, this);
292       iResult=-ENOENT;
293     }
294   } else {
295     HLTError("inavalid parameter: pBlockDesc=%p pConsumer=%p", pBlockDesc, pConsumer);
296     iResult=-EINVAL;
297   }
298   return iResult;
299 }
300
301 int AliHLTDataBuffer::ReleaseForwardedBlock(AliHLTComponentBlockData* pBlockDesc,
302                                             const AliHLTTask* pOwnerTask)
303 {
304   // see header file for function documentation
305   int iResult=0;
306   if (pBlockDesc && pOwnerTask) {
307         assert(fForwardedSegments.size()==fForwardedSegmentSources.size());
308         AliHLTDataSegmentList::iterator segment=fForwardedSegments.begin();
309         AliHLTTaskPList::iterator src=fForwardedSegmentSources.begin();
310         //HLTDebug("%p checking forwarded segments", this);
311         for (; segment!=fForwardedSegments.end(); segment++, src++) {
312           //HLTDebug("segment ptr=%p offset=%d size=%d\n"
313           //   "block ptr=%p offset=%d size=%d", (*segment).fPtr, (*segment).fSegmentOffset, (*segment).fSegmentSize, pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize);
314           if ((*segment)==AliHLTDataSegment(pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize)) {
315             //HLTDebug("release segment of task %p", *src);
316             assert((*src)!=NULL);
317             if ((*src)!=NULL) {
318               if ((*src)->Release(pBlockDesc, pOwnerTask)>=0) {
319                 HLTDebug("task %s (%p) released forwarded segment %p size %d of task %s (%p)",
320                          pOwnerTask->GetName(), pOwnerTask, (*segment).GetPtr(), (*segment).GetSize(),
321                          (*src)->GetName(), *src);
322               } else {
323                 HLTError("task %s (%p) failed releasing forwarded segment %p size %d of task %s (%p)",
324                          pOwnerTask->GetName(), pOwnerTask, (*segment).GetPtr(), (*segment).GetSize(),
325                          (*src)->GetName(), *src);
326               }
327             }
328             fForwardedSegments.erase(segment);
329             fForwardedSegmentSources.erase(src);
330             break;
331           }
332         }
333   } else {
334     HLTError("inavalid parameter: pBlockDesc=%p pOwnerTask=%p", pBlockDesc, pOwnerTask);
335     iResult=-EINVAL;
336   }
337   return iResult;
338 }
339
340 int AliHLTDataBuffer::Forward(AliHLTTask* pSrcTask, AliHLTComponentBlockData* pBlockDesc)
341 {
342   // see header file for function documentation
343   if (pSrcTask==NULL || pBlockDesc==NULL) return -EINVAL;
344   assert(fForwardedSegments.size()==fForwardedSegmentSources.size());
345   if (fForwardedSegments.size()!=fForwardedSegmentSources.size()) return -EFAULT;
346   fForwardedSegmentSources.push_back(pSrcTask);
347   fForwardedSegments.push_back(AliHLTDataSegment(pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize, pBlockDesc->fDataType, pBlockDesc->fSpecification));
348   return 0;
349 }
350
351 AliHLTUInt8_t* AliHLTDataBuffer::GetTargetBuffer(int iMinSize)
352 {
353   // see header file for function documentation
354   AliHLTUInt8_t* pTargetBuffer=NULL;
355   if (fpBuffer!=NULL) {
356     HLTWarning("data buffer not properly reset, possible memory leak\n");
357   }
358   fpBuffer=CreateRawBuffer(iMinSize);
359   if (fpBuffer) {
360     pTargetBuffer=*fpBuffer;
361   } else {
362     HLTError("can not create raw buffer");
363   }
364   return pTargetBuffer;
365 }
366
367 int AliHLTDataBuffer::SetSegments(AliHLTUInt8_t* pTgt, AliHLTComponentBlockData* arrayBlockData, int iSize)
368 {
369   // see header file for function documentation
370   int iResult=0;
371   if (pTgt && arrayBlockData && iSize>=0) {
372     if (fpBuffer) {
373       if (*fpBuffer==pTgt) {
374         AliHLTDataBuffer::AliHLTDataSegment segment;
375         AliHLTUInt32_t maxSize=0;
376         for (int i=0; i<iSize; i++) {
377           // This function has to model the behavior of PubSub
378           // For output blocks only the fOffset value is used, this must be the offset
379           // relative to the output pointer. fPtr must be either NULL or the output
380           // pointer. In either case it is 'ignored' and set to the beginning of the
381           // data buffer
382           if (arrayBlockData[i].fPtr==NULL ||
383               arrayBlockData[i].fPtr==*fpBuffer) {
384             arrayBlockData[i].fPtr=*fpBuffer;
385             if ((arrayBlockData[i].fOffset+arrayBlockData[i].fSize<=fpBuffer->GetUsedSize()) ||
386                 ((arrayBlockData[i].fOffset==~(AliHLTUInt32_t)0) && arrayBlockData[i].fSize==0)) {
387               segment.fSegmentOffset=arrayBlockData[i].fOffset;
388               segment.fPtr=(AliHLTUInt8_t*)arrayBlockData[i].fPtr;
389               segment.fSegmentSize=arrayBlockData[i].fSize;
390               segment.fDataType=arrayBlockData[i].fDataType;
391               segment.fSpecification=arrayBlockData[i].fSpecification;
392               fSegments.push_back(segment);
393               HLTDebug("set segment %s with size %d at offset %d", AliHLTComponent::DataType2Text(segment.fDataType).data(), segment.fSegmentSize, segment.fSegmentOffset);
394
395               // find the actual size of the data
396               if ((arrayBlockData[i].fOffset!=~(AliHLTUInt32_t)0) &&
397                   arrayBlockData[i].fOffset+arrayBlockData[i].fSize>maxSize) {
398                 maxSize=arrayBlockData[i].fOffset+arrayBlockData[i].fSize;
399               }
400             } else {
401               HLTError("block data specification %#d (%s) exceeds size of data buffer", i, AliHLTComponent::DataType2Text(arrayBlockData[i].fDataType).data());
402               HLTError("block offset=%d, block size=%d, buffer size=%d", arrayBlockData[i].fOffset, arrayBlockData[i].fSize, fpBuffer->GetUsedSize());
403               iResult=-E2BIG;
404             }
405           } else {
406             HLTError("invalid pointer (%p) in block data specification (buffer %p size %d)."
407                      "please note: for output blocks only the fOffset value is valid and must "
408                      "be relative to the output buffer", arrayBlockData[i].fPtr, fpBuffer->GetPointer(), fpBuffer->GetUsedSize());
409             iResult=-ERANGE;
410           }
411         }
412         // to be enabled if unit test is ready
413 #ifdef USE_ALIHLTRAWPAGE
414         iResult=SetRawBufferDataSize(fpBuffer, maxSize);        
415 #endif //USE_ALIHLTRAWPAGE
416       } else {
417         HLTError("this data buffer (%p) does not match the internal data buffer %p of raw buffer %p", pTgt, fpBuffer->GetPointer(), fpBuffer);
418         iResult=-EINVAL;
419       }
420     } else {
421       HLTFatal("internal data structur mismatch");
422       iResult=-EFAULT;
423     }
424   } else {
425     HLTError("invalid parameter: pTgtBuffer=%p arrayBlockData=%p", pTgt, arrayBlockData);
426     iResult=-EINVAL;
427   }
428   return iResult;
429 }
430
431 int AliHLTDataBuffer::IsEmpty()
432 {
433   // see header file for function documentation
434   int iResult=(fpBuffer==NULL && fForwardedSegments.size()==0) || GetNofSegments()==0;
435   return iResult;
436 }
437
438 int AliHLTDataBuffer::GetNofSegments() const
439 {
440   // see header file for function documentation
441   int iResult=fSegments.size() + fForwardedSegments.size();
442   return iResult;
443 }
444
445 int AliHLTDataBuffer::GetNofConsumers() const
446 {
447   // see header file for function documentation
448   int iResult=fConsumers.size() + GetNofActiveConsumers() + fReleasedConsumers.size();
449   return iResult;
450 }
451
452 int AliHLTDataBuffer::GetNofPendingConsumers() const
453 {
454   // see header file for function documentation
455   int iResult=fConsumers.size();
456   return iResult;
457 }
458
459 int AliHLTDataBuffer::GetNofActiveConsumers() const
460 {
461   // see header file for function documentation
462   int iResult=fActiveConsumers.size();
463   return iResult;
464 }
465
466 AliHLTDataBuffer::AliHLTRawBuffer* AliHLTDataBuffer::CreateRawBuffer(AliHLTUInt32_t size)
467 {
468   // see header file for function documentation
469   AliHLTRawBuffer* pRawBuffer=NULL;
470   unsigned int reqSize=size+fgkSafetyPatternSize;
471 #ifndef USE_ALIHLTRAWPAGE
472   AliHLTRawBufferPList::iterator buffer=fgFreeBuffers.begin();
473   while (buffer!=fgFreeBuffers.end() && pRawBuffer==NULL) {
474     if ((*buffer)->CheckSize(reqSize)) {
475       // assign this element
476       pRawBuffer=*buffer;
477       pRawBuffer->UseBuffer(size);
478       fgFreeBuffers.erase(buffer);
479       fgLogging.Logging(kHLTLogDebug, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "raw buffer container %p provided for request of %d bytes (total %d available in buffer %p)", pRawBuffer, size, pRawBuffer->GetTotalSize(), pRawBuffer->GetPointer());
480       fgActiveBuffers.push_back(pRawBuffer);
481       break;
482     }
483     buffer++;
484   }
485   if (pRawBuffer==NULL) {
486     // no buffer found, create a new one
487     pRawBuffer=new AliHLTRawBuffer(reqSize);
488     if (pRawBuffer) {
489       if (pRawBuffer->GetPointer()) {
490         pRawBuffer->UseBuffer(size);
491         fgActiveBuffers.push_back(pRawBuffer);
492         fgLogging.Logging(kHLTLogDebug, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "new raw buffer %p of size %d created (container %p)", pRawBuffer->GetPointer(), pRawBuffer->GetTotalSize(), pRawBuffer);
493       } else {
494         delete pRawBuffer;
495         pRawBuffer=NULL;
496         fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "memory allocation failed");
497       } 
498     } else {
499       fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "memory allocation failed");
500     }
501   }
502 #else
503   pRawBuffer=AliHLTDataBuffer::AliHLTRawPage::GlobalAlloc(reqSize);
504   if (pRawBuffer) {
505     pRawBuffer->UseBuffer(size);
506   }
507 #endif
508   if (pRawBuffer!=NULL && fgkSafetyPatternSize>0) {
509     //fgLogging.Logging(kHLTLogDebug, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "writing safety pattern to %p offset %d", (*buffer)->GetPointer(), (*buffer)->GetUsedSize());
510     pRawBuffer->WritePattern(fgkSafetyPattern, fgkSafetyPatternSize);
511   }
512   return pRawBuffer;
513 }
514
515 int AliHLTDataBuffer::SetRawBufferDataSize(AliHLTRawBuffer* pBuffer, AliHLTUInt32_t size) const
516 {
517   // see header file for function documentation
518   int iResult=0;
519   if (!pBuffer) return -EINVAL;
520   if (size>pBuffer->GetUsedSize()) {
521     HLTError("indicated data size %d exceeds data buffer %p (%d)", size, pBuffer->GetPointer(), pBuffer->GetUsedSize());
522     return -ENOSPC;
523   }
524   if (fgkSafetyPatternSize>0) {
525     if (pBuffer->CheckPattern(fgkSafetyPattern, fgkSafetyPatternSize)) {
526       HLTError("potential memory corruption: component has written beyond end of data buffer %p size %d", pBuffer->GetPointer(), pBuffer->GetUsedSize());
527     }
528   }
529   // shrink the buffer and write new pattern at the end
530 #ifdef USE_ALIHLTRAWPAGE
531   AliHLTDataBuffer::AliHLTRawPage* rawpage=AliHLTDataBuffer::AliHLTRawPage::FindPage(pBuffer);
532   if (rawpage) {
533     pBuffer->UseBuffer(size);
534     if (rawpage->SetSize(pBuffer, size+fgkSafetyPatternSize)==0) {
535       // nothing to do
536     } else {
537       fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::SetRawBufferDataSize", "data buffer handling", "failed to set size for raw buffer %p", pBuffer);
538       iResult=-EFAULT;
539     }
540   } else {
541     fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::SetRawBufferDataSize", "data buffer handling", "can not find raw page for buffer %p", pBuffer);
542     iResult=-ENOENT;
543   }
544 #else //!USE_ALIHLTRAWPAGE
545   pBuffer->UseBuffer(size);
546 #endif //USE_ALIHLTRAWPAGE
547   if (fgkSafetyPatternSize>0) {
548     pBuffer->WritePattern(fgkSafetyPattern, fgkSafetyPatternSize);
549   }
550   return iResult;
551 }
552
553 int AliHLTDataBuffer::ReleaseRawBuffer(AliHLTRawBuffer* pBuffer)
554 {
555   // see header file for function documentation
556   int iResult=0;
557   if (pBuffer) {
558 #ifdef USE_ALIHLTRAWPAGE
559     AliHLTDataBuffer::AliHLTRawPage* rawpage=AliHLTDataBuffer::AliHLTRawPage::FindPage(pBuffer);
560     if (rawpage)
561 #else //!USE_ALIHLTRAWPAGE
562     AliHLTRawBufferPList::iterator buffer=fgActiveBuffers.begin();
563     while (buffer!=fgActiveBuffers.end() && (*buffer)!=pBuffer) {
564       buffer++;
565     }
566     if (buffer!=fgActiveBuffers.end())
567 #endif //USE_ALIHLTRAWPAGE
568     {
569       if (fgkSafetyPatternSize>0) {
570         //fgLogging.Logging(kHLTLogDebug, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "comparing safety pattern at %p offset %d", pBuffer->GetPointer(), reinterpret_cast<AliHLTUInt32_t>(pBuffer));
571         if ((pBuffer)->CheckPattern(fgkSafetyPattern, fgkSafetyPatternSize)) {
572           fgLogging.Logging(kHLTLogFatal, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "component has written beyond end of data buffer %p size %d", pBuffer->GetPointer(), pBuffer->GetUsedSize());
573         }
574       }
575       pBuffer->Reset();
576 #ifdef USE_ALIHLTRAWPAGE
577       if (rawpage->Free(pBuffer)==0) {
578       } else {
579         fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "failed to release raw buffer %p", pBuffer);
580       }
581 #else //!USE_ALIHLTRAWPAGE
582       fgFreeBuffers.push_back(pBuffer);
583       fgActiveBuffers.erase(buffer);
584 #endif //USE_ALIHLTRAWPAGE
585     } else {
586 #ifdef USE_ALIHLTRAWPAGE
587       fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "can not find raw page for buffer %p", pBuffer);
588 #else //!USE_ALIHLTRAWPAGE
589       fgLogging.Logging(kHLTLogWarning, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "can not find raw buffer container %p in the list of active containers", pBuffer);
590 #endif //USE_ALIHLTRAWPAGE
591       iResult=-ENOENT;
592     }
593   } else {
594     fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "invalid parameter");
595     iResult=-EINVAL;
596   }
597   return iResult;
598 }
599
600
601 int AliHLTDataBuffer::DeleteRawBuffers() 
602 {
603   // see header file for function documentation
604   int iResult=0;
605 #ifdef ALIHLTSYSTEM_PROFILING
606   int iTotalSize=0;
607   int iCount=fgFreeBuffers.size()+fgActiveBuffers.size();
608 #endif //ALIHLTSYSTEM_PROFILING
609   AliHLTRawBufferPList::iterator buffer;;
610   while ((buffer=fgFreeBuffers.begin())!=fgFreeBuffers.end()) {
611 #ifdef ALIHLTSYSTEM_PROFILING
612     iTotalSize+=(*buffer)->GetTotalSize();
613 #endif //ALIHLTSYSTEM_PROFILING
614     delete *buffer;
615     fgFreeBuffers.erase(buffer);
616   }
617   while ((buffer=fgActiveBuffers.begin())!=fgActiveBuffers.end()) {
618 #ifdef ALIHLTSYSTEM_PROFILING
619     iTotalSize+=(*buffer)->GetTotalSize();
620 #endif //ALIHLTSYSTEM_PROFILING
621     fgLogging.Logging(kHLTLogWarning, "AliHLTDataBuffer::DeleteRawBuffer", "data buffer handling", "request to delete active raw buffer container (raw buffer %p, size %d)", (*buffer)->GetPointer(), (*buffer)->GetTotalSize());
622     delete *buffer;
623     fgActiveBuffers.erase(buffer);
624   }
625 #ifdef ALIHLTSYSTEM_PROFILING
626   fgLogging.Logging(kHLTLogImportant, "AliHLTDataBuffer::DeleteRawBuffer", "data buffer handling", "Total memory allocation: %d byte in %d buffers", iTotalSize, iCount);
627 #endif //ALIHLTSYSTEM_PROFILING
628   return iResult;
629 }
630
631 int AliHLTDataBuffer::PrintStatistics() 
632 {
633   // see header file for function documentation
634   int iResult=0;
635 #ifdef USE_ALIHLTRAWPAGE
636   int nofPages=0;
637   AliHLTUInt32_t totalSize=0;
638   for (AliHLTDataBuffer::AliHLTRawPage* rawpage=AliHLTDataBuffer::AliHLTRawPage::NextPage(NULL);
639        rawpage!=NULL; 
640        rawpage=AliHLTDataBuffer::AliHLTRawPage::NextPage(rawpage)) {
641     nofPages++;
642     totalSize+=rawpage->Size();
643     if (fgLogging.CheckFilter(kHLTLogDebug)) rawpage->Print("");
644   }
645   //if (rawpage) rawpage->Print("global");
646   fgLogging.Logging(kHLTLogInfo, "AliHLTDataBuffer::PrintStatistics", "data buffer handling", "total number of memory pages: %d   total size %d", nofPages, totalSize);
647
648 #else //! USE_ALIHLTRAWPAGE
649   int iFree=0;
650   int iActive=0;
651   AliHLTRawBufferPList::iterator buffer;;
652   for (buffer=fgFreeBuffers.begin(); buffer!=fgFreeBuffers.end(); buffer++) {
653     iFree+=(*buffer)->GetTotalSize();
654   }
655   for (buffer=fgActiveBuffers.begin(); buffer!=fgActiveBuffers.end(); buffer++) {
656     iActive+=(*buffer)->GetTotalSize();
657   }
658   fgLogging.Logging(kHLTLogInfo, "AliHLTDataBuffer::PrintStatistics", "data buffer handling", "Total memory allocation: %d byte; %d free buffers (%d byte) - %d active buffers (%d byte) ", iFree+iActive, fgFreeBuffers.size(), iFree, fgActiveBuffers.size(), iActive);
659 #endif // USE_ALIHLTRAWPAGE
660   return iResult;
661 }
662
663 AliHLTConsumerDescriptor* AliHLTDataBuffer::FindConsumer(const AliHLTComponent* pConsumer, AliHLTConsumerDescriptorPList &list) const
664 {
665   // see header file for function documentation
666   AliHLTConsumerDescriptor* pDesc=NULL;
667   AliHLTConsumerDescriptorPList::iterator desc=list.begin();
668   while (desc!=list.end() && pDesc==NULL) {
669     if ((pConsumer==NULL || (*desc)->GetComponent()==pConsumer)) {
670       pDesc=*desc;
671     }
672     desc++;
673   }
674   return pDesc;
675 }
676
677 int AliHLTDataBuffer::ResetDataBuffer() 
678 {
679   // see header file for function documentation
680   int iResult=0;
681   AliHLTRawBuffer* pBuffer=fpBuffer;
682   fpBuffer=NULL;
683
684   // cleanup forwarded segment lists
685   assert(fForwardedSegments.size()==0);
686   fForwardedSegments.clear();
687   fForwardedSegmentSources.clear();
688
689   // cleanup consumer states
690   AliHLTConsumerDescriptorPList::iterator desc;
691 //   if (GetNofPendingConsumers()>0) {
692 //     desc=fConsumers.begin();
693 //     while (desc!=fConsumers.end()) {
694 //       AliHLTComponent* pComp=(*desc)->GetComponent();
695 //       HLTError("internal error: consumer %p (%s %p) did not get data from data buffer %p", *desc, pComp?pComp->GetComponentID():"", pComp, this);
696 //       desc++;
697 //     }
698 //   }
699   desc=fReleasedConsumers.begin();
700   while (desc!=fReleasedConsumers.end()) {
701     AliHLTConsumerDescriptor* pDesc=*desc;
702     fReleasedConsumers.erase(desc);
703     desc=fReleasedConsumers.begin();
704     fConsumers.push_back(pDesc);
705   }
706   desc=fActiveConsumers.begin();
707   while (desc!=fActiveConsumers.end()) {
708     AliHLTConsumerDescriptor* pDesc=*desc;
709     HLTWarning("consumer %p (%s) was not released", pDesc, pDesc->GetComponent()?pDesc->GetComponent()->GetComponentID():"### invalid component ###");
710     fActiveConsumers.erase(desc);
711     desc=fActiveConsumers.begin();
712     fConsumers.push_back(pDesc);
713   }
714
715   // cleanup segments
716   AliHLTDataSegmentList::iterator segment=fSegments.begin();
717   while (segment!=fSegments.end()) {
718     fSegments.erase(segment);
719     segment=fSegments.begin();
720   }
721
722   // cleanup raw buffer
723   if (pBuffer) {
724     ReleaseRawBuffer(pBuffer);
725   }
726   return iResult;
727 }
728
729 int AliHLTDataBuffer::Reset()
730 {
731   // see header file for function documentation
732   return ResetDataBuffer();
733 }
734
735 // this is the version which works on lists of components instead of consumer descriptors
736 // int AliHLTDataBuffer::ChangeConsumerState(AliHLTComponent* pConsumer, AliHLTComponentPList &srcList, AliHLTComponentPList &tgtList)
737 // {
738 //   int iResult=0;
739 //   if (pDesc) {
740 //     AliHLTComponentPList::iterator desc=srcList.begin();
741 //     while (desc!=srcList.end()) {
742 //       if ((*desc)==pConsumer) {
743 //      srcList.erase(desc);
744 //      tgtList.push_back(pConsumer);
745 //      break;
746 //       }
747 //      desc++;
748 //     }
749 //     if (desc==srcList.end()) {
750 //       HLTError("can not find consumer component %p in list", pConsumer);
751 //       iResult=-ENOENT;
752 //     }
753 //   } else {
754 //     HLTError("invalid parameter");
755 //     iResult=-EINVAL;
756 //   }
757 //   return iResult;
758 // }
759
760 int AliHLTDataBuffer::ChangeConsumerState(AliHLTConsumerDescriptor* pDesc, AliHLTConsumerDescriptorPList &srcList, AliHLTConsumerDescriptorPList &tgtList)
761 {
762   // see header file for function documentation
763   int iResult=-ENOENT;
764   if (pDesc) {
765     AliHLTConsumerDescriptorPList::iterator desc=srcList.begin();
766     while (desc!=srcList.end()) {
767       if ((*desc)==pDesc) {
768         srcList.erase(desc);
769         tgtList.push_back(pDesc);
770         iResult=0;
771         break;
772       }
773       desc++;
774     }
775     if (iResult<0) {
776       HLTError("can not find consumer descriptor %p in list", pDesc);
777     }
778   } else {
779     HLTError("invalid parameter");
780     iResult=-EINVAL;
781   }
782   return iResult;
783 }
784
785 int AliHLTDataBuffer::CleanupConsumerList() 
786 {
787   // see header file for function documentation
788   int iResult=0;
789   ResetDataBuffer();
790   AliHLTConsumerDescriptorPList::iterator desc=fConsumers.begin();
791   while (desc!=fConsumers.end()) {
792     delete *desc;
793     fConsumers.erase(desc);
794     desc=fConsumers.begin();
795   }
796   return iResult;
797 }
798
799 int AliHLTDataBuffer::FindConsumer(const AliHLTComponent* pConsumer, int bAllLists)
800 {
801   // see header file for function documentation
802   AliHLTConsumerDescriptorPList::iterator desc=fConsumers.begin();
803   while (desc!=fConsumers.end()) {
804     if ((*desc)->GetComponent()==pConsumer)
805       return 1;
806     desc++;
807   }
808   if (bAllLists==0) return 0;
809
810   desc=fActiveConsumers.begin();
811   while (desc!=fActiveConsumers.end()) {
812     if ((*desc)->GetComponent()==pConsumer)
813       return 1;
814     desc++;
815   }
816   desc=fReleasedConsumers.begin();
817   while (desc!=fReleasedConsumers.end()) {
818     if ((*desc)->GetComponent()==pConsumer)
819       return 1;
820     desc++;
821   }
822   return 0;
823 }
824
825 AliHLTDataBuffer::AliHLTRawBuffer::AliHLTRawBuffer(AliHLTUInt32_t size)
826   : fSize(0)
827   , fTotalSize(size)
828   , fExternalPtr(NULL)
829   , fPtr(static_cast<AliHLTUInt8_t*>(malloc(size)))
830   , fLastEventCount(0)
831 {
832   // see header file for class documentation
833   // or
834   // refer to README to build package
835   // or
836   // visit http://web.ift.uib.no/~kjeks/doc/alice-hlt
837   if (fPtr==NULL) {
838     fSize=0;
839     fTotalSize=0;
840   }
841 }
842
843 AliHLTDataBuffer::AliHLTRawBuffer::AliHLTRawBuffer(AliHLTUInt32_t size, AliHLTUInt8_t* buffer)
844   : fSize(0)
845   , fTotalSize(size)
846   , fExternalPtr(buffer)
847   , fPtr(fExternalPtr)
848   , fLastEventCount(0)
849 {
850   // see header file for class documentation
851 }
852
853 AliHLTDataBuffer::AliHLTRawBuffer::~AliHLTRawBuffer()
854 {
855   // see header file for class documentation
856   if (fExternalPtr==NULL && fPtr) {
857     free(fPtr);
858   }
859   fPtr=NULL;
860   fSize=0;
861   fTotalSize=0;
862 }
863
864 int AliHLTDataBuffer::AliHLTRawBuffer::operator==(void* ptr) const
865 {
866   // see header file for function documentation
867   return fPtr == static_cast<AliHLTUInt8_t*>(ptr);
868 }
869
870 int AliHLTDataBuffer::AliHLTRawBuffer::operator<(void* ptr) const
871 {
872   // see header file for function documentation
873   int iResult=fPtr < static_cast<AliHLTUInt8_t*>(ptr);
874   //printf("%p: %p <= %p (%d)\n", this, fPtr, ptr, iResult);
875   return iResult;
876 }
877
878 int AliHLTDataBuffer::AliHLTRawBuffer::operator<=(void* ptr) const
879 {
880   // see header file for function documentation
881   int iResult=fPtr <= static_cast<AliHLTUInt8_t*>(ptr);
882   //printf("%p: %p <= %p (%d)\n", this, fPtr, ptr, iResult);
883   return iResult;
884 }
885
886 int AliHLTDataBuffer::AliHLTRawBuffer::operator>(void* ptr) const
887 {
888   // see header file for function documentation
889   int iResult=fPtr+fSize > static_cast<AliHLTUInt8_t*>(ptr);
890   //printf("%p: %p + %d > %p (%d)\n", this, fPtr, fSize, ptr, iResult);
891   return iResult;
892 }
893
894 int AliHLTDataBuffer::AliHLTRawBuffer::operator-(void* ptr) const
895 {
896   // see header file for function documentation
897   return static_cast<int>(static_cast<AliHLTUInt8_t*>(ptr)-fPtr);
898 }
899
900 int AliHLTDataBuffer::AliHLTRawBuffer::operator<(const AliHLTRawBuffer& op) const
901 {
902   // see header file for function documentation
903   return (fPtr+fSize < op.fPtr);
904 }
905
906 int AliHLTDataBuffer::AliHLTRawBuffer::operator<=(const AliHLTRawBuffer& op) const
907 {
908   // see header file for function documentation
909   return (fPtr+fSize <= op.fPtr);
910 }
911
912 int AliHLTDataBuffer::AliHLTRawBuffer::operator>(const AliHLTRawBuffer& op) const
913 {
914   // see header file for function documentation
915   return (fPtr >= op.fPtr+op.fSize);
916 }
917
918 AliHLTUInt8_t* AliHLTDataBuffer::AliHLTRawBuffer::UseBuffer(AliHLTUInt32_t size)
919 {
920   // mark a portion of the buffer as used
921   if (fTotalSize>=size) {
922     fSize=size;
923     fLastEventCount=AliHLTDataBuffer::fgEventCount;
924     // only return pointer if there is a portion of the buffer used
925     if (size>0) return fPtr;
926   }
927   return NULL;
928 }
929
930 AliHLTDataBuffer::AliHLTRawBuffer* AliHLTDataBuffer::AliHLTRawBuffer::Split(AliHLTUInt32_t size)
931 {
932   // split a buffer at specified size
933   // only possible for buffers with external memory
934   if (fTotalSize>size && 
935       (fSize==0 || fSize<=size) && // used size must fit into the first part
936       fExternalPtr!=NULL) {
937     AliHLTRawBuffer* part2=new AliHLTRawBuffer(fTotalSize-size, fPtr+size);
938     if (part2) {
939       fTotalSize=size;
940     }
941     return part2;
942   } else {
943     //cout << "can not split fTotalSize=" << fTotalSize << "  fSize=" << fSize << "  at size=" << size << endl; 
944   }
945   return NULL;
946 }
947
948 int AliHLTDataBuffer::AliHLTRawBuffer::CheckSize(AliHLTUInt32_t size) const
949 {
950   // see header file for function documentation
951   if (fTotalSize<size) return 0;
952   unsigned adjust=0;
953   if (fLastEventCount+1<AliHLTDataBuffer::fgEventCount) {
954     adjust=AliHLTDataBuffer::fgEventCount-fLastEventCount;
955   }
956   return (adjust>2) || ((fTotalSize-size)<(fgMargin<<adjust));
957 }
958
959 int AliHLTDataBuffer::AliHLTRawBuffer::Reset()
960 {
961   // see header file for function documentation
962   fSize=0;
963   return 0;
964 }
965
966 int AliHLTDataBuffer::AliHLTRawBuffer::WritePattern(const char* pattern, int size)
967 {
968   // see header file for function documentation
969   int iResult=0;
970   if (pattern!=NULL && size>0) {
971     if (fSize+size<=fTotalSize) {
972       memcpy(((char*)fPtr)+fSize, pattern, size);
973       iResult=size;
974     } else {
975       iResult=-ENOSPC;
976     }
977   }
978   return iResult;
979 }
980
981 int AliHLTDataBuffer::AliHLTRawBuffer::CheckPattern(const char* pattern, int size) const
982 {
983   // see header file for function documentation
984   int iResult=0;
985   if (pattern!=NULL && size>0) {
986     if (fSize+size<=fTotalSize) {
987       iResult=memcmp(((char*)fPtr)+fSize, pattern, size)!=0;
988     } else {
989       iResult=-ENOSPC;
990     }
991   }
992   return iResult;
993 }
994
995 int AliHLTDataBuffer::AliHLTRawBuffer::Merge(const AliHLTDataBuffer::AliHLTRawBuffer& neighbor)
996 {
997   // Merge buffer with neighboring buffer.
998   // Only possible if the buffers are consecutive with out any gap.
999
1000   if (!fExternalPtr || !neighbor.fExternalPtr) return -EPERM;
1001
1002   if (neighbor.fTotalSize==0 &&
1003       fPtr < neighbor.fPtr &&
1004       fPtr+fTotalSize > neighbor.fPtr) {
1005     // special case for a buffer of zero size embedded into this buffer
1006     // nothing to do
1007     return 0;
1008   }
1009   if (fTotalSize==0 &&
1010       neighbor.fPtr < fPtr &&
1011       neighbor.fPtr+neighbor.fTotalSize > fPtr) {
1012     // special case for this buffer of size zero embedded into another buffer
1013     fPtr=neighbor.fPtr;
1014     fExternalPtr=fPtr;
1015     fTotalSize+=neighbor.fTotalSize;
1016     fSize=0;
1017     return 0;
1018   }
1019   if (fPtr+fTotalSize == neighbor.fPtr) {
1020     fTotalSize+=neighbor.fTotalSize;
1021     fSize=0;
1022     return 0;
1023   }
1024   if (fPtr == neighbor.fPtr+neighbor.fTotalSize) {
1025     fPtr=neighbor.fPtr;
1026     fExternalPtr=fPtr;
1027     fTotalSize+=neighbor.fTotalSize;
1028     fSize=0;
1029     return 0;
1030   }
1031   return -EINVAL;
1032 }
1033
1034 void AliHLTDataBuffer::AliHLTRawBuffer::Print(const char* option) const
1035 {
1036   /// print buffer information
1037   if (strcmp(option, "min")!=0) {
1038     cout << "************* AliHLTRawBuffer status ***********" << endl;
1039   }
1040   printf("  %p: buffer %p%s size %d used %d\n", this, fPtr, fExternalPtr?" (external)":"", fTotalSize, fSize); fflush(stdout);
1041 }
1042
1043 AliHLTDataBuffer::AliHLTRawPage::AliHLTRawPage(AliHLTUInt32_t pagesize)
1044   : fSize(pagesize)
1045   , fPtr(static_cast<AliHLTUInt8_t*>(malloc(pagesize)))
1046   , fFreeBuffers()
1047   , fUsedBuffers()
1048 {
1049   // constructor
1050   if (fPtr) {
1051     fFreeBuffers.push_back(new AliHLTRawBuffer(fSize, fPtr));
1052   } else {
1053     fSize=0;
1054   }
1055 }
1056
1057 AliHLTDataBuffer::AliHLTRawPage::~AliHLTRawPage()
1058 {
1059   // destructor
1060   if (IsUsed()) {
1061     // do not free if the resources have not been completely freed
1062     HLTError("memory mismatch: not all allocated intances have been released");
1063   } else {
1064     if (IsFragmented()) {
1065       HLTWarning("page still fragmented");
1066     }
1067     AliHLTRawBufferPList::iterator element=fFreeBuffers.begin();
1068     while (element!=fFreeBuffers.end()) {
1069       if (*element) delete *element;
1070       element=fFreeBuffers.erase(element);
1071     }
1072     if (fPtr) {
1073       free(fPtr);
1074     }
1075     fPtr=NULL;
1076     fSize=0;
1077   }
1078 }
1079
1080 AliHLTDataBuffer::AliHLTRawBuffer* AliHLTDataBuffer::AliHLTRawPage::Alloc(AliHLTUInt32_t size)
1081 {
1082   /// alloc a buffer of specified size
1083   if (fFreeBuffers.size()==0) return NULL;
1084   
1085   for (AliHLTRawBufferPList::iterator iter=fFreeBuffers.begin();
1086        iter!=fFreeBuffers.end();
1087        iter++) {
1088     if ((*iter)->GetTotalSize()==size) {
1089       AliHLTRawBuffer* thisbuffer=*iter;
1090       fFreeBuffers.erase(iter);
1091       fUsedBuffers.push_back(thisbuffer);
1092       return thisbuffer;
1093     } else if ((*iter)->GetTotalSize()>size) {
1094       AliHLTRawBuffer* thisbuffer=*iter;
1095       AliHLTRawBuffer* newbuffer=thisbuffer->Split(size);
1096       if (newbuffer) {
1097         *iter=newbuffer;
1098         fUsedBuffers.push_back(thisbuffer);
1099         return thisbuffer;
1100       } else {
1101         HLTWarning("failed to alloc raw buffer: cannot split raw buffer %p of size %d (used %d) at size %d", *iter, (*iter)->GetTotalSize(), (*iter)->GetUsedSize(), size);
1102       }
1103     }
1104   }
1105   return NULL;
1106 }
1107
1108 int AliHLTDataBuffer::AliHLTRawPage::Free(AliHLTRawBuffer* pBuffer)
1109 {
1110   /// free a buffer and merge consecutive free buffers
1111   int iResult=0;
1112   for (AliHLTRawBufferPList::iterator iter=fUsedBuffers.begin();
1113        iter!=fUsedBuffers.end() && iResult>=0;
1114        iter++) {
1115     if ((*iter)==pBuffer) {
1116       fUsedBuffers.erase(iter);
1117       AliHLTRawBufferPList::iterator prev=fFreeBuffers.begin();
1118       for (; prev!=fFreeBuffers.end() && iResult>=0; prev++) {
1119         if ((*pBuffer)<(*(*prev)) ||
1120             ((*prev)->GetTotalSize()==0 && pBuffer->GetPointer()<=(*prev)->GetPointer() && (*prev)->GetPointer()<=pBuffer->GetPointer()+pBuffer->GetTotalSize())) {
1121           // check consecutive buffers
1122           if ((*(*prev)) == (pBuffer->GetPointer()+pBuffer->GetTotalSize()) ||
1123               ((*prev)->GetTotalSize()==0 && pBuffer->GetPointer()<=(*prev)->GetPointer() && (*prev)->GetPointer()<=pBuffer->GetPointer()+pBuffer->GetTotalSize())) {
1124             // the buffer to be released has a consecutive free buffer -> merge them
1125             if ((iResult=pBuffer->Merge(*(*prev)))>=0) {
1126               delete *prev;
1127               *prev=pBuffer;
1128             } else {
1129               HLTError("failed to merge consecutive/overlapping buffers %p and %p", pBuffer, (*prev));
1130               pBuffer->Print("");
1131               (*prev)->Print("");
1132             }
1133             break;
1134           }
1135           fFreeBuffers.insert(prev, pBuffer);
1136           break;
1137         }
1138         if ((*pBuffer)>(*(*prev)) ||
1139             (pBuffer->GetTotalSize()==0 && (*prev)->GetPointer()<=pBuffer->GetPointer() && pBuffer->GetPointer()<=(*prev)->GetPointer()+(*prev)->GetTotalSize())) {
1140           // check consecutive buffers
1141           if ((*pBuffer) == ((*prev)->GetPointer()+(*prev)->GetTotalSize())||
1142               (pBuffer->GetTotalSize()==0 && (*prev)->GetPointer()<=pBuffer->GetPointer() && pBuffer->GetPointer()<=(*prev)->GetPointer()+(*prev)->GetTotalSize())) {
1143             // the buffer to be released is consecutive to a free buffer -> merge them
1144             if ((iResult=pBuffer->Merge(*(*prev)))>=0) {
1145               AliHLTRawBufferPList::iterator succ=prev+1;
1146               delete *prev;
1147               *prev=pBuffer;
1148               // check if the buffer and the following one are consecutive
1149               if (succ!=fFreeBuffers.end() &&
1150                   (*(*succ)) == (pBuffer->GetPointer()+pBuffer->GetTotalSize())) {
1151                 if ((iResult=pBuffer->Merge(*(*succ)))>=0) {
1152                   delete *succ;
1153                   fFreeBuffers.erase(succ);
1154                 }
1155               }
1156             }
1157             break;
1158           }
1159         }
1160       }
1161       if (prev==fFreeBuffers.end()) {
1162         fFreeBuffers.push_back(pBuffer);
1163       }
1164
1165       // merge consecutive free buffers
1166       prev=fFreeBuffers.begin();
1167       for (AliHLTRawBufferPList::iterator current=prev+1; current!=fFreeBuffers.end() && iResult>=0; ) {
1168         // check if the buffer is embedded into the previous one
1169         if ((*current)->GetTotalSize()==0 && (*prev)->GetPointer()<=(*current)->GetPointer() && (*current)->GetPointer()<(*prev)->GetPointer()+(*prev)->GetTotalSize())  {
1170           if ((iResult=(*prev)->Merge(*(*current)))>=0) {
1171             current=fFreeBuffers.erase(current);
1172             continue;
1173           } else {
1174             HLTError("failed to merge embedded zero length buffer into preceeding buffer");
1175             Print("");
1176           }
1177         }
1178         // check if the buffer is consecutive to the previous one
1179         if ((*(*current)) == ((*prev)->GetPointer()+(*prev)->GetTotalSize())) {
1180           if ((iResult=(*prev)->Merge(*(*current)))>=0) {
1181             current=fFreeBuffers.erase(current);
1182             continue;
1183           } else {
1184             HLTError("failed to merge consecutive free buffers");
1185             Print("");
1186           }
1187         }
1188         prev=current++;
1189       }
1190
1191       // buffer was part of this page
1192       return 0;
1193     }
1194   }
1195   // buffer not found in this page
1196   return 1;
1197 }
1198
1199 int AliHLTDataBuffer::AliHLTRawPage::SetSize(const AliHLTDataBuffer::AliHLTRawBuffer* pBuffer, AliHLTUInt32_t size)
1200 {
1201   /// set the size of a raw buffer and release the remaining part
1202   int iResult=0;
1203   for (AliHLTRawBufferPList::iterator iter=fUsedBuffers.begin();
1204        iter!=fUsedBuffers.end() && iResult>=0;
1205        iter++) {
1206     if ((*iter)==pBuffer) {      // buffer was part of this page
1207       if ((*iter)->GetTotalSize()==size) return 0;
1208       if ((*iter)->GetTotalSize()<size) {
1209         HLTError("%d exceeds total size of buffer %p (%d used %d)\n", size, *iter, (*iter)->GetTotalSize(), (*iter)->GetUsedSize());
1210         return -ENOSPC;
1211       }
1212       AliHLTDataBuffer::AliHLTRawBuffer* freespace=(*iter)->Split(size);
1213       if (freespace) {
1214         fUsedBuffers.push_back(freespace);
1215         Free(freespace);
1216       } else {
1217         HLTWarning("failed to relase unused memory: cannot split raw buffer %p of size %d (used %d) at size %d", *iter, (*iter)->GetTotalSize(), (*iter)->GetUsedSize(), size);
1218       }
1219       return 0;
1220     }
1221   }
1222   // buffer not found in this page
1223   return 1;
1224 }
1225
1226 bool AliHLTDataBuffer::AliHLTRawPage::HasBuffer(const AliHLTDataBuffer::AliHLTRawBuffer* pBuffer)
1227 {
1228   /// check if the buffer is in this page
1229   for (AliHLTRawBufferPList::iterator iter=fUsedBuffers.begin();
1230        iter!=fUsedBuffers.end();
1231        iter++) {
1232     if ((*iter)==pBuffer) {      // buffer was part of this page
1233       return true;
1234     }
1235   }
1236   // buffer not found in this page
1237   return false;
1238 }
1239
1240 AliHLTUInt32_t AliHLTDataBuffer::AliHLTRawPage::Capacity() const 
1241 {
1242   /// get max available contiguous buffer
1243   AliHLTUInt32_t capacity=0;
1244   for (unsigned i=0; i<fFreeBuffers.size(); i++) {
1245     if (fFreeBuffers[i]->GetTotalSize()>capacity) 
1246       capacity=fFreeBuffers[i]->GetTotalSize();
1247   }
1248   return capacity;
1249 }
1250
1251 void AliHLTDataBuffer::AliHLTRawPage::Print(const char* option)
1252 {
1253   /// print page information
1254   if (strcmp(option, "global")==0) {
1255     cout << "number of global pages: " << fgGlobalPages.size() << endl;
1256     for (AliHLTRawPage* rawpage=NextPage(NULL);
1257          rawpage!=NULL; 
1258          rawpage=NextPage(rawpage)) {
1259       rawpage->Print("");
1260     }
1261     return;
1262   }
1263   cout << "************* AliHLTRawPage status ***********" << endl;
1264   cout << "  instance " << this << endl;
1265   printf("  buffer %p  size %d", fPtr, fSize);
1266   cout << "  used buffers: " << fUsedBuffers.size() << endl;
1267   AliHLTRawBufferPList::iterator iter=fUsedBuffers.begin();
1268   for (; iter!=fUsedBuffers.end(); iter++) {
1269     cout << "  "; (*iter)->Print("min");
1270   }
1271   cout << "  free buffers: " << fFreeBuffers.size() << endl;
1272   iter=fFreeBuffers.begin();
1273   for (; iter!=fFreeBuffers.end(); iter++) {
1274     cout << "  "; (*iter)->Print("min");
1275   }
1276 }
1277
1278
1279 vector<AliHLTDataBuffer::AliHLTRawPage*> AliHLTDataBuffer::AliHLTRawPage::fgGlobalPages;
1280
1281 AliHLTUInt32_t AliHLTDataBuffer::AliHLTRawPage::fgGlobalPageSize=30*1024*1024;
1282
1283 AliHLTDataBuffer::AliHLTRawBuffer* AliHLTDataBuffer::AliHLTRawPage::GlobalAlloc(AliHLTUInt32_t size, int verbosity)
1284 {
1285   // alloc a buffer of specified size from the global pages
1286   AliHLTDataBuffer::AliHLTRawBuffer* rawbuffer=NULL;
1287   vector<AliHLTDataBuffer::AliHLTRawPage*>::iterator page=fgGlobalPages.begin();
1288   AliHLTLogging log;
1289   for (page=fgGlobalPages.begin();page!=fgGlobalPages.end(); page++) {
1290     if ((rawbuffer=(*page)->Alloc(size))!=NULL) {
1291       if (verbosity>1) {
1292         log.Logging(kHLTLogInfo, "AliHLTDataBuffer::AliHLTRawPage::GlobalAlloc", "data buffer handling", "allocated raw buffer %p from page %p\n", rawbuffer, *page);
1293         rawbuffer->Print("min");
1294       }
1295       break;
1296     }
1297   }
1298   if (!rawbuffer) {
1299     AliHLTUInt32_t rawPageSize=fgGlobalPageSize;
1300     if (rawPageSize<size) {
1301       if (rawPageSize*10<size) {
1302         log.Logging(kHLTLogError, "AliHLTDataBuffer::AliHLTRawPage::GlobalAlloc", "data buffer handling", "refusing to allocate buffer of size %d", size);
1303         return NULL;
1304       }
1305       rawPageSize=size;
1306     }
1307     AliHLTDataBuffer::AliHLTRawPage* rawpage=new AliHLTDataBuffer::AliHLTRawPage(rawPageSize);
1308     if (!rawpage) {
1309       log.Logging(kHLTLogError, "AliHLTDataBuffer::AliHLTRawPage::GlobalAlloc", "data buffer handling", "can not create raw page");
1310       return NULL;
1311     }
1312
1313     // check is there is at least one unused page which can be replaced by the newly created one
1314     for (page=fgGlobalPages.begin(); page!=fgGlobalPages.end(); page++) {
1315       if ((*page)->IsUsed()) continue;
1316       delete *page;
1317       fgGlobalPages.erase(page);
1318       break; // delete only one page to be replaced by the new page
1319     }
1320     fgGlobalPages.push_back(rawpage);
1321     if ((rawbuffer=rawpage->Alloc(size))!=NULL) {
1322       if (verbosity>1) {
1323         log.Logging(kHLTLogInfo, "AliHLTDataBuffer::AliHLTRawPage::GlobalAlloc", "data buffer handling", "allocated raw buffer %p from page %p\n", rawbuffer, rawpage);
1324         rawbuffer->Print("min");
1325       }
1326     }
1327   }
1328
1329   return rawbuffer;
1330 }
1331
1332 AliHLTDataBuffer::AliHLTRawPage* AliHLTDataBuffer::AliHLTRawPage::FindPage(AliHLTDataBuffer::AliHLTRawBuffer* buffer)
1333 {
1334   // find buffer in the global pages
1335   vector<AliHLTDataBuffer::AliHLTRawPage*>::iterator page=fgGlobalPages.begin();
1336   for (; page!=fgGlobalPages.end(); page++) {
1337     if ((*page)->HasBuffer(buffer)) {
1338       return *page;
1339     }
1340   }
1341
1342   return NULL;
1343 }
1344
1345 int AliHLTDataBuffer::AliHLTRawPage::GlobalClean()
1346 {
1347   // cleanup the global pages */
1348   vector<AliHLTDataBuffer::AliHLTRawPage*>::iterator page=fgGlobalPages.begin();
1349   while (page!=fgGlobalPages.end()) {
1350     if (!(*page)->IsUsed()) {
1351       delete *page;
1352       page=fgGlobalPages.erase(page);
1353       continue;
1354     }
1355     AliHLTLogging log;
1356     log.Logging(kHLTLogError, "AliHLTDataBuffer::AliHLTRawPage::GlobalClean", "data buffer handling", "HLT memory page still in use, skipping cleanup, potential memory leak");
1357     
1358     page++;
1359   }
1360   
1361   return 0;
1362 }
1363
1364 AliHLTDataBuffer::AliHLTRawPage* AliHLTDataBuffer::AliHLTRawPage::NextPage(const AliHLTDataBuffer::AliHLTRawPage* prev)
1365 {
1366   // get next global page
1367   vector<AliHLTDataBuffer::AliHLTRawPage*>::iterator page=fgGlobalPages.begin();
1368   for (; page!=fgGlobalPages.end(); page++) {
1369     if (prev==NULL) return *page;
1370     if (*page!=prev) continue;
1371     if (++page!=fgGlobalPages.end()) return *page;
1372     break;
1373   }
1374   return NULL;
1375 }
1376
1377 void AliHLTDataBuffer::AliHLTDataSegment::Print(const char* /*option*/) const
1378 {
1379   // print info for data segment
1380   cout << "AliHLTDataSegment " << this 
1381        << " " << AliHLTComponent::DataType2Text(fDataType)
1382        << " " << hex << fSpecification << dec
1383        << " Ptr " << (void*)fPtr
1384        << " offset " << fSegmentOffset
1385        << " size " << fSegmentSize
1386        << endl;
1387 }
1388
1389 void AliHLTDataBuffer::AliHLTForwardedDataSegment::Print(const char* option) const
1390 {
1391   // print info for data segment
1392   cout << "AliHLTForwardeDataSegment " << this << endl;
1393   cout << "    my    : "; AliHLTDataSegment::Print(option);
1394   cout << "    parent: "; fParentSegment.Print(option);
1395   cout << "    task  : "; 
1396   if (fParentTask) fParentTask->Print("");
1397   else cout << "nil" << endl;
1398 }
1399
1400 void AliHLTDataBuffer::Print(const char* option) const
1401 {
1402   // print info for data buffer
1403   unsigned i=0;
1404   cout << "AliHLTDataBuffer " << this << endl;
1405   cout << " raw buffer " << fpBuffer << endl;
1406   if (fpBuffer) {
1407     cout << " ";
1408     fpBuffer->Print(option);
1409   }
1410
1411   cout << " total segments: " << GetNofSegments() << endl;
1412   cout << "   data segments: " << fSegments.size() << endl;
1413   for (i=0; i<fSegments.size(); i++) {
1414     cout << "     ";
1415     fSegments[i].Print(option);
1416   }
1417
1418   cout << "   forwarded segments: " << fForwardedSegments.size() << endl;
1419   for (i=0; i<fForwardedSegments.size(); i++) {
1420     cout << "     ";
1421     fForwardedSegments[i].Print(option);
1422   }
1423
1424   cout << " consumers: " << GetNofConsumers() << endl;
1425   for (i=0; i<fConsumers.size(); i++) {
1426     cout << "   ";
1427     fConsumers[i]->Print(option);
1428   }
1429
1430   cout << " active consumers: " << GetNofActiveConsumers() << endl;
1431   for (i=0; i<fActiveConsumers.size(); i++) {
1432     cout << "   ";
1433     fActiveConsumers[i]->Print(option);
1434   }
1435
1436   cout << " released consumers: " << fReleasedConsumers.size() << endl;
1437   for (i=0; i<fReleasedConsumers.size(); i++) {
1438     cout << "   ";
1439     fReleasedConsumers[i]->Print(option);
1440   }
1441
1442 }