6f20cd941b8a0a9dc3f01c5a12aafa60d246741a
[u/mrichter/AliRoot.git] / HLT / BASE / AliHLTDataBuffer.cxx
1 // $Id$
2
3 //**************************************************************************
4 //* This file is property of and copyright by the ALICE HLT Project        * 
5 //* ALICE Experiment at CERN, All rights reserved.                         *
6 //*                                                                        *
7 //* Primary Authors: Matthias Richter <Matthias.Richter@ift.uib.no>        *
8 //*                  for The ALICE HLT Project.                            *
9 //*                                                                        *
10 //* Permission to use, copy, modify and distribute this software and its   *
11 //* documentation strictly for non-commercial purposes is hereby granted   *
12 //* without fee, provided that the above copyright notice appears in all   *
13 //* copies and that both the copyright notice and this permission notice   *
14 //* appear in the supporting documentation. The authors make no claims     *
15 //* about the suitability of this software for any purpose. It is          *
16 //* provided "as is" without express or implied warranty.                  *
17 //**************************************************************************
18
19 //  @file   AliHLTDataBuffer.cxx
20 //  @author Matthias Richter
21 //  @date   
22 //  @brief  Handling of Data Buffers for HLT components.
23 //  @note   Only used in the AliRoot framework
24
25 // see header file for class documentation
26 // or
27 // refer to README to build package
28 // or
29 // visit http://web.ift.uib.no/~kjeks/doc/alice-hlt
30
31 #if __GNUC__>= 3
32 using namespace std;
33 #endif
34
35 #include "AliHLTDataBuffer.h"
36 #include "AliHLTConsumerDescriptor.h"
37 #include "AliHLTComponent.h"
38 #include "AliHLTTask.h"
39 #include <cerrno>
40 #include <cassert>
41 //#include <string>
42 //#include "AliHLTSystem.h"
43
44 #define USE_ALIHLTRAWPAGE
45
46 typedef vector<AliHLTDataBuffer::AliHLTDataSegment> AliHLTDataSegmentList;
47
48 /** ROOT macro for the implementation of ROOT specific class methods */
49 ClassImp(AliHLTDataBuffer)
50
51 AliHLTDataBuffer::AliHLTDataBuffer()
52   :
53   fSegments(),
54   fConsumers(),
55   fActiveConsumers(),
56   fReleasedConsumers(),
57   fpBuffer(NULL),
58   fFlags(0),
59   fForwardedSegmentSources(),
60   fForwardedSegments()
61 {
62   // see header file for class documentation
63   // or
64   // refer to README to build package
65   // or
66   // visit http://web.ift.uib.no/~kjeks/doc/alice-hlt
67   fSegments.empty();
68   fConsumers.empty();
69   fActiveConsumers.empty();
70   fReleasedConsumers.empty();
71   fgNofInstances++;
72 }
73
74 int AliHLTDataBuffer::fgNofInstances=0;
75 AliHLTDataBuffer::AliHLTRawBufferPList AliHLTDataBuffer::fgFreeBuffers;
76 AliHLTDataBuffer::AliHLTRawBufferPList AliHLTDataBuffer::fgActiveBuffers;
77 AliHLTUInt32_t AliHLTDataBuffer::fgMargin=1024;
78 AliHLTLogging AliHLTDataBuffer::fgLogging;
79 const Int_t AliHLTDataBuffer::fgkSafetyPatternSize=16;
80 const char AliHLTDataBuffer::fgkSafetyPattern[]={0x28, 0x63, 0x29, 0x4d, 0x52, 0x49, 0x43, 0x48, 0x54, 0x45, 0x52, 0x20, 0x32, 0x30, 0x30, 0x37};
81 AliHLTUInt32_t AliHLTDataBuffer::fgEventCount=0;
82
83 AliHLTDataBuffer::~AliHLTDataBuffer()
84 {
85   // see header file for function documentation
86   CleanupConsumerList();
87
88   if (--fgNofInstances<=0) {
89     DeleteRawBuffers();
90   }
91 }
92
93 int AliHLTDataBuffer::SetConsumer(AliHLTComponent* pConsumer)
94 {
95   // see header file for function documentation
96   int iResult=0;
97   if (pConsumer) {
98     if (FindConsumer(pConsumer)) {
99       HLTWarning("consumer %s (%p) already set to data buffer %p", pConsumer->GetComponentID(), pConsumer, this);
100     }
101     AliHLTConsumerDescriptor* pDesc=new AliHLTConsumerDescriptor(pConsumer);
102     if (pDesc) {
103       fConsumers.push_back(pDesc);
104       HLTDebug("set consumer %s (%p) to data buffer %p", pConsumer->GetComponentID(), pConsumer, this);
105     } else {
106       HLTError("memory allocation failed");
107       iResult=-ENOMEM;
108     }
109   } else {
110     HLTError("invalid parameter: consumer component (nil)");
111     iResult=-EINVAL;
112   }
113   return iResult;
114 }
115
116 int AliHLTDataBuffer::FindMatchingDataBlocks(const AliHLTComponent* pConsumer, AliHLTComponentDataTypeList* tgtList)
117 {
118   // see header file for function documentation
119   int iResult=0;
120   if (pConsumer) {
121     AliHLTDataSegmentList segments;
122     if ((iResult=FindMatchingDataSegments(pConsumer, segments))>=0) {
123       if (tgtList) {
124         AliHLTDataSegmentList::iterator segment=segments.begin();
125         while (segment!=segments.end()) {
126           tgtList->push_back((*segment).fDataType);
127           segment++;
128         }
129       }
130       iResult=segments.size();
131     }
132   } else {
133     iResult=-EINVAL;
134   }
135   return iResult;
136 }
137
138 int AliHLTDataBuffer::FindMatchingDataSegments(const AliHLTComponent* pConsumer, vector<AliHLTDataBuffer::AliHLTDataSegment>& tgtList)
139 {
140   // see header file for function documentation
141   int iResult=0;
142
143   // Matthias 26.09.2007 relax the restriction to matching data blocks
144   // all blocks are passed to the consumer, which is the policy also in
145   // PubSub
146   tgtList.assign(fSegments.begin(), fSegments.end());
147
148   // add all forwarded blocks
149   tgtList.insert(tgtList.begin(), fForwardedSegments.begin(), fForwardedSegments.end());
150   iResult=tgtList.size();
151   return iResult;
152   
153   if (pConsumer) {
154     AliHLTComponentDataTypeList dtlist;
155     ((AliHLTComponent*)pConsumer)->GetInputDataTypes(dtlist);
156     AliHLTDataSegmentList::iterator segment=fSegments.begin();
157     while (segment!=fSegments.end()) {
158       AliHLTComponentDataTypeList::iterator type=dtlist.begin();
159       while (type!=dtlist.end()) {
160         if ((*segment).fDataType==(*type)) {
161           tgtList.push_back(*segment);
162           iResult++;
163           break;
164         }
165         type++;
166       }
167       segment++;
168     }
169   } else {
170     iResult=-EINVAL;
171   }
172   return iResult;
173 }
174
175 int AliHLTDataBuffer::Subscribe(const AliHLTComponent* pConsumer, AliHLTComponentBlockDataList& blockDescList)
176 {
177   // see header file for function documentation
178   int iResult=0;
179   if (pConsumer) {
180     if (1/*fpBuffer*/) {
181       AliHLTConsumerDescriptor* pDesc=FindConsumer(pConsumer, fConsumers);
182       if (pDesc) {
183         AliHLTDataSegmentList tgtList;
184         // Matthias 26.07.2007 AliHLTSystem should behave the same way as PubSub
185         // so it does not matter if there are matching data types or not, unless
186         // we implement such a check in PubSub
187         if ((iResult=FindMatchingDataSegments(pConsumer, tgtList))>=0) {
188           AliHLTDataSegmentList::iterator segment=tgtList.begin();
189           while (segment!=tgtList.end()) {
190             // fill the block data descriptor
191             AliHLTComponentBlockData bd;
192             AliHLTComponent::FillBlockData(bd);
193             // This models the behavior of PubSub.
194             // For incoming data blocks, fOffset must be ignored by the
195             // processing component. It is set for bookkeeping in the framework.
196             // fPtr always points to the beginning of the data.
197             bd.fOffset=0;
198             AliHLTUInt8_t* pTgt=*segment;
199             bd.fPtr=reinterpret_cast<void*>(pTgt);
200             bd.fSize=(*segment).fSegmentSize;
201             bd.fDataType=(*segment).fDataType;
202             bd.fSpecification=(*segment).fSpecification;
203             blockDescList.push_back(bd);
204             pDesc->SetActiveDataSegment(*segment);
205             HLTDebug("component %p (%s) subscribed to segment offset %d size %d data type %s %#x", 
206                      pConsumer, ((AliHLTComponent*)pConsumer)->GetComponentID(), bd.fOffset,
207                      bd.fSize, (AliHLTComponent::DataType2Text(bd.fDataType)).c_str(), 
208                      bd.fSpecification);
209             segment++;
210           }
211           // move this consumer to the active list
212           if (tgtList.size()==0) {
213             ChangeConsumerState(pDesc, fConsumers, fReleasedConsumers);
214             HLTDebug("no input data for component %p (%s) available", pConsumer, ((AliHLTComponent*)pConsumer)->GetComponentID());
215           } else if (ChangeConsumerState(pDesc, fConsumers, fActiveConsumers)>=0) {
216             HLTDebug("component %p (%s) subscribed to data buffer %p", pConsumer, ((AliHLTComponent*)pConsumer)->GetComponentID(), this);
217           } else {
218             // TODO: cleanup the consumer descriptor correctly
219             segment=tgtList.begin();
220             while (segment!=tgtList.end()) {
221               blockDescList.pop_back();
222               segment++;
223             }
224             HLTError("can not activate consumer %p for data buffer %p", pConsumer, this);
225             iResult=-EACCES;
226           }
227         } else {
228           HLTError("unresolved data segment(s) for component %p (%s)", pConsumer, ((AliHLTComponent*)pConsumer)->GetComponentID());
229           iResult=-EBADF;
230         }
231       } else {
232         if (!FindConsumer(pConsumer)) {
233           HLTError("component %p is not a data consumer of data buffer %p", pConsumer, this);
234         } else {
235           HLTError("component %p is a valid data consumer of data buffer %p, but did not release it's buffer subscription", pConsumer, this);
236         }
237         iResult=-ENOENT;
238       }
239     } else {
240       // Matthias 26.07.2007 until now, data had to be present for successful subscription
241       // in order to be consistent with the PubSub framework, this restiction has been
242       // removed
243       //HLTError("data buffer %p is empty", this);
244       //iResult=-ENODATA;
245     }
246   } else {
247     HLTError("invalid parameter");
248     iResult=-EINVAL;
249   }
250   return iResult;
251 }
252
253 int AliHLTDataBuffer::Release(AliHLTComponentBlockData* pBlockDesc,
254                               const AliHLTComponent* pConsumer,
255                               const AliHLTTask* pOwnerTask)
256 {
257   // see header file for function documentation
258   int iResult=0;
259   if (pBlockDesc && pConsumer) {
260     AliHLTConsumerDescriptor* pDesc=FindConsumer(pConsumer, fActiveConsumers);
261     if (pDesc) {
262       if ((iResult=pDesc->CheckActiveDataSegment(AliHLTDataSegment(pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize)))!=1) {
263         HLTWarning("data segment mismatch, component %p has not subscribed to a segment with offset %#x and size %d", pConsumer, pBlockDesc->fOffset, pBlockDesc->fSize);
264         // TODO: appropriate error handling, but so far optional
265         iResult=0;
266       } else {
267         pDesc->ReleaseActiveDataSegment(AliHLTDataSegment(pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize));
268       }
269       if (GetNofPendingConsumers()==0 && fForwardedSegments.size()>0) {
270         // last consumer, release forwarded segments
271         ReleaseForwardedBlock(pBlockDesc, pOwnerTask);
272       }
273       pBlockDesc->fOffset=0;
274       pBlockDesc->fPtr=NULL;
275       pBlockDesc->fSize=0;
276       if (pDesc->GetNofActiveSegments()==0) {
277         if ((iResult=ChangeConsumerState(pDesc, fActiveConsumers, fReleasedConsumers))>=0) {
278           if (GetNofActiveConsumers()==0 && GetNofPendingConsumers()==0) {
279             // this is the last consumer, reset the consumer list and release the raw buffer
280             ResetDataBuffer();
281           }
282         } else {
283           HLTError("can not deactivate consumer %p for data buffer %p", pConsumer, this);
284           iResult=-EACCES;
285         }
286       }
287     } else {
288       HLTWarning("component %p has currently not subscribed to the data buffer %p", pConsumer, this);
289       iResult=-ENOENT;
290     }
291   } else {
292     HLTError("inavalid parameter: pBlockDesc=%p pConsumer=%p", pBlockDesc, pConsumer);
293     iResult=-EINVAL;
294   }
295   return iResult;
296 }
297
298 int AliHLTDataBuffer::ReleaseForwardedBlock(AliHLTComponentBlockData* pBlockDesc,
299                                             const AliHLTTask* pOwnerTask)
300 {
301   // see header file for function documentation
302   int iResult=0;
303   if (pBlockDesc && pOwnerTask) {
304         assert(fForwardedSegments.size()==fForwardedSegmentSources.size());
305         AliHLTDataSegmentList::iterator segment=fForwardedSegments.begin();
306         AliHLTTaskPList::iterator src=fForwardedSegmentSources.begin();
307         //HLTDebug("%p checking forwarded segments", this);
308         for (; segment!=fForwardedSegments.end(); segment++, src++) {
309           //HLTDebug("segment ptr=%p offset=%d size=%d\n"
310           //   "block ptr=%p offset=%d size=%d", (*segment).fPtr, (*segment).fSegmentOffset, (*segment).fSegmentSize, pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize);
311           if ((*segment)==AliHLTDataSegment(pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize)) {
312             //HLTDebug("release segment of task %p", *src);
313             assert((*src)!=NULL);
314             if ((*src)!=NULL) {
315               if ((*src)->Release(pBlockDesc, pOwnerTask)>=0) {
316                 HLTDebug("task %s (%p) released forwarded segment %p size %d of task %s (%p)",
317                          pOwnerTask->GetName(), pOwnerTask, (*segment).GetPtr(), (*segment).GetSize(),
318                          (*src)->GetName(), *src);
319               } else {
320                 HLTError("task %s (%p) failed releasing forwarded segment %p size %d of task %s (%p)",
321                          pOwnerTask->GetName(), pOwnerTask, (*segment).GetPtr(), (*segment).GetSize(),
322                          (*src)->GetName(), *src);
323               }
324             }
325             fForwardedSegments.erase(segment);
326             fForwardedSegmentSources.erase(src);
327             break;
328           }
329         }
330   } else {
331     HLTError("inavalid parameter: pBlockDesc=%p pOwnerTask=%p", pBlockDesc, pOwnerTask);
332     iResult=-EINVAL;
333   }
334   return iResult;
335 }
336
337 int AliHLTDataBuffer::Forward(AliHLTTask* pSrcTask, AliHLTComponentBlockData* pBlockDesc)
338 {
339   // see header file for function documentation
340   if (pSrcTask==NULL || pBlockDesc==NULL) return -EINVAL;
341   assert(fForwardedSegments.size()==fForwardedSegmentSources.size());
342   if (fForwardedSegments.size()!=fForwardedSegmentSources.size()) return -EFAULT;
343   fForwardedSegmentSources.push_back(pSrcTask);
344   fForwardedSegments.push_back(AliHLTDataSegment(pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize, pBlockDesc->fDataType, pBlockDesc->fSpecification));
345   return 0;
346 }
347
348 AliHLTUInt8_t* AliHLTDataBuffer::GetTargetBuffer(int iMinSize)
349 {
350   // see header file for function documentation
351   AliHLTUInt8_t* pTargetBuffer=NULL;
352   if (fpBuffer!=NULL) {
353     HLTWarning("data buffer not properly reset, possible memory leak\n");
354   }
355   fpBuffer=CreateRawBuffer(iMinSize);
356   if (fpBuffer) {
357     pTargetBuffer=*fpBuffer;
358   } else {
359     HLTError("can not create raw buffer");
360   }
361   return pTargetBuffer;
362 }
363
364 int AliHLTDataBuffer::SetSegments(AliHLTUInt8_t* pTgt, AliHLTComponentBlockData* arrayBlockData, int iSize)
365 {
366   // see header file for function documentation
367   int iResult=0;
368   if (pTgt && arrayBlockData && iSize>=0) {
369     if (fpBuffer) {
370       if (*fpBuffer==pTgt) {
371         AliHLTDataBuffer::AliHLTDataSegment segment;
372         AliHLTUInt32_t maxSize=0;
373         for (int i=0; i<iSize; i++) {
374           // This function has to model the behavior of PubSub
375           // For output blocks only the fOffset value is used, this must be the offset
376           // relative to the output pointer. fPtr must be either NULL or the output
377           // pointer. In either case it is 'ignored' and set to the beginning of the
378           // data buffer
379           if (arrayBlockData[i].fPtr==NULL ||
380               arrayBlockData[i].fPtr==*fpBuffer) {
381             arrayBlockData[i].fPtr=*fpBuffer;
382             if ((arrayBlockData[i].fOffset+arrayBlockData[i].fSize<=fpBuffer->GetUsedSize()) ||
383                 ((arrayBlockData[i].fOffset==~(AliHLTUInt32_t)0) && arrayBlockData[i].fSize==0)) {
384               segment.fSegmentOffset=arrayBlockData[i].fOffset;
385               segment.fPtr=(AliHLTUInt8_t*)arrayBlockData[i].fPtr;
386               segment.fSegmentSize=arrayBlockData[i].fSize;
387               segment.fDataType=arrayBlockData[i].fDataType;
388               segment.fSpecification=arrayBlockData[i].fSpecification;
389               fSegments.push_back(segment);
390               HLTDebug("set segment %s with size %d at offset %d", AliHLTComponent::DataType2Text(segment.fDataType).data(), segment.fSegmentSize, segment.fSegmentOffset);
391
392               // find the actual size of the data
393               if ((arrayBlockData[i].fOffset!=~(AliHLTUInt32_t)0) &&
394                   arrayBlockData[i].fOffset+arrayBlockData[i].fSize>maxSize) {
395                 maxSize=arrayBlockData[i].fOffset+arrayBlockData[i].fSize;
396               }
397             } else {
398               HLTError("block data specification %#d (%s) exceeds size of data buffer", i, AliHLTComponent::DataType2Text(arrayBlockData[i].fDataType).data());
399               HLTError("block offset=%d, block size=%d, buffer size=%d", arrayBlockData[i].fOffset, arrayBlockData[i].fSize, fpBuffer->GetUsedSize());
400               iResult=-E2BIG;
401             }
402           } else {
403             HLTError("invalid pointer (%p) in block data specification (buffer %p size %d)."
404                      "please note: for output blocks only the fOffset value is valid and must "
405                      "be relative to the output buffer", arrayBlockData[i].fPtr, fpBuffer->GetPointer(), fpBuffer->GetUsedSize());
406             iResult=-ERANGE;
407           }
408         }
409         // to be enabled if unit test is ready
410 #ifdef USE_ALIHLTRAWPAGE
411         iResult=SetRawBufferDataSize(fpBuffer, maxSize);        
412 #endif //USE_ALIHLTRAWPAGE
413       } else {
414         HLTError("this data buffer (%p) does not match the internal data buffer %p of raw buffer %p", pTgt, fpBuffer->GetPointer(), fpBuffer);
415         iResult=-EINVAL;
416       }
417     } else {
418       HLTFatal("internal data structur mismatch");
419       iResult=-EFAULT;
420     }
421   } else {
422     HLTError("invalid parameter: pTgtBuffer=%p arrayBlockData=%p", pTgt, arrayBlockData);
423     iResult=-EINVAL;
424   }
425   return iResult;
426 }
427
428 int AliHLTDataBuffer::IsEmpty()
429 {
430   // see header file for function documentation
431   int iResult=(fpBuffer==NULL && fForwardedSegments.size()==0) || GetNofSegments()==0;
432   return iResult;
433 }
434
435 int AliHLTDataBuffer::GetNofSegments()
436 {
437   // see header file for function documentation
438   int iResult=fSegments.size() + fForwardedSegments.size();
439   return iResult;
440 }
441
442 int AliHLTDataBuffer::GetNofConsumers()
443 {
444   // see header file for function documentation
445   int iResult=fConsumers.size() + GetNofActiveConsumers() + fReleasedConsumers.size();
446   return iResult;
447 }
448
449 int AliHLTDataBuffer::GetNofPendingConsumers()
450 {
451   // see header file for function documentation
452   int iResult=fConsumers.size();
453   return iResult;
454 }
455
456 int AliHLTDataBuffer::GetNofActiveConsumers()
457 {
458   // see header file for function documentation
459   int iResult=fActiveConsumers.size();
460   return iResult;
461 }
462
463 AliHLTDataBuffer::AliHLTRawBuffer* AliHLTDataBuffer::CreateRawBuffer(AliHLTUInt32_t size)
464 {
465   // see header file for function documentation
466   AliHLTRawBuffer* pRawBuffer=NULL;
467   unsigned int reqSize=size+fgkSafetyPatternSize;
468 #ifndef USE_ALIHLTRAWPAGE
469   AliHLTRawBufferPList::iterator buffer=fgFreeBuffers.begin();
470   while (buffer!=fgFreeBuffers.end() && pRawBuffer==NULL) {
471     if ((*buffer)->CheckSize(reqSize)) {
472       // assign this element
473       pRawBuffer=*buffer;
474       pRawBuffer->UseBuffer(size);
475       fgFreeBuffers.erase(buffer);
476       fgLogging.Logging(kHLTLogDebug, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "raw buffer container %p provided for request of %d bytes (total %d available in buffer %p)", pRawBuffer, size, pRawBuffer->GetTotalSize(), pRawBuffer->GetPointer());
477       fgActiveBuffers.push_back(pRawBuffer);
478       break;
479     }
480     buffer++;
481   }
482   if (pRawBuffer==NULL) {
483     // no buffer found, create a new one
484     pRawBuffer=new AliHLTRawBuffer(reqSize);
485     if (pRawBuffer) {
486       if (pRawBuffer->GetPointer()) {
487         pRawBuffer->UseBuffer(size);
488         fgActiveBuffers.push_back(pRawBuffer);
489         fgLogging.Logging(kHLTLogDebug, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "new raw buffer %p of size %d created (container %p)", pRawBuffer->GetPointer(), pRawBuffer->GetTotalSize(), pRawBuffer);
490       } else {
491         delete pRawBuffer;
492         pRawBuffer=NULL;
493         fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "memory allocation failed");
494       } 
495     } else {
496       fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "memory allocation failed");
497     }
498   }
499 #else
500   pRawBuffer=AliHLTDataBuffer::AliHLTRawPage::GlobalAlloc(reqSize);
501   if (pRawBuffer) {
502     pRawBuffer->UseBuffer(size);
503   }
504 #endif
505   if (pRawBuffer!=NULL && fgkSafetyPatternSize>0) {
506     //fgLogging.Logging(kHLTLogDebug, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "writing safety pattern to %p offset %d", (*buffer)->GetPointer(), (*buffer)->GetUsedSize());
507     pRawBuffer->WritePattern(fgkSafetyPattern, fgkSafetyPatternSize);
508   }
509   return pRawBuffer;
510 }
511
512 int AliHLTDataBuffer::SetRawBufferDataSize(AliHLTRawBuffer* pBuffer, AliHLTUInt32_t size) const
513 {
514   // see header file for function documentation
515   int iResult=0;
516   if (!pBuffer) return -EINVAL;
517   if (size>pBuffer->GetUsedSize()) {
518     HLTError("indicated data size %d exceeds data buffer %p (%d)", size, pBuffer->GetPointer(), pBuffer->GetUsedSize());
519     return -ENOSPC;
520   }
521   if (fgkSafetyPatternSize>0) {
522     if (pBuffer->CheckPattern(fgkSafetyPattern, fgkSafetyPatternSize)) {
523       HLTError("potential memory corruption: component has written beyond end of data buffer %p size %d", pBuffer->GetPointer(), pBuffer->GetUsedSize());
524     }
525   }
526   // shrink the buffer and write new pattern at the end
527 #ifdef USE_ALIHLTRAWPAGE
528   AliHLTDataBuffer::AliHLTRawPage* rawpage=AliHLTDataBuffer::AliHLTRawPage::FindPage(pBuffer);
529   if (rawpage) {
530     pBuffer->UseBuffer(size);
531     if (rawpage->SetSize(pBuffer, size+fgkSafetyPatternSize)==0) {
532       // nothing to do
533     } else {
534       fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::SetRawBufferDataSize", "data buffer handling", "failed to set size for raw buffer %p", pBuffer);
535       iResult=-EFAULT;
536     }
537   } else {
538     fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::SetRawBufferDataSize", "data buffer handling", "can not find raw page for buffer %p", pBuffer);
539     iResult=-ENOENT;
540   }
541 #else //!USE_ALIHLTRAWPAGE
542   pBuffer->UseBuffer(size);
543 #endif //USE_ALIHLTRAWPAGE
544   if (fgkSafetyPatternSize>0) {
545     pBuffer->WritePattern(fgkSafetyPattern, fgkSafetyPatternSize);
546   }
547   return iResult;
548 }
549
550 int AliHLTDataBuffer::ReleaseRawBuffer(AliHLTRawBuffer* pBuffer)
551 {
552   // see header file for function documentation
553   int iResult=0;
554   if (pBuffer) {
555 #ifdef USE_ALIHLTRAWPAGE
556     AliHLTDataBuffer::AliHLTRawPage* rawpage=AliHLTDataBuffer::AliHLTRawPage::FindPage(pBuffer);
557     if (rawpage)
558 #else //!USE_ALIHLTRAWPAGE
559     AliHLTRawBufferPList::iterator buffer=fgActiveBuffers.begin();
560     while (buffer!=fgActiveBuffers.end() && (*buffer)!=pBuffer) {
561       buffer++;
562     }
563     if (buffer!=fgActiveBuffers.end())
564 #endif //USE_ALIHLTRAWPAGE
565     {
566       if (fgkSafetyPatternSize>0) {
567         //fgLogging.Logging(kHLTLogDebug, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "comparing safety pattern at %p offset %d", pBuffer->GetPointer(), reinterpret_cast<AliHLTUInt32_t>(pBuffer));
568         if ((pBuffer)->CheckPattern(fgkSafetyPattern, fgkSafetyPatternSize)) {
569           fgLogging.Logging(kHLTLogFatal, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "component has written beyond end of data buffer %p size %d", pBuffer->GetPointer(), pBuffer->GetUsedSize());
570         }
571       }
572       pBuffer->Reset();
573 #ifdef USE_ALIHLTRAWPAGE
574       if (rawpage->Free(pBuffer)==0) {
575       } else {
576         fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "failed to release raw buffer %p", pBuffer);
577       }
578 #else //!USE_ALIHLTRAWPAGE
579       fgFreeBuffers.push_back(pBuffer);
580       fgActiveBuffers.erase(buffer);
581 #endif //USE_ALIHLTRAWPAGE
582     } else {
583 #ifdef USE_ALIHLTRAWPAGE
584       fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "can not find raw page for buffer %p", pBuffer);
585 #else //!USE_ALIHLTRAWPAGE
586       fgLogging.Logging(kHLTLogWarning, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "can not find raw buffer container %p in the list of active containers", pBuffer);
587 #endif //USE_ALIHLTRAWPAGE
588       iResult=-ENOENT;
589     }
590   } else {
591     fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "invalid parameter");
592     iResult=-EINVAL;
593   }
594   return iResult;
595 }
596
597
598 int AliHLTDataBuffer::DeleteRawBuffers() 
599 {
600   // see header file for function documentation
601   int iResult=0;
602 #ifdef ALIHLTSYSTEM_PROFILING
603   int iTotalSize=0;
604   int iCount=fgFreeBuffers.size()+fgActiveBuffers.size();
605 #endif //ALIHLTSYSTEM_PROFILING
606   AliHLTRawBufferPList::iterator buffer;;
607   while ((buffer=fgFreeBuffers.begin())!=fgFreeBuffers.end()) {
608 #ifdef ALIHLTSYSTEM_PROFILING
609     iTotalSize+=(*buffer)->GetTotalSize();
610 #endif //ALIHLTSYSTEM_PROFILING
611     delete *buffer;
612     fgFreeBuffers.erase(buffer);
613   }
614   while ((buffer=fgActiveBuffers.begin())!=fgActiveBuffers.end()) {
615 #ifdef ALIHLTSYSTEM_PROFILING
616     iTotalSize+=(*buffer)->GetTotalSize();
617 #endif //ALIHLTSYSTEM_PROFILING
618     fgLogging.Logging(kHLTLogWarning, "AliHLTDataBuffer::DeleteRawBuffer", "data buffer handling", "request to delete active raw buffer container (raw buffer %p, size %d)", (*buffer)->GetPointer(), (*buffer)->GetTotalSize());
619     delete *buffer;
620     fgActiveBuffers.erase(buffer);
621   }
622 #ifdef ALIHLTSYSTEM_PROFILING
623   fgLogging.Logging(kHLTLogImportant, "AliHLTDataBuffer::DeleteRawBuffer", "data buffer handling", "Total memory allocation: %d byte in %d buffers", iTotalSize, iCount);
624 #endif //ALIHLTSYSTEM_PROFILING
625   return iResult;
626 }
627
628 int AliHLTDataBuffer::PrintStatistics() 
629 {
630   // see header file for function documentation
631   int iResult=0;
632 #ifdef USE_ALIHLTRAWPAGE
633   int nofPages=0;
634   AliHLTUInt32_t totalSize=0;
635   for (AliHLTDataBuffer::AliHLTRawPage* rawpage=AliHLTDataBuffer::AliHLTRawPage::NextPage(NULL);
636        rawpage!=NULL; 
637        rawpage=AliHLTDataBuffer::AliHLTRawPage::NextPage(rawpage)) {
638     nofPages++;
639     totalSize+=rawpage->Size();
640   }
641   //if (rawpage) rawpage->Print("global");
642   fgLogging.Logging(kHLTLogInfo, "AliHLTDataBuffer::PrintStatistics", "data buffer handling", "total number of memory pages: %d   total size %d", nofPages, totalSize);
643
644 #else //! USE_ALIHLTRAWPAGE
645   int iFree=0;
646   int iActive=0;
647   AliHLTRawBufferPList::iterator buffer;;
648   for (buffer=fgFreeBuffers.begin(); buffer!=fgFreeBuffers.end(); buffer++) {
649     iFree+=(*buffer)->GetTotalSize();
650   }
651   for (buffer=fgActiveBuffers.begin(); buffer!=fgActiveBuffers.end(); buffer++) {
652     iActive+=(*buffer)->GetTotalSize();
653   }
654   fgLogging.Logging(kHLTLogInfo, "AliHLTDataBuffer::PrintStatistics", "data buffer handling", "Total memory allocation: %d byte; %d free buffers (%d byte) - %d active buffers (%d byte) ", iFree+iActive, fgFreeBuffers.size(), iFree, fgActiveBuffers.size(), iActive);
655 #endif // USE_ALIHLTRAWPAGE
656   return iResult;
657 }
658
659 AliHLTConsumerDescriptor* AliHLTDataBuffer::FindConsumer(const AliHLTComponent* pConsumer, AliHLTConsumerDescriptorPList &list) const
660 {
661   // see header file for function documentation
662   AliHLTConsumerDescriptor* pDesc=NULL;
663   AliHLTConsumerDescriptorPList::iterator desc=list.begin();
664   while (desc!=list.end() && pDesc==NULL) {
665     if ((pConsumer==NULL || (*desc)->GetComponent()==pConsumer)) {
666       pDesc=*desc;
667     }
668     desc++;
669   }
670   return pDesc;
671 }
672
673 int AliHLTDataBuffer::ResetDataBuffer() 
674 {
675   // see header file for function documentation
676   int iResult=0;
677   AliHLTRawBuffer* pBuffer=fpBuffer;
678   fpBuffer=NULL;
679
680   // cleanup forwarded segment lists
681   assert(fForwardedSegments.size()==0);
682   fForwardedSegments.clear();
683   fForwardedSegmentSources.clear();
684
685   // cleanup consumer states
686   AliHLTConsumerDescriptorPList::iterator desc;
687 //   if (GetNofPendingConsumers()>0) {
688 //     desc=fConsumers.begin();
689 //     while (desc!=fConsumers.end()) {
690 //       AliHLTComponent* pComp=(*desc)->GetComponent();
691 //       HLTError("internal error: consumer %p (%s %p) did not get data from data buffer %p", *desc, pComp?pComp->GetComponentID():"", pComp, this);
692 //       desc++;
693 //     }
694 //   }
695   desc=fReleasedConsumers.begin();
696   while (desc!=fReleasedConsumers.end()) {
697     AliHLTConsumerDescriptor* pDesc=*desc;
698     fReleasedConsumers.erase(desc);
699     desc=fReleasedConsumers.begin();
700     fConsumers.push_back(pDesc);
701   }
702   desc=fActiveConsumers.begin();
703   while (desc!=fActiveConsumers.end()) {
704     AliHLTConsumerDescriptor* pDesc=*desc;
705     HLTWarning("consumer %p (%s) was not released", pDesc, pDesc->GetComponent()?pDesc->GetComponent()->GetComponentID():"### invalid component ###");
706     fActiveConsumers.erase(desc);
707     desc=fActiveConsumers.begin();
708     fConsumers.push_back(pDesc);
709   }
710
711   // cleanup segments
712   AliHLTDataSegmentList::iterator segment=fSegments.begin();
713   while (segment!=fSegments.end()) {
714     fSegments.erase(segment);
715     segment=fSegments.begin();
716   }
717
718   // cleanup raw buffer
719   if (pBuffer) {
720     ReleaseRawBuffer(pBuffer);
721   }
722   return iResult;
723 }
724
725 int AliHLTDataBuffer::Reset()
726 {
727   // see header file for function documentation
728   return ResetDataBuffer();
729 }
730
731 // this is the version which works on lists of components instead of consumer descriptors
732 // int AliHLTDataBuffer::ChangeConsumerState(AliHLTComponent* pConsumer, AliHLTComponentPList &srcList, AliHLTComponentPList &tgtList)
733 // {
734 //   int iResult=0;
735 //   if (pDesc) {
736 //     AliHLTComponentPList::iterator desc=srcList.begin();
737 //     while (desc!=srcList.end()) {
738 //       if ((*desc)==pConsumer) {
739 //      srcList.erase(desc);
740 //      tgtList.push_back(pConsumer);
741 //      break;
742 //       }
743 //      desc++;
744 //     }
745 //     if (desc==srcList.end()) {
746 //       HLTError("can not find consumer component %p in list", pConsumer);
747 //       iResult=-ENOENT;
748 //     }
749 //   } else {
750 //     HLTError("invalid parameter");
751 //     iResult=-EINVAL;
752 //   }
753 //   return iResult;
754 // }
755
756 int AliHLTDataBuffer::ChangeConsumerState(AliHLTConsumerDescriptor* pDesc, AliHLTConsumerDescriptorPList &srcList, AliHLTConsumerDescriptorPList &tgtList)
757 {
758   // see header file for function documentation
759   int iResult=-ENOENT;
760   if (pDesc) {
761     AliHLTConsumerDescriptorPList::iterator desc=srcList.begin();
762     while (desc!=srcList.end()) {
763       if ((*desc)==pDesc) {
764         srcList.erase(desc);
765         tgtList.push_back(pDesc);
766         iResult=0;
767         break;
768       }
769       desc++;
770     }
771     if (iResult<0) {
772       HLTError("can not find consumer descriptor %p in list", pDesc);
773     }
774   } else {
775     HLTError("invalid parameter");
776     iResult=-EINVAL;
777   }
778   return iResult;
779 }
780
781 int AliHLTDataBuffer::CleanupConsumerList() 
782 {
783   // see header file for function documentation
784   int iResult=0;
785   ResetDataBuffer();
786   AliHLTConsumerDescriptorPList::iterator desc=fConsumers.begin();
787   while (desc!=fConsumers.end()) {
788     delete *desc;
789     fConsumers.erase(desc);
790     desc=fConsumers.begin();
791   }
792   return iResult;
793 }
794
795 int AliHLTDataBuffer::FindConsumer(const AliHLTComponent* pConsumer, int bAllLists)
796 {
797   // see header file for function documentation
798   AliHLTConsumerDescriptorPList::iterator desc=fConsumers.begin();
799   while (desc!=fConsumers.end()) {
800     if ((*desc)->GetComponent()==pConsumer)
801       return 1;
802     desc++;
803   }
804   if (bAllLists==0) return 0;
805
806   desc=fActiveConsumers.begin();
807   while (desc!=fActiveConsumers.end()) {
808     if ((*desc)->GetComponent()==pConsumer)
809       return 1;
810     desc++;
811   }
812   desc=fReleasedConsumers.begin();
813   while (desc!=fReleasedConsumers.end()) {
814     if ((*desc)->GetComponent()==pConsumer)
815       return 1;
816     desc++;
817   }
818   return 0;
819 }
820
821 AliHLTDataBuffer::AliHLTRawBuffer::AliHLTRawBuffer(AliHLTUInt32_t size)
822   : fSize(0)
823   , fTotalSize(size)
824   , fExternalPtr(NULL)
825   , fPtr(static_cast<AliHLTUInt8_t*>(malloc(size)))
826   , fLastEventCount(0)
827 {
828   // see header file for class documentation
829   // or
830   // refer to README to build package
831   // or
832   // visit http://web.ift.uib.no/~kjeks/doc/alice-hlt
833   if (fPtr==NULL) {
834     fSize=0;
835     fTotalSize=0;
836   }
837 }
838
839 AliHLTDataBuffer::AliHLTRawBuffer::AliHLTRawBuffer(AliHLTUInt32_t size, AliHLTUInt8_t* buffer)
840   : fSize(0)
841   , fTotalSize(size)
842   , fExternalPtr(buffer)
843   , fPtr(fExternalPtr)
844   , fLastEventCount(0)
845 {
846   // see header file for class documentation
847 }
848
849 AliHLTDataBuffer::AliHLTRawBuffer::~AliHLTRawBuffer()
850 {
851   // see header file for class documentation
852   if (fExternalPtr==NULL && fPtr) {
853     free(fPtr);
854   }
855   fPtr=NULL;
856   fSize=0;
857   fTotalSize=0;
858 }
859
860 int AliHLTDataBuffer::AliHLTRawBuffer::operator==(void* ptr) const
861 {
862   // see header file for function documentation
863   return fPtr == static_cast<AliHLTUInt8_t*>(ptr);
864 }
865
866 int AliHLTDataBuffer::AliHLTRawBuffer::operator<(void* ptr) const
867 {
868   // see header file for function documentation
869   int iResult=fPtr < static_cast<AliHLTUInt8_t*>(ptr);
870   //printf("%p: %p <= %p (%d)\n", this, fPtr, ptr, iResult);
871   return iResult;
872 }
873
874 int AliHLTDataBuffer::AliHLTRawBuffer::operator<=(void* ptr) const
875 {
876   // see header file for function documentation
877   int iResult=fPtr <= static_cast<AliHLTUInt8_t*>(ptr);
878   //printf("%p: %p <= %p (%d)\n", this, fPtr, ptr, iResult);
879   return iResult;
880 }
881
882 int AliHLTDataBuffer::AliHLTRawBuffer::operator>(void* ptr) const
883 {
884   // see header file for function documentation
885   int iResult=fPtr+fSize > static_cast<AliHLTUInt8_t*>(ptr);
886   //printf("%p: %p + %d > %p (%d)\n", this, fPtr, fSize, ptr, iResult);
887   return iResult;
888 }
889
890 int AliHLTDataBuffer::AliHLTRawBuffer::operator-(void* ptr) const
891 {
892   // see header file for function documentation
893   return static_cast<int>(static_cast<AliHLTUInt8_t*>(ptr)-fPtr);
894 }
895
896 int AliHLTDataBuffer::AliHLTRawBuffer::operator<(const AliHLTRawBuffer& op) const
897 {
898   // see header file for function documentation
899   return (fPtr+fSize < op.fPtr);
900 }
901
902 int AliHLTDataBuffer::AliHLTRawBuffer::operator<=(const AliHLTRawBuffer& op) const
903 {
904   // see header file for function documentation
905   return (fPtr+fSize <= op.fPtr);
906 }
907
908 int AliHLTDataBuffer::AliHLTRawBuffer::operator>(const AliHLTRawBuffer& op) const
909 {
910   // see header file for function documentation
911   return (fPtr >= op.fPtr+op.fSize);
912 }
913
914 AliHLTUInt8_t* AliHLTDataBuffer::AliHLTRawBuffer::UseBuffer(AliHLTUInt32_t size)
915 {
916   // mark a portion of the buffer as used
917   if (size>0 && fTotalSize>=size) {
918     fSize=size;
919     fLastEventCount=AliHLTDataBuffer::fgEventCount;
920     return fPtr;
921   }
922   return NULL;
923 }
924
925 AliHLTDataBuffer::AliHLTRawBuffer* AliHLTDataBuffer::AliHLTRawBuffer::Split(AliHLTUInt32_t size)
926 {
927   // split a buffer at specified size
928   // only possible for buffers with external memory
929   if (fTotalSize>size && 
930       (fSize==0 || fSize<=size) &&
931       fExternalPtr!=NULL) {
932     AliHLTRawBuffer* part2=new AliHLTRawBuffer(fTotalSize-size, fPtr+size);
933     if (part2) {
934       fTotalSize=size;
935     }
936     return part2;
937   } else {
938     cout << "can not split fTotalSize=" << fTotalSize << "  fSize=" << fSize << "  at size=" << size << endl; 
939   }
940   return NULL;
941 }
942
943 int AliHLTDataBuffer::AliHLTRawBuffer::CheckSize(AliHLTUInt32_t size) const
944 {
945   // see header file for function documentation
946   if (fTotalSize<size) return 0;
947   unsigned adjust=0;
948   if (fLastEventCount+1<AliHLTDataBuffer::fgEventCount) {
949     adjust=AliHLTDataBuffer::fgEventCount-fLastEventCount;
950   }
951   return (adjust>2) || ((fTotalSize-size)<(fgMargin<<adjust));
952 }
953
954 int AliHLTDataBuffer::AliHLTRawBuffer::Reset()
955 {
956   // see header file for function documentation
957   fSize=0;
958   return 0;
959 }
960
961 int AliHLTDataBuffer::AliHLTRawBuffer::WritePattern(const char* pattern, int size)
962 {
963   // see header file for function documentation
964   int iResult=0;
965   if (pattern!=NULL && size>0) {
966     if (fSize+size<=fTotalSize) {
967       memcpy(((char*)fPtr)+fSize, pattern, size);
968       iResult=size;
969     } else {
970       iResult=-ENOSPC;
971     }
972   }
973   return iResult;
974 }
975
976 int AliHLTDataBuffer::AliHLTRawBuffer::CheckPattern(const char* pattern, int size) const
977 {
978   // see header file for function documentation
979   int iResult=0;
980   if (pattern!=NULL && size>0) {
981     if (fSize+size<=fTotalSize) {
982       iResult=memcmp(((char*)fPtr)+fSize, pattern, size)!=0;
983     } else {
984       iResult=-ENOSPC;
985     }
986   }
987   return iResult;
988 }
989
990 int AliHLTDataBuffer::AliHLTRawBuffer::Merge(const AliHLTDataBuffer::AliHLTRawBuffer& neighbor)
991 {
992   // Merge buffer with neighboring buffer.
993   // Only possible if the buffers are consecutive with out any gap.
994
995   if (!fExternalPtr || !neighbor.fExternalPtr) return -EPERM;
996
997   if (neighbor.fTotalSize==0 &&
998       fPtr < neighbor.fPtr &&
999       fPtr+fTotalSize > neighbor.fPtr) {
1000     // special case for a buffer of zero size embedded into this buffer
1001     // nothing to do
1002     return 0;
1003   }
1004   if (fTotalSize==0 &&
1005       neighbor.fPtr < fPtr &&
1006       neighbor.fPtr+neighbor.fTotalSize > fPtr) {
1007     // special case for this buffer of size zero embedded into another buffer
1008     fPtr=neighbor.fPtr;
1009     fExternalPtr=fPtr;
1010     fTotalSize+=neighbor.fTotalSize;
1011     fSize=0;
1012     return 0;
1013   }
1014   if (fPtr+fTotalSize == neighbor.fPtr) {
1015     fTotalSize+=neighbor.fTotalSize;
1016     fSize=0;
1017     return 0;
1018   }
1019   if (fPtr == neighbor.fPtr+neighbor.fTotalSize) {
1020     fPtr=neighbor.fPtr;
1021     fExternalPtr=fPtr;
1022     fTotalSize+=neighbor.fTotalSize;
1023     fSize=0;
1024     return 0;
1025   }
1026   return -EINVAL;
1027 }
1028
1029 void AliHLTDataBuffer::AliHLTRawBuffer::Print(const char* option)
1030 {
1031   /// print buffer information
1032   if (strcmp(option, "min")!=0) {
1033     cout << "************* AliHLTRawBuffer status ***********" << endl;
1034   }
1035   printf("  %p: buffer %p%s size %d used %d\n", this, fPtr, fExternalPtr?" (external)":"", fTotalSize, fSize); fflush(stdout);
1036 }
1037
1038 AliHLTDataBuffer::AliHLTRawPage::AliHLTRawPage(AliHLTUInt32_t pagesize)
1039   : fSize(pagesize)
1040   , fPtr(static_cast<AliHLTUInt8_t*>(malloc(pagesize)))
1041   , fFreeBuffers()
1042   , fUsedBuffers()
1043 {
1044   // constructor
1045   if (fPtr) {
1046     fFreeBuffers.push_back(new AliHLTRawBuffer(fSize, fPtr));
1047   } else {
1048     fSize=0;
1049   }
1050 }
1051
1052 AliHLTDataBuffer::AliHLTRawPage::~AliHLTRawPage()
1053 {
1054   // destructor
1055   if (IsUsed()) {
1056     // do not free if the resources have not been completely freed
1057     HLTError("memory mismatch: not all allocated intances have been released");
1058   } else {
1059     if (IsFragmented()) {
1060       HLTWarning("page still fragmented");
1061     }
1062     AliHLTRawBufferPList::iterator element=fFreeBuffers.begin();
1063     while (element!=fFreeBuffers.end()) {
1064       if (*element) delete *element;
1065       element=fFreeBuffers.erase(element);
1066     }
1067     if (fPtr) {
1068       free(fPtr);
1069     }
1070     fPtr=NULL;
1071     fSize=0;
1072   }
1073 }
1074
1075 AliHLTDataBuffer::AliHLTRawBuffer* AliHLTDataBuffer::AliHLTRawPage::Alloc(AliHLTUInt32_t size)
1076 {
1077   /// alloc a buffer of specified size
1078   if (fFreeBuffers.size()==0) return NULL;
1079   
1080   for (AliHLTRawBufferPList::iterator iter=fFreeBuffers.begin();
1081        iter!=fFreeBuffers.end();
1082        iter++) {
1083     if ((*iter)->GetTotalSize()==size) {
1084       AliHLTRawBuffer* thisbuffer=*iter;
1085       fFreeBuffers.erase(iter);
1086       fUsedBuffers.push_back(thisbuffer);
1087       return thisbuffer;
1088     } else if ((*iter)->GetTotalSize()>size) {
1089       AliHLTRawBuffer* thisbuffer=*iter;
1090       AliHLTRawBuffer* newbuffer=thisbuffer->Split(size);
1091       if (newbuffer) {
1092         *iter=newbuffer;
1093         fUsedBuffers.push_back(thisbuffer);
1094         return thisbuffer;
1095       } else {
1096         HLTWarning("failed to alloc raw buffer: cannot split raw buffer %p of size %d (used %d) at size %d", *iter, (*iter)->GetTotalSize(), (*iter)->GetUsedSize(), size);
1097       }
1098     }
1099   }
1100   return NULL;
1101 }
1102
1103 int AliHLTDataBuffer::AliHLTRawPage::Free(AliHLTRawBuffer* pBuffer)
1104 {
1105   /// free a buffer and merge consecutive free buffers
1106   int iResult=0;
1107   for (AliHLTRawBufferPList::iterator iter=fUsedBuffers.begin();
1108        iter!=fUsedBuffers.end() && iResult>=0;
1109        iter++) {
1110     if ((*iter)==pBuffer) {
1111       fUsedBuffers.erase(iter);
1112       AliHLTRawBufferPList::iterator prev=fFreeBuffers.begin();
1113       for (; prev!=fFreeBuffers.end() && iResult>=0; prev++) {
1114         if ((*pBuffer)<(*(*prev)) ||
1115             ((*prev)->GetTotalSize()==0 && pBuffer->GetPointer()<=(*prev)->GetPointer() && (*prev)->GetPointer()<=pBuffer->GetPointer()+pBuffer->GetTotalSize())) {
1116           // check consecutive buffers
1117           if ((*(*prev)) == (pBuffer->GetPointer()+pBuffer->GetTotalSize()) ||
1118               ((*prev)->GetTotalSize()==0 && pBuffer->GetPointer()<=(*prev)->GetPointer() && (*prev)->GetPointer()<=pBuffer->GetPointer()+pBuffer->GetTotalSize())) {
1119             // the buffer to be released has a consecutive free buffer -> merge them
1120             if ((iResult=pBuffer->Merge(*(*prev)))>=0) {
1121               delete *prev;
1122               *prev=pBuffer;
1123             } else {
1124               HLTError("failed to merge consecutive/overlapping buffers %p and %p", pBuffer, (*prev));
1125               pBuffer->Print("");
1126               (*prev)->Print("");
1127             }
1128             break;
1129           }
1130           fFreeBuffers.insert(prev, pBuffer);
1131           break;
1132         }
1133         if ((*pBuffer)>(*(*prev)) ||
1134             (pBuffer->GetTotalSize()==0 && (*prev)->GetPointer()<=pBuffer->GetPointer() && pBuffer->GetPointer()<=(*prev)->GetPointer()+(*prev)->GetTotalSize())) {
1135           // check consecutive buffers
1136           if ((*pBuffer) == ((*prev)->GetPointer()+(*prev)->GetTotalSize())||
1137               (pBuffer->GetTotalSize()==0 && (*prev)->GetPointer()<=pBuffer->GetPointer() && pBuffer->GetPointer()<=(*prev)->GetPointer()+(*prev)->GetTotalSize())) {
1138             // the buffer to be released is consecutive to a free buffer -> merge them
1139             if ((iResult=pBuffer->Merge(*(*prev)))>=0) {
1140               AliHLTRawBufferPList::iterator succ=prev+1;
1141               delete *prev;
1142               *prev=pBuffer;
1143               // check if the buffer and the following one are consecutive
1144               if (succ!=fFreeBuffers.end() &&
1145                   (*(*succ)) == (pBuffer->GetPointer()+pBuffer->GetTotalSize())) {
1146                 if ((iResult=pBuffer->Merge(*(*succ)))>=0) {
1147                   delete *succ;
1148                   fFreeBuffers.erase(succ);
1149                 }
1150               }
1151             }
1152             break;
1153           }
1154         }
1155       }
1156       if (prev==fFreeBuffers.end()) {
1157         fFreeBuffers.push_back(pBuffer);
1158       }
1159
1160       // merge consecutive free buffers
1161       prev=fFreeBuffers.begin();
1162       for (AliHLTRawBufferPList::iterator current=prev+1; current!=fFreeBuffers.end() && iResult>=0; ) {
1163         // check if the buffer is embedded into the previous one
1164         if ((*current)->GetTotalSize()==0 && (*prev)->GetPointer()<=(*current)->GetPointer() && (*current)->GetPointer()<(*prev)->GetPointer()+(*prev)->GetTotalSize())  {
1165           if ((iResult=(*prev)->Merge(*(*current)))>=0) {
1166             current=fFreeBuffers.erase(current);
1167             continue;
1168           } else {
1169             HLTError("failed to merge embedded zero length buffer into preceeding buffer");
1170             Print("");
1171           }
1172         }
1173         // check if the buffer is consecutive to the previous one
1174         if ((*(*current)) == ((*prev)->GetPointer()+(*prev)->GetTotalSize())) {
1175           if ((iResult=(*prev)->Merge(*(*current)))>=0) {
1176             current=fFreeBuffers.erase(current);
1177             continue;
1178           } else {
1179             HLTError("failed to merge consecutive free buffers");
1180             Print("");
1181           }
1182         }
1183         prev=current++;
1184       }
1185
1186       // buffer was part of this page
1187       return 0;
1188     }
1189   }
1190   // buffer not found in this page
1191   return 1;
1192 }
1193
1194 int AliHLTDataBuffer::AliHLTRawPage::SetSize(const AliHLTDataBuffer::AliHLTRawBuffer* pBuffer, AliHLTUInt32_t size)
1195 {
1196   /// set the size of a raw buffer and release the remaining part
1197   int iResult=0;
1198   for (AliHLTRawBufferPList::iterator iter=fUsedBuffers.begin();
1199        iter!=fUsedBuffers.end() && iResult>=0;
1200        iter++) {
1201     if ((*iter)==pBuffer) {      // buffer was part of this page
1202       if ((*iter)->GetTotalSize()==size) return 0;
1203       if ((*iter)->GetTotalSize()<size) {
1204         HLTError("%d exceeds total size of buffer %p (%d used %d)\n", size, *iter, (*iter)->GetTotalSize(), (*iter)->GetUsedSize());
1205         return -ENOSPC;
1206       }
1207       AliHLTDataBuffer::AliHLTRawBuffer* freespace=(*iter)->Split(size);
1208       if (freespace) {
1209         fUsedBuffers.push_back(freespace);
1210         Free(freespace);
1211       } else {
1212         HLTWarning("failed to relase unused memory: cannot split raw buffer %p of size %d (used %d) at size %d", *iter, (*iter)->GetTotalSize(), (*iter)->GetUsedSize(), size);
1213       }
1214       return 0;
1215     }
1216   }
1217   // buffer not found in this page
1218   return 1;
1219 }
1220
1221 bool AliHLTDataBuffer::AliHLTRawPage::HasBuffer(const AliHLTDataBuffer::AliHLTRawBuffer* pBuffer)
1222 {
1223   /// check if the buffer is in this page
1224   for (AliHLTRawBufferPList::iterator iter=fUsedBuffers.begin();
1225        iter!=fUsedBuffers.end();
1226        iter++) {
1227     if ((*iter)==pBuffer) {      // buffer was part of this page
1228       return true;
1229     }
1230   }
1231   // buffer not found in this page
1232   return false;
1233 }
1234
1235 AliHLTUInt32_t AliHLTDataBuffer::AliHLTRawPage::Capacity() const 
1236 {
1237   /// get max available contiguous buffer
1238   AliHLTUInt32_t capacity=0;
1239   for (unsigned i=0; i<fFreeBuffers.size(); i++) {
1240     if (fFreeBuffers[i]->GetTotalSize()>capacity) 
1241       capacity=fFreeBuffers[i]->GetTotalSize();
1242   }
1243   return capacity;
1244 }
1245
1246 void AliHLTDataBuffer::AliHLTRawPage::Print(const char* option)
1247 {
1248   /// print page information
1249   if (strcmp(option, "global")==0) {
1250     cout << "number of global pages: " << fgGlobalPages.size() << endl;
1251     for (AliHLTRawPage* rawpage=NextPage(NULL);
1252          rawpage!=NULL; 
1253          rawpage=NextPage(rawpage)) {
1254       rawpage->Print("");
1255     }
1256     return;
1257   }
1258   cout << "************* AliHLTRawPage status ***********" << endl;
1259   cout << "  instance " << this << endl;
1260   printf("  buffer %p  size %d", fPtr, fSize);
1261   cout << "  used buffers: " << fUsedBuffers.size() << endl;
1262   AliHLTRawBufferPList::iterator iter=fUsedBuffers.begin();
1263   for (; iter!=fUsedBuffers.end(); iter++) {
1264     cout << "  "; (*iter)->Print("min");
1265   }
1266   cout << "  free buffers: " << fFreeBuffers.size() << endl;
1267   iter=fFreeBuffers.begin();
1268   for (; iter!=fFreeBuffers.end(); iter++) {
1269     cout << "  "; (*iter)->Print("min");
1270   }
1271 }
1272
1273
1274 vector<AliHLTDataBuffer::AliHLTRawPage*> AliHLTDataBuffer::AliHLTRawPage::fgGlobalPages;
1275
1276 AliHLTUInt32_t AliHLTDataBuffer::AliHLTRawPage::fgGlobalPageSize=1024*1024*10;
1277
1278 AliHLTDataBuffer::AliHLTRawBuffer* AliHLTDataBuffer::AliHLTRawPage::GlobalAlloc(AliHLTUInt32_t size, int verbosity)
1279 {
1280   // alloc a buffer of specified size from the global pages
1281   AliHLTDataBuffer::AliHLTRawBuffer* rawbuffer=NULL;
1282   vector<AliHLTDataBuffer::AliHLTRawPage*>::iterator page=fgGlobalPages.begin();
1283   AliHLTLogging log;
1284   for (page=fgGlobalPages.begin();page!=fgGlobalPages.end(); page++) {
1285     if ((rawbuffer=(*page)->Alloc(size))!=NULL) {
1286       if (verbosity>1) {
1287         log.Logging(kHLTLogInfo, "AliHLTDataBuffer::AliHLTRawPage::GlobalAlloc", "data buffer handling", "allocated raw buffer %p from page %p\n", rawbuffer, *page);
1288         rawbuffer->Print("min");
1289       }
1290       break;
1291     }
1292   }
1293   if (!rawbuffer) {
1294     AliHLTUInt32_t rawPageSize=fgGlobalPageSize;
1295     if (rawPageSize<size) {
1296       if (rawPageSize*10<size ||
1297           rawPageSize*10>1024*1024*1024) {
1298         log.Logging(kHLTLogError, "AliHLTDataBuffer::AliHLTRawPage::GlobalAlloc", "data buffer handling", "refusing to allocate buffer of size", size);
1299         return NULL;
1300       }
1301       rawPageSize=size;
1302     }
1303     AliHLTDataBuffer::AliHLTRawPage* rawpage=new AliHLTDataBuffer::AliHLTRawPage(rawPageSize);
1304     if (!rawpage) {
1305       log.Logging(kHLTLogError, "AliHLTDataBuffer::AliHLTRawPage::GlobalAlloc", "data buffer handling", "can not create raw page");
1306       return NULL;
1307     }
1308     fgGlobalPages.push_back(rawpage);
1309     if ((rawbuffer=rawpage->Alloc(size))!=NULL) {
1310       if (verbosity>1) {
1311         log.Logging(kHLTLogInfo, "AliHLTDataBuffer::AliHLTRawPage::GlobalAlloc", "data buffer handling", "allocated raw buffer %p from page %p\n", rawbuffer, rawpage);
1312         rawbuffer->Print("min");
1313       }
1314     }
1315   }
1316
1317   return rawbuffer;
1318 }
1319
1320 AliHLTDataBuffer::AliHLTRawPage* AliHLTDataBuffer::AliHLTRawPage::FindPage(AliHLTDataBuffer::AliHLTRawBuffer* buffer)
1321 {
1322   // find buffer in the global pages
1323   vector<AliHLTDataBuffer::AliHLTRawPage*>::iterator page=fgGlobalPages.begin();
1324   for (; page!=fgGlobalPages.end(); page++) {
1325     if ((*page)->HasBuffer(buffer)) {
1326       return *page;
1327     }
1328   }
1329
1330   return NULL;
1331 }
1332
1333 int AliHLTDataBuffer::AliHLTRawPage::GlobalClean()
1334 {
1335   // cleanup the global pages */
1336   vector<AliHLTDataBuffer::AliHLTRawPage*>::iterator page=fgGlobalPages.begin();
1337   while (page!=fgGlobalPages.end()) {
1338     if (!(*page)->IsUsed()) {
1339       delete *page;
1340       page=fgGlobalPages.erase(page);
1341       continue;
1342     }
1343     AliHLTLogging log;
1344     log.Logging(kHLTLogError, "AliHLTDataBuffer::AliHLTRawPage::GlobalClean", "data buffer handling", "HLT memory page still in use, skipping cleanup, potential memory leak");
1345     
1346     page++;
1347   }
1348   
1349   return 0;
1350 }
1351
1352 AliHLTDataBuffer::AliHLTRawPage* AliHLTDataBuffer::AliHLTRawPage::NextPage(const AliHLTDataBuffer::AliHLTRawPage* prev)
1353 {
1354   // get next global page
1355   vector<AliHLTDataBuffer::AliHLTRawPage*>::iterator page=fgGlobalPages.begin();
1356   for (; page!=fgGlobalPages.end(); page++) {
1357     if (prev==NULL) return *page;
1358     if (*page!=prev) continue;
1359     if (++page!=fgGlobalPages.end()) return *page;
1360     break;
1361   }
1362   return NULL;
1363 }