HLT/BASE/AliHLTDataBuffer.cxx

   1 // $Id$
   2
   3 //**************************************************************************
   4 //* This file is property of and copyright by the ALICE HLT Project        *
   5 //* ALICE Experiment at CERN, All rights reserved.                         *
   6 //*                                                                        *
   7 //* Primary Authors: Matthias Richter <Matthias.Richter@ift.uib.no>        *
   8 //*                  for The ALICE HLT Project.                            *
   9 //*                                                                        *
  10 //* Permission to use, copy, modify and distribute this software and its   *
  11 //* documentation strictly for non-commercial purposes is hereby granted   *
  12 //* without fee, provided that the above copyright notice appears in all   *
  13 //* copies and that both the copyright notice and this permission notice   *
  14 //* appear in the supporting documentation. The authors make no claims     *
  15 //* about the suitability of this software for any purpose. It is          *
  16 //* provided "as is" without express or implied warranty.                  *
  17 //**************************************************************************
  18
  19 /** @file   AliHLTDataBuffer.cxx
  20     @author Matthias Richter
  21     @date
  22     @brief  Handling of Data Buffers for HLT components.
  23 */
  24
  25 #if __GNUC__>= 3
  26 using namespace std;
  27 #endif
  28
  29 #include "AliHLTDataBuffer.h"
  30 #include "AliHLTConsumerDescriptor.h"
  31 #include "AliHLTComponent.h"
  32 #include "AliHLTTask.h"
  33 #include <cerrno>
  34 #include <cassert>
  35 //#include <string>
  36 //#include "AliHLTSystem.h"
  37
  38 typedef vector<AliHLTDataBuffer::AliHLTDataSegment> AliHLTDataSegmentList;
  39 typedef vector<AliHLTDataBuffer::AliHLTRawBuffer*>  AliHLTRawBufferPList;
  40
  41 /** ROOT macro for the implementation of ROOT specific class methods */
  42 ClassImp(AliHLTDataBuffer)
  43
  44 AliHLTDataBuffer::AliHLTDataBuffer()
  45   :
  46   fSegments(),
  47   fConsumers(),
  48   fActiveConsumers(),
  49   fReleasedConsumers(),
  50   fpBuffer(NULL),
  51   fFlags(0),
  52   fForwardedSegmentSources(),
  53   fForwardedSegments()
  54 {
  55   // see header file for class documentation
  56   // or
  57   // refer to README to build package
  58   // or
  59   // visit http://web.ift.uib.no/~kjeks/doc/alice-hlt
  60   fSegments.empty();
  61   fConsumers.empty();
  62   fActiveConsumers.empty();
  63   fReleasedConsumers.empty();
  64   fgNofInstances++;
  65 }
  66
  67 int AliHLTDataBuffer::fgNofInstances=0;
  68 AliHLTRawBufferPList AliHLTDataBuffer::fgFreeBuffers;
  69 AliHLTRawBufferPList AliHLTDataBuffer::fgActiveBuffers;
  70 AliHLTUInt32_t AliHLTDataBuffer::fgMargin=1024;
  71 AliHLTLogging AliHLTDataBuffer::fgLogging;
  72 const Int_t AliHLTDataBuffer::fgkSafetyPatternSize=16;
  73 const char AliHLTDataBuffer::fgkSafetyPattern[]={0x28, 0x63, 0x29, 0x4d, 0x52, 0x49, 0x43, 0x48, 0x54, 0x45, 0x52, 0x20, 0x32, 0x30, 0x30, 0x37};
  74
  75 AliHLTDataBuffer::~AliHLTDataBuffer()
  76 {
  77   // see header file for function documentation
  78   if (--fgNofInstances<=0) {
  79     DeleteRawBuffers();
  80   }
  81   CleanupConsumerList();
  82 }
  83
  84 int AliHLTDataBuffer::SetConsumer(AliHLTComponent* pConsumer)
  85 {
  86   // see header file for function documentation
  87   int iResult=0;
  88   if (pConsumer) {
  89     if (FindConsumer(pConsumer)) {
  90       HLTWarning("consumer %s (%p) already set to data buffer %p", pConsumer->GetComponentID(), pConsumer, this);
  91     }
  92     AliHLTConsumerDescriptor* pDesc=new AliHLTConsumerDescriptor(pConsumer);
  93     if (pDesc) {
  94       fConsumers.push_back(pDesc);
  95       HLTDebug("set consumer %s (%p) to data buffer %p", pConsumer->GetComponentID(), pConsumer, this);
  96     } else {
  97       HLTError("memory allocation failed");
  98       iResult=-ENOMEM;
  99     }
 100   } else {
 101     HLTError("invalid parameter: consumer component (nil)");
 102     iResult=-EINVAL;
 103   }
 104   return iResult;
 105 }
 106
 107 int AliHLTDataBuffer::FindMatchingDataBlocks(const AliHLTComponent* pConsumer, AliHLTComponentDataTypeList* tgtList)
 108 {
 109   // see header file for function documentation
 110   int iResult=0;
 111   if (pConsumer) {
 112     AliHLTDataSegmentList segments;
 113     if ((iResult=FindMatchingDataSegments(pConsumer, segments))>=0) {
 114       if (tgtList) {
 115         AliHLTDataSegmentList::iterator segment=segments.begin();
 116         while (segment!=segments.end()) {
 117           tgtList->push_back((*segment).fDataType);
 118           segment++;
 119         }
 120       }
 121       iResult=segments.size();
 122     }
 123   } else {
 124     iResult=-EINVAL;
 125   }
 126   return iResult;
 127 }
 128
 129 int AliHLTDataBuffer::FindMatchingDataSegments(const AliHLTComponent* pConsumer, vector<AliHLTDataBuffer::AliHLTDataSegment>& tgtList)
 130 {
 131   // see header file for function documentation
 132   int iResult=0;
 133
 134   // Matthias 26.09.2007 relax the restriction to matching data blocks
 135   // all blocks are passed to the consumer, which is the policy also in
 136   // PubSub
 137   tgtList.assign(fSegments.begin(), fSegments.end());
 138
 139   // add all forwarded blocks
 140   tgtList.insert(tgtList.begin(), fForwardedSegments.begin(), fForwardedSegments.end());
 141   iResult=tgtList.size();
 142   return iResult;
 143
 144   if (pConsumer) {
 145     AliHLTComponentDataTypeList dtlist;
 146     ((AliHLTComponent*)pConsumer)->GetInputDataTypes(dtlist);
 147     AliHLTDataSegmentList::iterator segment=fSegments.begin();
 148     while (segment!=fSegments.end()) {
 149       AliHLTComponentDataTypeList::iterator type=dtlist.begin();
 150       while (type!=dtlist.end()) {
 151         if ((*segment).fDataType==(*type)) {
 152           tgtList.push_back(*segment);
 153           iResult++;
 154           break;
 155         }
 156         type++;
 157       }
 158       segment++;
 159     }
 160   } else {
 161     iResult=-EINVAL;
 162   }
 163   return iResult;
 164 }
 165
 166 int AliHLTDataBuffer::Subscribe(const AliHLTComponent* pConsumer, AliHLTComponentBlockDataList& blockDescList)
 167 {
 168   // see header file for function documentation
 169   int iResult=0;
 170   if (pConsumer) {
 171     if (1/*fpBuffer*/) {
 172       AliHLTConsumerDescriptor* pDesc=FindConsumer(pConsumer, fConsumers);
 173       if (pDesc) {
 174         AliHLTDataSegmentList tgtList;
 175         // Matthias 26.07.2007 AliHLTSystem should behave the same way as PubSub
 176         // so it does not matter if there are matching data types or not, unless
 177         // we implement such a check in PubSub
 178         if ((iResult=FindMatchingDataSegments(pConsumer, tgtList))>=0) {
 179           AliHLTDataSegmentList::iterator segment=tgtList.begin();
 180           while (segment!=tgtList.end()) {
 181             // fill the block data descriptor
 182             AliHLTComponentBlockData bd;
 183             AliHLTComponent::FillBlockData(bd);
 184             // This models the behavior of PubSub.
 185             // For incoming data blocks, fOffset must be ignored by the
 186             // processing component. It is set for bookkeeping in the framework.
 187             // fPtr always points to the beginning of the data.
 188             bd.fOffset=0;
 189             AliHLTUInt8_t* pTgt=*segment;
 190             bd.fPtr=reinterpret_cast<void*>(pTgt);
 191             bd.fSize=(*segment).fSegmentSize;
 192             bd.fDataType=(*segment).fDataType;
 193             bd.fSpecification=(*segment).fSpecification;
 194             blockDescList.push_back(bd);
 195             pDesc->SetActiveDataSegment(*segment);
 196             HLTDebug("component %p (%s) subscribed to segment offset %d size %d data type %s %#x",
 197                      pConsumer, ((AliHLTComponent*)pConsumer)->GetComponentID(), bd.fOffset,
 198                      bd.fSize, (AliHLTComponent::DataType2Text(bd.fDataType)).c_str(),
 199                      bd.fSpecification);
 200             segment++;
 201           }
 202           // move this consumer to the active list
 203           if (tgtList.size()==0) {
 204             ChangeConsumerState(pDesc, fConsumers, fReleasedConsumers);
 205             HLTDebug("no input data for component %p (%s) available", pConsumer, ((AliHLTComponent*)pConsumer)->GetComponentID());
 206           } else if (ChangeConsumerState(pDesc, fConsumers, fActiveConsumers)>=0) {
 207             HLTDebug("component %p (%s) subscribed to data buffer %p", pConsumer, ((AliHLTComponent*)pConsumer)->GetComponentID(), this);
 208           } else {
 209             // TODO: cleanup the consumer descriptor correctly
 210             segment=tgtList.begin();
 211             while (segment!=tgtList.end()) {
 212               blockDescList.pop_back();
 213               segment++;
 214             }
 215             HLTError("can not activate consumer %p for data buffer %p", pConsumer, this);
 216             iResult=-EACCES;
 217           }
 218         } else {
 219           HLTError("unresolved data segment(s) for component %p (%s)", pConsumer, ((AliHLTComponent*)pConsumer)->GetComponentID());
 220           iResult=-EBADF;
 221         }
 222       } else {
 223         if (!FindConsumer(pConsumer)) {
 224           HLTError("component %p is not a data consumer of data buffer %p", pConsumer, this);
 225         } else {
 226           HLTError("component %p is a valid data consumer of data buffer %p, but did not release it's buffer subscription", pConsumer, this);
 227         }
 228         iResult=-ENOENT;
 229       }
 230     } else {
 231       // Matthias 26.07.2007 until now, data had to be present for successful subscription
 232       // in order to be consistent with the PubSub framework, this restiction has been
 233       // removed
 234       //HLTError("data buffer %p is empty", this);
 235       //iResult=-ENODATA;
 236     }
 237   } else {
 238     HLTError("invalid parameter");
 239     iResult=-EINVAL;
 240   }
 241   return iResult;
 242 }
 243
 244 int AliHLTDataBuffer::Release(AliHLTComponentBlockData* pBlockDesc,
 245                               const AliHLTComponent* pConsumer,
 246                               const AliHLTTask* pOwnerTask)
 247 {
 248   // see header file for function documentation
 249   int iResult=0;
 250   if (pBlockDesc && pConsumer) {
 251     AliHLTConsumerDescriptor* pDesc=FindConsumer(pConsumer, fActiveConsumers);
 252     if (pDesc) {
 253       if ((iResult=pDesc->CheckActiveDataSegment(AliHLTDataSegment(pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize)))!=1) {
 254         HLTWarning("data segment mismatch, component %p has not subscribed to a segment with offset %#x and size %d", pConsumer, pBlockDesc->fOffset, pBlockDesc->fSize);
 255         // TODO: appropriate error handling, but so far optional
 256         iResult=0;
 257       } else {
 258         pDesc->ReleaseActiveDataSegment(AliHLTDataSegment(pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize));
 259       }
 260       if (GetNofPendingConsumers()==0 && fForwardedSegments.size()>0) {
 261         // last consumer, release forwarded segments
 262         ReleaseForwardedBlock(pBlockDesc, pOwnerTask);
 263       }
 264       pBlockDesc->fOffset=0;
 265       pBlockDesc->fPtr=NULL;
 266       pBlockDesc->fSize=0;
 267       if (pDesc->GetNofActiveSegments()==0) {
 268         if ((iResult=ChangeConsumerState(pDesc, fActiveConsumers, fReleasedConsumers))>=0) {
 269           if (GetNofActiveConsumers()==0 && GetNofPendingConsumers()==0) {
 270             // this is the last consumer, reset the consumer list and release the raw buffer
 271             ResetDataBuffer();
 272           }
 273         } else {
 274           HLTError("can not deactivate consumer %p for data buffer %p", pConsumer, this);
 275           iResult=-EACCES;
 276         }
 277       }
 278     } else {
 279       HLTWarning("component %p has currently not subscribed to the data buffer %p", pConsumer, this);
 280       iResult=-ENOENT;
 281     }
 282   } else {
 283     HLTError("inavalid parameter: pBlockDesc=%p pConsumer=%p", pBlockDesc, pConsumer);
 284     iResult=-EINVAL;
 285   }
 286   return iResult;
 287 }
 288
 289 int AliHLTDataBuffer::ReleaseForwardedBlock(AliHLTComponentBlockData* pBlockDesc,
 290                                             const AliHLTTask* pOwnerTask)
 291 {
 292   // see header file for function documentation
 293   int iResult=0;
 294   if (pBlockDesc && pOwnerTask) {
 295         assert(fForwardedSegments.size()==fForwardedSegmentSources.size());
 296         AliHLTDataSegmentList::iterator segment=fForwardedSegments.begin();
 297         AliHLTTaskPList::iterator src=fForwardedSegmentSources.begin();
 298         //HLTDebug("%p checking forwarded segments", this);
 299         for (; segment!=fForwardedSegments.end(); segment++, src++) {
 300           //HLTDebug("segment ptr=%p offset=%d size=%d\n"
 301           //   "block ptr=%p offset=%d size=%d", (*segment).fPtr, (*segment).fSegmentOffset, (*segment).fSegmentSize, pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize);
 302           if ((*segment)==AliHLTDataSegment(pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize)) {
 303             //HLTDebug("release segment of task %p", *src);
 304             assert((*src)!=NULL);
 305             if ((*src)!=NULL) {
 306               if ((*src)->Release(pBlockDesc, pOwnerTask)>=0) {
 307                 HLTDebug("task %s (%p) released forwarded segment %p size %d of task %s (%p)",
 308                          pOwnerTask->GetName(), pOwnerTask, (*segment).GetPtr(), (*segment).GetSize(),
 309                          (*src)->GetName(), *src);
 310               } else {
 311                 HLTError("task %s (%p) failed releasing forwarded segment %p size %d of task %s (%p)",
 312                          pOwnerTask->GetName(), pOwnerTask, (*segment).GetPtr(), (*segment).GetSize(),
 313                          (*src)->GetName(), *src);
 314               }
 315             }
 316             fForwardedSegments.erase(segment);
 317             fForwardedSegmentSources.erase(src);
 318             break;
 319           }
 320         }
 321   } else {
 322     HLTError("inavalid parameter: pBlockDesc=%p pOwnerTask=%p", pBlockDesc, pOwnerTask);
 323     iResult=-EINVAL;
 324   }
 325   return iResult;
 326 }
 327
 328 int AliHLTDataBuffer::Forward(AliHLTTask* pSrcTask, AliHLTComponentBlockData* pBlockDesc)
 329 {
 330   // see header file for function documentation
 331   if (pSrcTask==NULL || pBlockDesc==NULL) return -EINVAL;
 332   assert(fForwardedSegments.size()==fForwardedSegmentSources.size());
 333   if (fForwardedSegments.size()!=fForwardedSegmentSources.size()) return -EFAULT;
 334   fForwardedSegmentSources.push_back(pSrcTask);
 335   fForwardedSegments.push_back(AliHLTDataSegment(pBlockDesc->fPtr, pBlockDesc->fOffset, pBlockDesc->fSize, pBlockDesc->fDataType, pBlockDesc->fSpecification));
 336   return 0;
 337 }
 338
 339 AliHLTUInt8_t* AliHLTDataBuffer::GetTargetBuffer(int iMinSize)
 340 {
 341   // see header file for function documentation
 342   AliHLTUInt8_t* pTargetBuffer=NULL;
 343   if (fpBuffer!=NULL) {
 344     HLTWarning("data buffer not properly reset, possible memory leak\n");
 345   }
 346   fpBuffer=CreateRawBuffer(iMinSize);
 347   if (fpBuffer) {
 348     pTargetBuffer=*fpBuffer;
 349   } else {
 350     HLTError("can not create raw buffer");
 351   }
 352   return pTargetBuffer;
 353 }
 354
 355 int AliHLTDataBuffer::SetSegments(AliHLTUInt8_t* pTgt, AliHLTComponentBlockData* arrayBlockData, int iSize)
 356 {
 357   // see header file for function documentation
 358   int iResult=0;
 359   if (pTgt && arrayBlockData && iSize>=0) {
 360     if (fpBuffer) {
 361       if (*fpBuffer==pTgt) {
 362         AliHLTDataBuffer::AliHLTDataSegment segment;
 363         for (int i=0; i<iSize; i++) {
 364           // This function has to model the behavior of PubSub
 365           // For output blocks only the fOffset value is used, this must be the offset
 366           // relative to the output pointer. fPtr must be either NULL or the output
 367           // pointer. In either case it is 'ignored' and set to the beginning of the
 368           // data buffer
 369           if (arrayBlockData[i].fPtr==NULL ||
 370               arrayBlockData[i].fPtr==*fpBuffer) {
 371             arrayBlockData[i].fPtr=*fpBuffer;
 372             if (arrayBlockData[i].fOffset+arrayBlockData[i].fSize<=fpBuffer->GetUsedSize()) {
 373               segment.fSegmentOffset=arrayBlockData[i].fOffset;
 374               segment.fPtr=(AliHLTUInt8_t*)arrayBlockData[i].fPtr;
 375               segment.fSegmentSize=arrayBlockData[i].fSize;
 376               segment.fDataType=arrayBlockData[i].fDataType;
 377               segment.fSpecification=arrayBlockData[i].fSpecification;
 378               fSegments.push_back(segment);
 379               HLTDebug("set segment %s with size %d at offset %d", AliHLTComponent::DataType2Text(segment.fDataType).data(), segment.fSegmentSize, segment.fSegmentOffset);
 380             } else {
 381               HLTError("block data specification %#d (%s) exceeds size of data buffer", i, AliHLTComponent::DataType2Text(arrayBlockData[i].fDataType).data());
 382               HLTError("block offset=%d, block size=%d, buffer size=%d", arrayBlockData[i].fOffset, arrayBlockData[i].fSize, fpBuffer->GetUsedSize());
 383               iResult=-E2BIG;
 384             }
 385           } else {
 386             HLTError("invalid pointer (%p) in block data specification (buffer %p size %d)."
 387                      "please note: for output blocks only the fOffset value is valid and must "
 388                      "be relative to the output buffer", arrayBlockData[i].fPtr, fpBuffer->GetPointer(), fpBuffer->GetUsedSize());
 389             iResult=-ERANGE;
 390           }
 391         }
 392       } else {
 393         HLTError("this data buffer (%p) does not match the internal data buffer %p of raw buffer %p", pTgt, fpBuffer->GetPointer(), fpBuffer);
 394         iResult=-EINVAL;
 395       }
 396     } else {
 397       HLTFatal("internal data structur mismatch");
 398       iResult=-EFAULT;
 399     }
 400   } else {
 401     HLTError("invalid parameter: pTgtBuffer=%p arrayBlockData=%p", pTgt, arrayBlockData);
 402     iResult=-EINVAL;
 403   }
 404   return iResult;
 405 }
 406
 407 int AliHLTDataBuffer::IsEmpty()
 408 {
 409   // see header file for function documentation
 410   int iResult=(fpBuffer==NULL && fForwardedSegments.size()==0) || GetNofSegments()==0;
 411   return iResult;
 412 }
 413
 414 int AliHLTDataBuffer::GetNofSegments()
 415 {
 416   // see header file for function documentation
 417   int iResult=fSegments.size() + fForwardedSegments.size();
 418   return iResult;
 419 }
 420
 421 int AliHLTDataBuffer::GetNofConsumers()
 422 {
 423   // see header file for function documentation
 424   int iResult=fConsumers.size() + GetNofActiveConsumers() + fReleasedConsumers.size();
 425   return iResult;
 426 }
 427
 428 int AliHLTDataBuffer::GetNofPendingConsumers()
 429 {
 430   // see header file for function documentation
 431   int iResult=fConsumers.size();
 432   return iResult;
 433 }
 434
 435 int AliHLTDataBuffer::GetNofActiveConsumers()
 436 {
 437   // see header file for function documentation
 438   int iResult=fActiveConsumers.size();
 439   return iResult;
 440 }
 441
 442 AliHLTDataBuffer::AliHLTRawBuffer* AliHLTDataBuffer::CreateRawBuffer(AliHLTUInt32_t size)
 443 {
 444   // see header file for function documentation
 445   AliHLTRawBuffer* pRawBuffer=NULL;
 446   unsigned int reqSize=size+fgkSafetyPatternSize;
 447   AliHLTRawBufferPList::iterator buffer=fgFreeBuffers.begin();
 448   while (buffer!=fgFreeBuffers.end() && pRawBuffer==NULL) {
 449     if ((*buffer)->CheckSize(reqSize)) {
 450       // assign this element
 451       pRawBuffer=*buffer;
 452       pRawBuffer->UseBuffer(size);
 453       fgFreeBuffers.erase(buffer);
 454       fgLogging.Logging(kHLTLogDebug, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "raw buffer container %p provided for request of %d bytes (total %d available in buffer %p)", pRawBuffer, size, pRawBuffer->GetTotalSize(), pRawBuffer->GetPointer());
 455       fgActiveBuffers.push_back(pRawBuffer);
 456       break;
 457     }
 458     buffer++;
 459   }
 460   if (pRawBuffer==NULL) {
 461     // no buffer found, create a new one
 462     pRawBuffer=new AliHLTRawBuffer(reqSize);
 463     if (pRawBuffer) {
 464       if (pRawBuffer->GetPointer()) {
 465         pRawBuffer->UseBuffer(size);
 466         fgActiveBuffers.push_back(pRawBuffer);
 467         fgLogging.Logging(kHLTLogDebug, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "new raw buffer %p of size %d created (container %p)", pRawBuffer->GetPointer(), pRawBuffer->GetTotalSize(), pRawBuffer);
 468       } else {
 469         delete pRawBuffer;
 470         pRawBuffer=NULL;
 471         fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "memory allocation failed");
 472       }
 473     } else {
 474       fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "memory allocation failed");
 475     }
 476   }
 477   if (pRawBuffer!=NULL && fgkSafetyPatternSize>0) {
 478     //fgLogging.Logging(kHLTLogDebug, "AliHLTDataBuffer::CreateRawBuffer", "data buffer handling", "writing safety pattern to %p offset %d", (*buffer)->GetPointer(), (*buffer)->GetUsedSize());
 479     pRawBuffer->WritePattern(fgkSafetyPattern, fgkSafetyPatternSize);
 480   }
 481   return pRawBuffer;
 482 }
 483
 484 int AliHLTDataBuffer::ReleaseRawBuffer(AliHLTRawBuffer* pBuffer)
 485 {
 486   // see header file for function documentation
 487   int iResult=0;
 488   if (pBuffer) {
 489     AliHLTRawBufferPList::iterator buffer=fgActiveBuffers.begin();
 490     while (buffer!=fgActiveBuffers.end() && (*buffer)!=pBuffer) {
 491       buffer++;
 492     }
 493     if (buffer!=fgActiveBuffers.end()) {
 494       if (fgkSafetyPatternSize>0) {
 495         //fgLogging.Logging(kHLTLogDebug, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "comparing safety pattern at %p offset %d", (*buffer)->GetPointer(), reinterpret_cast<AliHLTUInt32_t>(*buffer));
 496         if ((*buffer)->CheckPattern(fgkSafetyPattern, fgkSafetyPatternSize)) {
 497           fgLogging.Logging(kHLTLogFatal, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "component has written beyond end of data buffer %p size %d", (*buffer)->GetPointer(), (*buffer)->GetUsedSize());
 498         }
 499       }
 500       (*buffer)->Reset();
 501       fgFreeBuffers.push_back(*buffer);
 502       fgActiveBuffers.erase(buffer);
 503     } else {
 504       fgLogging.Logging(kHLTLogWarning, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "can not find raw buffer container %p in the list of active containers", pBuffer);
 505       iResult=-ENOENT;
 506     }
 507   } else {
 508     fgLogging.Logging(kHLTLogError, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "invalid parameter");
 509     iResult=-EINVAL;
 510   }
 511   return iResult;
 512 }
 513
 514
 515 int AliHLTDataBuffer::DeleteRawBuffers()
 516 {
 517   // see header file for function documentation
 518   int iResult=0;
 519 #ifdef ALIHLTSYSTEM_PROFILING
 520   int iTotalSize=0;
 521   int iCount=fgFreeBuffers.size()+fgActiveBuffers.size();
 522 #endif //ALIHLTSYSTEM_PROFILING
 523   AliHLTRawBufferPList::iterator buffer;;
 524   while ((buffer=fgFreeBuffers.begin())!=fgFreeBuffers.end()) {
 525 #ifdef ALIHLTSYSTEM_PROFILING
 526     iTotalSize+=(*buffer)->GetTotalSize();
 527 #endif //ALIHLTSYSTEM_PROFILING
 528     delete *buffer;
 529     fgFreeBuffers.erase(buffer);
 530   }
 531   while ((buffer=fgActiveBuffers.begin())!=fgActiveBuffers.end()) {
 532 #ifdef ALIHLTSYSTEM_PROFILING
 533     iTotalSize+=(*buffer)->GetTotalSize();
 534 #endif //ALIHLTSYSTEM_PROFILING
 535     fgLogging.Logging(kHLTLogWarning, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "request to delete active raw buffer container (raw buffer %p, size %d)", (*buffer)->GetPointer(), (*buffer)->GetTotalSize());
 536     delete *buffer;
 537     fgActiveBuffers.erase(buffer);
 538   }
 539 #ifdef ALIHLTSYSTEM_PROFILING
 540   fgLogging.Logging(kHLTLogImportant, "AliHLTDataBuffer::ReleaseRawBuffer", "data buffer handling", "Total memory allocation: %d byte in %d buffers", iTotalSize, iCount);
 541 #endif //ALIHLTSYSTEM_PROFILING
 542   return iResult;
 543 }
 544
 545 AliHLTConsumerDescriptor* AliHLTDataBuffer::FindConsumer(const AliHLTComponent* pConsumer, AliHLTConsumerDescriptorPList &list) const
 546 {
 547   // see header file for function documentation
 548   AliHLTConsumerDescriptor* pDesc=NULL;
 549   AliHLTConsumerDescriptorPList::iterator desc=list.begin();
 550   while (desc!=list.end() && pDesc==NULL) {
 551     if ((pConsumer==NULL || (*desc)->GetComponent()==pConsumer)) {
 552       pDesc=*desc;
 553     }
 554     desc++;
 555   }
 556   return pDesc;
 557 }
 558
 559 int AliHLTDataBuffer::ResetDataBuffer()
 560 {
 561   // see header file for function documentation
 562   int iResult=0;
 563   AliHLTRawBuffer* pBuffer=fpBuffer;
 564   fpBuffer=NULL;
 565
 566   // cleanup forwarded segment lists
 567   assert(fForwardedSegments.size()==0);
 568   fForwardedSegments.clear();
 569   fForwardedSegmentSources.clear();
 570
 571   // cleanup consumer states
 572   AliHLTConsumerDescriptorPList::iterator desc;
 573 //   if (GetNofPendingConsumers()>0) {
 574 //     desc=fConsumers.begin();
 575 //     while (desc!=fConsumers.end()) {
 576 //       AliHLTComponent* pComp=(*desc)->GetComponent();
 577 //       HLTError("internal error: consumer %p (%s %p) did not get data from data buffer %p", *desc, pComp?pComp->GetComponentID():"", pComp, this);
 578 //       desc++;
 579 //     }
 580 //   }
 581   desc=fReleasedConsumers.begin();
 582   while (desc!=fReleasedConsumers.end()) {
 583     AliHLTConsumerDescriptor* pDesc=*desc;
 584     fReleasedConsumers.erase(desc);
 585     desc=fReleasedConsumers.begin();
 586     fConsumers.push_back(pDesc);
 587   }
 588   desc=fActiveConsumers.begin();
 589   while (desc!=fActiveConsumers.end()) {
 590     AliHLTConsumerDescriptor* pDesc=*desc;
 591     HLTWarning("consumer %p was not released", pDesc);
 592     fActiveConsumers.erase(desc);
 593     desc=fActiveConsumers.begin();
 594     fConsumers.push_back(pDesc);
 595   }
 596
 597   // cleanup segments
 598   AliHLTDataSegmentList::iterator segment=fSegments.begin();
 599   while (segment!=fSegments.end()) {
 600     fSegments.erase(segment);
 601     segment=fSegments.begin();
 602   }
 603
 604   // cleanup raw buffer
 605   if (pBuffer) {
 606     ReleaseRawBuffer(pBuffer);
 607   }
 608   return iResult;
 609 }
 610
 611 int AliHLTDataBuffer::Reset()
 612 {
 613   // see header file for function documentation
 614   return ResetDataBuffer();
 615 }
 616
 617 // this is the version which works on lists of components instead of consumer descriptors
 618 // int AliHLTDataBuffer::ChangeConsumerState(AliHLTComponent* pConsumer, AliHLTComponentPList &srcList, AliHLTComponentPList &tgtList)
 619 // {
 620 //   int iResult=0;
 621 //   if (pDesc) {
 622 //     AliHLTComponentPList::iterator desc=srcList.begin();
 623 //     while (desc!=srcList.end()) {
 624 //       if ((*desc)==pConsumer) {
 625 //      srcList.erase(desc);
 626 //      tgtList.push_back(pConsumer);
 627 //      break;
 628 //       }
 629 //      desc++;
 630 //     }
 631 //     if (desc==srcList.end()) {
 632 //       HLTError("can not find consumer component %p in list", pConsumer);
 633 //       iResult=-ENOENT;
 634 //     }
 635 //   } else {
 636 //     HLTError("invalid parameter");
 637 //     iResult=-EINVAL;
 638 //   }
 639 //   return iResult;
 640 // }
 641
 642 int AliHLTDataBuffer::ChangeConsumerState(AliHLTConsumerDescriptor* pDesc, AliHLTConsumerDescriptorPList &srcList, AliHLTConsumerDescriptorPList &tgtList)
 643 {
 644   // see header file for function documentation
 645   int iResult=-ENOENT;
 646   if (pDesc) {
 647     AliHLTConsumerDescriptorPList::iterator desc=srcList.begin();
 648     while (desc!=srcList.end()) {
 649       if ((*desc)==pDesc) {
 650         srcList.erase(desc);
 651         tgtList.push_back(pDesc);
 652         iResult=0;
 653         break;
 654       }
 655       desc++;
 656     }
 657     if (iResult<0) {
 658       HLTError("can not find consumer descriptor %p in list", pDesc);
 659     }
 660   } else {
 661     HLTError("invalid parameter");
 662     iResult=-EINVAL;
 663   }
 664   return iResult;
 665 }
 666
 667 int AliHLTDataBuffer::CleanupConsumerList()
 668 {
 669   // see header file for function documentation
 670   int iResult=0;
 671   ResetDataBuffer();
 672   AliHLTConsumerDescriptorPList::iterator desc=fConsumers.begin();
 673   while (desc!=fConsumers.end()) {
 674     delete *desc;
 675     fConsumers.erase(desc);
 676     desc=fConsumers.begin();
 677   }
 678   return iResult;
 679 }
 680
 681 int AliHLTDataBuffer::FindConsumer(const AliHLTComponent* pConsumer, int bAllLists)
 682 {
 683   // see header file for function documentation
 684   AliHLTConsumerDescriptorPList::iterator desc=fConsumers.begin();
 685   while (desc!=fConsumers.end()) {
 686     if ((*desc)->GetComponent()==pConsumer)
 687       return 1;
 688     desc++;
 689   }
 690   if (bAllLists==0) return 0;
 691
 692   desc=fActiveConsumers.begin();
 693   while (desc!=fActiveConsumers.end()) {
 694     if ((*desc)->GetComponent()==pConsumer)
 695       return 1;
 696     desc++;
 697   }
 698   desc=fReleasedConsumers.begin();
 699   while (desc!=fReleasedConsumers.end()) {
 700     if ((*desc)->GetComponent()==pConsumer)
 701       return 1;
 702     desc++;
 703   }
 704   return 0;
 705 }
 706
 707 AliHLTDataBuffer::AliHLTRawBuffer::AliHLTRawBuffer(AliHLTUInt32_t size)
 708   :
 709   fSize(0),
 710   fTotalSize(size),
 711   fPtr(static_cast<AliHLTUInt8_t*>(malloc(size)))
 712 {
 713   // see header file for class documentation
 714   // or
 715   // refer to README to build package
 716   // or
 717   // visit http://web.ift.uib.no/~kjeks/doc/alice-hlt
 718   if (fPtr==NULL) {
 719     fSize=0;
 720     fTotalSize=0;
 721   }
 722 }
 723
 724 AliHLTDataBuffer::AliHLTRawBuffer::~AliHLTRawBuffer()
 725 {
 726   if (fPtr) {
 727     free(fPtr);
 728   }
 729   fPtr=NULL;
 730   fSize=0;
 731   fTotalSize=0;
 732 }
 733
 734 int AliHLTDataBuffer::AliHLTRawBuffer::operator==(void* ptr) const
 735 {
 736   // see header file for function documentation
 737   return fPtr == static_cast<AliHLTUInt8_t*>(ptr);
 738 }
 739
 740 int AliHLTDataBuffer::AliHLTRawBuffer::operator<=(void* ptr) const
 741 {
 742   // see header file for function documentation
 743   int iResult=fPtr <= static_cast<AliHLTUInt8_t*>(ptr);
 744   //printf("%p: %p <= %p (%d)\n", this, fPtr, ptr, iResult);
 745   return iResult;
 746 }
 747
 748 int AliHLTDataBuffer::AliHLTRawBuffer::operator>(void* ptr) const
 749 {
 750   // see header file for function documentation
 751   int iResult=fPtr+fSize > static_cast<AliHLTUInt8_t*>(ptr);
 752   //printf("%p: %p + %d > %p (%d)\n", this, fPtr, fSize, ptr, iResult);
 753   return iResult;
 754 }
 755
 756 int AliHLTDataBuffer::AliHLTRawBuffer::operator-(void* ptr) const
 757 {
 758   // see header file for function documentation
 759   return static_cast<int>(static_cast<AliHLTUInt8_t*>(ptr)-fPtr);
 760 }
 761
 762 AliHLTUInt8_t* AliHLTDataBuffer::AliHLTRawBuffer::UseBuffer(AliHLTUInt32_t size)
 763 {
 764   // see header file for function documentation
 765   if (size>0 && fTotalSize>=size) {
 766     fSize=size;
 767     return fPtr;
 768   }
 769   return NULL;
 770 }
 771
 772 int AliHLTDataBuffer::AliHLTRawBuffer::CheckSize(AliHLTUInt32_t size) const
 773 {
 774   // see header file for function documentation
 775   return fTotalSize>=size && ((fTotalSize-size)<fgMargin);
 776 }
 777
 778 int AliHLTDataBuffer::AliHLTRawBuffer::Reset()
 779 {
 780   // see header file for function documentation
 781   fSize=0;
 782   return 0;
 783 }
 784
 785 int AliHLTDataBuffer::AliHLTRawBuffer::WritePattern(const char* pattern, int size)
 786 {
 787   // see header file for function documentation
 788   int iResult=0;
 789   if (pattern!=NULL && size>0) {
 790     if (fSize+size<=fTotalSize) {
 791       memcpy(((char*)fPtr)+fSize, pattern, size);
 792       iResult=size;
 793     } else {
 794       iResult=-ENOSPC;
 795     }
 796   }
 797   return iResult;
 798 }
 799
 800 int AliHLTDataBuffer::AliHLTRawBuffer::CheckPattern(const char* pattern, int size) const
 801 {
 802   // see header file for function documentation
 803   int iResult=0;
 804   if (pattern!=NULL && size>0) {
 805     if (fSize+size<=fTotalSize) {
 806       iResult=memcmp(((char*)fPtr)+fSize, pattern, size)!=0;
 807     } else {
 808       iResult=-ENOSPC;
 809     }
 810   }
 811   return iResult;
 812 }