STEER/CDB/AliCDBGrid.cxx

   1 /**************************************************************************
   2  * Copyright(c) 1998-1999, ALICE Experiment at CERN, All rights reserved. *
   3  *                                                                        *
   4  * Author: The ALICE Off-line Project.                                    *
   5  * Contributors are mentioned in the code where appropriate.              *
   6  *                                                                        *
   7  * Permission to use, copy, modify and distribute this software and its   *
   8  * documentation strictly for non-commercial purposes is hereby granted   *
   9  * without fee, provided that the above copyright notice appears in all   *
  10  * copies and that both the copyright notice and this permission notice   *
  11  * appear in the supporting documentation. The authors make no claims     *
  12  * about the suitability of this software for any purpose. It is          *
  13  * provided "as is" without express or implied warranty.                  *
  14  **************************************************************************/
  15
  16 /////////////////////////////////////////////////////////////////////////////////////////////////
  17 //                                                                                             //
  18 // AliCDBGrid                                                                                  //
  19 // access class to a DataBase in an AliEn storage                                              //
  20 //                                                                                             //
  21 /////////////////////////////////////////////////////////////////////////////////////////////////
  22
  23 #include <cstdlib>
  24 #include <TGrid.h>
  25 #include <TGridResult.h>
  26 #include <TFile.h>
  27 #include <TKey.h>
  28 #include <TROOT.h>
  29 #include <TList.h>
  30 #include <TObjArray.h>
  31 #include <TObjString.h>
  32 #include <TMath.h>
  33 #include <TRegexp.h>
  34
  35 #include "AliLog.h"
  36 #include "AliCDBEntry.h"
  37 #include "AliCDBGrid.h"
  38 #include "AliCDBManager.h"
  39
  40
  41 ClassImp(AliCDBGrid)
  42
  43 //_____________________________________________________________________________
  44 AliCDBGrid::AliCDBGrid(const char *gridUrl, const char *user, const char *dbFolder,
  45     const char *se, const char* cacheFolder, Bool_t operateDisconnected,
  46     Long64_t cacheSize, Long_t cleanupInterval) :
  47   AliCDBStorage(),
  48   fGridUrl(gridUrl),
  49   fUser(user),
  50   fDBFolder(dbFolder),
  51   fSE(se),
  52   fMirrorSEs(""),
  53   fCacheFolder(cacheFolder),
  54   fOperateDisconnected(operateDisconnected),
  55   fCacheSize(cacheSize),
  56   fCleanupInterval(cleanupInterval)
  57 {
  58 // constructor //
  59
  60   // if the same Grid is alreay active, skip connection
  61   if (!gGrid || fGridUrl != gGrid->GridUrl()
  62       || (( fUser != "" ) && ( fUser != gGrid->GetUser() )) ) {
  63     // connection to the Grid
  64     AliInfo("Connection to the Grid...");
  65     if(gGrid){
  66       AliInfo(Form("gGrid = %p; fGridUrl = %s; gGrid->GridUrl() = %s",gGrid,fGridUrl.Data(), gGrid->GridUrl()));
  67       AliInfo(Form("fUser = %s; gGrid->GetUser() = %s",fUser.Data(), gGrid->GetUser()));
  68     }
  69     TGrid::Connect(fGridUrl.Data(),fUser.Data());
  70   }
  71
  72   if(!gGrid) {
  73     AliError("Connection failed!");
  74     return;
  75   }
  76
  77   TString initDir(gGrid->Pwd(0));
  78   if (fDBFolder[0] != '/') {
  79     fDBFolder.Prepend(initDir);
  80   }
  81
  82   // check DBFolder: trying to cd to DBFolder; if it does not exist, create it
  83   if(!gGrid->Cd(fDBFolder.Data(),0)){
  84     AliDebug(2,Form("Creating new folder <%s> ...",fDBFolder.Data()));
  85     TGridResult* res = gGrid->Command(Form("mkdir -p %s",fDBFolder.Data()));
  86     TString result = res->GetKey(0,"__result__");
  87     if(result == "0"){
  88       AliFatal(Form("Cannot create folder <%s> !",fDBFolder.Data()));
  89       return;
  90     }
  91   } else {
  92     AliDebug(2,Form("Folder <%s> found",fDBFolder.Data()));
  93   }
  94
  95   // removes any '/' at the end of path, then append one '/'
  96   while(fDBFolder.EndsWith("/")) fDBFolder.Remove(fDBFolder.Last('/'));
  97   fDBFolder+="/";
  98
  99   fType="alien";
 100   fBaseFolder = fDBFolder;
 101
 102   // Setting the cache
 103
 104   // Check if local cache folder is already defined
 105   TString origCache(TFile::GetCacheFileDir());
 106   if(fCacheFolder.Length() > 0) {
 107     if(origCache.Length() == 0) {
 108       AliInfo(Form("Setting local cache to: %s", fCacheFolder.Data()));
 109     } else if(fCacheFolder != origCache) {
 110       AliWarning(Form("Local cache folder was already defined, changing it to: %s",
 111             fCacheFolder.Data()));
 112     }
 113
 114     // default settings are: operateDisconnected=kTRUE, forceCacheread = kFALSE
 115     if(!TFile::SetCacheFileDir(fCacheFolder.Data(), fOperateDisconnected)) {
 116       AliError(Form("Could not set cache folder %s !", fCacheFolder.Data()));
 117       fCacheFolder = "";
 118     } else {
 119       // reset fCacheFolder because the function may have
 120       // slightly changed the folder name (e.g. '/' added)
 121       fCacheFolder = TFile::GetCacheFileDir();
 122     }
 123
 124     // default settings are: cacheSize=1GB, cleanupInterval = 0
 125     if(!TFile::ShrinkCacheFileDir(fCacheSize, fCleanupInterval)) {
 126       AliError(Form("Could not set following values "
 127             "to ShrinkCacheFileDir: cacheSize = %lld, cleanupInterval = %ld !",
 128             fCacheSize, fCleanupInterval));
 129     }
 130   }
 131
 132   // return to the initial directory
 133   gGrid->Cd(initDir.Data(),0);
 134
 135   fNretry = 3;  // default
 136   fInitRetrySeconds = 5;   // default
 137 }
 138
 139 //_____________________________________________________________________________
 140 AliCDBGrid::~AliCDBGrid() {
 141 // destructor
 142   delete gGrid; gGrid=0;
 143
 144 }
 145
 146 //_____________________________________________________________________________
 147 Bool_t AliCDBGrid::FilenameToId(TString& filename, AliCDBId& id) {
 148 // build AliCDBId from full path filename (fDBFolder/path/Run#x_#y_v#z_s0.root)
 149
 150   if(filename.Contains(fDBFolder)){
 151     filename = filename(fDBFolder.Length(),filename.Length()-fDBFolder.Length());
 152   }
 153
 154   TString idPath = filename(0,filename.Last('/'));
 155   id.SetPath(idPath);
 156   if(!id.IsValid()) return kFALSE;
 157
 158   filename=filename(idPath.Length()+1,filename.Length()-idPath.Length());
 159
 160   Ssiz_t mSize;
 161   // valid filename: Run#firstRun_#lastRun_v#version_s0.root
 162   TRegexp keyPattern("^Run[0-9]+_[0-9]+_v[0-9]+_s0.root$");
 163   keyPattern.Index(filename, &mSize);
 164   if (!mSize) {
 165
 166     // TODO backward compatibility ... maybe remove later!
 167     Ssiz_t oldmSize;
 168     TRegexp oldKeyPattern("^Run[0-9]+_[0-9]+_v[0-9]+.root$");
 169     oldKeyPattern.Index(filename, &oldmSize);
 170     if(!oldmSize) {
 171       AliDebug(2,Form("Bad filename <%s>.", filename.Data()));
 172       return kFALSE;
 173     } else {
 174       AliDebug(2,Form("Old filename format <%s>.", filename.Data()));
 175       id.SetSubVersion(-11); // TODO trick to ensure backward compatibility
 176     }
 177
 178   } else {
 179     id.SetSubVersion(-1); // TODO trick to ensure backward compatibility
 180   }
 181
 182   filename.Resize(filename.Length() - sizeof(".root") + 1);
 183
 184   TObjArray* strArray = (TObjArray*) filename.Tokenize("_");
 185
 186   TString firstRunString(((TObjString*) strArray->At(0))->GetString());
 187   id.SetFirstRun(atoi(firstRunString.Data() + 3));
 188   id.SetLastRun(atoi(((TObjString*) strArray->At(1))->GetString()));
 189
 190   TString verString(((TObjString*) strArray->At(2))->GetString());
 191   id.SetVersion(atoi(verString.Data() + 1));
 192
 193   delete strArray;
 194
 195   return kTRUE;
 196 }
 197
 198 //_____________________________________________________________________________
 199 Bool_t AliCDBGrid::IdToFilename(const AliCDBId& id, TString& filename) const {
 200 // build file name from AliCDBId (path, run range, version) and fDBFolder
 201
 202   if (!id.GetAliCDBRunRange().IsValid()) {
 203     AliDebug(2,Form("Invalid run range <%d, %d>.",
 204           id.GetFirstRun(), id.GetLastRun()));
 205     return kFALSE;
 206   }
 207
 208   if (id.GetVersion() < 0) {
 209     AliDebug(2,Form("Invalid version <%d>.", id.GetVersion()));
 210     return kFALSE;
 211   }
 212
 213   filename = Form("Run%d_%d_v%d",
 214       id.GetFirstRun(),
 215       id.GetLastRun(),
 216       id.GetVersion());
 217
 218   if (id.GetSubVersion() != -11) filename += "_s0"; // TODO to ensure backward compatibility
 219   filename += ".root";
 220
 221   filename.Prepend(fDBFolder + id.GetPath() + '/');
 222
 223   return kTRUE;
 224 }
 225
 226 //_____________________________________________________________________________
 227 void AliCDBGrid::SetRetry(Int_t nretry, Int_t initsec) {
 228
 229   // Function to set the exponential retry for putting entries in the OCDB
 230
 231   AliWarning("WARNING!!! You are changing the exponential retry times and delay: this function should be used by experts!");
 232   fNretry = nretry;
 233   fInitRetrySeconds = initsec;
 234   AliDebug(2,Form("fNretry = %d, fInitRetrySeconds = %d", fNretry, fInitRetrySeconds));
 235 }
 236
 237
 238 //_____________________________________________________________________________
 239 Bool_t AliCDBGrid::PrepareId(AliCDBId& id) {
 240 // prepare id (version) of the object that will be stored (called by PutEntry)
 241
 242   TString initDir(gGrid->Pwd(0));
 243
 244   TString dirName(fDBFolder);
 245
 246   Bool_t dirExist=kFALSE;
 247
 248
 249
 250   // go to the path; if directory does not exist, create it
 251   for(int i=0;i<3;i++){
 252     //TString cmd("find -d ");
 253     //cmd += Form("%s ",dirName);
 254     //cmd +=
 255     //gGrid->Command(cmd.Data());
 256     dirName+=Form("%s/",id.GetPathLevel(i).Data());
 257     dirExist=gGrid->Cd(dirName,0);
 258     if (!dirExist) {
 259       AliDebug(2,Form("Creating new folder <%s> ...",dirName.Data()));
 260       if(!gGrid->Mkdir(dirName,"",0)){
 261         AliError(Form("Cannot create directory <%s> !",dirName.Data()));
 262         gGrid->Cd(initDir.Data());
 263         return kFALSE;
 264       }
 265
 266       // if folders are new add tags to them
 267       if(i == 1) {
 268         // TODO Currently disabled
 269         // add short lived tag!
 270         // AliInfo("Tagging level 1 folder with \"ShortLived\" tag");
 271         // if(!AddTag(dirName,"ShortLived_try")){
 272         //      AliError(Form("Could not tag folder %s !", dirName.Data()));
 273         //      if(!gGrid->Rmdir(dirName.Data())){
 274         //              AliError(Form("Unexpected: could not remove %s directory!", dirName.Data()));
 275         //      }
 276         //      return 0;
 277         //}
 278
 279       } else if(i == 2) {
 280         AliDebug(2,"Tagging level 2 folder with \"CDB\" and \"CDB_MD\" tag");
 281         if(!AddTag(dirName,"CDB")){
 282           AliError(Form("Could not tag folder %s !", dirName.Data()));
 283           if(!gGrid->Rmdir(dirName.Data())){
 284             AliError(Form("Unexpected: could not remove %s directory!", dirName.Data()));
 285           }
 286           return 0;
 287         }
 288         if(!AddTag(dirName,"CDB_MD")){
 289           AliError(Form("Could not tag folder %s !", dirName.Data()));
 290           if(!gGrid->Rmdir(dirName.Data())){
 291             AliError(Form("Unexpected: could not remove %s directory!", dirName.Data()));
 292           }
 293           return 0;
 294         }
 295
 296         // TODO Currently disabled
 297         // add short lived tag!
 298         // TString path=id.GetPath();
 299         // if(AliCDBManager::Instance()->IsShortLived(path.Data())) {
 300         //      AliInfo(Form("Tagging %s as short lived", dirName.Data()));
 301         //      if(!TagShortLived(dirName, kTRUE)){
 302         //              AliError(Form("Could not tag folder %s !", dirName.Data()));
 303         //              if(!gGrid->Rmdir(dirName.Data())){
 304         //                      AliError(Form("Unexpected: could not remove %s directory!", dirName.Data()));
 305         //              }
 306         //              return 0;
 307         //      }
 308         // } else {
 309         //      AliInfo(Form("Tagging %s as long lived", dirName.Data()));
 310         //      if(!TagShortLived(dirName, kFALSE)){
 311         //              AliError(Form("Could not tag folder %s !", dirName.Data()));
 312         //              if(!gGrid->Rmdir(dirName.Data())){
 313         //                      AliError(Form("Unexpected: could not remove %s directory!", dirName.Data()));
 314         //              }
 315         //              return 0;
 316         //      }
 317         // }
 318       }
 319     }
 320   }
 321   gGrid->Cd(initDir,0);
 322
 323   TString filename;
 324   AliCDBId anId; // the id got from filename
 325   AliCDBRunRange lastRunRange(-1,-1); // highest runRange found
 326   Int_t lastVersion=0; // highest version found
 327
 328   TGridResult *res = gGrid->Ls(dirName);
 329
 330   //loop on the files in the directory, look for highest version
 331   for(int i=0; i < res->GetEntries(); i++){
 332     filename=res->GetFileNamePath(i);
 333     if (!FilenameToId(filename, anId)) continue;
 334     if (anId.GetAliCDBRunRange().Overlaps(id.GetAliCDBRunRange()) && anId.GetVersion() > lastVersion) {
 335       lastVersion = anId.GetVersion();
 336       lastRunRange = anId.GetAliCDBRunRange();
 337     }
 338
 339   }
 340   delete res;
 341
 342   // GRP entries with explicitly set version escape default incremental versioning
 343   if(id.GetPath().Contains("GRP") && id.HasVersion() && lastVersion!=0)
 344   {
 345     AliDebug(5,Form("Entry %s won't be put in the destination OCDB", id.ToString().Data()));
 346     return kFALSE;
 347   }
 348
 349   id.SetVersion(lastVersion + 1);
 350   id.SetSubVersion(0);
 351
 352   TString lastStorage = id.GetLastStorage();
 353   if(lastStorage.Contains(TString("new"), TString::kIgnoreCase) && id.GetVersion() > 1 ){
 354     AliDebug(2, Form("A NEW object is being stored with version %d",
 355           id.GetVersion()));
 356     AliDebug(2, Form("and it will hide previously stored object with version %d!",
 357           id.GetVersion()-1));
 358   }
 359
 360   if(!lastRunRange.IsAnyRange() && !(lastRunRange.IsEqual(&id.GetAliCDBRunRange())))
 361     AliWarning(Form("Run range modified w.r.t. previous version (Run%d_%d_v%d)",
 362           lastRunRange.GetFirstRun(), lastRunRange.GetLastRun(), id.GetVersion()));
 363
 364   return kTRUE;
 365 }
 366
 367 //_____________________________________________________________________________
 368 AliCDBId* AliCDBGrid::GetId(const TObjArray& validFileIds, const AliCDBId& query) {
 369 // look for the Id that matches query's requests (highest or exact version)
 370
 371   if(validFileIds.GetEntriesFast() < 1)
 372     return NULL;
 373
 374   TIter iter(&validFileIds);
 375
 376   AliCDBId *anIdPtr=0;
 377   AliCDBId* result=0;
 378
 379   while((anIdPtr = dynamic_cast<AliCDBId*> (iter.Next()))){
 380     if(anIdPtr->GetPath() != query.GetPath()) continue;
 381
 382     //if(!CheckVersion(query, anIdPtr, result)) return NULL;
 383
 384     if (!query.HasVersion()){ // look for highest version
 385       if(result && result->GetVersion() > anIdPtr->GetVersion()) continue;
 386       if(result && result->GetVersion() == anIdPtr->GetVersion()) {
 387         AliError(Form("More than one object valid for run %d, version %d!",
 388               query.GetFirstRun(), anIdPtr->GetVersion()));
 389         return NULL;
 390       }
 391       result = new AliCDBId(*anIdPtr);
 392     } else { // look for specified version
 393       if(query.GetVersion() != anIdPtr->GetVersion()) continue;
 394       if(result && result->GetVersion() == anIdPtr->GetVersion()){
 395         AliError(Form("More than one object valid for run %d, version %d!",
 396               query.GetFirstRun(), anIdPtr->GetVersion()));
 397         return NULL;
 398       }
 399       result = new AliCDBId(*anIdPtr);
 400     }
 401
 402   }
 403
 404   return result;
 405 }
 406
 407 //_____________________________________________________________________________
 408 AliCDBId* AliCDBGrid::GetEntryId(const AliCDBId& queryId) {
 409 // get AliCDBId from the database
 410 // User must delete returned object
 411
 412   AliCDBId* dataId=0;
 413
 414   AliCDBId selectedId(queryId);
 415   if (!selectedId.HasVersion()) {
 416     // if version is not specified, first check the selection criteria list
 417     GetSelection(&selectedId);
 418   }
 419
 420   TObjArray validFileIds;
 421   validFileIds.SetOwner(1);
 422
 423   // look for file matching query requests (path, runRange, version)
 424   if(selectedId.GetFirstRun() == fRun && fPathFilter.Comprises(selectedId.GetAliCDBPath()) &&
 425       fVersion == selectedId.GetVersion() && !fMetaDataFilter){
 426     // look into list of valid files previously loaded with AliCDBStorage::FillValidFileIds()
 427     AliDebug(2, Form("List of files valid for run %d was loaded. Looking there for fileids valid for path %s!",
 428           selectedId.GetFirstRun(), selectedId.GetPath().Data()));
 429     dataId = GetId(fValidFileIds, selectedId);
 430
 431   } else {
 432     // List of files valid for reqested run was not loaded. Looking directly into CDB
 433     AliDebug(2, Form("List of files valid for run %d and version %d was not loaded. Looking directly into CDB for fileids valid for path %s!",
 434           selectedId.GetFirstRun(), selectedId.GetVersion(), selectedId.GetPath().Data()));
 435
 436     TString filter;
 437     MakeQueryFilter(selectedId.GetFirstRun(), selectedId.GetLastRun(), 0, filter);
 438
 439     TString pattern = ".root";
 440     TString optionQuery = "-y -m";
 441     if(selectedId.GetVersion() >= 0) {
 442       pattern.Prepend(Form("_v%d_s0",selectedId.GetVersion()));
 443       optionQuery = "";
 444     }
 445
 446     TString folderCopy(Form("%s%s/Run",fDBFolder.Data(),selectedId.GetPath().Data()));
 447
 448     if (optionQuery.Contains("-y")){
 449       AliInfo("Only latest version will be returned");
 450     }
 451
 452     AliDebug(2,Form("** fDBFolder = %s, pattern = %s, filter = %s",folderCopy.Data(), pattern.Data(), filter.Data()));
 453     TGridResult *res = gGrid->Query(folderCopy, pattern, filter, optionQuery.Data());
 454     if (res) {
 455       for(int i=0; i<res->GetEntries(); i++){
 456         AliCDBId *validFileId = new AliCDBId();
 457         TString filename = res->GetKey(i, "lfn");
 458         if(filename == "") continue;
 459         if(FilenameToId(filename, *validFileId))
 460           validFileIds.AddLast(validFileId);
 461       }
 462       delete res;
 463     }else{
 464       return 0; // this should be only in case of file catalogue glitch
 465     }
 466
 467     dataId = GetId(validFileIds, selectedId);
 468   }
 469
 470   return dataId;
 471 }
 472
 473 //_____________________________________________________________________________
 474 AliCDBEntry* AliCDBGrid::GetEntry(const AliCDBId& queryId) {
 475 // get AliCDBEntry from the database
 476
 477   AliCDBId* dataId = GetEntryId(queryId);
 478
 479   if (!dataId){
 480     AliFatal(TString::Format("No valid CDB object found! request was: %s", queryId.ToString().Data()));
 481     return NULL;
 482   }
 483
 484   TString filename;
 485   if (!IdToFilename(*dataId, filename)) {
 486     AliDebug(2,Form("Bad data ID encountered! Subnormal error!"));
 487     delete dataId;
 488     AliFatal(TString::Format("No valid CDB object found! request was: %s", queryId.ToString().Data()));
 489   }
 490
 491   AliCDBEntry* anEntry = GetEntryFromFile(filename, dataId);
 492
 493   delete dataId;
 494   if(!anEntry)
 495     AliFatal(TString::Format("No valid CDB object found! request was: %s", queryId.ToString().Data()));
 496
 497   return anEntry;
 498 }
 499
 500 //_____________________________________________________________________________
 501 AliCDBEntry* AliCDBGrid::GetEntryFromFile(TString& filename, AliCDBId* dataId){
 502 // Get AliCBEntry object from file "filename"
 503
 504   AliDebug(2,Form("Opening file: %s",filename.Data()));
 505
 506   filename.Prepend("/alien");
 507
 508   // if option="CACHEREAD" TFile will use the local caching facility!
 509   TString option="READ";
 510   if(fCacheFolder != ""){
 511
 512     // Check if local cache folder was changed in the meanwhile
 513     TString origCache(TFile::GetCacheFileDir());
 514     if(fCacheFolder != origCache) {
 515       AliWarning(Form("Local cache folder has been overwritten!! fCacheFolder = %s origCache = %s",
 516             fCacheFolder.Data(), origCache.Data()));
 517       TFile::SetCacheFileDir(fCacheFolder.Data(), fOperateDisconnected);
 518       TFile::ShrinkCacheFileDir(fCacheSize, fCleanupInterval);
 519     }
 520
 521     option.Prepend("CACHE");
 522   }
 523
 524   AliDebug(2, Form("Option: %s", option.Data()));
 525
 526   TFile *file = TFile::Open(filename, option);
 527   if (!file) {
 528     AliDebug(2,Form("Can't open file <%s>!", filename.Data()));
 529     return NULL;
 530   }
 531
 532   // get the only AliCDBEntry object from the file
 533   // the object in the file is an AliCDBEntry entry named "AliCDBEntry"
 534
 535   AliCDBEntry* anEntry = dynamic_cast<AliCDBEntry*> (file->Get("AliCDBEntry"));
 536
 537   if (!anEntry) {
 538     AliDebug(2,Form("Bad storage data: file does not contain an AliCDBEntry object!"));
 539     file->Close();
 540     return NULL;
 541   }
 542
 543   // The object's Id is not reset during storage
 544   // If object's Id runRange or version do not match with filename,
 545   // it means that someone renamed file by hand. In this case a warning msg is issued.
 546
 547   if(anEntry){
 548     AliCDBId entryId = anEntry->GetId();
 549     Int_t tmpSubVersion = dataId->GetSubVersion();
 550     dataId->SetSubVersion(entryId.GetSubVersion()); // otherwise filename and id may mismatch
 551     if(!entryId.IsEqual(dataId)){
 552       AliWarning(Form("Mismatch between file name and object's Id!"));
 553       AliWarning(Form("File name: %s", dataId->ToString().Data()));
 554       AliWarning(Form("Object's Id: %s", entryId.ToString().Data()));
 555     }
 556     dataId->SetSubVersion(tmpSubVersion);
 557   }
 558
 559   anEntry->SetLastStorage("grid");
 560
 561   // Check whether entry contains a TTree. In case load the tree in memory!
 562   LoadTreeFromFile(anEntry);
 563
 564   // close file, return retieved entry
 565   file->Close(); delete file; file=0;
 566
 567   return anEntry;
 568 }
 569
 570 //_____________________________________________________________________________
 571 TList* AliCDBGrid::GetEntries(const AliCDBId& queryId) {
 572 // multiple request (AliCDBStorage::GetAll)
 573
 574   TList* result = new TList();
 575   result->SetOwner();
 576
 577   TObjArray validFileIds;
 578   validFileIds.SetOwner(1);
 579
 580   Bool_t alreadyLoaded = kFALSE;
 581
 582   // look for file matching query requests (path, runRange)
 583   if(queryId.GetFirstRun() == fRun &&
 584       fPathFilter.Comprises(queryId.GetAliCDBPath()) && fVersion < 0 && !fMetaDataFilter){
 585     // look into list of valid files previously loaded with AliCDBStorage::FillValidFileIds()
 586     AliDebug(2,Form("List of files valid for run %d and for path %s was loaded. Looking there!",
 587           queryId.GetFirstRun(), queryId.GetPath().Data()));
 588
 589     alreadyLoaded = kTRUE;
 590
 591   } else {
 592     // List of files valid for reqested run was not loaded. Looking directly into CDB
 593     AliDebug(2,Form("List of files valid for run %d and for path %s was not loaded. Looking directly into CDB!",
 594           queryId.GetFirstRun(), queryId.GetPath().Data()));
 595
 596     TString filter;
 597     MakeQueryFilter(queryId.GetFirstRun(), queryId.GetLastRun(), 0, filter);
 598
 599     TString path = queryId.GetPath();
 600
 601     TString pattern = "Run*.root";
 602     TString optionQuery = "-y";
 603
 604     TString addFolder = "";
 605     if (!path.Contains("*")){
 606       if (!path.BeginsWith("/")) addFolder += "/";
 607       addFolder += path;
 608     }
 609     else{
 610       if (path.BeginsWith("/")) path.Remove(0,1);
 611       if (path.EndsWith("/")) path.Remove(path.Length()-1,1);
 612       TObjArray* tokenArr = path.Tokenize("/");
 613       if (tokenArr->GetEntries() != 3) {
 614         AliError("Not a 3 level path! Keeping old query...");
 615         pattern.Prepend(path+"/");
 616       }
 617       else{
 618         TString str0 = ((TObjString*)tokenArr->At(0))->String();
 619         TString str1 = ((TObjString*)tokenArr->At(1))->String();
 620         TString str2 = ((TObjString*)tokenArr->At(2))->String();
 621         if (str0 != "*" && str1 != "*" && str2 == "*"){
 622           // e.g. "ITS/Calib/*"
 623           addFolder = "/"+str0+"/"+str1;
 624         }
 625         else if (str0 != "*" && str1 == "*" && str2 == "*"){
 626           // e.g. "ITS/*/*"
 627           addFolder = "/"+str0;
 628         }
 629         else if (str0 == "*" && str1 == "*" && str2 == "*"){
 630           // e.g. "*/*/*"
 631           // do nothing: addFolder is already an empty string;
 632         }
 633         else{
 634           // e.g. "ITS/*/RecoParam"
 635           pattern.Prepend(path+"/");
 636         }
 637       }
 638       delete tokenArr; tokenArr=0;
 639     }
 640
 641     TString folderCopy(Form("%s%s",fDBFolder.Data(),addFolder.Data()));
 642
 643     AliDebug(2,Form("fDBFolder = %s, pattern = %s, filter = %s",folderCopy.Data(), pattern.Data(), filter.Data()));
 644
 645     TGridResult *res = gGrid->Query(folderCopy, pattern, filter, optionQuery.Data());
 646
 647     if (!res) {
 648       AliError("Grid query failed");
 649       return 0;
 650     }
 651
 652     for(int i=0; i<res->GetEntries(); i++){
 653       AliCDBId *validFileId = new AliCDBId();
 654       TString filename = res->GetKey(i, "lfn");
 655       if(filename == "") continue;
 656       if(FilenameToId(filename, *validFileId))
 657         validFileIds.AddLast(validFileId);
 658     }
 659     delete res;
 660   }
 661
 662   TIter *iter=0;
 663   if(alreadyLoaded){
 664     iter = new TIter(&fValidFileIds);
 665   } else {
 666     iter = new TIter(&validFileIds);
 667   }
 668
 669   TObjArray selectedIds;
 670   selectedIds.SetOwner(1);
 671
 672   // loop on list of valid Ids to select the right version to get.
 673   // According to query and to the selection criteria list, version can be the highest or exact
 674   AliCDBPath pathCopy;
 675   AliCDBId* anIdPtr=0;
 676   AliCDBId* dataId=0;
 677   AliCDBPath queryPath = queryId.GetAliCDBPath();
 678   while((anIdPtr = dynamic_cast<AliCDBId*> (iter->Next()))){
 679     AliCDBPath thisCDBPath = anIdPtr->GetAliCDBPath();
 680     if(!(queryPath.Comprises(thisCDBPath)) || pathCopy.GetPath() == thisCDBPath.GetPath()) continue;
 681     pathCopy = thisCDBPath;
 682
 683     // check the selection criteria list for this query
 684     AliCDBId thisId(*anIdPtr);
 685     thisId.SetVersion(queryId.GetVersion());
 686     if(!thisId.HasVersion()) GetSelection(&thisId);
 687
 688     if(alreadyLoaded){
 689       dataId = GetId(fValidFileIds, thisId);
 690     } else {
 691       dataId = GetId(validFileIds, thisId);
 692     }
 693     if(dataId) selectedIds.Add(dataId);
 694   }
 695
 696   delete iter; iter=0;
 697
 698   // selectedIds contains the Ids of the files matching all requests of query!
 699   // All the objects are now ready to be retrieved
 700   iter = new TIter(&selectedIds);
 701   while((anIdPtr = dynamic_cast<AliCDBId*> (iter->Next()))){
 702     TString filename;
 703     if (!IdToFilename(*anIdPtr, filename)) {
 704       AliDebug(2,Form("Bad data ID encountered! Subnormal error!"));
 705       continue;
 706     }
 707
 708     AliCDBEntry* anEntry = GetEntryFromFile(filename, anIdPtr);
 709
 710     if(anEntry) result->Add(anEntry);
 711
 712   }
 713   delete iter; iter=0;
 714
 715   return result;
 716 }
 717
 718 //_____________________________________________________________________________
 719 Bool_t AliCDBGrid::PutEntry(AliCDBEntry* entry, const char* mirrors) {
 720 // put an AliCDBEntry object into the database
 721
 722   AliCDBId& id = entry->GetId();
 723
 724   // set version for the entry to be stored
 725   if (!PrepareId(id)) return kFALSE;
 726
 727   // build filename from entry's id
 728   TString filename;
 729   if (!IdToFilename(id, filename)) {
 730     AliError("Bad ID encountered, cannot make a file name out of it!");
 731     return kFALSE;
 732   }
 733
 734   TString folderToTag = Form("%s%s",
 735       fDBFolder.Data(),
 736       id.GetPath().Data());
 737
 738   TDirectory* saveDir = gDirectory;
 739
 740   TString fullFilename = Form("/alien%s", filename.Data());
 741   TString seMirrors(mirrors);
 742   if(seMirrors.IsNull() || seMirrors.IsWhitespace()) seMirrors=GetMirrorSEs();
 743   // specify SE to filename
 744   // if a list of SEs was passed to this method or set via SetMirrorSEs, set the first as SE for opening the file.
 745   // The other SEs will be used in cascade in case of failure in opening the file.
 746   // The remaining SEs will be used to create replicas.
 747   TObjArray *arraySEs = seMirrors.Tokenize(',');
 748   Int_t nSEs = arraySEs->GetEntries();
 749   Int_t remainingSEs = 1;
 750   if(nSEs == 0){
 751     if (fSE != "default") fullFilename += Form("?se=%s",fSE.Data());
 752   }else{
 753     remainingSEs = nSEs;
 754   }
 755
 756   // open file
 757   TFile *file = 0;
 758   TFile *reopenedFile = 0;
 759   AliDebug(2, Form("fNretry = %d, fInitRetrySeconds = %d",fNretry,fInitRetrySeconds));
 760   TString targetSE("");
 761
 762   Bool_t result = kFALSE;
 763   Bool_t reOpenResult = kFALSE;
 764   Int_t reOpenAttempts=0;
 765   while( !reOpenResult && reOpenAttempts<2 ) { //loop to check the file after closing it, to catch the unlikely but possible case when the file
 766     // is cleaned up by alien just before closing as a consequence of a network disconnection while writing
 767
 768     while( !file && remainingSEs>0 ) {
 769       if(nSEs!=0){
 770         TObjString *target = (TObjString*) arraySEs->At(nSEs-remainingSEs);
 771         targetSE=target->String();
 772         if ( !(targetSE.BeginsWith("ALICE::") && targetSE.CountChar(':')==4) ) {
 773           AliError( Form("\"%s\" is an invalid storage element identifier.",targetSE.Data()) );
 774           continue;
 775         }
 776         if ( fullFilename.Contains('?')) fullFilename.Remove(fullFilename.Last('?') );
 777         fullFilename += Form("?se=%s",targetSE.Data());
 778       }
 779       Int_t remainingAttempts=fNretry;
 780       Int_t nsleep = fInitRetrySeconds; // number of seconds between attempts. We let it increase exponentially
 781       AliDebug(2, Form("Uploading file into SE #%d: %s",nSEs-remainingSEs+1,targetSE.Data()));
 782       while(remainingAttempts > 0) {
 783         AliDebug(2, Form("Uploading file into OCDB at %s - Attempt #%d",targetSE.Data(),fNretry-remainingAttempts+1));
 784         remainingAttempts--;
 785         file = TFile::Open(fullFilename,"CREATE");
 786         if(!file || !file->IsWritable()){
 787           if(file) { // file is not writable
 788             file->Close(); delete file; file=0;
 789           }
 790           TString message(TString::Format("Attempt %d failed.",fNretry-remainingAttempts));
 791           if(remainingAttempts>0) {
 792             message += " Sleeping for "; message += nsleep; message += " seconds";
 793           }else{
 794             if(remainingSEs>0) message += " Trying to upload at next SE";
 795           }
 796           AliDebug(2, message.Data());
 797           if(remainingAttempts>0) sleep(nsleep);
 798         }else{
 799           remainingAttempts=0;
 800         }
 801         nsleep*=fInitRetrySeconds;
 802       }
 803       remainingSEs--;
 804     }
 805     if(!file){
 806       AliError(Form("All %d attempts have failed on all %d SEs. Returning...",fNretry,nSEs));
 807       return kFALSE;
 808     }
 809
 810     file->cd();
 811
 812     //SetTreeToFile(entry, file);
 813     entry->SetVersion(id.GetVersion());
 814
 815     // write object (key name: "AliCDBEntry")
 816     result = (file->WriteTObject(entry, "AliCDBEntry") != 0);
 817     file->Close();
 818     if (!result) {
 819       AliError(Form("Can't write entry to file <%s>!", filename.Data()));
 820     } else {
 821       AliDebug(2, Form("Reopening file %s for checking its correctness",fullFilename.Data()));
 822       reopenedFile = TFile::Open(fullFilename.Data(),"READ");
 823       if(!reopenedFile){
 824         reOpenResult = kFALSE;
 825         AliInfo(Form("The file %s was closed successfully but cannot be reopened. Trying now to regenerate it (regeneration attempt number %d)",
 826               fullFilename.Data(),++reOpenAttempts));
 827         delete file; file=0;
 828         AliDebug(2, Form("Removing file %s", filename.Data()));
 829         if(!gGrid->Rm(filename.Data()))
 830           AliError("Can't delete file!");
 831         remainingSEs++;
 832       }else{
 833         reOpenResult = kTRUE;
 834         if ( ! AliCDBManager::Instance()->IsOCDBUploadMode() ) {
 835           reopenedFile->Close();
 836           delete reopenedFile; reopenedFile=0;
 837         }
 838       }
 839     }
 840   }
 841
 842   if (saveDir) saveDir->cd(); else gROOT->cd();
 843   delete file; file=0;
 844
 845   if(result && reOpenResult) {
 846
 847     if(!TagFileId(filename, &id)){
 848       AliInfo(Form("CDB tagging failed. Deleting file %s!",filename.Data()));
 849       if(!gGrid->Rm(filename.Data()))
 850         AliError("Can't delete file!");
 851       return kFALSE;
 852     }
 853
 854     TagFileMetaData(filename, entry->GetMetaData());
 855   }else{
 856     AliError("The file could not be opened or the object could not be written.");
 857     if(!gGrid->Rm(filename.Data()))
 858       AliError("Can't delete file!");
 859     return kFALSE;
 860   }
 861
 862   AliInfo(Form("CDB object stored into file %s", filename.Data()));
 863   if(nSEs==0)
 864     AliInfo(Form("Storage Element: %s", fSE.Data()));
 865   else
 866     AliInfo(Form("Storage Element: %s", targetSE.Data()));
 867
 868   //In case of other SEs specified by the user, mirror the file to the remaining SEs
 869   for(Int_t i=0; i<nSEs; i++){
 870     if(i==nSEs-remainingSEs-1) continue; // skip mirroring to the SE where the file was saved
 871     TString mirrorCmd("mirror ");
 872     mirrorCmd += filename;
 873     mirrorCmd += " ";
 874     TObjString *target = (TObjString*) arraySEs->At(i);
 875     TString mirrorSE(target->String());
 876     mirrorCmd += mirrorSE;
 877     AliDebug(5,Form("mirror command: \"%s\"",mirrorCmd.Data()));
 878     AliInfo(Form("Mirroring to storage element: %s", mirrorSE.Data()));
 879     gGrid->Command(mirrorCmd.Data());
 880   }
 881   arraySEs->Delete(); arraySEs=0;
 882
 883   if ( AliCDBManager::Instance()->IsOCDBUploadMode() ) { // if uploading to OCDBs, add to cvmfs too
 884     if ( !filename.BeginsWith("/alice/data") && !filename.BeginsWith("/alice/simulation/2008/v4-15-Release") ) {
 885       AliError ( Form ( "Cannot upload to CVMFS OCDBs a non official CDB object: \"%s\"!", filename.Data() ) );
 886     } else {
 887       if ( !PutInCvmfs( filename, reopenedFile) )
 888         AliError( Form( "Could not upload AliEn file \"%s\" to CVMFS OCDB!", filename.Data() ) );
 889     }
 890     reopenedFile->Close();
 891     delete reopenedFile; reopenedFile=0;
 892   }
 893
 894   return kTRUE;
 895 }
 896
 897 //_____________________________________________________________________________
 898 Bool_t AliCDBGrid::PutInCvmfs(TString &filename, TFile *cdbFile) const {
 899   // Add the CDB object to cvmfs OCDB
 900
 901   TString cvmfsFilename(filename);
 902   if (cvmfsFilename.EndsWith("/")) cvmfsFilename.Remove(cvmfsFilename.Length()-1,1);
 903   TString basename = ( cvmfsFilename(cvmfsFilename.Last('/')+1, cvmfsFilename.Length()) );  // Run0_99999999_v2_s0.root
 904   TString cvmfsDirname = cvmfsFilename.Remove ( cvmfsFilename.Last('/')+1, cvmfsFilename.Length() );  // /alice/data/2011/OCDB/GRP/GRP/Data
 905
 906   TRegexp re_RawFolder("^/alice/data/20[0-9]+/OCDB");
 907   TRegexp re_MCFolder("^/alice/simulation/2008/v4-15-Release");
 908   TString rawFolder = cvmfsDirname(re_RawFolder);
 909   TString mcFolder = cvmfsDirname(re_MCFolder);
 910   if ( !rawFolder.IsNull() ) {
 911     cvmfsDirname.Replace(0, 6, "/cvmfs/alice-ocdb.cern.ch/calibration");
 912   } else if ( !mcFolder.IsNull() ){
 913     cvmfsDirname.Replace(0,36,"/cvmfs/alice-ocdb.cern.ch/calibration/MC");
 914   } else {
 915     AliError(Form("OCDB folder set for an invalid OCDB storage:\n   %s", cvmfsDirname.Data()));
 916     return kFALSE;
 917   }
 918   // now cvmfsDirname is "/cvmfs/alice-ocdb.cern.ch/calibration/data/2011/OCDB/GRP/GRP/Data"
 919   AliDebug(3, Form("Publishing \"%s\" in \"%s\"", basename.Data(), cvmfsDirname.Data()));
 920
 921   // Tar the file with the right prefix path
 922   cdbFile->Cp( basename.Data() );
 923   TString tarFileName("cdbObjectToAdd.tar.gz");
 924   // tarCommand should be e.g.: tar --transform 's,^,/cvmfs/alice-ocdb.cern.ch/calibration/data/2010/OCDB/,S' -cvzf objecttoadd.tar.gz basename
 925   Int_t result = gSystem->Exec ( Form( "tar --transform 's,^,%s,S' -cvzf %s %s", cvmfsDirname.Data(), tarFileName.Data(), basename.Data() ) );
 926   if ( result != 0 ) {
 927     AliError ( Form ( "Could not create the tarball for the object \"%s\"", filename.Data() ) );
 928     return kFALSE;
 929   }
 930
 931   // Copy the file to cvmfs
 932   result = gSystem->Exec( Form( "ocdb-cvmfs %s", tarFileName.Data() ) );
 933   if ( result != 0 ) {
 934     AliError ( Form ( "Could not execute \"ocdb-cvmfs %s\"", filename.Data() ) );
 935     return kFALSE;
 936   }
 937
 938   // Remove the local file and the tar-file
 939   gSystem->Exec( Form( "rm %s", basename.Data() ) );
 940   gSystem->Exec( Form( "rm %s", tarFileName.Data() ) );
 941
 942   return kTRUE;
 943 }
 944
 945 //_____________________________________________________________________________
 946 Bool_t AliCDBGrid::AddTag(TString& folderToTag, const char* tagname){
 947 // add "tagname" tag (CDB or CDB_MD) to folder where object will be stored
 948
 949   Bool_t result = kTRUE;
 950   AliDebug(2, Form("adding %s tag to folder %s", tagname, folderToTag.Data()));
 951   TString addTag = Form("addTag %s %s", folderToTag.Data(), tagname);
 952   TGridResult *gridres = gGrid->Command(addTag.Data());
 953   const char* resCode = gridres->GetKey(0,"__result__"); // '1' if success
 954   if(resCode[0] != '1') {
 955     AliError(Form("Couldn't add %s tags to folder %s !",
 956           tagname, folderToTag.Data()));
 957     result = kFALSE;
 958   }
 959   delete gridres;
 960   return result;
 961 }
 962
 963 //_____________________________________________________________________________
 964 Bool_t AliCDBGrid::TagFileId(TString& filename, const AliCDBId* id){
 965 // tag stored object in CDB table using object Id's parameters
 966
 967
 968   TString dirname(filename);
 969   Int_t dirNumber = gGrid->Mkdir(dirname.Remove(dirname.Last('/')),"-d");
 970
 971   TString addTagValue1 = Form("addTagValue %s CDB ", filename.Data());
 972   TString addTagValue2 = Form("first_run=%d last_run=%d version=%d ",
 973       id->GetFirstRun(),
 974       id->GetLastRun(),
 975       id->GetVersion());
 976   TString addTagValue3 = Form("path_level_0=\"%s\" path_level_1=\"%s\" path_level_2=\"%s\" ",
 977       id->GetPathLevel(0).Data(),
 978       id->GetPathLevel(1).Data(),
 979       id->GetPathLevel(2).Data());
 980   //TString addTagValue4 = Form("version_path=\"%s\" dir_number=%d",Form("%d_%s",id->GetVersion(),filename.Data()),dirNumber);
 981   TString addTagValue4 = Form("version_path=\"%09d%s\" dir_number=%d",id->GetVersion(),filename.Data(),dirNumber);
 982   TString addTagValue = Form("%s%s%s%s",
 983       addTagValue1.Data(),
 984       addTagValue2.Data(),
 985       addTagValue3.Data(),
 986       addTagValue4.Data());
 987
 988   Bool_t result = kFALSE;
 989   AliDebug(2, Form("Tagging file. Tag command: %s", addTagValue.Data()));
 990   TGridResult* res = gGrid->Command(addTagValue.Data());
 991   const char* resCode = res->GetKey(0,"__result__"); // '1' if success
 992   if(resCode[0] != '1') {
 993     AliError(Form("Couldn't add CDB tag value to file %s !",
 994           filename.Data()));
 995     result = kFALSE;
 996   } else {
 997     AliDebug(2, "Object successfully tagged.");
 998     result = kTRUE;
 999   }
1000   delete res;
1001   return result;
1002
1003 }
1004
1005 //_____________________________________________________________________________
1006 Bool_t AliCDBGrid::TagShortLived(TString& filename, Bool_t value){
1007 // tag folder with ShortLived tag
1008
1009   TString addTagValue = Form("addTagValue %s ShortLived_try value=%d", filename.Data(), value);
1010
1011   Bool_t result = kFALSE;
1012   AliDebug(2, Form("Tagging file. Tag command: %s", addTagValue.Data()));
1013   TGridResult* res = gGrid->Command(addTagValue.Data());
1014   const char* resCode = res->GetKey(0,"__result__"); // '1' if success
1015   if(resCode[0] != '1') {
1016     AliError(Form("Couldn't add ShortLived tag value to file %s !", filename.Data()));
1017     result = kFALSE;
1018   } else {
1019     AliDebug(2,"Object successfully tagged.");
1020     result = kTRUE;
1021   }
1022   delete res;
1023   return result;
1024
1025 }
1026
1027 //_____________________________________________________________________________
1028 Bool_t AliCDBGrid::TagFileMetaData(TString& filename, const AliCDBMetaData* md){
1029 // tag stored object in CDB table using object Id's parameters
1030
1031   TString addTagValue1 = Form("addTagValue %s CDB_MD ", filename.Data());
1032   TString addTagValue2 = Form("object_classname=\"%s\" responsible=\"%s\" beam_period=%d ",
1033       md->GetObjectClassName(),
1034       md->GetResponsible(),
1035       md->GetBeamPeriod());
1036   TString addTagValue3 = Form("aliroot_version=\"%s\" comment=\"%s\"",
1037       md->GetAliRootVersion(),
1038       md->GetComment());
1039   TString addTagValue = Form("%s%s%s",
1040       addTagValue1.Data(),
1041       addTagValue2.Data(),
1042       addTagValue3.Data());
1043
1044   Bool_t result = kFALSE;
1045   AliDebug(2, Form("Tagging file. Tag command: %s", addTagValue.Data()));
1046   TGridResult* res = gGrid->Command(addTagValue.Data());
1047   const char* resCode = res->GetKey(0,"__result__"); // '1' if success
1048   if(resCode[0] != '1') {
1049     AliWarning(Form("Couldn't add CDB_MD tag value to file %s !",
1050           filename.Data()));
1051     result = kFALSE;
1052   } else {
1053     AliDebug(2,"Object successfully tagged.");
1054     result = kTRUE;
1055   }
1056   return result;
1057 }
1058
1059 //_____________________________________________________________________________
1060 TList* AliCDBGrid::GetIdListFromFile(const char* fileName){
1061
1062   TString turl(fileName);
1063   turl.Prepend("/alien" + fDBFolder);
1064   turl += "?se="; turl += fSE.Data();
1065   TFile *file = TFile::Open(turl);
1066   if (!file) {
1067     AliError(Form("Can't open selection file <%s>!", turl.Data()));
1068     return NULL;
1069   }
1070
1071   TList *list = new TList();
1072   list->SetOwner();
1073   int i=0;
1074   TString keycycle;
1075
1076   AliCDBId *id;
1077   while(1){
1078     i++;
1079     keycycle = "AliCDBId;";
1080     keycycle+=i;
1081
1082     id = (AliCDBId*) file->Get(keycycle);
1083     if(!id) break;
1084     list->AddFirst(id);
1085   }
1086   file->Close(); delete file; file=0;
1087
1088   return list;
1089
1090
1091 }
1092
1093 //_____________________________________________________________________________
1094 Bool_t AliCDBGrid::Contains(const char* path) const{
1095 // check for path in storage's DBFolder
1096
1097   TString initDir(gGrid->Pwd(0));
1098   TString dirName(fDBFolder);
1099   dirName += path; // dirName = fDBFolder/path
1100   Bool_t result=kFALSE;
1101   if (gGrid->Cd(dirName,0)) result=kTRUE;
1102   gGrid->Cd(initDir.Data(),0);
1103   return result;
1104 }
1105
1106 //_____________________________________________________________________________
1107 void AliCDBGrid::QueryValidFiles()
1108 {
1109   // Query the CDB for files valid for AliCDBStorage::fRun
1110   // Fills list fValidFileIds with AliCDBId objects extracted from CDB files
1111   // selected from AliEn metadata.
1112   // If fVersion was not set, fValidFileIds is filled with highest versions.
1113
1114   TString filter;
1115   MakeQueryFilter(fRun, fRun, fMetaDataFilter, filter);
1116
1117   TString path = fPathFilter.GetPath();
1118
1119   TString pattern = "Run*";
1120   TString optionQuery = "-y";
1121   if(fVersion >= 0) {
1122     pattern += Form("_v%d_s0", fVersion);
1123     optionQuery = "";
1124   }
1125   pattern += ".root";
1126   AliDebug(2,Form("pattern: %s", pattern.Data()));
1127
1128   TString addFolder = "";
1129   if (!path.Contains("*")){
1130     if (!path.BeginsWith("/")) addFolder += "/";
1131     addFolder += path;
1132   }
1133   else{
1134     if (path.BeginsWith("/")) path.Remove(0,1);
1135     if (path.EndsWith("/")) path.Remove(path.Length()-1,1);
1136     TObjArray* tokenArr = path.Tokenize("/");
1137     if (tokenArr->GetEntries() != 3) {
1138       AliError("Not a 3 level path! Keeping old query...");
1139       pattern.Prepend(path+"/");
1140     }
1141     else{
1142       TString str0 = ((TObjString*)tokenArr->At(0))->String();
1143       TString str1 = ((TObjString*)tokenArr->At(1))->String();
1144       TString str2 = ((TObjString*)tokenArr->At(2))->String();
1145       if (str0 != "*" && str1 != "*" && str2 == "*"){
1146         // e.g. "ITS/Calib/*"
1147         addFolder = "/"+str0+"/"+str1;
1148       }
1149       else if (str0 != "*" && str1 == "*" && str2 == "*"){
1150         // e.g. "ITS/*/*"
1151         addFolder = "/"+str0;
1152       }
1153       else if (str0 == "*" && str1 == "*" && str2 == "*"){
1154         // e.g. "*/*/*"
1155         // do nothing: addFolder is already an empty string;
1156       }
1157       else{
1158         // e.g. "ITS/*/RecoParam"
1159         pattern.Prepend(path+"/");
1160       }
1161     }
1162     delete tokenArr; tokenArr=0;
1163   }
1164
1165   TString folderCopy(Form("%s%s",fDBFolder.Data(),addFolder.Data()));
1166
1167   AliDebug(2,Form("fDBFolder = %s, pattern = %s, filter = %s",folderCopy.Data(), pattern.Data(), filter.Data()));
1168
1169   if (optionQuery == "-y"){
1170     AliInfo("Only latest version will be returned");
1171   }
1172
1173   TGridResult *res = gGrid->Query(folderCopy, pattern, filter, optionQuery.Data());
1174
1175   if (!res) {
1176     AliError("Grid query failed");
1177     return;
1178   }
1179
1180   TIter next(res);
1181   TMap *map;
1182   while ((map = (TMap*)next())) {
1183     TObjString *entry;
1184     if ((entry = (TObjString *) ((TMap *)map)->GetValue("lfn"))) {
1185       TString& filename = entry->String();
1186       if(filename.IsNull()) continue;
1187       AliDebug(2,Form("Found valid file: %s", filename.Data()));
1188       AliCDBId *validFileId = new AliCDBId();
1189       Bool_t result = FilenameToId(filename, *validFileId);
1190       if(result) {
1191         fValidFileIds.AddLast(validFileId);
1192       }
1193       else {
1194         delete validFileId;
1195       }
1196     }
1197   }
1198   delete res;
1199
1200 }
1201
1202 //_____________________________________________________________________________
1203 void AliCDBGrid::MakeQueryFilter(Int_t firstRun, Int_t lastRun,
1204     const AliCDBMetaData* md, TString& result) const
1205 {
1206   // create filter for file query
1207
1208   result = Form("CDB:first_run<=%d and CDB:last_run>=%d", firstRun, lastRun);
1209
1210   //    if(version >= 0) {
1211   //            result += Form(" and CDB:version=%d", version);
1212   //    }
1213   //    if(pathFilter.GetLevel0() != "*") {
1214   //            result += Form(" and CDB:path_level_0=\"%s\"", pathFilter.GetLevel0().Data());
1215   //    }
1216   //    if(pathFilter.GetLevel1() != "*") {
1217   //            result += Form(" and CDB:path_level_1=\"%s\"", pathFilter.GetLevel1().Data());
1218   //    }
1219   //    if(pathFilter.GetLevel2() != "*") {
1220   //            result += Form(" and CDB:path_level_2=\"%s\"", pathFilter.GetLevel2().Data());
1221   //    }
1222
1223   if(md){
1224     if(md->GetObjectClassName()[0] != '\0') {
1225       result += Form(" and CDB_MD:object_classname=\"%s\"", md->GetObjectClassName());
1226     }
1227     if(md->GetResponsible()[0] != '\0') {
1228       result += Form(" and CDB_MD:responsible=\"%s\"", md->GetResponsible());
1229     }
1230     if(md->GetBeamPeriod() != 0) {
1231       result += Form(" and CDB_MD:beam_period=%d", md->GetBeamPeriod());
1232     }
1233     if(md->GetAliRootVersion()[0] != '\0') {
1234       result += Form(" and CDB_MD:aliroot_version=\"%s\"", md->GetAliRootVersion());
1235     }
1236     if(md->GetComment()[0] != '\0') {
1237       result += Form(" and CDB_MD:comment=\"%s\"", md->GetComment());
1238     }
1239   }
1240   AliDebug(2, Form("filter: %s",result.Data()));
1241
1242 }
1243
1244
1245 /////////////////////////////////////////////////////////////////////////////////////////////////
1246 //                                                                                             //
1247 // AliCDBGrid factory                                                                          //
1248 //                                                                                             //
1249 /////////////////////////////////////////////////////////////////////////////////////////////////
1250
1251 ClassImp(AliCDBGridFactory)
1252
1253   //_____________________________________________________________________________
1254   Bool_t AliCDBGridFactory::Validate(const char* gridString) {
1255     // check if the string is valid Grid URI
1256
1257     TRegexp gridPattern("^alien://.+$");
1258
1259     return TString(gridString).Contains(gridPattern);
1260   }
1261
1262 //_____________________________________________________________________________
1263 AliCDBParam* AliCDBGridFactory::CreateParameter(const char* gridString) {
1264   // create AliCDBGridParam class from the URI string
1265
1266   if (!Validate(gridString)) {
1267     return NULL;
1268   }
1269
1270   TString buffer(gridString);
1271
1272   TString gridUrl       = "alien://";
1273   TString user          = "";
1274   TString dbFolder      = "";
1275   TString se            = "default";
1276   TString cacheFolder   = "";
1277   Bool_t  operateDisconnected = kTRUE;
1278   Long64_t cacheSize          = (UInt_t) 1024*1024*1024; // 1GB
1279   Long_t cleanupInterval      = 0;
1280
1281   TObjArray *arr = buffer.Tokenize('?');
1282   TIter iter(arr);
1283   TObjString *str = 0;
1284
1285   while((str = (TObjString*) iter.Next())){
1286     TString entry(str->String());
1287     Int_t indeq = entry.Index('=');
1288     if(indeq == -1) {
1289       if(entry.BeginsWith("alien://")) { // maybe it's a gridUrl!
1290         gridUrl = entry;
1291         continue;
1292       } else {
1293         AliError(Form("Invalid entry! %s",entry.Data()));
1294         continue;
1295       }
1296     }
1297
1298     TString key = entry(0,indeq);
1299     TString value = entry(indeq+1,entry.Length()-indeq);
1300
1301     if(key.Contains("grid",TString::kIgnoreCase)) {
1302       gridUrl += value;
1303     }
1304     else if (key.Contains("user",TString::kIgnoreCase)){
1305       user = value;
1306     }
1307     else if (key.Contains("se",TString::kIgnoreCase)){
1308       se = value;
1309     }
1310     else if (key.Contains("cacheF",TString::kIgnoreCase)){
1311       cacheFolder = value;
1312       if (!cacheFolder.IsNull() && !cacheFolder.EndsWith("/"))
1313         cacheFolder += "/";
1314     }
1315     else if (key.Contains("folder",TString::kIgnoreCase)){
1316       dbFolder = value;
1317     }
1318     else if (key.Contains("operateDisc",TString::kIgnoreCase)){
1319       if(value == "kTRUE") {
1320         operateDisconnected = kTRUE;
1321       } else if (value == "kFALSE") {
1322         operateDisconnected = kFALSE;
1323       } else if (value == "0" || value == "1") {
1324         operateDisconnected = (Bool_t) value.Atoi();
1325       } else {
1326         AliError(Form("Invalid entry! %s",entry.Data()));
1327         return NULL;
1328       }
1329     }
1330     else if (key.Contains("cacheS",TString::kIgnoreCase)){
1331       if(value.IsDigit()) {
1332         cacheSize = value.Atoi();
1333       } else {
1334         AliError(Form("Invalid entry! %s",entry.Data()));
1335         return NULL;
1336       }
1337     }
1338     else if (key.Contains("cleanupInt",TString::kIgnoreCase)){
1339       if(value.IsDigit()) {
1340         cleanupInterval = value.Atoi();
1341       } else {
1342         AliError(Form("Invalid entry! %s",entry.Data()));
1343         return NULL;
1344       }
1345     }
1346     else{
1347       AliError(Form("Invalid entry! %s",entry.Data()));
1348       return NULL;
1349     }
1350   }
1351   delete arr; arr=0;
1352
1353   AliDebug(2, Form("gridUrl:    %s", gridUrl.Data()));
1354   AliDebug(2, Form("user:       %s", user.Data()));
1355   AliDebug(2, Form("dbFolder:   %s", dbFolder.Data()));
1356   AliDebug(2, Form("s.e.:       %s", se.Data()));
1357   AliDebug(2, Form("local cache folder: %s", cacheFolder.Data()));
1358   AliDebug(2, Form("local cache operate disconnected: %d", operateDisconnected));
1359   AliDebug(2, Form("local cache size: %lld", cacheSize));
1360   AliDebug(2, Form("local cache cleanup interval: %ld", cleanupInterval));
1361
1362   if(dbFolder == ""){
1363     AliError("Base folder must be specified!");
1364     return NULL;
1365   }
1366
1367   return new AliCDBGridParam(gridUrl.Data(), user.Data(),
1368       dbFolder.Data(), se.Data(), cacheFolder.Data(),
1369       operateDisconnected, cacheSize, cleanupInterval);
1370 }
1371
1372 //_____________________________________________________________________________
1373 AliCDBStorage* AliCDBGridFactory::Create(const AliCDBParam* param) {
1374   // create AliCDBGrid storage instance from parameters
1375
1376   AliCDBGrid *grid = 0;
1377   if (AliCDBGridParam::Class() == param->IsA()) {
1378
1379     const AliCDBGridParam* gridParam = (const AliCDBGridParam*) param;
1380     grid = new AliCDBGrid(gridParam->GridUrl().Data(),
1381         gridParam->GetUser().Data(),
1382         gridParam->GetDBFolder().Data(),
1383         gridParam->GetSE().Data(),
1384         gridParam->GetCacheFolder().Data(),
1385         gridParam->GetOperateDisconnected(),
1386         gridParam->GetCacheSize(),
1387         gridParam->GetCleanupInterval());
1388
1389   }
1390
1391   if(!gGrid && grid) {
1392     delete grid; grid=0;
1393   }
1394
1395   return grid;
1396 }
1397
1398 /////////////////////////////////////////////////////////////////////////////////////////////////
1399 //                                                                                             //
1400 // AliCDBGrid Parameter class                                                                  //                                         //
1401 //                                                                                             //
1402 /////////////////////////////////////////////////////////////////////////////////////////////////
1403
1404 ClassImp(AliCDBGridParam)
1405
1406   //_____________________________________________________________________________
1407   AliCDBGridParam::AliCDBGridParam():
1408     AliCDBParam(),
1409     fGridUrl(),
1410     fUser(),
1411     fDBFolder(),
1412     fSE(),
1413     fCacheFolder(),
1414     fOperateDisconnected(),
1415     fCacheSize(),
1416     fCleanupInterval()
1417
1418 {
1419   // default constructor
1420
1421 }
1422
1423 //_____________________________________________________________________________
1424 AliCDBGridParam::AliCDBGridParam(const char* gridUrl, const char* user, const char* dbFolder,
1425     const char* se, const char* cacheFolder, Bool_t operateDisconnected,
1426     Long64_t cacheSize, Long_t cleanupInterval):
1427   AliCDBParam(),
1428   fGridUrl(gridUrl),
1429   fUser(user),
1430   fDBFolder(dbFolder),
1431   fSE(se),
1432   fCacheFolder(cacheFolder),
1433   fOperateDisconnected(operateDisconnected),
1434   fCacheSize(cacheSize),
1435   fCleanupInterval(cleanupInterval)
1436 {
1437   // constructor
1438
1439   SetType("alien");
1440
1441   TString uri = Form("%s?User=%s?DBFolder=%s?SE=%s?CacheFolder=%s"
1442       "?OperateDisconnected=%d?CacheSize=%lld?CleanupInterval=%ld",
1443       fGridUrl.Data(), fUser.Data(),
1444       fDBFolder.Data(), fSE.Data(), fCacheFolder.Data(),
1445       fOperateDisconnected, fCacheSize, fCleanupInterval);
1446
1447   SetURI(uri.Data());
1448 }
1449
1450 //_____________________________________________________________________________
1451 AliCDBGridParam::~AliCDBGridParam() {
1452   // destructor
1453
1454 }
1455
1456 //_____________________________________________________________________________
1457 AliCDBParam* AliCDBGridParam::CloneParam() const {
1458   // clone parameter
1459
1460   return new AliCDBGridParam(fGridUrl.Data(), fUser.Data(),
1461       fDBFolder.Data(), fSE.Data(), fCacheFolder.Data(),
1462       fOperateDisconnected, fCacheSize, fCleanupInterval);
1463 }
1464
1465 //_____________________________________________________________________________
1466 ULong_t AliCDBGridParam::Hash() const {
1467   // return Hash function
1468
1469   return fGridUrl.Hash()+fUser.Hash()+fDBFolder.Hash()+fSE.Hash()+fCacheFolder.Hash();
1470 }
1471
1472 //_____________________________________________________________________________
1473 Bool_t AliCDBGridParam::IsEqual(const TObject* obj) const {
1474   // check if this object is equal to AliCDBParam obj
1475
1476   if (this == obj) {
1477     return kTRUE;
1478   }
1479
1480   if (AliCDBGridParam::Class() != obj->IsA()) {
1481     return kFALSE;
1482   }
1483
1484   AliCDBGridParam* other = (AliCDBGridParam*) obj;
1485
1486   if(fGridUrl != other->fGridUrl) return kFALSE;
1487   if(fUser != other->fUser) return kFALSE;
1488   if(fDBFolder != other->fDBFolder) return kFALSE;
1489   if(fSE != other->fSE) return kFALSE;
1490   if(fCacheFolder != other->fCacheFolder) return kFALSE;
1491   if(fOperateDisconnected != other->fOperateDisconnected) return kFALSE;
1492   if(fCacheSize != other->fCacheSize) return kFALSE;
1493   if(fCleanupInterval != other->fCleanupInterval) return kFALSE;
1494   return kTRUE;
1495 }
1496