Added possibility to to merge in chunks of files and one can specify the number of...
[u/mrichter/AliRoot.git] / ANALYSIS / AliAnalysisAlien.h
1 #ifndef ALIANALYSISALIEN_H
2 #define ALIANALYSISALIEN_H
3 /* Copyright(c) 1998-1999, ALICE Experiment at CERN, All rights reserved. *
4  * See cxx source for full Copyright notice                               */
5
6 // Author: Mihaela Gheata, 01/09/2008
7
8 //==============================================================================
9 //   AliAnalysisAlien - AliEn utility class. Provides interface for creating
10 // a personalized JDL, finding and creating a dataset.
11 //==============================================================================
12
13 #ifndef ALIANALYSISGRID_H
14 #include "AliAnalysisGrid.h"
15 #endif
16
17 #ifndef ROOT_TString
18 #include <TString.h>
19 #endif
20
21 class TGridJDL;
22
23 class AliAnalysisAlien : public AliAnalysisGrid {
24
25 public:
26
27    AliAnalysisAlien();
28    AliAnalysisAlien(const char *name);
29    virtual ~AliAnalysisAlien();
30    AliAnalysisAlien(const AliAnalysisAlien& other); 
31    AliAnalysisAlien& operator=(const AliAnalysisAlien& other);
32 // Setters   
33    virtual void        AddIncludePath(const char *path);
34    virtual void        AddRunNumber(Int_t run);
35    virtual void        AddDataFile(const char *lfn);
36    virtual void        SetExecutable(const char *name="analysis.sh")     {fExecutable = name;}
37    virtual void        SetArguments(const char *name="")                 {fArguments = name;}
38    virtual void        SetAnalysisMacro(const char *name="myAnalysis.C") {fAnalysisMacro = name;}
39    virtual void        SetAnalysisSource(const char *name="myAnalysisClass.cxx") {fAnalysisSource = name;}
40    virtual void        SetAdditionalLibs(const char *list)               {fAdditionalLibs = list;}
41    virtual void        SetPrice(Int_t price=1)                           {fPrice = price;}
42    virtual void        SetRunRange(Int_t min, Int_t max)                 {fRunRange[0] = min; fRunRange[1] = max;}
43    virtual void        SetNMasterJobs(Int_t njobs)                       {fNMasterJobs = njobs;}
44    virtual void        SetMaxMergeFiles(Int_t nfiles)                    {fMaxMergeFiles = nfiles;}
45    virtual void        SetSplitMode(const char *type="se")               {fSplitMode = type;}
46    virtual void        SetSplitMaxInputFileNumber(Int_t nfiles=100)      {fSplitMaxInputFileNumber = nfiles;}
47    virtual void        SetAPIVersion(const char *version="V2.4") {fAPIVersion = version;}
48    virtual void        SetROOTVersion(const char *version="v5-21-01-alice") {fROOTVersion = version;}
49    virtual void        SetAliROOTVersion(const char *version="v4-14-Rev-02") {fAliROOTVersion=version;}
50    virtual void        SetUser(const char *user)                         {fUser = user;}
51    virtual void        SetTTL(Int_t ttl=30000)                           {fTTL = ttl;}
52    virtual void        SetGridWorkingDir(const char *name="workdir")     {fGridWorkingDir = name;}
53    virtual void        SetGridDataDir(const char *name)                  {fGridDataDir = name;}
54    virtual void        SetDataPattern(const char *pattern="*AliESDs.root") {fDataPattern = pattern;}
55    virtual void        SetFriendChainName(const char *name="")           {fFriendChainName = name;}
56    virtual void        SetDefaultOutputs(Bool_t flag);
57    virtual void        SetGridOutputDir(const char *name="output")       {fGridOutputDir = name;}
58    virtual void        SetOutputArchive(const char *list="log_archive.zip:stdout,stderr root_archive.zip:*.root") {fOutputArchive = list;}
59    virtual void        SetOutputFiles(const char *list)                  {fOutputFiles = list;}
60    virtual void        SetInputFormat(const char *format="xml-single")   {fInputFormat = format;}
61    virtual void        SetMaxInitFailed(Int_t nfail=5)                   {fMaxInitFailed = nfail;}
62    virtual void        SetMergeExcludes(const char *list)                {fMergeExcludes = list;};
63    virtual void        SetMasterResubmitThreshold(Int_t percentage)      {fMasterResubmitThreshold = percentage;}
64    virtual void        SetNtestFiles(Int_t nfiles)                       {fNtestFiles = nfiles;}
65    virtual void        SetJDLName(const char *name="analysis.jdl")       {fJDLName = name;}
66    virtual void        SetPreferedSE(const char *se)                     {fCloseSE = se;}
67
68    TGridJDL           *GetGridJDL() {return fGridJDL;}
69 //Utilities
70    virtual Bool_t      CreateDataset(const char *pattern);
71    virtual Bool_t      CreateJDL();
72    virtual void        EnablePackage(const char *package);
73    virtual Bool_t      MergeOutputs();
74    virtual void        Print(Option_t *option="") const;
75    virtual void        StartAnalysis(Long64_t nentries=123456789, Long64_t firstentry=0);
76    virtual void        WriteAnalysisFile();
77    virtual void        WriteAnalysisMacro();
78    virtual void        WriteExecutable();
79    Bool_t              WriteJDL(Int_t index, Bool_t copy);
80    virtual void        WriteValidationScript();
81
82 protected:
83    void                CdWork();
84    Bool_t              CheckInputData();
85    void                CheckDataType(const char *lfn, Bool_t &is_collection, Bool_t &is_xml, Bool_t &use_tags);
86    virtual Bool_t      Connect();
87    virtual void        SetDefaults();  
88
89    Bool_t              FileExists(const char *lfn) const;
90    Bool_t              IsCollection(const char *lfn) const;
91    Bool_t              IsUsingTags() const {return TObject::TestBit(AliAnalysisGrid::kUseTags);}
92
93 private:
94    TGridJDL        *fGridJDL;         //! JDL maker
95    Int_t            fPrice;           // Grid price for the job;
96    Int_t            fTTL;             // Time to live.
97    Int_t            fSplitMaxInputFileNumber; // Maximum number of files to be processed per subjob
98    Int_t            fMaxInitFailed;   // Maximum initial consecutive subjobs accepted to fail
99    Int_t            fMasterResubmitThreshold; // Failed jobs will be resubmitted until this DONE ratio
100    Int_t            fNtestFiles;      // Number of files used in the testing case
101    Int_t            fRunRange[2];     // Run range
102    Int_t            fNMasterJobs;     // Number of masterjobs to be launched
103    Int_t            fMaxMergeFiles;   // Maximum number of files to be merged in one chunk
104    TString          fRunNumbers;      // List of runs to be processed
105    TString          fExecutable;      // Executable script for AliEn job
106    TString          fArguments;       // Arguments for the executable script
107    TString          fAnalysisMacro;   // Root macro steering the analysis
108    TString          fAnalysisSource;  // User analysis implementation (.cxx) file(s)
109    TString          fAdditionalLibs;  // List (separated by blacs) of additional libraries needed for the analysis
110    TString          fSplitMode;       // Job split mode
111    TString          fAPIVersion;      // API version
112    TString          fROOTVersion;     // ROOT version
113    TString          fAliROOTVersion;  // AliROOT version
114    TString          fUser;            // AliEn user name
115    TString          fGridWorkingDir;  // AliEn directory containing the input packages
116    TString          fGridDataDir;     // AliEn data production directory
117    TString          fDataPattern;     // Data pattern for 'find' command
118    TString          fGridOutputDir;   // AliEn directory (wrt work dir) where the output should be written
119    TString          fOutputArchive;   // List of output archives separated by blancs
120    TString          fOutputFiles;     // List of output files separated by blancs
121    TString          fInputFormat;     // Input format (xml-single)
122    TString          fDatasetName;     // Dataset xml file to be created
123    TString          fJDLName;         // JDL file to be generated
124    TString          fMergeExcludes;   // List of output files excluded from merging
125    TString          fIncludePath;     // Include path
126    TString          fCloseSE;         // Preffered storage element. Taken from alien_CLOSE_SE environment.
127    TString          fFriendChainName; // File name to construct friend chain (for AOD)
128    TObjArray       *fInputFiles;      // List of input files to be processed by the job
129    TObjArray       *fPackages;        // List of packages to be used
130    
131    ClassDef(AliAnalysisAlien, 4)   // Class providing some AliEn utilities
132 };
133 #endif