CopyLocalDataset returns now the number of entries for which the files were actually...
[u/mrichter/AliRoot.git] / ANALYSIS / AliAnalysisAlien.h
1 #ifndef ALIANALYSISALIEN_H
2 #define ALIANALYSISALIEN_H
3 /* Copyright(c) 1998-1999, ALICE Experiment at CERN, All rights reserved. *
4  * See cxx source for full Copyright notice                               */
5
6 // Author: Mihaela Gheata, 01/09/2008
7
8 //==============================================================================
9 //   AliAnalysisAlien - AliEn utility class. Provides interface for creating
10 // a personalized JDL, finding and creating a dataset.
11 //==============================================================================
12
13 #ifndef ALIANALYSISGRID_H
14 #include "AliAnalysisGrid.h"
15 #endif
16
17 #ifndef ROOT_TString
18 #include <TString.h>
19 #endif
20
21 #ifndef ROOT_TMath
22 #include <TMath.h>
23 #endif
24
25 #ifndef ROOT_TMap
26 #include <TMap.h>
27 #endif
28
29 class AliAnalysisManager;
30 class AliAnalysisTaskCfg;
31 class TGridJDL;
32
33 class AliAnalysisAlien : public AliAnalysisGrid {
34
35 public:
36
37    AliAnalysisAlien();
38    AliAnalysisAlien(const char *name);
39    virtual ~AliAnalysisAlien();
40    AliAnalysisAlien(const AliAnalysisAlien& other); 
41    AliAnalysisAlien& operator=(const AliAnalysisAlien& other);
42 // Setters   
43    virtual void        AddAdditionalLibrary(const char *name);
44    virtual void        AddIncludePath(const char *path);
45    virtual void        AddRunNumber(Int_t run);
46    virtual void        AddRunNumber(const char *run);
47    virtual void        AddRunList(const char *runList);
48    virtual void        AddDataFile(const char *lfn);
49    virtual void        AddExternalPackage(const char *name);
50    virtual void        SetExecutable(const char *name="analysis.sh")     {fExecutable = name;}
51    virtual void        SetExecutableCommand(const char *command="root -b -q") {fExecutableCommand = command;}
52    virtual void        SetArguments(const char *name="")                 {fArguments = name;}
53    virtual void        SetExecutableArgs(const char *name="")            {fExecutableArgs = name;}
54    virtual void        SetAnalysisMacro(const char *name="myAnalysis.C") {fAnalysisMacro = name;}
55    virtual void        SetAnalysisSource(const char *name="myAnalysisClass.cxx") {fAnalysisSource = name;}
56    virtual void        SetValidationScript(const char *name="validation.sh") {fValidationScript = name;}
57    virtual void        SetAdditionalLibs(const char *list)               {fAdditionalLibs = list;}
58    virtual void        SetAdditionalRootLibs(const char *list)           {fAdditionalRootLibs = list;}
59    virtual void        SetPrice(Int_t price=1)                           {fPrice = price;}
60    virtual void        SetRunRange(Int_t min, Int_t max)                 {fRunRange[0] = min; fRunRange[1] = max;}
61    virtual void        SetJobTag(const char *tag="")                     {fJobTag = tag;}
62    virtual void        SetNrunsPerMaster(Int_t nruns=1)                  {fNrunsPerMaster = nruns;}
63    virtual void        SetMaxMergeFiles(Int_t nfiles)                    {fMaxMergeFiles = nfiles;}
64    virtual void        SetMaxMergeStages(Int_t nstages)                  {fMaxMergeStages = nstages;}
65    virtual void        SetSplitMode(const char *type="se")               {fSplitMode = type;}
66    virtual void        SetSplitMaxInputFileNumber(Int_t nfiles=100)      {fSplitMaxInputFileNumber = nfiles;}
67    virtual void        SetAPIVersion(const char *version)                {fAPIVersion = version;}
68    virtual void        SetROOTVersion(const char *version)               {fROOTVersion = version;}
69    virtual void        SetAliROOTVersion(const char *version)            {fAliROOTVersion=version;}
70    virtual void        SetUser(const char *user)                         {fUser = user;}
71    virtual void        SetTTL(Int_t ttl=30000)                           {fTTL = ttl;}
72    virtual void        SetGridWorkingDir(const char *name="workdir")     {fGridWorkingDir = name;}
73    virtual void        SetGridDataDir(const char *name)                  {fGridDataDir = name;}
74    virtual void        SetDataPattern(const char *pattern="*AliESDs.root") {fDataPattern = pattern;}
75    virtual void        SetFriendChainName(const char *name="")           {fFriendChainName = name;}
76    virtual void        SetDefaultOutputs(Bool_t flag);
77    virtual void        SetGridOutputDir(const char *name="output")       {fGridOutputDir = name;}
78    virtual void        SetOutputArchive(const char *list="log_archive.zip:std*@disk=1 root_archive.zip:*.root@disk=2");
79    virtual void        SetOutputFiles(const char *list);
80    virtual void        SetOutputToRunNo(Int_t mode=1)                    {fOutputToRunNo = mode;}
81    virtual void        SetInputFormat(const char *format="xml-single")   {fInputFormat = format;}
82    virtual void        SetMaxInitFailed(Int_t nfail=5)                   {fMaxInitFailed = nfail;}
83    virtual void        SetTerminateFiles(const char *list)               {fTerminateFiles = list;}
84    virtual void        SetMergeExcludes(const char *list)                {fMergeExcludes = list;};
85    virtual void        SetMergeViaJDL(Bool_t on=kTRUE)                   {fMergeViaJDL = on ? 1 : 0;}
86    virtual void        SetMergeDirName(const char *name)                 {fMergeDirName = name;}
87    virtual void        SetMasterResubmitThreshold(Int_t percentage)      {fMasterResubmitThreshold = percentage;}
88    virtual void        SetNtestFiles(Int_t nfiles)                       {fNtestFiles = nfiles;}
89    virtual void        SetNumberOfReplicas(Int_t ncopies)                {fNreplicas = TMath::Min(ncopies,4);}
90    virtual void        SetJDLName(const char *name="analysis.jdl")       {fJDLName = name;}
91    virtual void        SetPreferedSE(const char *se);
92    virtual void        SetProductionMode(Int_t mode=1)                   {fProductionMode = mode;}
93    virtual void        SetRegisterExcludes(const char *list)             {fRegisterExcludes = list;}
94    virtual void        SetRunPrefix(const char *prefix);
95    virtual void        SetOutputSingleFolder(const char *folder)         {fOutputSingle = folder; fSplitMode="file"; fSplitMaxInputFileNumber=1;}
96    virtual void        SetFastReadOption(Bool_t on=kTRUE)                {fFastReadOption = on ? 1 : 0;}
97    virtual void        SetOverwriteMode(Bool_t on=kTRUE)                 {fOverwriteMode = on ? 1 : 0;}
98
99    TGridJDL           *GetGridJDL() const {return fGridJDL;}
100    TGridJDL           *GetMergingJDL() const {return fMergingJDL;}
101    const char         *GetGridOutputDir() const                          {return fGridOutputDir;}
102 //Utilities
103    void                AddModule(AliAnalysisTaskCfg *module);
104    void                AddModules(TObjArray *list);
105    AliAnalysisManager *CreateAnalysisManager(const char *name, const char *filename="");
106    Int_t               GetNmodules() const;
107    AliAnalysisTaskCfg *GetModule(const char *name);
108    Bool_t              LoadModules();
109    Bool_t              GenerateTest(const char *name, const char *modname="");
110    Bool_t              GenerateTrain(const char *name);
111    virtual Bool_t      CreateDataset(const char *pattern);
112    Int_t               CopyLocalDataset(const char *griddir, const char *pattern, Int_t nfiles, const char *output="data.txt", const char *archivefile="", const char *outputdir="data");
113    virtual Bool_t      CreateJDL();
114    virtual void        EnablePackage(const char *package);
115    static Bool_t       DirectoryExists(const char *lfn);
116    static Bool_t       FileExists(const char *lfn);
117    static const char  *GetJobStatus(Int_t jobidstart, Int_t lastid, Int_t &nrunning, Int_t &nwaiting, Int_t &nerror, Int_t &ndone);
118    const char         *GetListOfFiles(const char *type);
119    Bool_t              CheckMergedFiles(const char *filename, const char *aliendir, Int_t nperchunk, const char *jdl="");
120    static AliAnalysisManager *LoadAnalysisManager(const char *fname);
121    static Bool_t       MergeOutput(const char *output, const char *basedir, Int_t nmaxmerge, Int_t stage=0);
122    virtual Bool_t      MergeOutputs();
123    virtual void        Print(Option_t *option="") const;
124    virtual Bool_t      StartAnalysis(Long64_t nentries=123456789, Long64_t firstentry=0);
125    static Bool_t       SetupPar(const char *package);
126    virtual Bool_t      Submit();
127    virtual Bool_t      SubmitMerging();
128    static Int_t        SubmitSingleJob(const char *query);
129    virtual void        WriteAnalysisFile();
130    virtual void        WriteAnalysisMacro();
131    virtual void        WriteMergingMacro();
132    virtual void        WriteMergeExecutable();
133    virtual void        WriteExecutable();
134    virtual Bool_t      WriteJDL(Bool_t copy);
135    virtual void        WriteProductionFile(const char *filename) const;
136    virtual void        WriteValidationScript(Bool_t merge=kFALSE);
137
138 // PROOF mode
139    virtual void        SetProofCluster(const char *cluster)              {fProofCluster = cluster;}
140    virtual void        SetProofDataSet(const char *dataset)              {fProofDataSet = dataset;}
141    virtual const char *GetProofDataSet() const                           {return fProofDataSet.Data();}
142    virtual void        SetProofParameter(const char *pname, const char *value);
143    const char         *GetProofParameter(const char *pname) const;
144    virtual void        SetProofReset(Int_t mode)                         {fProofReset = mode;}
145    virtual void        SetNproofWorkers(Int_t nworkers)                  {fNproofWorkers = nworkers;}
146    virtual void        SetNproofWorkersPerSlave(Int_t nworkers)          {fNproofWorkersPerSlave = nworkers;}
147    virtual void        SetRootVersionForProof(const char *version)       {fRootVersionForProof = version;}
148    virtual void        SetAliRootMode(const char *mode)                  {fAliRootMode = mode;}
149    // .txt file containing the list of files to be chained in test mode
150    virtual void        SetFileForTestMode(const char *filename)          {fFileForTestMode = filename;}
151    virtual TChain     *GetChainForTestMode(const char *treeName) const;
152
153 protected:
154    void                CdWork();
155    Bool_t              CheckInputData();
156    void                CheckDataType(const char *lfn, Bool_t &is_collection, Bool_t &is_xml, Bool_t &use_tags);
157    virtual Bool_t      Connect();
158    virtual void        SetDefaults();  
159    Bool_t              SubmitNext();
160
161    Bool_t              IsCollection(const char *lfn) const;
162    virtual Bool_t      IsSingleOutput() const;
163    Bool_t              IsUsingTags() const {return TObject::TestBit(AliAnalysisGrid::kUseTags);}
164    Bool_t              LoadModule(AliAnalysisTaskCfg *mod);
165    Bool_t              CheckDependencies();
166    Bool_t              CheckFileCopy(const char *alienpath);
167
168 private:
169    TGridJDL        *fGridJDL;         //! JDL maker
170    TGridJDL        *fMergingJDL;      //! JDL maker
171    Int_t            fPrice;           // Grid price for the job;
172    Int_t            fTTL;             // Time to live.
173    Int_t            fSplitMaxInputFileNumber; // Maximum number of files to be processed per subjob
174    Int_t            fMaxInitFailed;   // Maximum initial consecutive subjobs accepted to fail
175    Int_t            fMasterResubmitThreshold; // Failed jobs will be resubmitted until this DONE ratio
176    Int_t            fNtestFiles;      // Number of files used in the testing case
177    Int_t            fRunRange[2];     // Run range
178    Int_t            fNrunsPerMaster;  // Number of runs per masterjob
179    Int_t            fMaxMergeFiles;   // Maximum number of files to be merged in one chunk
180    Int_t            fMaxMergeStages;  // Maximum number of merging stages
181    Int_t            fNsubmitted;      // Number of jobs submitted
182    Int_t            fProductionMode;  // Production mode (0-off, 1-on)
183    Int_t            fOutputToRunNo;   // Use run number as output directory
184    Int_t            fMergeViaJDL;     // Enable merging via automatic JDL
185    Int_t            fFastReadOption;  // Use xrootd tweaks to reduce timeouts in file access
186    Int_t            fOverwriteMode;   // Overwrite existing files if any
187    Int_t            fNreplicas;       // Number of replicas for the output files
188    Int_t            fNproofWorkers;   // Number of workers in proof mode
189    Int_t            fNproofWorkersPerSlave; // Max number of workers per slave in proof mode
190    Int_t            fProofReset;      // Proof reset mode: 0=no reset, 1=soft, 2=hard
191    TString          fRunNumbers;      // List of runs to be processed
192    TString          fExecutable;      // Executable script for AliEn job
193    TString          fExecutableCommand;  // Command(s) to be executed in the executable script
194    TString          fArguments;       // Arguments for the executable script
195    TString          fExecutableArgs;  // arguments added to the executable script after the analysis macro
196    TString          fAnalysisMacro;   // Root macro steering the analysis
197    TString          fAnalysisSource;  // User analysis implementation (.cxx) file(s)
198    TString          fValidationScript; // Name of the validation script
199    TString          fAdditionalRootLibs;  // List (separated by blacs) of additional libraries needed for/before analysis libs/par file compilation
200    TString          fAdditionalLibs;  // List (separated by blacs) of additional libraries needed for the analysis loaded AFTER all par files
201    TString          fSplitMode;       // Job split mode
202    TString          fAPIVersion;      // API version
203    TString          fROOTVersion;     // ROOT version
204    TString          fAliROOTVersion;  // AliROOT version
205    TString          fExternalPackages; // External packages
206    TString          fUser;            // AliEn user name
207    TString          fGridWorkingDir;  // AliEn directory containing the input packages
208    TString          fGridDataDir;     // AliEn data production directory
209    TString          fDataPattern;     // Data pattern for 'find' command
210    TString          fGridOutputDir;   // AliEn directory (wrt work dir) where the output should be written
211    TString          fOutputArchive;   // List of output archives separated by blancs
212    TString          fOutputFiles;     // List of output files separated by blancs
213    TString          fInputFormat;     // Input format (xml-single)
214    TString          fDatasetName;     // Dataset xml file to be created
215    TString          fJDLName;         // JDL file to be generated
216    TString          fTerminateFiles;  // List of output files produced during Terminate
217    TString          fMergeExcludes;   // List of output files excluded from merging
218    TString          fRegisterExcludes; // List of liles not to be registered/merged
219    TString          fIncludePath;     // Include path
220    TString          fCloseSE;         // Preffered storage element. Taken from alien_CLOSE_SE environment.
221    TString          fFriendChainName; // File name to construct friend chain (for AOD)
222    TString          fJobTag;          // Job tag
223    TString          fOutputSingle;    // Directory name for the output when split is per file
224    TString          fRunPrefix;       // Run prefix to be applied to run numbers
225    TString          fProofCluster;    // Proof cluster name
226    TString          fProofDataSet;    // Proof dataset to be used
227    TString          fFileForTestMode; // .txt file for the chain to be used in PROOF test mode
228    TString          fRootVersionForProof; // ROOT version to be used in PROOF mode. The default one taken if empty.
229    TString          fAliRootMode;     // AliRoot mode among the list supported by the proof cluster
230    TString          fMergeDirName;    // Name of the directory that should be added to the output directory
231    TObjArray       *fInputFiles;      // List of input files to be processed by the job
232    TObjArray       *fPackages;        // List of packages to be used
233    TObjArray       *fModules;         // List of AliAnalysisTaskCfg modules
234    TMap             fProofParam;      // Key-value pairs for proof mode
235    
236    ClassDef(AliAnalysisAlien, 20)   // Class providing some AliEn utilities
237 };
238 #endif