Hi Rabin,<div><br></div><div>Did you consider using Jenkins? It may be a little heavyweight, but it should be relatively easy to set up and configure. You can use the same scripts you're using today, the ability to state which jobs run on which nodes, set up dependencies between them, set timeouts, set cron triggers to start the initial job... seems to answer your requirements.</div><div><br></div><div>-Ari<br><br><div class="gmail_quote"><div dir="ltr">On Tue, Jun 19, 2018, 09:07 Rabin Yasharzadehe <<a href="mailto:rabin@rabin.io">rabin@rabin.io</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:tahoma,sans-serif">Hi all, <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">I need some advice, currently I have a huge <span id="m_-218741966171928421:zs9.1">cron</span> file which schedules tasks one after anther, and each task is position precisely (with some room for error) to start after it predecessor.</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">So if one job start at 00:00 and it will go and fetch some files and it takes 3minutes</div><div class="gmail_default" style="font-family:tahoma,sans-serif">the next job will be after start right after at ~00:05 <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">and so on <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">the problem is that if one job fails, all other jobs which are depend on him will fail as well, and then I get a shitload of alerts, and the worst part is that if i have to manually start a batch process I need to go to each machine and manually start each job in the right order,</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">I was looking to resolve this problem with a tool which can manage this "pipe line" <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">and I cam across several tools like Luigi and (<span id="m_-218741966171928421:zs9.3">apache</span>-)<span id="m_-218741966171928421:zs9.4">AirFlow</span>, I started with Luigi but It didn't look</div><div class="gmail_default" style="font-family:tahoma,sans-serif">right for the job, and then I tried airflow, but was not able to make it to work, the jobs queue never executed. =(</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">Has any one have experience with airflow, or other tool like it which they can recommend ? <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">My needs are to be able to execute my CURRENT shell/python/php scripts and build the dependency between them, and I perfer the option for remote exec so that I will have central <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">place to manage and monitor all work flow whichs are executed on several nodes.<br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">Thanks in advance,<br></div><div><div dir="ltr" class="m_-218741966171928421gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><span style="font-family:tahoma,sans-serif">Rabin</span></div></div></div></div>
_______________________________________________<br>
Linux-il mailing list<br>
<a href="mailto:Linux-il@cs.huji.ac.il" target="_blank">Linux-il@cs.huji.ac.il</a><br>
<a href="http://mailman.cs.huji.ac.il/mailman/listinfo/linux-il" rel="noreferrer" target="_blank">http://mailman.cs.huji.ac.il/mailman/listinfo/linux-il</a><br>
</blockquote></div></div>