<div dir="ltr">I suggest to check Jenkins (as already suggested) and Rundeck.<div>Vitaly</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 19, 2018 at 9:06 AM, Rabin Yasharzadehe <span dir="ltr"><<a href="mailto:rabin@rabin.io" target="_blank">rabin@rabin.io</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:tahoma,sans-serif">Hi all, <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">I need some advice, currently I have a huge <span id="m_-2810363860727174655:zs9.1">cron</span> file which schedules tasks one after anther, and each task is position precisely (with some room for error) to start after it predecessor.</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">So if one job start at 00:00 and it will go and fetch some files and it takes 3minutes</div><div class="gmail_default" style="font-family:tahoma,sans-serif">the next job will be after start right after at ~00:05 <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">and so on <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">the problem is that if one job fails, all other jobs which are depend on him will fail as well, and then I get a shitload of alerts, and the worst part is that if i have to manually start a batch process I need to go to each machine and manually start each job in the right order,</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">I was looking to resolve this problem with a tool which can manage this "pipe line" <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">and I cam across several tools like Luigi and (<span id="m_-2810363860727174655:zs9.3">apache</span>-)<span id="m_-2810363860727174655:zs9.4">AirFlow</span>, I started with Luigi but It didn't look</div><div class="gmail_default" style="font-family:tahoma,sans-serif">right for the job, and then I tried airflow, but was not able to make it to work, the jobs queue never executed. =(</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">Has any one have experience with airflow, or other tool like it which they can recommend ? <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">My needs are to be able to execute my CURRENT shell/python/php scripts and build the dependency between them, and I perfer the option for remote exec so that I will have central <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">place to manage and monitor all work flow whichs are executed on several nodes.<br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">Thanks in advance,<br></div><div><div dir="ltr" class="m_-2810363860727174655gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><span style="font-family:tahoma,sans-serif">Rabin</span></div></div></div></div>
<br>______________________________<wbr>_________________<br>
Linux-il mailing list<br>
<a href="mailto:Linux-il@cs.huji.ac.il">Linux-il@cs.huji.ac.il</a><br>
<a href="http://mailman.cs.huji.ac.il/mailman/listinfo/linux-il" rel="noreferrer" target="_blank">http://mailman.cs.huji.ac.il/<wbr>mailman/listinfo/linux-il</a><br>
<br></blockquote></div><br></div>