<div dir="ltr"><div class="gmail_default" style="font-family:tahoma,sans-serif">never heard of it, <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">but from reading the manual and the 10minute presentation , <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">it's seems like it is more suitable for data crunching, where you have a pool <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">of compute resources and you submit jobs to it.</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">my case is a bit different, where I have many jobs which need to run (orchestrated) on there own hosts</div><div class="gmail_default" style="font-family:tahoma,sans-serif">with a specific environment and setup.</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br clear="all"></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><span style="font-family:tahoma,sans-serif">--<br>Rabin</span></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr">On Tue, 19 Jun 2018 at 09:10, Marc Volovic <<a href="mailto:marcvolovic@icloud.com">marcvolovic@icloud.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Why not a minimal deploy of SGE - which would also allow you to make multi-executor?<br>
<br>
<a href="https://arc.liv.ac.uk/trac/SGE" rel="noreferrer" target="_blank">https://arc.liv.ac.uk/trac/SGE</a><br>
<br>
—mav<br>
Marc Volovic<br>
<a href="mailto:marcvolovic@me.com" target="_blank">marcvolovic@me.com</a><br>
<br>
<br>
<br>
> On 19 Jun 2018, at 9:06, Rabin Yasharzadehe <<a href="mailto:rabin@rabin.io" target="_blank">rabin@rabin.io</a>> wrote:<br>
> <br>
> Hi all, <br>
> <br>
> I need some advice, currently I have a huge cron file which schedules tasks one after anther, and each task is position precisely (with some room for error) to start after it predecessor.<br>
> <br>
> So if one job start at 00:00 and it will go and fetch some files and it takes 3minutes<br>
> the next job will be after start right after at ~00:05 <br>
> and so on <br>
> <br>
> the problem is that if one job fails, all other jobs which are depend on him will fail as well, and then I get a shitload of alerts, and the worst part is that if i have to manually start a batch process I need to go to each machine and manually start each job in the right order,<br>
> <br>
> I was looking to resolve this problem with a tool which can manage this "pipe line" <br>
> and I cam across several tools like Luigi and (apache-)AirFlow, I started with Luigi but It didn't look<br>
> right for the job, and then I tried airflow, but was not able to make it to work, the jobs queue never executed. =(<br>
> <br>
> Has any one have experience with airflow, or other tool like it which they can recommend ? <br>
> My needs are to be able to execute my CURRENT shell/python/php scripts and build the dependency between them, and I perfer the option for remote exec so that I will have central <br>
> place to manage and monitor all work flow whichs are executed on several nodes.<br>
> <br>
> Thanks in advance,<br>
> Rabin<br>
> _______________________________________________<br>
> Linux-il mailing list<br>
> <a href="mailto:Linux-il@cs.huji.ac.il" target="_blank">Linux-il@cs.huji.ac.il</a><br>
> <a href="http://mailman.cs.huji.ac.il/mailman/listinfo/linux-il" rel="noreferrer" target="_blank">http://mailman.cs.huji.ac.il/mailman/listinfo/linux-il</a><br>
<br>
</blockquote></div>