<div dir="ltr"><div class="gmail_default" style="font-family:tahoma,sans-serif">I'll have to read the documentation to learn more, <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">but this project seems barely maintained as only minor versions each year or two (last release was 2 years ago), <br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">that doesn't give a lot of confidence.</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">but i'll check it out</div><div class="gmail_default" style="font-family:tahoma,sans-serif">thanks.<br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br clear="all"></div><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><span style="font-family:tahoma,sans-serif">--<br>Rabin</span></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr">On Tue, 19 Jun 2018 at 09:43, Marc Volovic <<a href="mailto:marcvolovic@icloud.com">marcvolovic@icloud.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
It is intended for submitting multiple jobs for crunching. But you can use it (SOGE) or SLURM for issuing job and dependent jobs, even on a single machine issuer/execution host. It can be used as a resource aware job scheduler.<br>
<br>
—mav<br>
Marc Volovic<br>
<a href="mailto:marcvolovic@me.com" target="_blank">marcvolovic@me.com</a><br>
<br>
<br>
<br>
> On 19 Jun 2018, at 9:41, Rabin Yasharzadehe <<a href="mailto:rabin@rabin.io" target="_blank">rabin@rabin.io</a>> wrote:<br>
> <br>
> never heard of it, <br>
> but from reading the manual and the 10minute presentation , <br>
> it's seems like it is more suitable for data crunching, where you have a pool <br>
> of compute resources and you submit jobs to it.<br>
> <br>
> my case is a bit different, where I have many jobs which need to run (orchestrated) on there own hosts<br>
> with a specific environment and setup.<br>
> <br>
> <br>
> --<br>
> Rabin<br>
> <br>
> <br>
> On Tue, 19 Jun 2018 at 09:10, Marc Volovic <<a href="mailto:marcvolovic@icloud.com" target="_blank">marcvolovic@icloud.com</a>> wrote:<br>
> Why not a minimal deploy of SGE - which would also allow you to make multi-executor?<br>
> <br>
> <a href="https://arc.liv.ac.uk/trac/SGE" rel="noreferrer" target="_blank">https://arc.liv.ac.uk/trac/SGE</a><br>
> <br>
> —mav<br>
> Marc Volovic<br>
> <a href="mailto:marcvolovic@me.com" target="_blank">marcvolovic@me.com</a><br>
> <br>
> <br>
> <br>
> > On 19 Jun 2018, at 9:06, Rabin Yasharzadehe <<a href="mailto:rabin@rabin.io" target="_blank">rabin@rabin.io</a>> wrote:<br>
> > <br>
> > Hi all, <br>
> > <br>
> > I need some advice, currently I have a huge cron file which schedules tasks one after anther, and each task is position precisely (with some room for error) to start after it predecessor.<br>
> > <br>
> > So if one job start at 00:00 and it will go and fetch some files and it takes 3minutes<br>
> > the next job will be after start right after at ~00:05 <br>
> > and so on <br>
> > <br>
> > the problem is that if one job fails, all other jobs which are depend on him will fail as well, and then I get a shitload of alerts, and the worst part is that if i have to manually start a batch process I need to go to each machine and manually start each job in the right order,<br>
> > <br>
> > I was looking to resolve this problem with a tool which can manage this "pipe line" <br>
> > and I cam across several tools like Luigi and (apache-)AirFlow, I started with Luigi but It didn't look<br>
> > right for the job, and then I tried airflow, but was not able to make it to work, the jobs queue never executed. =(<br>
> > <br>
> > Has any one have experience with airflow, or other tool like it which they can recommend ? <br>
> > My needs are to be able to execute my CURRENT shell/python/php scripts and build the dependency between them, and I perfer the option for remote exec so that I will have central <br>
> > place to manage and monitor all work flow whichs are executed on several nodes.<br>
> > <br>
> > Thanks in advance,<br>
> > Rabin<br>
> > _______________________________________________<br>
> > Linux-il mailing list<br>
> > <a href="mailto:Linux-il@cs.huji.ac.il" target="_blank">Linux-il@cs.huji.ac.il</a><br>
> > <a href="http://mailman.cs.huji.ac.il/mailman/listinfo/linux-il" rel="noreferrer" target="_blank">http://mailman.cs.huji.ac.il/mailman/listinfo/linux-il</a><br>
> <br>
<br>
</blockquote></div>