<div dir="ltr"><div><div><div><div><div>Hi All,<br><br></div>I thought the following information might be useful to many - recently the NERSC located at Berkeley, CA has installed a new super-computer called Cori. It uses Cray's Burst Buffer technology to boost the I/O performance.<br><br><a href="http://www.nersc.gov/users/computational-systems/cori/burst-buffer/burst-buffer/">http://www.nersc.gov/users/computational-systems/cori/burst-buffer/burst-buffer/</a><br><br></div>Although the entire setting is impractical for individual institution, I thought some concepts applied in the Burst buffer can be borrowed, in particular for I/O improvement, such as using flash SSD as scratch disk and dedicated nodes for I/O. It uses the Lustre file system and SLURM for job management.<br><br></div>Currently the burst buffer is still in "Phase I" experimental phase, and more benchmark numbers are needed, but I thought it might be of interest to folks here.<br><br></div>Cheers,<br></div>Sam<br><br>----------------------------------------------<br>Sam Li, Ph.D.<br>Department of Biochemistry & Biophysics<br>University of California, San Francisco<br>Mission Bay, Genentech Hall, Room S416<br>600, 16th Street<br>San Francisco, CA 94158, USA<br>Tel: 1-415-502-2930<br>Fax: 1-415-476-1902<br>----------------------------------------------<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jan 4, 2016 at 4:38 AM, Reza Khayat <span dir="ltr"><<a href="mailto:rkhayat@ccny.cuny.edu" target="_blank">rkhayat@ccny.cuny.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thanks to all, and particularly Steve for being so thorough. I think we’ll go with a hybrid solution for our workstations -Steve’s third to last paragraph. I’ll talk to the other PIs for our cluster needs.<br>
<br>
Best wishes and Happy New Year,<br>
<span class="im HOEnZb">Reza<br>
<br>
Reza Khayat, PhD<br>
Assistant Professor<br>
City College of New York<br>
85 St. Nicholas Terrace CDI 12308<br>
New York, NY 10031<br>
<a href="tel:%28212%29%20650-6070" value="+12126506070">(212) 650-6070</a><br>
<a href="http://www.khayatlab.org" rel="noreferrer" target="_blank">www.khayatlab.org</a><br>
<br>
</span><div class="HOEnZb"><div class="h5">> On Jan 4, 2016, at 2:17 AM, Sjors Scheres <<a href="mailto:scheres@mrc-lmb.cam.ac.uk">scheres@mrc-lmb.cam.ac.uk</a>> wrote:<br>
><br>
> Hi Reza, Ben, Steve & the rest,<br>
><br>
> Happy New Year! That 2016 may bring you all many side chains. :-)<br>
><br>
> We've tested infiniband verus our standard ethernet and deemed the cost of<br>
> it not worth it, as we saw hardly any improvement in speed of relion. We<br>
> did however see an improvement of >30% speed when switching our cluster<br>
> from a NFS to a Fraunhofer file system. The issue arises when one starts<br>
> accessing the same disk from several hundreds of MPI processes, something<br>
> that can easily happen when dozens of users use the same system.<br>
> I think I agree with Steve that for not very large group-wide systems NFS<br>
> will be better, as it is much  easier, but for larger clusters a more<br>
> parallel file system will probably be worth the effort. At LMB, our<br>
> (small) home areas are based on NFS, while the disks on our cluster were<br>
> Fraunhofer and are now gpfs.<br>
> HTH,<br>
> Sjors<br>
><br>
><br>
>> Hi Reza,<br>
>><br>
>> Our cluster was recently upgraded to InfiniBand and switched to gpfs.<br>
>> Since then the rate of mysterious mpi crashes/hang during relion runs has<br>
>> decreased quite a lot. And relion runs faster. Is it due to gpfs, to<br>
>> InfiniBand or to the combination of both? I do not know.<br>
>><br>
>> Cheers<br>
>> Ben<br>
>><br>
>> Le 3 janv. 2016 à 18:53, Reza Khayat <<a href="mailto:rkhayat@ccny.cuny.edu">rkhayat@ccny.cuny.edu</a>> a écrit :<br>
>><br>
>> Hi,<br>
>><br>
>> Can anyone describe some of their experience with deploying and using a<br>
>> distributed filesystem for image analysis? Is it appropriate to say that<br>
>> NFS is antiquated, slow and less secure than the younger systems like<br>
>> Lustre, Gluster, Ceph, PVFS2, or Fraunhofer?<br>
>><br>
>> Best wishes,<br>
>> Reza<br>
>><br>
>> Reza Khayat, PhD<br>
>> Assistant Professor<br>
>> City College of New York<br>
>> 85 St. Nicholas Terrace CDI 12308<br>
>> New York, NY 10031<br>
>> <a href="tel:%28212%29%20650-6070" value="+12126506070">(212) 650-6070</a><br>
>> <a href="http://www.khayatlab.org" rel="noreferrer" target="_blank">www.khayatlab.org</a><br>
>><br>
>> _______________________________________________<br>
>> 3dem mailing list<br>
>> <a href="mailto:3dem@ncmir.ucsd.edu">3dem@ncmir.ucsd.edu</a><br>
>> <a href="https://mail.ncmir.ucsd.edu/mailman/listinfo/3dem" rel="noreferrer" target="_blank">https://mail.ncmir.ucsd.edu/mailman/listinfo/3dem</a><br>
>> _______________________________________________<br>
>> 3dem mailing list<br>
>> <a href="mailto:3dem@ncmir.ucsd.edu">3dem@ncmir.ucsd.edu</a><br>
>> <a href="https://mail.ncmir.ucsd.edu/mailman/listinfo/3dem" rel="noreferrer" target="_blank">https://mail.ncmir.ucsd.edu/mailman/listinfo/3dem</a><br>
>><br>
><br>
><br>
> --<br>
> Sjors Scheres<br>
> MRC Laboratory of Molecular Biology<br>
> Francis Crick Avenue, Cambridge Biomedical Campus<br>
> Cambridge CB2 0QH, U.K.<br>
> tel: <a href="tel:%2B44%20%280%291223%20267061" value="+441223267061">+44 (0)1223 267061</a><br>
> <a href="http://www2.mrc-lmb.cam.ac.uk/groups/scheres" rel="noreferrer" target="_blank">http://www2.mrc-lmb.cam.ac.uk/groups/scheres</a><br>
><br>
<br>
_______________________________________________<br>
3dem mailing list<br>
<a href="mailto:3dem@ncmir.ucsd.edu">3dem@ncmir.ucsd.edu</a><br>
<a href="https://mail.ncmir.ucsd.edu/mailman/listinfo/3dem" rel="noreferrer" target="_blank">https://mail.ncmir.ucsd.edu/mailman/listinfo/3dem</a><br>
</div></div></blockquote></div><br></div>