<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:PMingLiU;
        panose-1:2 2 5 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
@font-face
        {font-family:"\@PMingLiU";
        panose-1:2 2 5 0 0 0 0 0 0 0;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;
        color:black;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
pre
        {mso-style-priority:99;
        mso-style-link:"HTML Preformatted Char";
        margin:0in;
        margin-bottom:.0001pt;
        font-size:10.0pt;
        font-family:"Courier New";
        color:black;}
span.HTMLPreformattedChar
        {mso-style-name:"HTML Preformatted Char";
        mso-style-priority:99;
        mso-style-link:"HTML Preformatted";
        font-family:Consolas;
        color:black;}
span.EmailStyle19
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle20
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body bgcolor="white" lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="color:#1F497D">Hi Dewight, Alexis,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Just to chime in after Alexis&#8217; message &#8211; I did compile frealign on a Phi 7120 about one year ago during a visit by Intel. While the procedure was straight forward, I did not attempt any non-standard optimizations.
 Out of the box, the performance was rather disappointing and at the time I decided it were better to use standard multi-core Xeon processors.
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Compared to Xueming Li&#8217;s GPU version of frealign, the xeon phi I tested was no competition &#8211; I use a 16-GPU box (8x nvidia GTX590 in a Tyan barebone), which accelerates the program ~1500-fold as compared to a
 single 2.7 GHz Xeon core.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">While the concept of the phi is nice &#8211; it feels like having a little linux cluster in your PC to which you can ssh and run multi-threaded programs, it has clear limitations: the one I tested had only 16GB memory,
 which makes large reconstructions problematic. The 61 (Intel Atom-derived) cores per board run at only 1GHz and they have a small cache. Now this is not much different to GPUs, but there are many more cores on most GPUs. Maybe with the right optimizations,
 the phi would be a worthy adversary, but I did not have the time to find out.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Regarding Intel vs AMD, I agree 100% with Steve Ludke&#8217;s statements. I tested a 32-core Opteron system against the latest quad core Xeon a couple years ago and while roughly comparable at single-threaded performance,
 the Xeon scaled linearly with the number of threads (frealign-mp), whereas the Opteron quickly saturated (more than 12 cores were useless) and its performance was significantly lower. I believe this has to do with AMDs interconnects having lower bandwidth
 than Intel&#8217;s hypertransport. In particular the E-series Xeons are really very good.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Finally (this came up in a previous thread) &#8211; there is no problem operating nvidia gaming GPUs in headless mode with linux &#8211; my box is sitting in a rack in the datacenter and I simply ssh to it. Actually, the
 gaming cards use the same chips as their corresponding quadro or Tesla relatives, less ECC memory. They are usually even higher clocked than the more expensive &#8220;professional&#8221; cards, but the chief difference is that the GTX series has less memory. So unless
 you need quad-buffered graphics for windowed stereo and a lot of memory, there is no point in buying anything else. The main issue is to feed them with data, which requires SSD-raid, and providing sufficient current.&nbsp; Cooling can be alleviated by removing
 their on-board fans in a good rack-mounted case, which brings the temps down by 20-30C.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;&nbsp; Matthias<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:#1F497D">_______________________________________________________<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:#1F497D">Matthias Wolf, PhD MPharm - Assistant Professor<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:#1F497D">Molecular Cryo-Electron Microscopy Unit<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:#1F497D">Okinawa Institute of Science and Technology Graduate University<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:#1F497D">1919-1 Tancha, Onna-son, Kunigami-gun<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:#1F497D">Okinawa 904-0495, Japan<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:#1F497D">Phone &#43;81-(0)98-966-8987<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="color:windowtext">From:</span></b><span style="color:windowtext"> 3dem-bounces@ncmir.ucsd.edu [mailto:3dem-bounces@ncmir.ucsd.edu]
<b>On Behalf Of </b>Alexis Rohou<br>
<b>Sent:</b> Tuesday, November 18, 2014 2:11 PM<br>
<b>To:</b> 3dem@ncmir.ucsd.edu<br>
<b>Subject:</b> Re: [3dem] Utilizing the Xeon Phi<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal" style="margin-bottom:12.0pt">Dear Dewight,<br>
<br>
As far as I know, none of the 3DEM packages have been adapted to run on Phi boards. This means you could run them (provided you recompiled them using the Intel compilers) but only in native mode, which involves SSH'ing onto the boards. And even then, without
 optimization, you'd probably get worse performance than on a top-of-the-range Xeon chip. However I guess if you pack enough cards per node you might get improved density for your cluster.<br>
<br>
The topic of Phi boards was brought up at the NRAMM meeting last week at Scripps and it seemed no-one had tried them yet.<br>
<br>
Here at Janelia we bought a Phi 7200 to test out, but haven't got round to doing much with it because of the time required to investigate program optimization and the relatively meager prospective gains.<br>
<br>
So, bottom line: don't go for a cluster with Phi boards, because none of the 3DEM software will be ready for them.<br>
<br>
Hope this helps,<br>
Alexis<span style="font-size:12.0pt"><o:p></o:p></span></p>
<div>
<p class="MsoNormal">On 11/12/2014 10:08 AM, Dewight R. Williams wrote:<o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<p class="MsoNormal">Dear 3dem, <o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">Has anyone performed 3D single particle reconstruction on the new Intel Xeon Phi boards? When you performed this work did the software need to be recompiled or was it implemented through standard openMPI?&nbsp; What software were you using Frealign,
 Relion, Xmipp, EMAN2, etc? Thanks, I&#8217;m debating on which architecture I want to invest in for a local cluster and any feedback on these questions would be very appreciated.
<o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">Dewight<o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,serif"><br>
<br>
<br>
<o:p></o:p></span></p>
<pre>_______________________________________________<o:p></o:p></pre>
<pre>3dem mailing list<o:p></o:p></pre>
<pre><a href="mailto:3dem@ncmir.ucsd.edu">3dem@ncmir.ucsd.edu</a><o:p></o:p></pre>
<pre><a href="https://mail.ncmir.ucsd.edu/mailman/listinfo/3dem">https://mail.ncmir.ucsd.edu/mailman/listinfo/3dem</a><o:p></o:p></pre>
</blockquote>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,serif"><br>
<br>
<br>
<o:p></o:p></span></p>
<pre>-- <o:p></o:p></pre>
<pre>Alexis Rohou<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<pre>Research Specialist<o:p></o:p></pre>
<pre><span lang="DE-AT">Grigorieff Lab<o:p></o:p></span></pre>
<pre><a href="http://grigoriefflab.janelia.org"><span lang="DE-AT">http://grigoriefflab.janelia.org</span></a><span lang="DE-AT"><o:p></o:p></span></pre>
<pre>Tel. &#43;1 571 209 4000 x3485<o:p></o:p></pre>
<pre><o:p>&nbsp;</o:p></pre>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,serif"><o:p>&nbsp;</o:p></span></p>
</div>
</div>
</body>
</html>