One suggestion is you have some uninitialized variables in your pcshell. Despite your arch being called "debug", your configure options indicate you have turned debugging off.<div><br></div><div>C standard doesn't prescribe how uninit variables should be treated - the behavior is labelled as undefined. As a result, different compilers on different archs with the same optimization flags can and will treat uninit variables differently. I find OSX c compilers tend to set them to zero.</div><div><br></div><div>I suggest compiling a debug build on both machines and trying your test again. Also, consider running the debug builds through valgrind. </div><div><br></div><div>Thanks,</div><div>  Dave </div><div><br>On Monday, 14 December 2015, Timothée Nicolas <<a href="mailto:timothee.nicolas@gmail.com">timothee.nicolas@gmail.com</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div><div><div><div><div>Hi,<br><br></div>I have noticed I have a VERY big difference in behaviour between two machines in my problem, solved with SNES. I can't explain it, because I have tested my operators which give the same result. I also checked that the vectors fed to the SNES are the same. The problem happens only with my shell preconditioner. When I don't use it, and simply solve using -snes_mf, I don't see anymore than the usual 3-4 changing digits at the end of the residuals. However, when I use my pcshell, the results are completely different between the two machines.<br><br></div>I have attached output_SuperComputer.txt and output_DesktopComputer.txt, which correspond to the output from the exact same code and options (and of course same input data file !). More precisely<br><br></div>output_SuperComputer.txt : output on a supercomputer called Helios, sorry I don't know the exact specs.<br></div>In this case, the SNES norms are reduced successively:<br>0 SNES Function norm 4.867111712420e-03<br>1 SNES Function norm 5.632325929998e-08<br>2 SNES Function norm 7.427800084502e-15<br><br>output_DesktopComputer.txt : output on a Mac OS X Yosemite 3.4 GHz Intel Core i5 16GB 1600 MHz DDr3. (the same happens on an other laptop with Mac OS X Mavericks). <br></div><div>In this case, I obtain the following for the SNES norms,<br><div>while in the other, I obtain <br>0 SNES Function norm 4.867111713544e-03<br>1 SNES Function norm 1.560094052222e-03<br>2 SNES Function norm 1.552118650943e-03<br></div>3 SNES Function norm 1.552106297094e-03<br>4 SNES Function norm 1.552106277949e-03<br>which I can't explain, because otherwise the KSP residual (with the same operator, which I checked) behave well.<br></div><div><br></div>As you can see, the first time the preconditioner is applied (DB_, DP_, Drho_ and PS_ solves), the two outputs coincide (except for the few last digits, up to 9 actually, which is more than I would expect), and everything starts to diverge at the first print of the main KSP (the one stemming from the SNES) residual norms.<br><br></div>Do you have an idea what may cause such a strange behaviour ?<br><br></div>Best<br><br></div>Timothee<br></div>
</blockquote></div>