<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
{font-family:Wingdings;
panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
{mso-style-priority:34;
margin-top:0in;
margin-right:0in;
margin-bottom:0in;
margin-left:.5in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
/* List Definitions */
@list l0
{mso-list-id:832644706;
mso-list-type:hybrid;
mso-list-template-ids:619596676 372510186 67698691 67698693 67698689 67698691 67698693 67698689 67698691 67698693;}
@list l0:level1
{mso-level-start-at:0;
mso-level-number-format:bullet;
mso-level-text:-;
mso-level-tab-stop:none;
mso-level-number-position:left;
margin-left:20.25pt;
text-indent:-.25in;
font-family:"Calibri","sans-serif";
mso-fareast-font-family:Calibri;}
ol
{margin-bottom:0in;}
ul
{margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple><div class=WordSection1><p class=MsoNormal>All, I had posted about 2 weeks ago partially solved the problem but found that I still have issues. A quick recap of problems. <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Hybrid mpi/openmp code. <o:p></o:p></p><p class=MsoListParagraph style='margin-left:20.25pt;text-indent:-.25in;mso-list:l0 level1 lfo1'><![if !supportLists]><span style='mso-list:Ignore'>-<span style='font:7.0pt "Times New Roman"'> </span></span><![endif]>Works if run from a node (say “node1”), and only have “node1” in the machines file, grabs the correct number of threads and runs to completion.<o:p></o:p></p><p class=MsoListParagraph style='margin-left:20.25pt;text-indent:-.25in;mso-list:l0 level1 lfo1'><![if !supportLists]><span style='mso-list:Ignore'>-<span style='font:7.0pt "Times New Roman"'> </span></span><![endif]>Works if compiled (I am using ifort) WITHOUT the “-openmp” option, just without threading. Can run across nodes and give correct answer but threading capability is lost.<o:p></o:p></p><p class=MsoListParagraph style='margin-left:20.25pt;text-indent:-.25in;mso-list:l0 level1 lfo1'><![if !supportLists]><span style='mso-list:Ignore'>-<span style='font:7.0pt "Times New Roman"'> </span></span><![endif]>Fails if run across nodes when compiled with “-openmp” … i.e. machines file has “node1, node2, node3” and then tries to run it gets a segmentation fault.<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Since then I did some exhaustive debugging as best I could and discovered the problem is with static arrays that are used within the code. I have a sample “laplace.f” file that I will attach at the end of the question which served as my debugging program, however I have a much larger code that manifests the same problems. <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>The sample program would crash with the segmentation fault when the initial static arrays (u and du) were declared to be size imax = jmax = 2001. When I made the arrays very small, imax = jmax = 10 the code ran to completion across several nodes without issue. In further investigation for this problem I found the “magic” size to be imax = jmax = 720. At this point the code still runs to completion, however if imax = jmax = 721 the code crashes with the segmentation fault. Additionally, as a hunch, I converted the program to dynamically allocate the u and du arrays as opposed to static. When this was done the previous segmentation faults disappeared. Imax = jmax = 2001 worked without error, imax = jmax = 10,000 worked just fine across nodes also.<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>It seems like the problem is sensitive to whatever mechanisms are employed in static array memory management but disappear with dynamic mechanisms, but my knowledge about computer architecture is not robust enough to know if this makes sense or not … nor what things to check. I thought perhaps this has to do with some limits set within Ubuntu (11.10), but beyond ensuring an unlimited stack size (which is present) I haven’t a good idea of what things might need to be changed. <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>The fact that I need this to work for the much larger problem is why simply changing static arrays to dynamic equivalents is not a viable solution unfortunately. <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Help is greatly appreciated, thanks.<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>~Jack<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal> program lpmlp<o:p></o:p></p><p class=MsoNormal> include 'mpif.h'<o:p></o:p></p><p class=MsoNormal> include "omp_lib.h" <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal> integer imax,jmax,im1,im2,jm1,jm2,it,itmax<o:p></o:p></p><p class=MsoNormal> !parameter (imax=2001,jmax=2001)<o:p></o:p></p><p class=MsoNormal> !parameter (im1=imax-1,im2=imax-2,jm1=jmax-1,jm2=jmax-2)<o:p></o:p></p><p class=MsoNormal> parameter (itmax=100)<o:p></o:p></p><p class=MsoNormal> !real*8 u(imax,jmax),du(imax,jmax)<o:p></o:p></p><p class=MsoNormal> real*8,allocatable,dimension(:,:) :: u,du<o:p></o:p></p><p class=MsoNormal> real*8 umax,dumax,tol,pi<o:p></o:p></p><p class=MsoNormal> parameter (umax=10.0,tol=1.0e-6,pi=3.14159)<o:p></o:p></p><p class=MsoNormal>! Additional MPI parameters<o:p></o:p></p><p class=MsoNormal> integer istart,iend,jstart,jend<o:p></o:p></p><p class=MsoNormal> integer size,rank,ierr,istat(MPI_STATUS_SIZE),mpigrid,length<o:p></o:p></p><p class=MsoNormal> integer grdrnk,dims(1),gloc(1),up,down,isize,jsize<o:p></o:p></p><p class=MsoNormal> integer ureq,dreq<o:p></o:p></p><p class=MsoNormal> integer ustat(MPI_STATUS_SIZE),dstat(MPI_STATUS_SIZE)<o:p></o:p></p><p class=MsoNormal> real*8 tstart,tend,gdumax<o:p></o:p></p><p class=MsoNormal> logical cyclic(1)<o:p></o:p></p><p class=MsoNormal> !real*8 uibuf(imax),uobuf(imax),dibuf(imax),dobuf(imax)<o:p></o:p></p><p class=MsoNormal> real*8,allocatable,dimension(:) :: uibuf,uobuf,dibuf,dobuf<o:p></o:p></p><p class=MsoNormal>! OpenMP parameters<o:p></o:p></p><p class=MsoNormal> integer nthrds,nthreads <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>! Initialize<o:p></o:p></p><p class=MsoNormal> call MPI_INIT_THREAD(MPI_THREAD_FUNNELED,IMPI_prov,ierr)<o:p></o:p></p><p class=MsoNormal> call MPI_COMM_RANK(MPI_COMM_WORLD,rank,ierr)<o:p></o:p></p><p class=MsoNormal> call MPI_COMM_SIZE(MPI_COMM_WORLD,size,ierr)<o:p></o:p></p><p class=MsoNormal>! 1D linear topology<o:p></o:p></p><p class=MsoNormal> dims(1)=size<o:p></o:p></p><p class=MsoNormal> cyclic(1)=.FALSE.<o:p></o:p></p><p class=MsoNormal> call MPI_CART_CREATE(MPI_COMM_WORLD,1,dims,cyclic,.true.,mpigrid<o:p></o:p></p><p class=MsoNormal> + ,ierr)<o:p></o:p></p><p class=MsoNormal> call MPI_COMM_RANK(mpigrid,grdrnk,ierr)<o:p></o:p></p><p class=MsoNormal> call MPI_CART_COORDS(mpigrid,grdrnk,1,gloc,ierr)<o:p></o:p></p><p class=MsoNormal> call MPI_CART_SHIFT(mpigrid,0,1,down,up,ierr)<o:p></o:p></p><p class=MsoNormal> <o:p></o:p></p><p class=MsoNormal> call sleep(180)<o:p></o:p></p><p class=MsoNormal> <o:p></o:p></p><p class=MsoNormal> !imax=10001;jmax=10001;<o:p></o:p></p><p class=MsoNormal> imax=720;jmax=720;<o:p></o:p></p><p class=MsoNormal> allocate(u(imax,jmax))<o:p></o:p></p><p class=MsoNormal> allocate(du(imax,jmax))<o:p></o:p></p><p class=MsoNormal> allocate(uibuf(imax),uobuf(imax),dibuf(imax),dobuf(imax))<o:p></o:p></p><p class=MsoNormal> im1=imax-1; im2=imax-2; jm1=jmax-1; jm2=jmax-2;<o:p></o:p></p><p class=MsoNormal> istart=2<o:p></o:p></p><p class=MsoNormal> iend=imax-1<o:p></o:p></p><p class=MsoNormal> jsize=jmax/size<o:p></o:p></p><p class=MsoNormal> jstart=gloc(1)*jsize+1<o:p></o:p></p><p class=MsoNormal> if (jstart.LE.1) jstart=2<o:p></o:p></p><p class=MsoNormal> jend=(gloc(1)+1)*jsize<o:p></o:p></p><p class=MsoNormal> if (jend.GE.jmax) jend=jmax-1<o:p></o:p></p><p class=MsoNormal> nthrds=OMP_GET_NUM_PROCS()<o:p></o:p></p><p class=MsoNormal> print*,"Rank=",rank,"Threads=",nthrds<o:p></o:p></p><p class=MsoNormal> call omp_set_num_threads(nthrds)<o:p></o:p></p><p class=MsoNormal> <o:p></o:p></p><p class=MsoNormal>!$OMP PARALLEL DEFAULT(SHARED) PRIVATE(i,j)<o:p></o:p></p><p class=MsoNormal>! Initialize -- done in parallel to force "first-touch" distribution<o:p></o:p></p><p class=MsoNormal>! on ccNUMA machines (i.e. O2k)<o:p></o:p></p><p class=MsoNormal>!$OMP DO<o:p></o:p></p><p class=MsoNormal> do j=jstart-1,jend+1<o:p></o:p></p><p class=MsoNormal> do i=istart-1,iend+1<o:p></o:p></p><p class=MsoNormal> u(i,j)=0.0<o:p></o:p></p><p class=MsoNormal> du(i,j)=0.0<o:p></o:p></p><p class=MsoNormal> enddo<o:p></o:p></p><p class=MsoNormal> u(imax,j)=umax*sin(pi*float(j-1)/float(jmax-1))<o:p></o:p></p><p class=MsoNormal> enddo<o:p></o:p></p><p class=MsoNormal>!$OMP END DO<o:p></o:p></p><p class=MsoNormal>!$OMP END PARALLEL<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>! Main computation loop<o:p></o:p></p><p class=MsoNormal> call MPI_BARRIER(MPI_COMM_WORLD,ierr)<o:p></o:p></p><p class=MsoNormal> tstart=MPI_WTIME()<o:p></o:p></p><p class=MsoNormal> do it=1,itmax<o:p></o:p></p><p class=MsoNormal>! We have to keep the OpenMP and MPI calls segregated...<o:p></o:p></p><p class=MsoNormal> call omp_set_num_threads(nthrds)<o:p></o:p></p><p class=MsoNormal> !nthreads = OMP_GET_NUM_THREADS()<o:p></o:p></p><p class=MsoNormal> !print*,"Jack",rank,nthreads,nthrds<o:p></o:p></p><p class=MsoNormal> <o:p></o:p></p><p class=MsoNormal> <o:p></o:p></p><p class=MsoNormal>!$OMP PARALLEL DEFAULT(SHARED) PRIVATE(i,j)<o:p></o:p></p><p class=MsoNormal>!$OMP MASTER<o:p></o:p></p><p class=MsoNormal> dumax=0.0<o:p></o:p></p><p class=MsoNormal>!$OMP END MASTER<o:p></o:p></p><p class=MsoNormal>!$OMP DO REDUCTION(max:dumax)<o:p></o:p></p><p class=MsoNormal> do j=jstart,jend<o:p></o:p></p><p class=MsoNormal> do i=istart,iend<o:p></o:p></p><p class=MsoNormal> !nthreads = OMP_GET_NUM_THREADS()<o:p></o:p></p><p class=MsoNormal> !print*,"Jack",rank,nthreads,nthrds<o:p></o:p></p><p class=MsoNormal> du(i,j)=0.25*(u(i-1,j)+u(i+1,j)+u(i,j-1)+u(i,j+1))-u(i,j)<o:p></o:p></p><p class=MsoNormal> dumax=max(dumax,abs(du(i,j)))<o:p></o:p></p><p class=MsoNormal> enddo<o:p></o:p></p><p class=MsoNormal> enddo<o:p></o:p></p><p class=MsoNormal>!$OMP END DO<o:p></o:p></p><p class=MsoNormal>!$OMP DO<o:p></o:p></p><p class=MsoNormal> do j=jstart,jend<o:p></o:p></p><p class=MsoNormal> do i=istart,iend<o:p></o:p></p><p class=MsoNormal> u(i,j)=u(i,j)+du(i,j)<o:p></o:p></p><p class=MsoNormal> enddo<o:p></o:p></p><p class=MsoNormal> enddo<o:p></o:p></p><p class=MsoNormal>!$OMP END DO<o:p></o:p></p><p class=MsoNormal>!$OMP END PARALLEL<o:p></o:p></p><p class=MsoNormal>! Compute the overall residual<o:p></o:p></p><p class=MsoNormal> call MPI_REDUCE(dumax,gdumax,1,MPI_REAL8,MPI_MAX,0<o:p></o:p></p><p class=MsoNormal> + ,MPI_COMM_WORLD,ierr)<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>! Send phase<o:p></o:p></p><p class=MsoNormal> if (down.NE.MPI_PROC_NULL) then<o:p></o:p></p><p class=MsoNormal> j=1<o:p></o:p></p><p class=MsoNormal> do i=istart,iend<o:p></o:p></p><p class=MsoNormal> dobuf(j)=u(i,jstart)<o:p></o:p></p><p class=MsoNormal> j=j+1<o:p></o:p></p><p class=MsoNormal> enddo<o:p></o:p></p><p class=MsoNormal> length=j-1<o:p></o:p></p><p class=MsoNormal> call MPI_ISEND(dobuf,length,MPI_REAL8,down,it,mpigrid,<o:p></o:p></p><p class=MsoNormal> + dreq,ierr)<o:p></o:p></p><p class=MsoNormal> endif<o:p></o:p></p><p class=MsoNormal> if (up.NE.MPI_PROC_NULL) then<o:p></o:p></p><p class=MsoNormal> j=1<o:p></o:p></p><p class=MsoNormal> do i=istart,iend<o:p></o:p></p><p class=MsoNormal> uobuf(j)=u(i,jend)<o:p></o:p></p><p class=MsoNormal> j=j+1<o:p></o:p></p><p class=MsoNormal> enddo<o:p></o:p></p><p class=MsoNormal> length=j-1<o:p></o:p></p><p class=MsoNormal> call MPI_ISEND(uobuf,length,MPI_REAL8,up,it,mpigrid,<o:p></o:p></p><p class=MsoNormal> + ureq,ierr)<o:p></o:p></p><p class=MsoNormal> endif<o:p></o:p></p><p class=MsoNormal>! Receive phase<o:p></o:p></p><p class=MsoNormal> if (down.NE.MPI_PROC_NULL) then<o:p></o:p></p><p class=MsoNormal> length=iend-istart+1<o:p></o:p></p><p class=MsoNormal> call MPI_RECV(dibuf,length,MPI_REAL8,down,it,<o:p></o:p></p><p class=MsoNormal> + mpigrid,istat,ierr)<o:p></o:p></p><p class=MsoNormal> call MPI_WAIT(dreq,dstat,ierr)<o:p></o:p></p><p class=MsoNormal> j=1<o:p></o:p></p><p class=MsoNormal> do i=istart,iend<o:p></o:p></p><p class=MsoNormal> u(i,jstart-1)=dibuf(j)<o:p></o:p></p><p class=MsoNormal> j=j+1<o:p></o:p></p><p class=MsoNormal> enddo<o:p></o:p></p><p class=MsoNormal> endif<o:p></o:p></p><p class=MsoNormal> if (up.NE.MPI_PROC_NULL) then<o:p></o:p></p><p class=MsoNormal> length=iend-istart+1<o:p></o:p></p><p class=MsoNormal> call MPI_RECV(uibuf,length,MPI_REAL8,up,it,<o:p></o:p></p><p class=MsoNormal> + mpigrid,istat,ierr)<o:p></o:p></p><p class=MsoNormal> call MPI_WAIT(ureq,ustat,ierr)<o:p></o:p></p><p class=MsoNormal> j=1<o:p></o:p></p><p class=MsoNormal> do i=istart,iend<o:p></o:p></p><p class=MsoNormal> u(i,jend+1)=uibuf(j)<o:p></o:p></p><p class=MsoNormal> j=j+1<o:p></o:p></p><p class=MsoNormal> enddo<o:p></o:p></p><p class=MsoNormal> endif<o:p></o:p></p><p class=MsoNormal> write (rank+10,*) rank,it,dumax,gdumax<o:p></o:p></p><p class=MsoNormal> if (rank.eq.0) write (1,*) it,gdumax<o:p></o:p></p><p class=MsoNormal> enddo<o:p></o:p></p><p class=MsoNormal> call MPI_BARRIER(MPI_COMM_WORLD,ierr)<o:p></o:p></p><p class=MsoNormal> tend=MPI_WTIME()<o:p></o:p></p><p class=MsoNormal> if (rank.EQ.0) then<o:p></o:p></p><p class=MsoNormal> write(*,*) 'Calculation took ',tend-tstart,'s. on ',size,<o:p></o:p></p><p class=MsoNormal> + ' MPI processes'<o:p></o:p></p><p class=MsoNormal> + ,' with ',nthrds,' OpenMP threads per process'<o:p></o:p></p><p class=MsoNormal> endif<o:p></o:p></p><p class=MsoNormal> call MPI_FINALIZE(ierr)<o:p></o:p></p><p class=MsoNormal> stop<o:p></o:p></p><p class=MsoNormal> end<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p></div></body></html>