<div dir="ltr"><div dir="ltr">On Fri, Feb 7, 2020 at 1:23 PM Zhang, Hong via petsc-dev <<a href="mailto:petsc-dev@mcs.anl.gov">petsc-dev@mcs.anl.gov</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi all,<br>
<br>
Previously I have noticed that the first call to a CUDA function such as cudaMalloc and cudaFree in PETSc takes a long time (7.5 seconds) on summit. Then I prepared a simple example as attached to help OCLF reproduce the problem. It turned out that the problem was  caused by PETSc. The 7.5-second overhead can be observed only when the PETSc lib is linked. If I do not link PETSc, it runs normally. Does anyone have any idea why this happens and how to fix it?<br></blockquote><div><br></div><div>Hong, this sounds like a screwed up dynamic linker. Can you try this with a statically linked executable?</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Hong (Mr.)<br>
<br>
bash-4.2$ cat ex_simple.c<br>
#include <time.h><br>
#include <cuda_runtime.h><br>
#include <stdio.h><br>
<br>
int main(int argc,char **args)<br>
{<br>
  clock_t start,s1,s2,s3;<br>
  double  cputime;<br>
  double   *init,tmp[100] = {0};<br>
<br>
  start = clock();<br>
  cudaFree(0);<br>
  s1 = clock();<br>
  cudaMalloc((void **)&init,100*sizeof(double));<br>
  s2 = clock();<br>
  cudaMemcpy(init,tmp,100*sizeof(double),cudaMemcpyHostToDevice);<br>
  s3 = clock();<br>
  printf("free time =%lf malloc time =%lf copy time =%lf\n",((double) (s1 - start)) / CLOCKS_PER_SEC,((double) (s2 - s1)) / CLOCKS_PER_SEC,((double) (s3 - s2)) / CLOCKS_PER_SEC);<br>
<br>
  return 0;<br>
}<br>
<br>
<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>