<div dir="ltr">Hi Robert and Wei-Keng,<div><br></div><div>I have solved this problem by adding PNETCDF_HINTS='nc_header_align_size=40960'.</div><div><br></div><div>Thanks for your help.</div><div><br></div><div>JIn-De</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Wei-Keng Liao <<a href="mailto:wkliao@northwestern.edu">wkliao@northwestern.edu</a>> 於 2021年7月15日 週四 上午6:21寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi, Jin-De<br>
<br>
You can turn on the "safe mode" by setting the environment<br>
variable PNETCDF_SAFE_MODE to 1.<br>
<br>
This mode will check the consistency of arguments passed<br>
to all PnetCDF functions. It will print out more error messages<br>
that may be related to the error you are seeing.<br>
<br>
Wei-keng<br>
<br>
> On Jul 14, 2021, at 4:42 PM, Latham, Robert J. <<a href="mailto:robl@mcs.anl.gov" target="_blank">robl@mcs.anl.gov</a>> wrote:<br>
> <br>
> On Wed, 2021-07-14 at 22:00 +0800, Jin-De Huang wrote:<br>
>> I am testing my model with 2304 processes on a supercluster with the<br>
>> Fujitsu Fortran compiler and Pnetcdf 1.12.1. The model halted when<br>
>> leaving the define mode. The error message only appeared in the log<br>
>> files that MPI ranks are greater than 2047.<br>
>> <br>
>> MPI error (MPI_File_read_at_all) : MPI_ERR_ARG: invalid argument of<br>
>> some other kind<br>
>> <br>
>> Some problems happened in these processes, but the error codes from<br>
>> each Pnetcdf function were 0 until the above error message appeared.<br>
>> As I used the number of processes less than 2048, the model worked<br>
>> normally. I have no idea to solve this problem. Is it any way to<br>
>> identify the reason for this problem?<br>
> <br>
> My first guess might be a "too many open files" problem, though I would<br>
> have hoped the MPI-IO implementation would have said that instead of<br>
> "some error happened".<br>
> <br>
> If it is open files, then there is a 'ulimit' setting you can<br>
> raise:  `ulimit -a` will show you what limits are in place now, and<br>
> `ulimit -n` changes the "open files" limit.  Try doubling whatever it<br>
> is set to now.<br>
> <br>
> ==rob<br>
<br>
</blockquote></div>