<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /></head><body><div>Any number above 1. There are no mismatches. I'm sending a standalone example next.<br /><br />Chris<br /><br />________________________________________<div dir="ltr" style="mso-line-height-rule:exactly;-webkit-text-size-adjust:100%;font-size:1px;direction:ltr;"><table dir="ltr" cellpadding="0" cellspacing="0" border="0" style="width:100%;direction:ltr;border-collapse:collapse;font-size:1px;"><tr style="font-size:0;"><td align="left" style="vertical-align:top;"><table cellpadding="0" cellspacing="0" border="0" style="border-collapse:collapse;font-size:0;line-height:normal;"><tr style="font-size:0;"><td align="left" style="padding:10px 0;vertical-align:top;"><img src="cid:image159969.png@356588E7.AB780174" width="125" height="40" border="0" alt="" style="width:125px;min-width:125px;max-width:125px;height:40px;min-height:40px;max-height:40px;font-size:0;" /></td></tr></table></td></tr><tr style="font-size:0;"><td align="left" style="vertical-align:top;"><table cellpadding="0" cellspacing="0" border="0" style="border-collapse:collapse;font-size:0;"><tr style="font-size:0;"><td align="left" style="vertical-align:top;"><table cellpadding="0" cellspacing="0" border="0" style="border-collapse:collapse;font-size:0;color:#000001;font-style:normal;font-weight:400;white-space:nowrap;"><tr style="font-size:14.67px;"><td align="left" style="vertical-align:top;font-family:Calibri,Arial,sans-serif;">dr. ir. </td><td align="left" style="vertical-align:top;font-family:Calibri,Arial,sans-serif;">Christiaan</td><td align="left" style="vertical-align:top;font-family:Calibri,Arial,sans-serif;"> Klaij</td><td align="left" style="vertical-align:top;font-family:Calibri,Arial,sans-serif;"> | </td><td align="left" style="vertical-align:top;font-family:Calibri,Arial,sans-serif;">senior researcher</td><td align="left" style="vertical-align:top;font-size:0;"></td></tr></table></td></tr></table></td></tr><tr style="font-size:0;"><td align="left" style="vertical-align:top;"><table cellpadding="0" cellspacing="0" border="0" style="border-collapse:collapse;font-size:0;color:#000001;font-style:normal;font-weight:400;white-space:nowrap;"><tr style="font-size:14.67px;"><td align="left" style="vertical-align:top;font-family:Calibri,Arial,sans-serif;">Research & Development</td><td align="left" style="vertical-align:top;font-family:Calibri,Arial,sans-serif;"> | </td><td align="left" style="vertical-align:top;font-family:Calibri,Arial,sans-serif;">CFD Development</td></tr></table></td></tr><tr style="font-size:0;"><td align="left" style="vertical-align:top;"><table cellpadding="0" cellspacing="0" border="0" style="border-collapse:collapse;font-size:0;"><tr style="font-size:0;"><td align="left" style="vertical-align:top;"><table cellpadding="0" cellspacing="0" border="0" style="border-collapse:collapse;font-size:0;color:#000001;font-style:normal;font-weight:400;white-space:nowrap;"><tr style="font-size:14.67px;"><td align="left" style="vertical-align:top;font-family:Calibri,Arial,sans-serif;">T <a href="tel:+31%20317%2049%2033%2044" target="_blank" id="LPlnk689713" style="text-decoration:none;color:#000001;">+31 317 49 33 44</a></td><td align="left" style="vertical-align:top;font-family:Calibri,Arial,sans-serif;"> | </td><td align="left" style="vertical-align:top;font-family:Calibri,Arial,sans-serif;"><a href="https://urldefense.us/v3/__https://www.marin.nl/__;!!G_uCfscf7eWS!amZVGXlyUOzDuaLA3yogXw9MYfgtdztuEIkZPxTsxJtBDaa7NZmRB8mV7o5NQjz6HCSHRON-BuOUWOYPcL3HTXw$" target="_blank" id="LPlnk689713" style="text-decoration:none;color:#000001;">www.marin.nl</a></td></tr></table></td></tr></table></td></tr><tr style="font-size:0;"><td align="left" style="vertical-align:top;"><table cellpadding="0" cellspacing="0" border="0" style="border-collapse:collapse;font-size:0;"><tr style="font-size:0;"><td align="left" style="padding:5px 0 0;vertical-align:top;"><table cellpadding="0" cellspacing="0" border="0" style="border-collapse:collapse;font-size:0;"><tr style="font-size:0;"><td align="left" style="vertical-align:top;"><table cellpadding="0" cellspacing="0" border="0" style="border-collapse:collapse;font-size:0;line-height:normal;"><tr style="font-size:0;"><td align="left" style="padding:0 3px 3px 0;vertical-align:top;"><a href="https://urldefense.us/v3/__https://www.facebook.com/marin.wageningen__;!!G_uCfscf7eWS!amZVGXlyUOzDuaLA3yogXw9MYfgtdztuEIkZPxTsxJtBDaa7NZmRB8mV7o5NQjz6HCSHRON-BuOUWOYP-xBXfBU$" target="_blank" id="LPlnk689713" style="text-decoration:none;"><img src="cid:image143723.png@46D7D4E6.F58A97D9" width="15" height="15" border="0" title="Facebook" alt="Facebook" style="width:15px;min-width:15px;max-width:15px;height:15px;min-height:15px;max-height:15px;font-size:12px;" /></a></td></tr></table></td><td align="left" style="vertical-align:top;"><table cellpadding="0" cellspacing="0" border="0" style="border-collapse:collapse;font-size:0;line-height:normal;"><tr style="font-size:0;"><td align="left" style="padding:0 3px 3px 0;vertical-align:top;"><a href="https://urldefense.us/v3/__https://www.linkedin.com/company/marin__;!!G_uCfscf7eWS!amZVGXlyUOzDuaLA3yogXw9MYfgtdztuEIkZPxTsxJtBDaa7NZmRB8mV7o5NQjz6HCSHRON-BuOUWOYP9dy4af0$" target="_blank" id="LPlnk689713" style="text-decoration:none;"><img src="cid:image311745.png@2FC9E769.8A651821" width="15" height="15" border="0" title="LinkedIn" alt="LinkedIn" style="width:15px;min-width:15px;max-width:15px;height:15px;min-height:15px;max-height:15px;font-size:12px;" /></a></td></tr></table></td><td align="left" style="vertical-align:top;"><table cellpadding="0" cellspacing="0" border="0" style="border-collapse:collapse;font-size:0;line-height:normal;"><tr style="font-size:0;"><td align="left" style="padding:0 3px 3px 0;vertical-align:top;"><a href="https://urldefense.us/v3/__https://www.youtube.com/marinmultimedia__;!!G_uCfscf7eWS!amZVGXlyUOzDuaLA3yogXw9MYfgtdztuEIkZPxTsxJtBDaa7NZmRB8mV7o5NQjz6HCSHRON-BuOUWOYP3we_i2I$" target="_blank" id="LPlnk689713" style="text-decoration:none;"><img src="cid:image779266.png@9328DFEA.7B71EDB4" width="15" height="15" border="0" title="YouTube" alt="YouTube" style="width:15px;min-width:15px;max-width:15px;height:15px;min-height:15px;max-height:15px;font-size:12px;" /></a></td></tr></table></td></tr></table></td></tr></table></td></tr></table><span style="font-family:remialcxesans;"> <span style="font-family:'template-zjzHWwipEfCqpwAiSIGong';"> </span><span style="font-family:'zone-1';"> </span><span style="font-family:'zones-AQ';"> </span></span></div><br />From: Junchao Zhang <junchao.zhang@gmail.com><br />Sent: Saturday, July 5, 2025 3:02 AM<br />To: Klaij, Christiaan<br />Cc: Barry Smith; PETSc users list<br />Subject: Re: [petsc-users] problem with nested logging<br /><br />How many MPI processes did you use? When they hang, maybe you can check their call stack to see if there are mismatches.<br /><br />--Junchao Zhang<br /><br /><br />On Fri, Jul 4, 2025 at 5:56 AM Klaij, Christiaan via petsc-users <petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>> wrote:<br />(yes, valgrind was attempted but did not show any obvious<br />problems.)<br /><br />However, we are making some progress. The random segmentation<br />faults are observed with intelmpi 2012.13 and openmpi<br />4.1.5. However, with openmpi 5.0.6, the randomness is gone and we<br />get systematic hanging of the code during PetscLogView. In fact,<br />we can now make the code hang by adding a single collective<br />PetscLogEvent. Next step is to replicate this behaviour in a<br />standalone example for you to investigate.<br /><br />Chris<br /><br />________________________________________<br />[cid:ii_197d818ee46d5b17c041]<br />dr. ir. Christiaan Klaij | senior researcher<br />Research & Development | CFD Development<br />T +31 317 49 33 44<tel:+31%20317%2049%2033%2044> | <a href="https://urldefense.us/v3/__http://www.marin.nl__;!!G_uCfscf7eWS!amZVGXlyUOzDuaLA3yogXw9MYfgtdztuEIkZPxTsxJtBDaa7NZmRB8mV7o5NQjz6HCSHRON-BuOUWOYPxMGZxNg$">www.marin.nl</a><https://urldefense.us/v3/__https://www.marin.nl/__;!!G_uCfscf7eWS!fGUcwKtvcNmBqtHO64KSPpOhRicJBWa4sUVUEshLDH1m6jh1mEO97VnoUwQPxTYSSqRNNC-zDhw8Qm8Rc2pxj_Q$><br />[Facebook]<https://urldefense.us/v3/__https://www.facebook.com/marin.wageningen__;!!G_uCfscf7eWS!fGUcwKtvcNmBqtHO64KSPpOhRicJBWa4sUVUEshLDH1m6jh1mEO97VnoUwQPxTYSSqRNNC-zDhw8Qm8Rjciuaks$><br />[LinkedIn]<https://urldefense.us/v3/__https://www.linkedin.com/company/marin__;!!G_uCfscf7eWS!fGUcwKtvcNmBqtHO64KSPpOhRicJBWa4sUVUEshLDH1m6jh1mEO97VnoUwQPxTYSSqRNNC-zDhw8Qm8RJIGnkrE$><br />[YouTube]<https://urldefense.us/v3/__https://www.youtube.com/marinmultimedia__;!!G_uCfscf7eWS!fGUcwKtvcNmBqtHO64KSPpOhRicJBWa4sUVUEshLDH1m6jh1mEO97VnoUwQPxTYSSqRNNC-zDhw8Qm8Rmk1saOQ$><br /><br /><br />From: Barry Smith <bsmith@petsc.dev<mailto:bsmith@petsc.dev>><br />Sent: Tuesday, July 1, 2025 4:54 PM<br />To: Klaij, Christiaan<br />Cc: PETSc users list<br />Subject: Re: [petsc-users] problem with nested logging<br /><br /><br />It's probably already been done, but if not, you should run under Valgrind. "Random" crashes are usually an indication of memory corruption.<br /><br /><br /><br />> On Jul 1, 2025, at 4:16 AM, Klaij, Christiaan via petsc-users <petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>> wrote:<br />><br />> It's been a while, in the meantime we did upgrade the OS and the<br />> compilers but the problem still persists.<br />><br />> Can it be that one must call the PetscLogEventRegister and the<br />> PetscLogEventBegin/End on all procs? Currently we don't do so,<br />> think of some small system being build and solved. This event is<br />> registered on all procs, but may take place on a single proc or<br />> subset with the begin/end only on that proc or subset.<br />><br />> Chris<br />><br />> ________________________________________<br />> From: Klaij, Christiaan <C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><br />> Sent: Thursday, May 1, 2025 3:06 PM<br />> To: Stefano Zampini<br />> Cc: Randall Mackie; PETSc users list; Isaac, Toby<br />> Subject: Re: [petsc-users] problem with nested logging<br />><br />> If I deactivate all the calls to PetscLogEventBegin/End in the<br />> simulation code, the error does not show-up.<br />><br />> But since there are more than 2500 events, it's impossible to do<br />> them one-by-one, especially since the error shows-up at random<br />> and requires a number of cases and repetitions.<br />><br />> Unfortunately, I'm running out of time and budget. I will retry<br />> once we get Rocky Linux 9 and the latest Intel compilers.<br />><br />> Chris<br />><br />> ________________________________________<br />> From: Stefano Zampini <stefano.zampini@gmail.com<mailto:stefano.zampini@gmail.com>><br />> Sent: Thursday, May 1, 2025 10:57 AM<br />> To: Klaij, Christiaan<br />> Cc: Randall Mackie; PETSc users list; Isaac, Toby<br />> Subject: Re: [petsc-users] problem with nested logging<br />><br />><br />><br />> Il giorno gio 1 mag 2025 alle ore 11:38 Klaij, Christiaan <C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>> ha scritto:<br />> The checks seem to be in place: I do get a PETSC ERROR when I add a log event on rank 0 as you suggested.<br />><br />><br />> Ok, the broken logic may be in LogView then. You can try deactivating some logging by classes and see how the error evolves, maybe using PetscLogClassSetActiveAll. Or, if feasible, commenting out some part of the simulation code<br />><br />> Another thought: in between the log events pairs, I also have calls to PetscLogFlops, perhaps that plays a role somehow.<br />><br />> It shouldn't<br />><br />> Chris<br />><br />> ________________________________________<br />> From: Klaij, Christiaan <C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><br />> Sent: Thursday, May 1, 2025 10:23 AM<br />> To: Stefano Zampini<br />> Cc: Randall Mackie; PETSc users list; Isaac, Toby<br />> Subject: Re: [petsc-users] problem with nested logging<br />><br />> Was the rewritting by Toby done somewhere between petsc 3.19.4 (no problem) and 3.23.4 (problem)?<br />><br />> Chris<br />><br />> ________________________________________<br />> From: Stefano Zampini <stefano.zampini@gmail.com<mailto:stefano.zampini@gmail.com><mailto:stefano.zampini@gmail.com<mailto:stefano.zampini@gmail.com>>><br />> Sent: Thursday, May 1, 2025 9:12 AM<br />> To: Klaij, Christiaan<br />> Cc: Randall Mackie; PETSc users list; Isaac, Toby<br />> Subject: Re: [petsc-users] problem with nested logging<br />><br />> If I look at the code for PetscLogHandlerEventBegin_Default, there are checks in place to see if the event is collectively called (see below)<br />> Can you make sure the Nested logging system has the same checks?<br />> It should, but double check since the code has been largely rewritten by Toby some time ago; to check it should be as easy as writing a code that calls a collective event on a single process and a debug version of petsc should complain<br />><br />> if (rank ==0)<br />> LogEventBegin() <-this should call MPIU_Allreduce, but other processes will not, thus hang<br />><br />><br />> If it does not complain, then the error must come from how the logic in LogView works, and from how it traverses the various events (my guess: processed in a different order from different processes). Without a reproducer, it is hard to understand what's going on<br />><br />> static PetscErrorCode PetscLogHandlerEventBegin_Default(PetscLogHandler h, PetscLogEvent event, PetscObject o1, PetscObject o2, PetscObject o3, PetscObject o4)<br />> {<br />> PetscLogHandler_Default def = (PetscLogHandler_Default)h->data;<br />> PetscEventPerfInfo *event_perf_info = NULL;<br />> PetscLogEventInfo event_info;<br />> PetscLogDouble time;<br />> PetscLogState state;<br />> PetscLogStage stage;<br />><br />> PetscFunctionBegin;<br />> PetscCall(PetscLogHandlerGetState(h, &state));<br />> if (PetscDefined(USE_DEBUG)) {<br />> PetscCall(PetscLogStateEventGetInfo(state, event, &event_info));<br />> if (PetscUnlikely(o1)) PetscValidHeader(o1, 3);<br />> if (PetscUnlikely(o2)) PetscValidHeader(o2, 4);<br />> if (PetscUnlikely(o3)) PetscValidHeader(o3, 5);<br />> if (PetscUnlikely(o4)) PetscValidHeader(o4, 6);<br />> if (event_info.collective && o1) {<br />> PetscInt64 b1[2], b2[2];<br />><br />> b1[0] = -o1->cidx;<br />> b1[1] = o1->cidx;<br />> PetscCallMPI(MPIU_Allreduce(b1, b2, 2, MPIU_INT64, MPI_MAX, PetscObjectComm(o1)));<br />> PetscCheck(-b2[0] == b2[1], PETSC_COMM_SELF, PETSC_ERR_PLIB, "Collective event %s not called collectively %" PetscInt64_FMT " != %" PetscInt64_FMT, event_info.name<<a href="https://urldefense.us/v3/__http://event_info.name__;!!G_uCfscf7eWS!amZVGXlyUOzDuaLA3yogXw9MYfgtdztuEIkZPxTsxJtBDaa7NZmRB8mV7o5NQjz6HCSHRON-BuOUWOYP2w2vplw$">http://event_info.name</a>><https://urldefense.us/v3/__http://event_info.name__;!!G_uCfscf7eWS!faEur1uGDdy2EYiXEYLCVq_UbMO1KiXKQa0vvY2nxKctWQDpgzsX7k9qTLBuMuQ6VNzwRHRHYc8jUopR10nyRr4$ ><https://urldefense.us/v3/__http://event_info.name__;!!G_uCfscf7eWS!faEur1uGDdy2EYiXEYLCVq_UbMO1KiXKQa0vvY2nxKctWQDpgzsX7k9qTLBuMuQ6VNzwRHRHYc8jUopR10nyRr4$ >, -b2[0], b2[1]);<br />> }<br />> }<br />> /* Synchronization */<br />> PetscCall(PetscLogHandlerEventSync_Default(h, event, PetscObjectComm(o1)));<br />><br />><br />><br />><br />> Il giorno gio 1 mag 2025 alle ore 09:56 Klaij, Christiaan <C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>> ha scritto:<br />> I've tried with -log_sync, no complaints whatsoever, but the error is still there...<br />><br />> Chris<br />><br />> ________________________________________<br />> From: Stefano Zampini <stefano.zampini@gmail.com<mailto:stefano.zampini@gmail.com><mailto:stefano.zampini@gmail.com<mailto:stefano.zampini@gmail.com>><mailto:stefano.zampini@gmail.com<mailto:stefano.zampini@gmail.com><mailto:stefano.zampini@gmail.com<mailto:stefano.zampini@gmail.com>>>><br />> Sent: Tuesday, April 29, 2025 6:12 PM<br />> To: Randall Mackie<br />> Cc: Klaij, Christiaan; PETSc users list; Isaac, Toby<br />> Subject: Re: [petsc-users] problem with nested logging<br />><br />> Can you try using -log_sync ? This should check every entry/exit points of logged Events and complain if something is not collectively called<br />><br />> Stefano<br />><br />> On Tue, Apr 29, 2025, 18:21 Randall Mackie <rlmackie862@gmail.com<mailto:rlmackie862@gmail.com><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com>><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com>>><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com>><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com>>>>> wrote:<br />> ah okay, I missed that this was found using openmpi.<br />><br />> then it’s probably not the same issue we had.<br />><br />> I can’t remember in which version it was fixed (I’m away from my work computer)….I do know in our case openmpi and the latest Intel One API work fine.<br />><br />> Randy<br />><br />> On Apr 29, 2025, at 8:58 AM, Klaij, Christiaan <C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>> wrote:<br />><br />> Well, the error below only shows-up thanks to openmpi and gnu compilers.<br />> With the intel mpi and compilers it just hangs (tried oneapi 2023.1.0). In which version was that bug fixed?<br />><br />> Chris<br />><br />> ________________________________________<br />> <image374583.png><br />> dr. ir. Christiaan Klaij<br />> | senior researcher | Research & Development | CFD Development<br />> T +31 317 49 33 44<tel:+31%20317%2049%2033%2044> | C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>> | https://urldefense.us/v3/__http://www.marin.nl__;!!G_uCfscf7eWS!faEur1uGDdy2EYiXEYLCVq_UbMO1KiXKQa0vvY2nxKctWQDpgzsX7k9qTLBuMuQ6VNzwRHRHYc8jUopRLSBIKfE$ <https://urldefense.us/v3/__http://www.marin.nl__;!!G_uCfscf7eWS!faEur1uGDdy2EYiXEYLCVq_UbMO1KiXKQa0vvY2nxKctWQDpgzsX7k9qTLBuMuQ6VNzwRHRHYc8jUopRLSBIKfE$ ><https://urldefense.us/v3/__http://www.marin.nl__;!!G_uCfscf7eWS!faEur1uGDdy2EYiXEYLCVq_UbMO1KiXKQa0vvY2nxKctWQDpgzsX7k9qTLBuMuQ6VNzwRHRHYc8jUopRLSBIKfE$ ><https://urldefense.us/v3/__https://www.marin.nl/__;!!G_uCfscf7eWS!bW2X4VgowGOLrAASgbFOR_Mh6HW4HtWqrdtpsvpnpiFrIwki34JOGyih-h-1bvgb-Bh4EdWRUoVqQW7s6Cx-ci9iNg$><br />> <image322757.png><https://urldefense.us/v3/__https://www.facebook.com/marin.wageningen__;!!G_uCfscf7eWS!bW2X4VgowGOLrAASgbFOR_Mh6HW4HtWqrdtpsvpnpiFrIwki34JOGyih-h-1bvgb-Bh4EdWRUoVqQW7s6Cxl-rBbfA$><br />> <image512282.png><https://urldefense.us/v3/__https://www.linkedin.com/company/marin__;!!G_uCfscf7eWS!bW2X4VgowGOLrAASgbFOR_Mh6HW4HtWqrdtpsvpnpiFrIwki34JOGyih-h-1bvgb-Bh4EdWRUoVqQW7s6Cw7FNelIQ$><br />> <image090879.png><https://urldefense.us/v3/__https://www.youtube.com/marinmultimedia__;!!G_uCfscf7eWS!bW2X4VgowGOLrAASgbFOR_Mh6HW4HtWqrdtpsvpnpiFrIwki34JOGyih-h-1bvgb-Bh4EdWRUoVqQW7s6CwmfHQRog$><br />><br />> From: Randall Mackie <rlmackie862@gmail.com<mailto:rlmackie862@gmail.com><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com>><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com>>><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com>><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com>>>>><br />> Sent: Tuesday, April 29, 2025 3:33 PM<br />> To: Klaij, Christiaan<br />> Cc: Matthew Knepley; petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>; Isaac, Toby<br />> Subject: Re: [petsc-users] problem with nested logging<br />><br />> You don't often get email from rlmackie862@gmail.com<mailto:rlmackie862@gmail.com><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com>><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com>>><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com>><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com><mailto:rlmackie862@gmail.com<mailto:rlmackie862@gmail.com>>>>. Learn why this is important<https://urldefense.us/v3/__https://aka.ms/LearnAboutSenderIdentification__;!!G_uCfscf7eWS!faEur1uGDdy2EYiXEYLCVq_UbMO1KiXKQa0vvY2nxKctWQDpgzsX7k9qTLBuMuQ6VNzwRHRHYc8jUopRRPgiIXk$ <https://urldefense.us/v3/__https://aka.ms/LearnAboutSenderIdentification__;!!G_uCfscf7eWS!bW2X4VgowGOLrAASgbFOR_Mh6HW4HtWqrdtpsvpnpiFrIwki34JOGyih-h-1bvgb-Bh4EdWRUoVqQW7s6CwgJDUS5w$>><br />> We had a similar issue last year that we eventually tracked down to a bug in Intel MPI AllReduce, which was around the same version you are using.<br />><br />> Can you try a different MPI or the latest Intel One API and see if your error clears?<br />><br />> Randy<br />><br />> On Tue, Apr 29, 2025 at 8:17 AM Klaij, Christiaan via petsc-users <petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>>> wrote:<br />> I don't think so, we have tracing in place to detect mismatches. But as soon as I switch the tracing on, the error disappears... Same if I add a counter or print statements before and after EventBegin/End. Looks like a memory corruption problem, maybe nothing to do with petsc despite the error message.<br />><br />> Chris<br />><br />> ________________________________________<br />> From: Matthew Knepley <knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>>>>><br />> Sent: Tuesday, April 29, 2025 1:50 PM<br />> To: Klaij, Christiaan<br />> Cc: Junchao Zhang; petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>>; Isaac, Toby<br />> Subject: Re: [petsc-users] problem with nested logging<br />><br />> On Tue, Apr 29, 2025 at 6:50 AM Klaij, Christiaan <C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>>>> wrote:<br />> Here's a slightly better error message, obtained --with-debugging=1<br />><br />> Is it possible that you have a mismatched EventBegin()/EventEnd() in your code? That could be why we cannot reproduce it here.<br />><br />> Thanks,<br />><br />> Matt<br />><br />> [0]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------<br />> [0]PETSC ERROR: Petsc has generated inconsistent data<br />> [0]PETSC ERROR: MPIU_Allreduce() called in different locations (code lines) on different processors<br />> [0]PETSC ERROR: See https://urldefense.us/v3/__https://petsc.org/release/faq/__;!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjggvQAzPU$ for trouble shooting.<br />> [0]PETSC ERROR: Petsc Release Version 3.22.4, Mar 01, 2025<br />> [0]PETSC ERROR: ./refresco with 2 MPI process(es) and PETSC_ARCH on marclus3login2 by cklaij Tue Apr 29 12:43:54 2025<br />> [0]PETSC ERROR: Configure options: --prefix=/home/cklaij/ReFRESCO/trunk/install/extLibs --with-mpi-dir=/cm/shared/apps/openmpi/gcc/4.0.2 --with-x=0 --with-mpe=0 --with-debugging=1 --download-superlu_dist=https://urldefense.us/v3/__https://updates.marin.nl/refresco/libs/superlu_dist-8.1.2.tar.gz__;!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjgVgVAJPM$ --with-blaslapack-dir=/cm/shared/apps/intel/oneapi/mkl/2021.4.0 --download-parmetis=https://urldefense.us/v3/__https://updates.marin.nl/refresco/libs/parmetis-4.0.3-p9.tar.gz__;!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjgo2JWTO4$ --download-metis=https://urldefense.us/v3/__https://updates.marin.nl/refresco/libs/metis-5.1.0-p11.tar.gz__;!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjgX9ZMYJA$ --with-packages-build-dir=/home/cklaij/ReFRESCO/trunk/build-libs/superbuild --with-ssl=0 --with-shared-libraries=1<br />> [0]PETSC ERROR: #1 PetscLogNestedTreePrintLine() at /home/cklaij/ReFRESCO/trunk/build-libs/superbuild/petsc/src/src/sys/logging/handler/impls/nested/xmlviewer.c:289<br />> [0]PETSC ERROR: #2 PetscLogNestedTreePrint() at /home/cklaij/ReFRESCO/trunk/build-libs/superbuild/petsc/src/src/sys/logging/handler/impls/nested/xmlviewer.c:379<br />> [0]PETSC ERROR: #3 PetscLogNestedTreePrint() at /home/cklaij/ReFRESCO/trunk/build-libs/superbuild/petsc/src/src/sys/logging/handler/impls/nested/xmlviewer.c:384<br />> [0]PETSC ERROR: #4 PetscLogNestedTreePrint() at /home/cklaij/ReFRESCO/trunk/build-libs/superbuild/petsc/src/src/sys/logging/handler/impls/nested/xmlviewer.c:384<br />> [0]PETSC ERROR: #5 PetscLogNestedTreePrintTop() at /home/cklaij/ReFRESCO/trunk/build-libs/superbuild/petsc/src/src/sys/logging/handler/impls/nested/xmlviewer.c:420<br />> [0]PETSC ERROR: #6 PetscLogHandlerView_Nested_XML() at /home/cklaij/ReFRESCO/trunk/build-libs/superbuild/petsc/src/src/sys/logging/handler/impls/nested/xmlviewer.c:443<br />> [0]PETSC ERROR: #7 PetscLogHandlerView_Nested() at /home/cklaij/ReFRESCO/trunk/build-libs/superbuild/petsc/src/src/sys/logging/handler/impls/nested/lognested.c:405<br />> [0]PETSC ERROR: #8 PetscLogHandlerView() at /home/cklaij/ReFRESCO/trunk/build-libs/superbuild/petsc/src/src/sys/logging/handler/interface/loghandler.c:342<br />> [0]PETSC ERROR: #9 PetscLogView() at /home/cklaij/ReFRESCO/trunk/build-libs/superbuild/petsc/src/src/sys/logging/plog.c:2040<br />> [0]PETSC ERROR: #10 /home/cklaij/ReFRESCO/trunk/Code/src/petsc_include_impl.F90:130<br />><br />> ________________________________________<br />> [cid:ii_19681617e7812ff9cfc1]<br />> dr. ir. Christiaan Klaij<br />> | senior researcher | Research & Development | CFD Development<br />> T +31 317 49 33 44<tel:+31%20317%2049%2033%2044> | C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>>> | https://urldefense.us/v3/__http://www.marin.nl__;!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjgJooxJhg$ <https://urldefense.us/v3/__https://www.marin.nl/__;!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjgpOXjQSM$ ><br />> [Facebook]<https://urldefense.us/v3/__https://www.facebook.com/marin.wageningen__;!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjg_3Zt0Pw$ ><br />> [LinkedIn]<https://urldefense.us/v3/__https://www.linkedin.com/company/marin__;!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjgcpgQdSE$ ><br />> [YouTube]<https://urldefense.us/v3/__https://www.youtube.com/marinmultimedia__;!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjgn8qP6_I$ ><br />><br />> From: Klaij, Christiaan <C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>>>><br />> Sent: Monday, April 28, 2025 3:53 PM<br />> To: Matthew Knepley<br />> Cc: Junchao Zhang; petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>>>; Isaac, Toby<br />> Subject: Re: [petsc-users] problem with nested logging<br />><br />> Bisecting would be quite hard, it's not just the petsc version that changed, also other libs, compilers, even os components.<br />><br />> Chris<br />><br />> ________________________________________<br />> From: Matthew Knepley <knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>>>>>><br />> Sent: Monday, April 28, 2025 3:06 PM<br />> To: Klaij, Christiaan<br />> Cc: Junchao Zhang; petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>>>; Isaac, Toby<br />> Subject: Re: [petsc-users] problem with nested logging<br />><br />> You don't often get email from knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>><mailto:knepley@gmail.com<mailto:knepley@gmail.com><mailto:knepley@gmail.com<mailto:knepley@gmail.com>>>>>>. Learn why this is important<https://urldefense.us/v3/__https://aka.ms/LearnAboutSenderIdentification__;!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjgcKEJXRA$ ><br />> On Mon, Apr 28, 2025 at 8:45 AM Klaij, Christiaan via petsc-users <petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>>>>> wrote:<br />> I've tried adding a nested log viewer to src/snes/tutorials/ex70.c,<br />> but it does not replicate the problem and works fine.<br />><br />> Perhaps it is related to fortran, since the manualpage of<br />> PetscLogNestedBegin says "No fortran support" (why? we've been<br />> using it in fortran ever since).<br />><br />> Therefore I've tried adding it to src/snes/ex5f90.F90 and that<br />> also works fine. It seems I cannot replicate the problem in a<br />> small example, unfortunately.<br />><br />> We cannot replicate it here. Is there a chance you could bisect to see what change is responsible?<br />><br />> Thanks,<br />><br />> Matt<br />><br />> Chris<br />><br />> ________________________________________<br />> From: Junchao Zhang <junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>>>>>><br />> Sent: Saturday, April 26, 2025 3:51 PM<br />> To: Klaij, Christiaan<br />> Cc: petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>>>>; Isaac, Toby<br />> Subject: Re: [petsc-users] problem with nested logging<br />><br />> You don't often get email from junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com><mailto:junchao.zhang@gmail.com<mailto:junchao.zhang@gmail.com>>>>>>>. Learn why this is important<https://urldefense.us/v3/__https://aka.ms/LearnAboutSenderIdentification__;!!G_uCfscf7eWS!cmLENZvO_Uydoa8ciUmsyX-F-QiJt9a2ZfQRUvQnRibGm7VE6PED7S_BDsUgjOzvPZIJyiIoJ8bLJk6gVgt1dmE$ ><br />> Toby (Cc'ed) might know it. Or could you provide an example?<br />><br />> --Junchao Zhang<br />><br />><br />> On Fri, Apr 25, 2025 at 3:31 AM Klaij, Christiaan via petsc-users <petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov><mailto:petsc-users@mcs.anl.gov<mailto:petsc-users@mcs.anl.gov>>>>>>>>> wrote:<br />> We recently upgraded from 3.19.4 to 3.22.4 but face the problem below with the nested logging. Any ideas?<br />><br />> Chris<br />><br />><br />> [1]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------<br />> [1]PETSC ERROR: General MPI error<br />> [1]PETSC ERROR: MPI error 1 MPI_ERR_BUFFER: invalid buffer pointer<br />> [1]PETSC ERROR: See https://urldefense.us/v3/__https://petsc.org/release/faq/__;!!G_uCfscf7eWS!cmLENZvO_Uydoa8ciUmsyX-F-QiJt9a2ZfQRUvQnRibGm7VE6PED7S_BDsUgjOzvPZIJyiIoJ8bLJk6gIT68pbk$ <https://urldefense.us/v3/__https://petsc.org/release/faq/__;!!G_uCfscf7eWS!biVlk6PKXoJvq5oVlmWdVJfW9tXv-JlwuWr3zg3jI5u1_jo8rvtZpEYnHO5RjdBqQEoqpqlJ3nusrFGM3UaqHzc$> for trouble shooting.<br />> [1]PETSC ERROR: Petsc Release Version 3.22.4, Mar 01, 2025<br />> [1]PETSC ERROR: refresco with 2 MPI process(es) and PETSC_ARCH on marclus3login2 by jwindt Fri Apr 25 08:52:30 2025<br />> [1]PETSC ERROR: Configure options: --prefix=/home/jwindt/cmake_builds/refresco/install-libs-gnu --with-mpi-dir=/cm/shared/apps/openmpi/gcc/4.0.2 --with-x=0 --with-mpe=0 --with-debugging=0 --download-superlu_dist=https://urldefense.us/v3/__https://updates.marin.nl/refresco/libs/superlu_dist-8.1.2.tar.gz__;!!G_uCfscf7eWS!cmLENZvO_Uydoa8ciUmsyX-F-QiJt9a2ZfQRUvQnRibGm7VE6PED7S_BDsUgjOzvPZIJyiIoJ8bLJk6grH5BbeU$ <https://urldefense.us/v3/__https://updates.marin.nl/refresco/libs/superlu_dist-8.1.2.tar.gz__;!!G_uCfscf7eWS!biVlk6PKXoJvq5oVlmWdVJfW9tXv-JlwuWr3zg3jI5u1_jo8rvtZpEYnHO5RjdBqQEoqpqlJ3nusrFGM21-2D-o$> --with-blaslapack-dir=/cm/shared/apps/intel/oneapi/mkl/2021.4.0 --download-parmetis=https://urldefense.us/v3/__https://updates.marin.nl/refresco/libs/parmetis-4.0.3-p9.tar.gz__;!!G_uCfscf7eWS!cmLENZvO_Uydoa8ciUmsyX-F-QiJt9a2ZfQRUvQnRibGm7VE6PED7S_BDsUgjOzvPZIJyiIoJ8bLJk6gw4-tEtY$ <https://urldefense.us/v3/__https://updates.marin.nl/refresco/libs/parmetis-4.0.3-p9.tar.gz__;!!G_uCfscf7eWS!biVlk6PKXoJvq5oVlmWdVJfW9tXv-JlwuWr3zg3jI5u1_jo8rvtZpEYnHO5RjdBqQEoqpqlJ3nusrFGMW0lYHko$> --download-metis=https://urldefense.us/v3/__https://updates.marin.nl/refresco/libs/metis-5.1.0-p11.tar.gz__;!!G_uCfscf7eWS!cmLENZvO_Uydoa8ciUmsyX-F-QiJt9a2ZfQRUvQnRibGm7VE6PED7S_BDsUgjOzvPZIJyiIoJ8bLJk6gHq4uYiY$ <https://urldefense.us/v3/__https://updates.marin.nl/refresco/libs/metis-5.1.0-p11.tar.gz__;!!G_uCfscf7eWS!biVlk6PKXoJvq5oVlmWdVJfW9tXv-JlwuWr3zg3jI5u1_jo8rvtZpEYnHO5RjdBqQEoqpqlJ3nusrFGMbSrIiUg$> --with-packages-build-dir=/home/jwindt/cmake_builds/refresco/build-libs-gnu/superbuild --with-ssl=0 --with-shared-libraries=1 CFLAGS="-std=gnu11 -Wall -funroll-all-loops -O3 -DNDEBUG" CXXFLAGS="-std=gnu++14 -Wall -funroll-all-loops -O3 -DNDEBUG " COPTFLAGS="-std=gnu11 -Wall -funroll-all-loops -O3 -DNDEBUG" CXXOPTFLAGS="-std=gnu++14 -Wall -funroll-all-loops -O3 -DNDEBUG " FCFLAGS="-Wall -funroll-all-loops -ffree-line-length-0 -Wno-maybe-uninitialized -Wno-target-lifetime -Wno-unused-function -O3 -DNDEBUG" F90FLAGS="-Wall -funroll-all-loops -ffree-line-length-0 -Wno-maybe-uninitialized -Wno-target-lifetime -Wno-unused-function -O3 -DNDEBUG" FOPTFLAGS="-Wall -funroll-all-loops -ffree-line-length-0 -Wno-maybe-uninitialized -Wno-target-lifetime -Wno-unused-function -O3 -DNDEBUG"<br />> [1]PETSC ERROR: #1 PetscLogNestedTreePrint() at /home/jwindt/cmake_builds/refresco/build-libs-gnu/superbuild/petsc/src/src/sys/logging/handler/impls/nested/xmlviewer.c:330<br />> [1]PETSC ERROR: #2 PetscLogNestedTreePrint() at /home/jwindt/cmake_builds/refresco/build-libs-gnu/superbuild/petsc/src/src/sys/logging/handler/impls/nested/xmlviewer.c:384<br />> [1]PETSC ERROR: #3 PetscLogNestedTreePrint() at /home/jwindt/cmake_builds/refresco/build-libs-gnu/superbuild/petsc/src/src/sys/logging/handler/impls/nested/xmlviewer.c:384<br />> [1]PETSC ERROR: #4 PetscLogNestedTreePrintTop() at /home/jwindt/cmake_builds/refresco/build-libs-gnu/superbuild/petsc/src/src/sys/logging/handler/impls/nested/xmlviewer.c:420<br />> [1]PETSC ERROR: #5 PetscLogHandlerView_Nested_XML() at /home/jwindt/cmake_builds/refresco/build-libs-gnu/superbuild/petsc/src/src/sys/logging/handler/impls/nested/xmlviewer.c:443<br />> [1]PETSC ERROR: #6 PetscLogHandlerView_Nested() at /home/jwindt/cmake_builds/refresco/build-libs-gnu/superbuild/petsc/src/src/sys/logging/handler/impls/nested/lognested.c:405<br />> [1]PETSC ERROR: #7 PetscLogHandlerView() at /home/jwindt/cmake_builds/refresco/build-libs-gnu/superbuild/petsc/src/src/sys/logging/handler/interface/loghandler.c:342<br />> [1]PETSC ERROR: #8 PetscLogView() at /home/jwindt/cmake_builds/refresco/build-libs-gnu/superbuild/petsc/src/src/sys/logging/plog.c:2040<br />> --------------------------------------------------------------------------<br />> MPI_ABORT was invoked on rank 1 in communicator MPI_COMM_WORLD<br />> with errorcode 98.<br />><br />> NOTE: invoking MPI_ABORT causes Open MPI to kill all MPI processes.<br />> You may or may not see output from other processes, depending on<br />> exactly when Open MPI kills them.<br />> --------------------------------------------------------------------------<br />> [cid:ii_196725d1e2a809852191]<br />> dr. ir. Christiaan Klaij<br />> | senior researcher | Research & Development | CFD Development<br />> T +31 317 49 33 44<tel:+31%20317%2049%2033%2044> | C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl><mailto:C.Klaij@marin.nl<mailto:C.Klaij@marin.nl>>>>>>>> | https://urldefense.us/v3/__http://www.marin.nl__;!!G_uCfscf7eWS!cmLENZvO_Uydoa8ciUmsyX-F-QiJt9a2ZfQRUvQnRibGm7VE6PED7S_BDsUgjOzvPZIJyiIoJ8bLJk6g8TwMMcw$ <https://urldefense.us/v3/__https://www.marin.nl/__;!!G_uCfscf7eWS!biVlk6PKXoJvq5oVlmWdVJfW9tXv-JlwuWr3zg3jI5u1_jo8rvtZpEYnHO5RjdBqQEoqpqlJ3nusrFGM8tSNH1g$><br />> [Facebook]<https://urldefense.us/v3/__https://www.facebook.com/marin.wageningen__;!!G_uCfscf7eWS!biVlk6PKXoJvq5oVlmWdVJfW9tXv-JlwuWr3zg3jI5u1_jo8rvtZpEYnHO5RjdBqQEoqpqlJ3nusrFGMcVCZ9hk$><br />> [LinkedIn]<https://urldefense.us/v3/__https://www.linkedin.com/company/marin__;!!G_uCfscf7eWS!biVlk6PKXoJvq5oVlmWdVJfW9tXv-JlwuWr3zg3jI5u1_jo8rvtZpEYnHO5RjdBqQEoqpqlJ3nusrFGMIDBZW7k$><br />> [YouTube]<https://urldefense.us/v3/__https://www.youtube.com/marinmultimedia__;!!G_uCfscf7eWS!biVlk6PKXoJvq5oVlmWdVJfW9tXv-JlwuWr3zg3jI5u1_jo8rvtZpEYnHO5RjdBqQEoqpqlJ3nusrFGMVKWos24$><br />><br />><br />> --<br />> What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br />> -- Norbert Wiener<br />><br />> https://urldefense.us/v3/__https://www.cse.buffalo.edu/*knepley/__;fg!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjg539kFLg$ <https://urldefense.us/v3/__http://www.cse.buffalo.edu/*knepley/__;fg!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjgMsu6hhA$ ><br />><br />><br />> --<br />> What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br />> -- Norbert Wiener<br />><br />> https://urldefense.us/v3/__https://www.cse.buffalo.edu/*knepley/__;fg!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjg539kFLg$ <https://urldefense.us/v3/__http://www.cse.buffalo.edu/*knepley/__;fg!!G_uCfscf7eWS!fFq1daAFFpKhBA_NWU3sd2QJe_S44rklqeRi0TB57XI0nQsh9jgy8iw3JNGpBbd21zqvO3QlGTLa7kjgMsu6hhA$ ><br />><br />><br />><br />> --<br />> Stefano<br />><br />><br />> --<br />> Stefano<br /><br /></div></body></html>