On Wed, Feb 24, 2010 at 9:09 AM, Jed Brown <span dir="ltr"><<a href="mailto:jed@59a2.org">jed@59a2.org</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">On Wed, 24 Feb 2010 08:31:32 -0600, Dmitry Karpeev <<a href="mailto:karpeev@mcs.anl.gov">karpeev@mcs.anl.gov</a>> wrote:<br>
> Yes, I think SQL or some such approach would be a good solution.<br>
> I don't even think the actual file format matters too much: we can just<br>
> create collections of files that share keys.  The database is needed only<br>
> to manage file names.  It could also store other data, of course, but<br>
> that's just gravy.<br>
<br>
</div>I think the database needs to hold a nontrivial amount of semantic<br>
information.  For example, suppose we have a DMComposite covering<br>
multiple domains, with some domains having more than one DM on the same<br>
mesh (as in mixed FEM).  These DMs will share coordinate DMs and the<br>
associated position vectors (which may be time-dependent).  Other<br>
metadata, such as precision, endianness, units, scaling factors, time,<br>
and projections, would (in my opinion) also go in the database so that<br>
everything can be wired up without opening these files, and they can be<br>
slurped in with a single collective read.</blockquote><div><br></div><div>Yes, we had to add all this to PyLith to get things to make sense. We should</div><div>try and get a list together. I can start with what PyLith has.</div>
<div><br></div><div>  Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div class="im">
> Yes, labels are cumbersome, since they have to be create manually, etc.<br>
> However, when we decide where on the filesystem to place a file, we are<br>
> essentially selecting its labels: the directories on the path.  At least those<br>
> are *some* of the labels we'd like to attach to the file and the filesystem only<br>
> allows "labels" encoded as directories.  I agree that it would be nice to allow<br>
> more general queries, but based on what (permissions, timestamp? those<br>
> sound like natural candidates)?<br>
<br>
</div>I wasn't thinking of filesystem metadata at all, it's the user-visible<br>
attributes and relationship among objects in the simulation that are<br>
significant.  We have to drop the files somewhere and give them a name,<br>
but I'd be happy if they were just named by SHA1.  The name has no<br>
significance since you can't do anything with it without the semantic<br>
information in the database.<br>
<font color="#888888"><br>
Jed<br>
</font></blockquote></div><br><br clear="all"><br>-- <br>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener<br>