Hi Glen,<br><br>Thanks a lot! I can now see in the log file that what I had was not working. It seems to be on its way now.<br><br>Best,<br>Gabri<br><br><div class="gmail_quote">On Mon, Apr 13, 2009 at 6:45 PM, Glen Hocky <span dir="ltr"><<a href="mailto:hockyg@uchicago.edu" target="_blank">hockyg@uchicago.edu</a>></span> wrote:<br>


<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">I did the same but in COG_OPTS, i.e.<br>
export COG_OPTS="-Xmx1024m"<br>
or 2048 for really big jobs<br>
<br>
Gabri Turcu wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div><div></div><div>
Hi,<br>
<br>
I am trying to run grep on newslab data on teraport. While everything works fine for a small number of patterns and files(e.g. ~20 patterns, ~1000 files), I get errors for larger numbers of files (~10k). I would be very grateful for any help.<br>



<br>
The main files I'm using are (at CI) :<br>
/home/gabri/swift-0.8/examples/swift/newslabex/count/tc.data<br>
/home/gabri/swift-0.8/examples/swift/newslabex/count/sites.xml  (-using the fast queue)<br>
/home/gabri/swift-0.8/examples/swift/newslabex/count/count.swift<br>
/home/gabri/swift-0.8/examples/swift/newslabex/count/grp<br>
<br>
For number of files=10k and number of patterns=2<br>
- I'm getting an "java.lang.OutOfMemoryError". I have tried increasing the heap size by runnig Swift with (-Xms1536m -Xmx4096m) in the command line, but that seemed to just push the failure point a little further. Is this at all the way to go?<br>



- The corresponding logs are at: /home/gabri/swift-0.8/examples/swift/newslabex/count/errmanyfiles/<br>
<br>
Thank you very much for any suggestions.<br>
Best,<br>
Gabri<br></div></div>
------------------------------------------------------------------------<br>
<br>
_______________________________________________<br>
Swift-devel mailing list<br>
<a href="mailto:Swift-devel@ci.uchicago.edu" target="_blank">Swift-devel@ci.uchicago.edu</a><br>
<a href="http://mail.ci.uchicago.edu/mailman/listinfo/swift-devel" target="_blank">http://mail.ci.uchicago.edu/mailman/listinfo/swift-devel</a><br>
  <br>
</blockquote>
<br>
</blockquote></div><br>