Hi,<div><br></div><div>I have a couple of questions about how mapreduce would look like if it were</div><div>implemented in Swift. It would be great to hear ideas on these :</div><div><br></div><div>1) Google's MapReduce as well as Hadoop's makes certain assumptions about</div>

<div>the data which are generated/used at each stage of processing . Mostly key-value </div><div>pairs are used and the keys play a role in the reduce stage. Does this make sense </div><div>in swift, or does the functional programming style make more sense here ? Swift </div>

<div>mostly remains agnostic on file contents, so does it matter what is the format of the </div><div>content of the files ? </div><div><br></div><div>2) Currently Swift would stage-in the results from a map job, and then stage-out to the</div>

<div>reducers, while this could be shorted by just moving the results directly from the map </div><div>nodes to the reduce nodes. What if we had semantics which would retrieve file locations</div><div>rather than actual files and then choose to de-reference only when we needed to?</div>

<div>(I do not think we have a method to do this already)</div><div><br></div><div>say,</div><div>type file_ptrs[];                                // array of file pointers</div><div>file_ptrs = map(foo, array);           // here, we just get an array of file pointers</div>

<div>result     = reduce(bar, file_ptrs);  // reduction would involve getting the actual files</div><div><br></div><div>Maybe the above could be wrapped up as :</div><div>result = mapreduce(foo, bar, array);</div><div><br>

</div><div>-- <br>Thanks and Regards,<br>Yadu Nand B<br><br>
</div>