Nonprofit Common Crawl Offers a Database of the Entire Web, For Free, and Could Open Up Google to New Competition

Common Crawl URL Index
▻http://commoncrawl.org/common-crawl-url-index

If you want to create a new search engine, compile a list of congressional sentiment, monitor the spread of Facebook infection through the web, or create any other derivative work, that first starts when you think “if only I had the entire web on my hard drive.” Common Crawl is that hard drive, and using services like Amazon EC2 you can crunch through it all for a few hundred dollars.

#indexation #archivage #données #web

Elbaz says he noticed around five years ago that researchers with new ideas about how to use Web data felt compelled to take jobs at #Google because it was the only place they could test those ideas.

l’#open_source contre le #monopole_intellectuel

Désolé de spammer, c’est vraiment très intéressant : le projet suggère (fortement) d’employer #EC2 pour traiter les données, qui sont enregistrées sur #S3 (▻http://commoncrawl.org/data/accessing-the-data) ; comme si tout le monde s’installait dans la même salle informatique (chez #amazon) et partageait non seulement les données mais aussi les capacités de traitement, pour un coût minimal.

@fil, non non, c’est pas du Spam des commentaires pareils !