Experiments on the English Wikipedia — gensim

je veux bien de l’aide hein si ça vous dit de jouer

#sémantique #métadonnées
aussi ...
Pourquoi fortran ?

ça utilise une lib ATLAS qui demande un compilo fortran… je sais pas bien où ça bloque j’ai juste eu l’impression de ramer sans fin… je vais m’accrocher car je crois que ça va m’être très utile (ça pourra aussi servir à tous ceux qui gèrent des corpus de texte, comme par exemple euh… #seenthis, @rezo et co)

Après divers déboires, j’ai opté depuis un moment pour gérer tout python sous Mac os avec MacPorts.
J’avais déjà installé scipy et numpy par ce biais, et donc :

$ which python
/opt/local/bin/python
$ python -V
Python 2.7.2
$ sudo /opt/local/bin/easy_install-2.7 -U gensim

semble fonctionner correctement (le premier tutoriel se déroule comme prévu).

cool

sur linux, j’ai fini par m’en sortir avec apt-get install python-scipy

et sur mac je sais pas ce que j’ai fait (!!) mais ça a fini par passer avec ce script
►https://raw.github.com/fonnesbeck/ScipySuperpack/master/install_superpack.sh

la première page de tutorial passe sur les deux installations

maintenant il faut que je trouve comment lui faire manger une base de données :)

j’ai adapté le script d’import de wikipedia ►http://radimrehurek.com/gensim/wiki.html en script d’import d’une sauvegarde seenthis
►https://gist.github.com/2168253/d61cf9988ac81b6a06df69a1305e3d5e92363940

à utiliser comme suit :
python corpus-seenthis.py ~/Sites/seen.xml.gz seen

je veux pas m’emballer trop vite pour rien mais, avec sous la main un miroir du projet gutenberg, on pourrait afficher à côté de n’importe quel texte des livres pertinents (selon l’algorithme) à lire sur le sujet … #idée

J’ai pu lancer l’analyse de trois sources : @rezo ; quelques tweets ; et seenthis. Les « topics » générés ne sont pas vraiment compréhensibles pour le moment, mais je ne désespère pas.