AlchemyAPI - Transforming Text Into Knowledge

Aujourd’hui, (re-)découverte de quelques outils sympas pour traiter du texte :

#tika

TIKA est un logiciel libre écrit en Java, qui est capable de convertir à peu près n’importe quoi en HTML (ou texte). S’intègre facilement dans #DotSPIP.

L’installation avec brew (brew install tika) a l’avantage de fournir aussi un raccourci pour la ligne de commande :

tika -h file.pdf  # conversion html
tika -t file.pdf  # conversion texte

▻http://tika.apache.org

#tesseract

Un système libre d’#OCR, qui s’intègre facilement à tika.
brew install tesseract --all-languages

tesseract -l fra file.jpg tmp && cat tmp.txt  # OCR, fra = langue française
tika -t file.jpg   # via tika

▻https://code.google.com/p/tesseract-ocr

#alchemyAPI

Outil de #NLP (natural language processing), qui permet de faire, comme OpenCalais, de l’extraction de termes, lieux, de la détection de langue, etc. C’est un système propriétaire (IBM). L’API en PHP n’est pas difficile à utiliser. Il y a moyen d’avoir des clés gratuitement pour une utilisation réduite (1000 appels/j) si on s’engage à indiquer qu’on utilise ce système. Il existe un plugin pour Drupal (mais pas pour #SPIP).

▻https://github.com/AlchemyAPI
▻http://www.alchemyapi.com/products/demo/alchemylanguage

#sumy

création automatique de résumés de textes.
pip install sumy

Utilisation (avec l’algo edmundson) :

sumy edmundson --url=http://www.monde-diplomatique.fr/1996/02/BRIE/5224
tika -t http://www.obsarm.org/publications/damocles/versionpdf/Damocles%2085.pdf | sumy lsa --length=3

(le dernier exemple : je demande à tika de télécharger le PDF de la revue Damoclès et d’en extraire le contenu, puis je passe le résultat à sumy qui en extrait trois lignes pertinentes)
►https://github.com/miso-belica/sumy

AlchemyAPI | Transforming text into knowledge
▻http://www.alchemyapi.com

Tags : #semantic #api #metadata

Certains auront remarqué, dans la colonne de gauche à côté du détail de chaque note (au fait, c’est quoi le nom d’un article sur SeenThis ? euh, suis-je bête, un seen, bien sûr), à côté de chaque seen donc, en plus des thèmes choisis par l’auteur au moyen des étiquettes dièses, une liste de thèmes automatiques. Celle-ci est créée par analyse du seen par OpenCalais, un outil développé par Reuteurs et capable d’extraire d’un texte des métadonnées sémantiques. Malheureusement, jusqu’à présent, je le trouve un peu limité, il extrait essentiellement les noms propres. J’ai donc fait un rapide tour de quelques autres analyseurs sémantiques qui proposent une interface de démonstration en ligne, pour avoir une idée de l’état de l’art des outils accessibles au grand public. Voici donc quatre URL qui vous permettront de réaliser quelque tests :

AlchemyAPI ►http://www.alchemyapi.com/api/demo.html
OpenCalais ►http://viewer.opencalais.com
Zemanta ►http://www.zemanta.com/demo
OpenAmplify ►http://portaltnx20.openamplify.com/AmplifyWeb_v21/AmplifyThis.html A la différence des trois précédents, ce dernier demande une clé d’API qui nécessite de s’inscrire. L’interface propose de nombreuses options, je vous conseille d’essayer les formats de sortie Tidy XML ou Signals ;

Ces démos sont bien sûr biaisées : les formulaires ne proposent pas toutes les options des API. Et je n’ai pas vérifié lesquels de ces quatre outils annoncent être effectivement capables d’analyser des textes en français.
Alchemy s’en sort plutôt bien, parvenant à extraire des textes les noms propres et quelques mots clés. Calais est lui malheureusement limité aux noms propres. Zemanta propose des mots clés et des contenus liés qui peuvent être très pertinents… mais dont le rapport avec mon texte m’échappe parfois. Enfin, OpenAmplifiy est celui qui m’a le plus impressionné, par la richesse des données qu’il produit et en particuliers les informations sur le ton du texte et la personnalité de l’auteur. Mais là encore, la pertinence varie de « waouh » à « wtf ‽‽‽ ».

Au final, ces démos sont utiles pour avoir une idée des données que chaque outil peut produire. Mais pour vraiment savoir ce qu’ils ont dans le ventre, ils faut passer à l’étape suivante et essayer les API. Ce qui ne semble pas très compliqué, REST étant sauf erreur de ma part la norme.

#Sémantique #AnalyseSémantique #WebSémantique

Outils de thématisation automatique :

AlchemyAPI
►http://www.alchemyapi.com/api

OpenCalais
►http://www.opencalais.com

YQL - search.termextract
►http://y.ahoo.it/4wbQPYPJ

#API #web #sémantique #spip