Excellent #making-of technique des #panamapapers
Wrangling 2.6TB of data: The people and the technology behind the Panama Papers · ICIJ
▻https://panamapapers.icij.org/blog/20160425-data-tech-team-ICIJ.html
Excellent #making-of technique des #panamapapers
Wrangling 2.6TB of data: The people and the technology behind the Panama Papers · ICIJ
▻https://panamapapers.icij.org/blog/20160425-data-tech-team-ICIJ.html
Aujourd’hui, (re-)découverte de quelques outils sympas pour traiter du texte :
#tika
TIKA est un logiciel libre écrit en Java, qui est capable de convertir à peu près n’importe quoi en HTML (ou texte). S’intègre facilement dans #DotSPIP.
L’installation avec brew (brew install tika
) a l’avantage de fournir aussi un raccourci pour la ligne de commande :
tika -h file.pdf # conversion html
tika -t file.pdf # conversion texte
▻http://tika.apache.org
Un système libre d’#OCR, qui s’intègre facilement à tika.
brew install tesseract --all-languages
tesseract -l fra file.jpg tmp && cat tmp.txt # OCR, fra = langue française
tika -t file.jpg # via tika
▻https://code.google.com/p/tesseract-ocr
Outil de #NLP (natural language processing), qui permet de faire, comme OpenCalais, de l’extraction de termes, lieux, de la détection de langue, etc. C’est un système propriétaire (IBM). L’API en PHP n’est pas difficile à utiliser. Il y a moyen d’avoir des clés gratuitement pour une utilisation réduite (1000 appels/j) si on s’engage à indiquer qu’on utilise ce système. Il existe un plugin pour Drupal (mais pas pour #SPIP).
▻https://github.com/AlchemyAPI
▻http://www.alchemyapi.com/products/demo/alchemylanguage
#sumy
création automatique de résumés de textes.
pip install sumy
Utilisation (avec l’algo edmundson
) :
sumy edmundson --url=http://www.monde-diplomatique.fr/1996/02/BRIE/5224
tika -t http://www.obsarm.org/publications/damocles/versionpdf/Damocles%2085.pdf | sumy lsa --length=3
(le dernier exemple : je demande à tika de télécharger le PDF de la revue Damoclès et d’en extraire le contenu, puis je passe le résultat à sumy qui en extrait trois lignes pertinentes)
►https://github.com/miso-belica/sumy
un équivalent de tika en python : #textract
▻https://textract.readthedocs.org
installation : pip install textract
usage : textract /path/to/file.xxx
Sur le site du constructeur de paquet java Maven, j’ai trouvé hier des paquets JAR pré-compilés de toutes les dernières versions de Tika App et de Tika Server :
L’index de tous les trucs Tika :
▻http://repo1.maven.org/maven2/org/apache/tika
Tika App :
▻http://repo1.maven.org/maven2/org/apache/tika/tika-app/1.10
Tika Server :
▻http://repo1.maven.org/maven2/org/apache/tika/tika-server/1.10
Et du coup avec le vrai serveur REST, en mode serveur c’est :
java -jar tika-server-1.10.jar
Et ensuite on envoie les fichiers en PUT sur plusieurs points d’entrées, suivant qu’on veut récupérer du texte, du HTML, du JSON même, ou juste les métadatas :
# En texte brut
curl -T truc.docx http://localhost:9998/tika --header "Accept: text/plain"
# En HTML
curl -T truc.docx http://localhost:9998/tika --header "Accept: text/html"
La doc est ici :
▻http://wiki.apache.org/tika/TikaJAXRS
Et aussi en complément, j’ai trouvé cette librairie PHP pour dialoguer avec Tika en version serveur (pas celui en shell) :
▻https://packagist.org/packages/vaites/php-apache-tika
▻https://github.com/vaites/php-apache-tika
$client = \Vaites\ApacheTika\Client::make();
$text = $client->getText('/path/to/your/document');
pour accompagner #tesseract on peut essayer #pdfsandwich, spécialisé dans les scans de journaux ▻http://www.tobias-elze.de/pdfsandwich (je note ça parce que je viens de tomber dessus : pas testé)
Le dev est sur github maintenant
▻https://github.com/tesseract-ocr
▻https://github.com/tesseract-ocr/tesseract/wiki
Quelques explications claires pour l’exemple d’une entrée en pdf de plusieurs pages images et en sortie un document pdf avec le texte reconnu et collé par dessus.
▻https://ryanfb.github.io/etc/2014/11/13/command_line_ocr_on_mac_os_x.html
Éventuellement faire un
set TESSDATA_PREFIX="C :/Projects/project/Release/tessdata"
Tutoriel pour récupérer le texte d’un pdf multipage avec #ImageMagick et #Tesseract (en passant par un fichier .tiff).
▻https://diging.atlassian.net/wiki/display/DCH/Tutorial%3A+Text+Extraction+and+OCR+with+Tesseract+and+ImageMagick
Testé avec succès pour convertir un scan de 80 pages, après avoir essayé en vain tous les logiciels possibles sur la logithèque #ubuntu (yagf, gimageReader et OCRFeeder).