A bit like Solr, but much smaller and not as bright

C’est fini !

Votre module a été envoyé dans la file des revues préliminaires.

You’ll receive an email once it has been reviewed by an editor and signed. Once it has been signed you will be able to install it:

►https://addons.mozilla.org/fr/firefox/addon/seenthis-search

En attendant qu’elle soit validée par Firefox : about:config puis `` xpinstall.signatures.required à false ``

Pour paraphraser ce que fait l’extension : une fois installée, et que vous êtes connectés à seenthis ça va charger tous vos posts ( ceux que vous avez écrit et ceux que vous avez étoilés) ... et ensuite cela permet de rechercher RAPIDEMENT un truc (recherche dans le texte du seen ET dans les mots-clés )

TOUS mes posts???

@monolecte oui (normalement) :)

Bon mince je l’ai lancé, ça charge… Ça va charger plusieurs mégas, plusieurs dizaines de mégas, plusieurs centaines de mégas ? Je ne me rends pas trop compte de la taille. Je vais devoir laisser tourner…

Et si on éteint pendant que ça tourne, ça fait quoi ? Ça va recharger depuis zéro ensuite ? Et ça met à jour en rechargeant tout régulièrement ou juste en ajoutant les trucs nouveaux ? Et si des posts ont été modifiés ? Et ça charge les textes des commentaires aussi ou bien ça ne recherche que dans le texte du seen principal uniquement ? (parce que sur le site, le moteur cherche partout et notamment quand des tags ont été ajouté par des coms, ce qui arrive très très souvent)

error : 500 : Internal Server Error : ►http://seenthis.net/?page=xml_export

@rastapopoulos

Et si on éteint pendant que ça tourne, ça fait quoi ?

Aucune idée :p

Ça va recharger depuis zéro ensuite ?

Oui je pense, et ça reprendra l’update de la base locale là on ça en était.

Et ça met à jour en rechargeant tout régulièrement ou juste en ajoutant les trucs nouveaux ? Et si des posts ont été modifiés ?

Ça recharge tout le xml à la demande, en cliquant sur sync, et ça maj la base locale. C’est améliorable, une mise à jour automatique pourrait être intéressante.

Et ça charge les textes des commentaires aussi ou bien ça ne recherche que dans le texte du seen principal uniquement ? (parce que sur le site, le moteur cherche partout et notamment quand des tags ont été ajouté par des coms, ce qui arrive très très souvent)

Ça charge que le premier message de chaque thread du dump xml, donc uniquement le « seen principal ».

bravo @b_b ! #seenthis_c_est_bon_mangez_en

Comme dit dans mon message d’après, moi j’ai toujours erreur 500. Essayé 4 fois hier soir et 5 fois ce matin, toujours la même erreur. Je dois avoir trop de choses dans le même énorme flux et il arrive pas à le générer… :(

Pour info, la version 0.0.4 ne nécessite plus de redémarrage pour l’installation. Avec de la chance elle devrait être enfin validée (et signée) par l’équipe des personnes en charge de la relecture sur AMO, donc installable directement sans avoir à jouer avec about:config.

Prochaine étape, basculer le code vers la nouvelle norme #webextensions ►https://developer.mozilla.org/en-US/Add-ons/WebExtensions qui permettrait de faire fonctionner le module sur d’autres navigateurs (chromium et opera par exemple).

\o/

Your add-on, seenthis search, 0.0.4, has been preliminarily reviewed and is now available for download in our gallery at ►https://addons.mozilla.org/addon/seenthis-search

et donc ça fait quoi ?
“Finish !! loaded 0 bookmarks
OK”

EDIT : ah j’étais point connecté…
là ça synchronise… et pomme- : lance l’interface

EDIT2 : tout comme @rastapopoulos j’ai une erreur

error : 500 : Internal Server Error :
seenthis.net/ ?page=xml_export

@fil le serveur doit pas être capable de générer votre dump...

Si vous tentez d’accéder à l’url depuis votre nav, vous avez la même erreur ?

Quand on regarde plugins/seenthis_squelettes/noisettes/afficher_me_xml.html on voit que pour chaque message on fait 4 appels SQL. Pas étonnant que pour une collection importante de messages ce soit pas gérable.
L’export est à réécrire ou repenser entièrement.
▻https://github.com/seenthis/seenthis_squelettes/issues/160

à noter, l’extension envoie la requête en POST

Et hop, la version 0.1.0 est disponible, les nouveautés sont les suivantes :

– ré-écriture complète du code, le module utilise la nouvelle norme #webextension (et devrait donc fonctionner sour chromium et opera) cf ▻https://github.com/seenthis/firefox-seenthis-search/commit/0304b325f02659bd13b7eaead14d6aaf10611e06
– le module utilise maintenant les librairies #listjs (cf ▻https://seenthis.net/messages/472006) #localForage et #jQuery
– plus de requête en POST pour @fil ;)

Quelques remarques :

– on perd la possibilité d’utiliser les opérateurs AND, OR et NOT dans la recherche, mais ça devrait pouvoir être rétabli si ça semble nécessaire.
– le raccourci clavier pour accéder à la page du module est maintenant « CTRL+SHIFT+B » (pas moyen d’utiliser l’ancien dans une webextension).
– j’ai hésité à utiliser ▻http://dexie.org et ►http://lunrjs.com mais je garde l’idée dans un coin, cf mes prises de notes sur le wiki du projet ▻https://github.com/seenthis/firefox-seenthis-search/wiki
– j’aurais plein de choses à dire sur les webextensions, mais je crois que ça fera l’objet d’un billet spécifique :p

Ça peut marcher avec les très grosses collections ou pas ?

@monolecte pas de limitation du côté du module, par contre, comme l’ont déjà remarqué plusieurs personnes dans ce fil, l’export xml qui alimente le module semble demander trop de travail au serveur pour les gens qui postent/favorisent beaucoup. À tester donc :)

@rastapopoulos est-ce que l’export fonctionne mieux pour toi avec cette url ?

▻https://seenthis.net/spip.php?page=xml_export&reponses=non

Je viens d’ajouter cette option à seenthis cf ▻https://github.com/seenthis/seenthis_squelettes/pull/170 et l’extension firefox seenthis search l’utilisera à partir de la version 0.2.1 qui sera bientôt disponible sur ►https://addons.mozilla.org/fr/firefox/addon/seenthis-search

@b_b ça a demandé 2 à 3min complètes et ça a fait rendre le navigateur tout gris, mais ça a fini par générer et afficher le XML. Bon après ça ramait à mort et j’ai eu beaucoup de mal à fermer l’onglet, mais ça l’a bien généré.

@rastapopoulos ferpecto tu devrais pouvoir tester la prochaine version du module firefox.

Your add-on seenthis search has been updated on addons.mozilla.org (AMO). Version 0.3.2 is now available for download in our gallery at ►https://addons.mozilla.org/addon/seenthis-search .

Nouvelle version qui met à jour les libs utilisées et change de raccourci clavier pour ouvrir la page des seens (une fois de plus car Firefox a décidé de squatter CTRL + SHIFT + S).

Chez moi l’extension Firefox n’a pas l’air de faire quoi que ce soit.
D’abord l’installation s’est bien passé. Puis la page ►https://seenthis.net/?page=xml_export est simplement vide (CTRL-U -> vide)
moz-extension ://d9a026a6-bb9b-4ebd-ac49-3759a04202c2/content/view.html# affiche la page avec le chap de recherche, le tabelau en dessous et lien « Synchronize », mais c’est gris, j’ai l’impression qu’il n’y a simplement rien qui se passe.
J’ai même mis Noscript en mode « Disable restrictions globally (dangerous) ».
Dommage.
Je ne n’ai pas l’impression que ce soit le grand nombre de billets qui bloque, mais je ne le sais pas.

@klaus tu étais bien connecté/identifié sur seenthis.net quand tu as lancé la synchro du module ?

#tfidf très cool à utiliser (mais pas testé sur de gros volumes)

tfidf ?

▻http://fr.wikipedia.org/wiki/TF-IDF

À mon avis sur des gros volumes tu vas avoir deux problèmes : d’une part il faut soit envoyer l’index avec le contenu (qui peut être gros et doublonner) soit réindexer coté client (ce qui peut être lent), et d’autre part un rapide survol du code me laisse penser que l’index est en mémoire, ce qui peut se révéler problématique :)

On ne peut pas résoudre tous ces problèmes à la fois en restant coté client, mais je me demande s’il ne serait pas possible de bidouiller une version qui utiliserait IndexedDB et supporterait de l’indexation incrémentale quand ton contenu évolue (de préférence dans un Worker).

ici aussi ▻http://seenthis.net/messages/309577

je l’utilise sur un petit projet (120 fiches), c’est assez pratique

L’index pèse combien ?
Ce serait envisageable de le « pré-rendre » ? (pour l’utiliser comme moteur de recherche sur des sites statiques)

oui on peut le pré-rendre et le réutiliser ensuite ; je me demande même si on ne peut pas (en travaillant un peu) pré-rendre 1 index par bigramme de début de mot

côté poids, je ne sais pas bien te répondre, si j’utilise JSON.stringify() l’index fait 716ko (pour 1.2Mo de données indexées) ; mais il est plein de fractions dont la représentation en chaîne est pas du tout efficace, par exemple 0.22222222222222222 ; il y a certainement moyen de gagner pas mal

ici aussi ▻http://seenthis.net/messages/327692