bortzmeyer/seenthis-python - GitHub

tu peux les télécharger tous d’un coup dans un format xml
►http://seenthis.net/fran%C3%A7ais/mentions/article/propri%C3%A9t%C3%A9-intellectuelle

et il existe déjà deux « clients », l’un en python, l’autre en php :

►https://github.com/bortzmeyer/seenthis-python
►http://seenthis.net/messages/30043

je ne suis pas satisfait de ce fonctionnement, ça devrait être beaucoup plus simple — un accès IMAP ou WebDAV par exemple...

Ah, super, c’est exactement ce que je voulais. Le seul truc : ça me donne toujours <text></text> pour tous les seens.

Perso ça me va comme fonctionnement (même si du JSON serait encore plus simple). IMAP c’est lourd. WebDAV ça peut être mieux, mais il y a quand même des problèmes d’interop.

A la limite, pour éviter de devoir faire un dump intégral d’un coup, on peut songer à un paramètre since= (qui pointe sur une date ou un ID) pour ne récupérer que ce qui vient après.

je voudrais sortir de la logique de « dump » et entrer dans une logique de synchronisation ; or ça, on sait bien le faire avec IMAP ; sauf peut-être « modifier un message » ?

Je comprends, mais je maintiens que IMAP c’est lourd — et les clients ont tendance à être pourris.

Le problème de sync dépend largement de savoir si c’est unidirectionnel ou bidirectionnel (ou plus...). Pour de l’unidirectionnel, juste pouvoir demander les changements depuis tel ID ou telle date suffit normalement.

Pour du bidirectionnel ça pourrait être intéressant de regarder du coté de git (qui a une API HTTP depuis quelques temps).

C’est pas des hash c’est les 36x36-aines correspondant aux numéros des messages dans seen.li : par exemple ce message a le numéro 1vvg, il va dans le répertoire 1v/ (si on met tout à plat, le filesystem finira par exploser).

Désolée de vous déranger, vous l’installez comment le fichier ?

une fois que tu as downloadé les fichiers, tu peux lancer le script en ligne de commande, en faisant :
# cd chemin/vers/le/répertoire/
# php seen-local.php

puis éventuellement pour faire une copie des pages et des documents présents dans les liens référencés :
# php seen-download.php

Mais il y a plusieurs fichiers à télécharger. Et le gist n’est pas téléchargeable (c’est curieux, d’habitude, ça marche) :

% git clone ►https://gist.github.com/1123845

# ma config
seen-local-config.php
 
# stockage de mon backup xml
tmp/
 
# mes fichiers exportes
seen/
 
# mac os x
.DS_Store
*~

Et il demande apparemment un fichier urls.txt. Que doit-il contenir ?

github aurait une panne ? « the server » à priori c’est chez eux…
pour le fichier urls.txt, s’il manque c’est que mon mode d’emploi ci-dessus était incomplet : il faut d’abord lancer seen-local.php (j’ai corrigé).

Voir aussi le script seenthis-backup, qui fait partie de seenthis-python ►https://github.com/bortzmeyer/seenthis-python

@Fil Ça marche pas encore pour moi :

% php seen-local.php
PHP Warning: include(seen-local-config.php): failed to open stream: No such file or directory in /home/stephane/Downloads/seen-local.php on line 14
PHP Warning: include(): Failed opening ’seen-local-config.php’ for inclusion (include_path=’.:/usr/share/php:/usr/share/pear’) in /home/stephane/Downloads/seen-local.php on line 14

Et je ne trouve pas de documentation sur ce seen-local-config.php, quelle syntaxe, qu’y mettre, etc.

chez moi :
< ?php
$USER=’fil’ ;
$PASSWD=’•••’ ;
 ?>

#seenthis est pas mal foutu de ce point de vue, tu as même un script pour récupérer tes liens en local sous forme d’un mini-site statique : ►https://gist.github.com/1123845

# ma config
seen-local-config.php
 
# stockage de mon backup xml
tmp/
 
# mes fichiers exportes
seen/
 
# mac os x
.DS_Store
*~

ah je sais, tu voudrais pouvoir télécharger un zip contenant le mini-site statique en question #seenthis_todo

@fil tu es fou mais j’aime bien :)

Pour la même indispensable tâche (garder une copie de ses seens en local pour le cas où #SeenThis devienne Evil et se mette à détruire les seens qui critiquent PHP, le dictateur syrien, ou la pénalisation de la prostitution) il y a aussi le script seenthis-backup, dans seenthis-python ►https://github.com/bortzmeyer/seenthis-python

Oh cool pour les notifications.

Gaffe, ça met en frontal des choses qui sont lourdes et hors cache. Un lien hypertexte la-dessus et mon serveur s’effondre. Les « follow » précédents étant liés à la session, il n’y avait pas ce risque. Pour l’accès API hors identification et hors cache, même problème.

Pourquoi est-ce hors du cache ?

En ce qui concerne l’API, il me semble que c’est une brique élémentaire, il faudra en effet qu’elle soit optimisée pour supporter des accès fréquents, avec un index ou un arbre des hash connus. Mais ça ne semble pas bloquant car elle répond encore très très vite.

« Préserver la confidentialité des URL qu’on cherche ? » Vis-à-vis de qui ? Pas vis-à-vis de SeenThis, qui peut garder une liste de tous ses URL avec leur MD5. (Le « ses » est important, cf. réponse @Fil.)

Seulement des URLs qu’il a déjà en base… pour les autres il reçoit un md5, qu’il peut certes tenter d’inverser mais à un coût assez élevé.

Hmmm, la recherche d’URL qui renvoie du JSON alors que les autres méthodes renvoient du XML... Pas super-cohérent.

J’ai mis en œuvre la fonction de recherche d’URL dans #seenthis-python ►https://github.com/bortzmeyer/seenthis-python Pour les curieux, le commit exact est https://github.com/bortzmeyer/seenthis-python/commit/f18d6ea23bcba042a98396e3367a85b2d8ef141f

On peut utiliser la bibliothèque dans ses programmes ou simplement se servir du nouveau script seenthis-test-url.py, par exemple “seenthis-test-url.py URL” pour voir si un URL existe (l’option -n permet de ne voir au contraire que ceux qui n’existent pas dans SeenThis). Pour tester une longue liste (attention, ça rame, plus d’une heure pour tester 4 000 URLs), “seenthis-test-url.py $(cat FICHIER-CONTENANT-LES-URL)”.

Ça m’a permis de savoir que seuls 114 des 4313 URLs cités sur mon blog étaient dans SeenThis :-) La commande était « seenthis-test-url.py $(psql —field-separator ’ ’ —tuples-only —no-align -c “SELECT url FROM Blog.Links ;” blog) | wc -l ».

Je suis d’accord avec cette critique sur la cohérence — mais je hais tellement XML que j’ai fait comme ça, libre à @arno de modifier le résultat :)

@Fil : sur XML, voir http://seenthis.net/messages/70635

Bordel, les gars, je comprends rien. On commence où pour connaître tous les trucs et astuces ? :-)

@davduf SeenThis, ce n’est pas un rézosocio professionnel qui distribue sa base de mots de passe aux pastebins russes et qui vend les données personnelles de ses membres. C’est un projet individuel dont l’auteur s’occupe quand il a le temps. Question doc’, n’y a pas de point d’entrée unique et à jour.

Après, les questions précises sont les bienvenues :-)

Bien sûr Stéphane ,-) En fait, j’avais souvenir qu’on pouvait retrouver facilement ses #hashtags (genre complétion automatique) mais je ne le retrouve pas...

Merci pour tout !

Non, y’a pas de complétion automatique pour le moment. En revanche, la liste de tes hashtags habituels, elle est en colonne de droite de ta page à toi :
►http://seenthis.net/people/davduf

Au cas où tu n’étais pas dans le coin quand j’ai ajouté le bouton : tout en bas de ta liste de hashtags, tu as un bouton « Wordle ». C’est très mignon pour voir de quoi tu causes ici.

Ah, oui, « Wordle », c’est trés zoli.

Pour les hashtags habituels, hélas, je ne les vois pas quand j’utilise le bookmarklet... C’est le petit problème, je trouve :-)

Je cherche pas mal, suis obligé de modifier, etc.
C’est pas grave hein, mais je crois vraiment que des hashtags plus simples à utiliser serait vraiment un truc top.

Et pour le reste, bravo !

alors qu’on reçoive plus de mail pour notifier qu’on a contribué à un de ses billets c’est parfait. Par contre, je ne reçois plus de mail me notifiant la contribution des autres seenthisiens sur des billets que je partage, ça c’est dommage je trouve

ah bon moi il me semble que je les reçois

ah oui, là, ça marche

mais ce n’est pas systématique

Salut @liotier, bienvenue sur Seenthis et bravo pour tes sérendipitudes. En revanche, j’ai l’impression que tu n’as pas encore essayé le bookmarklet qui te ferait gagner beaucoup de temps et faciliterait le formatage de tes messages.

C’est sur ta page d’accueil personnelle, en haut de la colonne de droite, tu as un lien « +Seenthis » à faire glisser dans ta barre de bookmarks. Ensuite, quand tu es sur une info intéressante, tu sélectionnes l’extrait que tu veux citer, tu clique le bookmarklet, et hop, ça te met tout ça dans le formulaire de Seenthis, où tu n’as plus qu’à ajouter tes commentaires et autres hashtags.

Merci pour la suggestion, mais j’utilise l’API Seenthis via seenthis.py (►https://github.com/bortzmeyer/seenthis-python/blob/master/SeenThis.py) de @stephane qui me permet de gérer mes publications depuis une base de données et un script qui ordonnance les flux vers chaque destination (je le publierai très bientôt - c’est bien pratique). L’inconvénient est que je perd le contrôle fin de la présentation, d’autant que je préfère quand c’est possible (c’est à dire lorsque j’ai la possibilité de poster plus de 140 caractères) utiliser les URL longues originales plutôt que des URL courtes plus jolies mais nocives pour la toile. Mais je n’avais pas réalisé que Seenthis supporte les hashtags - j’en ajouterai à l’avenir !

@liotier Je trouve que l’idée de créer une fois et de publier N fois, grâce aux différentes API, est excellente dans son principe. J’attends avec intérêt la documentation.

Je voudrais notamment voir comment sont traités deux problèmes fondamentaux : 1) tous les rézosocios n’ont pas les mêmes limitations (140 caractères, présence ou absence de hashtags, etc) 2) il n’y a pas de moyen standard de suivre les discussions qui en résultent de manière unifiée.

C’est un peu la vieille logique de « Pollinisation du contenu » de Mikiane : http://mikiane.com/2010/05/16/pollinisation-de-contenus-ma-methode-revelee

Ajoute à ça quelques aggrégateurs qui rebalancent les liens sur Twitter, tu peux « manager » l’attention de ton lectorat... ça peut être interessant

Bon... Je pensais faire ça plus tard, mais vu qu’il est rare que quelqu’un s’intéresse à mes scripts bidouillesques et vu que c’est @Stephane, j’ai mis en forme vite-fait et versé le tout à ►https://github.com/liotier/Socialspoon - j’espère que cette version réorganisée et expurgée de mes identifiants et mots de passe fonctionne... Je ne l’ai pas testée.

Pour chaque entrée, j’écris une version en #140 caractères avec #hashtags et une autre plus longue sans hashtags. Chaque destination reçoit la version la mieux adaptée. Je ne résous donc pas le problème - au mieux on peut dire que je le gère.

Ma seule manière de suivre les conversations est la notification par messagerie. Je poste partout et je pars bavarder là où ce que je poste a suscité de l’intérêt. C’est spartiate mais ça fonctionne, avec l’inconvénient de fragmenter la conversation. Salmon - http://www.salmon-protocol.org/home est censé permettre l’unification des conversations éclatées, mais j’ai l’impression que la politique et les rapports de forces sur la toile sociale actuelle rendent son adoption massive peu probable.

Ma méthode a l’inconvénient de ressembler un peu à du spam - le crucipostage massif manque un peu de respect pour les spécificités de chaque lieu de conversation. Certes les hashtags permettent à chacun de suivre ce qu’il veut, mais mes microblogs sont un flux incohérent de ce qui me passe par la tête et que j’émet généreusement vers toutes les destinations qui n’ont rien demandé... Une régression par rapport à la publication folksonomique dans De.icio.us voire même par rapport à la simple décision de poster dans un Subreddit plutôt que dans un autre. D’un autre côté, l’absence de classification ajoute un le bruit nécessaire à la sérendipité. Finalement cet outillage est surtout la manière la moins inconfortable que j’ai trouvé de ne pas être victime du cloisonnement vertical des silos confinés qui font office de réseaux sociaux.

Mais c’est très bien cela merci !

@seenthis

Bon, visiblement, quand on encode du Base64 en Java, ça ajoute un saut de ligne à la fin. Et le serveur ne comprend pas qu’il y ait deux sauts de lignes à cet endroit (ce qui est tout à fait logique).

Donc, maintenant, j’ai une belle requête :

GET /api/messages/20 HTTP/1.1
User-agent : SeenDroid
Authorization : Basic UHJvZ1ZhbgrgrZ3GGF2s=
Host : seenthis.net

le script me recrée aussi des pages pour chaque tag, et une liste des urls contenues dans mes seens

j’utilise ensuite #httrack pour charger l’ensemble des liens.
# httrack —list ../seen/urls.txt —get -N « %d/%M.%st » -c8

résultat :
HTTrack Website Copier/3.44-1 mirror complete in 8 hours 22 minutes 57 seconds : 4125 links scanned, 3235 files written (342212746 bytes overall) [321697197 bytes received at 10660 bytes/sec], 162345214 bytes transfered using HTTP compression in 2753 files, ratio 23%, 1.2 requests per connection
(436 errors, 173 warnings, 160 messages)

j’ai viré httrack et écrit un script seen-download bien plus sympa

roh, j’avais pas vu, j’essaie direct. Merci.

j’aimerais bien le faire mais je sais pas du tout comment me servir de tout ça...

tu charges le truc et tu le lances depuis le terminal :
# php seen-local.php

S’il y a de l’intérêt je peux le packager un peu mieux.

#donnees #backup #sauvegarde

@fil :

S’il y a de l’intérêt je peux le packager un peu mieux.

Il y a un intérêt, mais par contre un gros problème de complétion du désir en ce qui me concerne ^^ #troll

petite mise à jour pour la compatibilité avec l’astuce dropbox de ►http://seenthis.net/messages/68347

Sur le même créneau, il y a mon script seenthis-backup, qui fait partie de la suite Seenthis-python ►https://github.com/bortzmeyer/seenthis-python

ça marche du tonnerre merci ! - seuls les fichiers « tag.html » font une recension un peu aléatoire des seens tagués (quand je relance « php seen-local » ça me sort un fichier différent, plus ou moins complet) - ainsi certains fichiers « tag.html » ne sont jamais tout à fait complets, alors même que les « seen.html » contenant ledit tag sont bien copiés eux

Les <entry> ATOM gagnent plusieurs éléments :
– <updated> est complété par <published> (pour l’instant, valeurs identiques) ;
– <link rel="edit">, pointe vers l’URL du message dans l’API ;
– une série de <link rel="related"> des différents liens contenus dans le billet. Contient aussi le titre de l’article lié et sa langue.

Ajouté les <category> pour les thèmes dans les entrées ATOM.

Serait-il possible de renvoyer un 401 (not authenticated) plutôt qu’un 405 (user unknown) si l’utilisateur n’est pas identifié ? Un certain nombre de frameworks REST ne transmettent l’authentification que lorsque celle-ci est demandée (car une des possibilités est de demander ses « credentials » à l’utilisateur à ce moment là).

OK, @samuel : l’erreur d’identification passe en 401. Au passage, j’ai corrigé l’expédition des headers des erreurs.

C’est très galère, ce système de cadencement, 25 entrées à la fois. Pour avoir un flux Atom complet de toutes les entrées, cela oblige à faire une boucle, et, comme on ne peut pas simplement concaténer les résultats, à analyser l’ATOM, refaire un flux ATOM en mémoire et le re-sérialiser :-(

Je viens de mettre en œuvre la fonction de récupération d’un message (en donnant le message-ID) dans seenthis-python ►https://github.com/bortzmeyer/seenthis-python Ce service est accessible via la bibliothèque, ou bien via le script seenthis-get-msg.py qui produit un fichier au format ATOM.

Pour les curieux, c’est ce commit-là : https://github.com/bortzmeyer/seenthis-python/commit/678025db4b