ScottPhillips’s Gists

/ScottPhillips

cy_altern @cy_altern CC BY-SA 4/01/2015

1

1

Detects a few common Search Bots
▻https://gist.github.com/ScottPhillips/2904459
un script #php simple pour la #détection des robots d’indexation. A utiliser avec un preg_match("/$crawlers_names/i", $user_agent) 1 pour éviter le foreach
#bot #crawler #robot

cy_altern @cy_altern CC BY-SA
- Ben @ben CC BY-NC 4/01/2015
  
  j’avais repéré cette liste aussi ▻https://github.com/YOURLS/dont-log-bots/blob/master/plugin.php#L21 ( en faisant une recherche sur github sur l’un des bots)
  
  Ben @ben CC BY-NC
- b_b @b_b PUBLIC DOMAIN 2/03/2015
  
  ... plop :)
  @cy_altern @ben @nicod_ ça serait pas intéressant de compléter notre liste dans l’écran de sécurité à partir des deux citées ici ?
  
  b_b @b_b PUBLIC DOMAIN
- cy_altern @cy_altern CC BY-SA 5/03/2015
  
  après compilation et dédoublonnage des 2 listes proposées, ça donnerait le code suivant : ▻http://spip.pastebin.fr/39305
  N’est ce pas un peu trop gros comme expression régulière pour un preg_match() ?
  
  cy_altern @cy_altern CC BY-SA
- kent1 @kent1 ART LIBRE 9/01/2018
  
  Au dessus on filtre déja bot|slurp|crawler|spider|webvac|yandex| donc si tu enlèves ceux qui matchent cela devrait aller mieux en théorie
  
  kent1 @kent1 ART LIBRE
- kent1 @kent1 ART LIBRE 9/01/2018
  
  Version mise à jour : ▻http://spip.pastebin.fr/52828
  
  kent1 @kent1 ART LIBRE
Écrire un commentaire