If you can see it, you can scrape it!
▻https://hackernoon.com/if-you-can-see-it-you-can-scrape-it-1f51561933d9?source=rss----3a8144eab
A set of six steps that can help you scrape a website and generate candlestick charts.Yes! Anything that you see on any website can be scraped. From searching a house for rent to analyzing stocks, web scraping make things easy. You can extract data as and when you wish and use it for your need.In this blog I will walk you through the six steps that I followed to scrape the website of National Stock Exchange and analyze the data using candlestick charts. Let’s get started with some definition now.What is web scraping?Web scraping or web harvesting is a technique used to extract data such as weather reports, market pricing or any data that you wish, from different websites across the web.I find using APIs simple, compared to using web scraping. If you can find an API well and good, there (...)
#web-scraping #web-scraping-tools #data-extraction #python #candlestick-charts
]]>Tired of bookmarking pages? Scrap it instead …
▻https://hackernoon.com/tired-of-bookmarking-pages-scrap-it-instead-b398622f77d?source=rss----3a
Tired of bookmarking webpages? Scrap it instead …I am guilty of bookmarking a ton of tutorials but never opening them again. I am one of those who prefer a pdf version or a book over a mountain of web pages as bookmarks or tabs stored in OneTab.I was refreshing my Operating Systems concepts recently from my favorite site ▻https://www.geeksforgeeks.org/operating-systems/.Though I loved learning OS, what I didn’t like was having to open weblinks one after other according to the topic. I wanted to have all the content of the pages as a single file for my perusal. Following that was my attempt at automating the process of ‘extracting text from websites’ aka web scraping. The use cases for web scraping are limitless. Like checking for flight fares, monitoring the stock prices, product prices (...)
#python #programming #web-development #software-development #web-scraping
]]>Web Scraping With #google Sheets
▻https://hackernoon.com/web-scraping-with-google-sheets-20d0dce323cc?source=rss----3a8144eabfe3-
Web scraping and utilizing various APIs are great ways to collect #data from websites and applications that can later be used in data #analytics. There is a company called HiQ that is well known for web scraping. HiQ crawls various “Public” websites to collect data and provide analytics for companies on their employees. They help companies find top talent using sites data like Linkedin, and other public sources to gain the information needed in their algorithms.However, they ran into legal issues when Linkedin asked them to cease and desist as well as put in certain technical methods to slow down HiQ’s web crawlers. HiQ subsequently sued Linkedin and won! The judge said as long as the data was public, it was ok to scrape!Image from commit strip (Here)Web scraping typically requires a complex (...)
]]>Bras de fer sur les données des clients : les banques montent au créneau
▻http://www.latribune.fr/entreprises-finance/banques-finance/bras-de-fer-sur-les-donnees-des-clients-les-banques-montent-au-creneau-745
Dans un courrier au président de la BCE et un autre à la Commission européenne, Frédéric Oudéa, le patron de la Société Générale et président de la Fédération bancaire de l’UE, demande le report de l’application de la directive sur les paiements et l’interdiction de la technique du « web-scraping » utilisée par les nouveaux entrants de la Fintech pour accéder aux données des clients. Une bataille où se mêlent enjeux de sécurité, de respect de la vie privée et de concurrence.
La tension monte autour de la prochaine application de la deuxième directive sur les services de paiement (#DSP2), qui doit « rendre les paiements européens plus sûrs et innovants. » Cette directive, qui entrera en vigueur le 13 janvier 2018, va notamment imposer aux banques européennes d’offrir l’accès aux données de leurs clients à d’autres acteurs, en particulier les nouveaux entrants de la Fintech (paiement entre particuliers, agrégation de comptes, etc). Cette perspective ne les réjouit guère, mais c’est surtout une disposition, envisagée par la Commission européenne depuis mai dernier, qui les irrite au plus haut point : la possibilité, en « solution de secours », laissée aux prestataires tiers de continuer à recourir à la technique dite du "#web-scraping", qui leur permet d’accéder aux données du client d’une banque en utilisant les codes d’accès de ce dernier.
[…]
Le directeur général de la Soc Gen, qui s’appuie sur l’avis très négatif rendu le 29 juin dernier par l’Autorité bancaire européenne (EBA), argumente : cette disposition, même temporaire, pose un problème du point de vue de la protection des données.
« La solution proposée par la DG FISMA [la direction de la stabilité financière et des marchés de capitaux de la Commission, ndlr] va permettre aux prestataires tiers, en utilisant les identifiants et codes personnels des clients - d’accéder à toutes les données financières visibles par tout client quand il consulte son interface bancaire : compte courant, compte d’épargne, assurances, prêts, investissements, compte joint, ... et tous les soldes. Un affichage aussi large de données très confidentielles pour avoir simplement réalisé un achat est en contradiction avec les règles les plus élémentaires de protection des données, alors que les banques ne seront pas en mesure de demander le consentement des clients
», fait valoir Frédéric Oudéa dans son courrier au président de la BCE .
]]>Web-Harvest Project Home Page
►http://web-harvest.sourceforge.net/release.php