En este artículo aprenderemos a utilizar la librería BeatifulSoap de Python para obtener contenidos de páginas webs de manera automática.
En internet encontramos de todo: artículos, noticias, estadísticas e información útil (¿e inútil?), pero ¿cómo la extraemos? No siempre se encuentra en forma de descarga ó puede haber información repartida en multiples dominios, ó puede que necesitemos información histórica, de webs que cambian con el tiempo.
Para poder generar nuestros propios archivos con los datos que nos interesan y de manera automática es que utilizaremos la técnica de WebScraping.
Contenidos:
- Requerimientos para WebScraping
- Lo básico de HTML y CSS que debes saber
- Inspeccionar manualmente una página web
- Al código! Obtener el valor actual del IBEX35® de la Bolsa de Madrid
- Exportar a archivo csv (y poder abrir en Excel)
- Otros casos frecuentes de “rascar la web”
Puedes ver y descargar el código python completo de este artículo desde GitHub haciendo click aquí
Requerimientos
Para poder usar esta técnica hay diversas librerías, pero utilizaremos una muy popular llamada Beautiful Soap. Como siempre, te recomiendo tener instalado el ambiente de desarrollo con Anaconda (se explica cómo instalar en este artículo) que ya trae incluida la librería. Si no, lo puedes instalar a mano, desde línea de comandos con
|
1 2 3 |
pip install BeautifulSoup4 pip install requests |
Si bien utilizaremos una Jupyter Notebook para el código Python 3, podríamos ejecutar un archivo de texto plano “.py” desde nuestra Terminal.
Conocimientos básicos de HTML y CSS
Daré por sentados conocimientos de html y css. ¿Por qué? Las páginas webs están hechas con HTML y deberemos indicarle a nuestro “bot-spider” de qué etiquetas ó campos, deseamos extraer el contenido.
Repaso -MUY- mínimo de HTML es:
|
1 2 3 4 5 6 7 8 9 10 |
<html> <head><title>Titulo de pagina</title> </head> <body> <p> Soy un parrafo</p> <div>Soy un texto en un DIV</div> <table><tr><td>soy una celda dentro de una tabla</td></tr> </table> </body> </html> |
Aqui Vemos las etiquetas básicas de HTML, es decir las de inicio y cierre y dentro de body el contenido de la página. Como ejemplo vemos un párrafo “p”, un “div” y una tabla.
¿Y porqué CSS? en realidad no necesitamos estrictamente saber CSS, pero sí sus selectores, puesto que nos pueden ser de mucha ayuda. Lo básico para comprender selectores, usando este bloque de ejemplo es:
|
1 2 3 4 5 6 7 8 9 10 |
<html> <head>/head> <body> <div class="contenedor"> <div id="123" name="bloque_bienvenida" class="verde"> Bienvenido a mi web </div> </div> </body> </html> |
Para poder seleccionar el texto “Bienvenido a mi web“, tenemos diversas formas:
- la más directa será si la etiqueta tiene un atributo id que es único en el ejemplo “123”
- Podríamos buscar los nodos de tipo div, pero podría haber muchos y deberemos filtrarlos.
- Podemos filtrar un div con el atributo name = “bloque_bienvenida”.
- Podemos buscar por clase CSS, en el ejemplo “verde”.
- Muchas veces se combinan selectores, por ejemplo: dentro de la clase “contenedor”, la clase “verde”. O decir: “traer un div con la clase verde”
La librería de Beautiful Soap nos permite buscar dentro de los nodos del árbol de la página web, también conocido como DOM. Al final del artículo veremos como obtener el texto “Bienvenido a mi web” con diversos selectores (y en la Jupyter Notebook de Github).
Inspección Manual de la web
Para el ejemplo inspeccionaremos la web de la Bolsa de Madrid. ¿Qué es eso de inspeccionar? Bueno, los navegadores web “modernos” (Safari, Firefox, Chrome) cuentan con una opción que nos permite ver el código html completo de la página que estamos viendo.
Además existe una opción de “inspección del código” que nos permite ver el HTML, Javascript, CSS y la web al mismo tiempo. Con ello buscaremos la manera de extraer el texto que nos interesa, si buscamos por id, por algún atributo, clase ó nodos.
Por lo general podemos inspeccionar haciendo click con el botón derecho del mouse sobre el área que nos interesa. Veamos cómo hacerlo con un gif animado 🙂
En nuestro caso nos interesa obtener el valor de la fila con nombre IBEX35® y el valor de la columna “último”.
Código Python – Arranquemos!
Veamos en código cómo haremos para acceder a esa porción de texto.
Primero importamos las librerías Python que utilizaremos:
|
1 2 3 4 |
import requests from bs4 import BeautifulSoup import csv from datetime import datetime |
Indicamos la ruta de la web que deseamos acceder:
|
1 2 |
# indicar la ruta url_page = 'http://www.bolsamadrid.es/esp/aspx/Indices/Resumen.aspx' |
Y ahora haremos el request a esa ruta y procesaremos el HTML mediante un objeto de tipo BeautifulSoap:
|
1 2 3 |
# tarda 480 milisegundos page = requests.get(url_page).text soup = BeautifulSoup(page, "lxml") |
Bien, ahora toca pensar la estrategia para acceder al valor. En nuestro caso nos interesa primero acceder a la tabla, y de allí a sus celdas. Por suerte la tabla tiene un id único!
|
1 2 3 |
# Obtenemos la tabla por un ID específico tabla = soup.find('table', attrs={'id': 'ctl00_Contenido_tblÍndices'}) tabla |
En rojo, se muestra la tercera celda de la primer fila a la que queremos acceder.
Bien, ahora dentro de la tabla y siendo que en este caso no tenemos un acceso directo a las celdas por ids únicos ni por clases, sólo nos queda iterar… Entonces, accederemos a la primer fila y obtendremos de las celdas el nombre del índice y su valor:
NOTA: realmente es la segunda fila, pues hay un encabezado, por eso usamos el índice 1 y no el cero.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
name="" price="" nroFila=0 for fila in tabla.find_all("tr"): if nroFila==1: nroCelda=0 for celda in fila.find_all('td'): if nroCelda==0: name=celda.text print("Indice:", name) if nroCelda==2: price=celda.text print("Valor:", price) nroCelda=nroCelda+1 nroFila=nroFila+1 |
Veremos cómo salida:
|
1 |
Indice: IBEX 35® <br>Valor: 9.185,20 |
Ya sólo nos queda guardar los datos para usar en el futuro.
Guardar CSV y ver en Excel
Vamos a suponer que ejecutaremos este script una vez al día, entonces lo que haremos es ir escribiendo una nueva línea al final del archivo cada vez.
|
1 2 3 4 |
# Abrimos el csv con append para que pueda agregar contenidos al final del archivo with open('bolsa_ibex35.csv', 'a') as csv_file: writer = csv.writer(csv_file) writer.writerow([name, price, datetime.now()]) |
Finalmente obtenemos el archivo llamado “bolsa_ibex35.csv” listo para ser usado en nuestro proyecto 🙂
Otros ejemplos útiles de Webscaping:
Veamos otros ejemplos de uso de BeatifulSoap para extraer contenidos con python.
Usemos el bloque de ejemplo que usé antes e intentemos extraer el texto “Bienvenido a mi web” de diversas maneras:
|
1 2 3 4 5 6 7 8 9 |
#Obtener por ID: elTexto = soup.find('div', attrs={'id': '123'}).getText() print(elTexto) #Obtener por Clase CSS: elTexto = soup.find('div', attrs={'class': 'verde'}).getText() print(elTexto) #Obtener dentro de otra etiqueta anidado: elTexto = next(soup.div.children).getText() #con next obtiene primer "hijo" print(elTexto) |
Obtener los enlaces de una página web
Otro caso práctico que nos suele ocurrir es querer colectar los enlaces de una página web. Para ello, obtenemos las etiquetas “A” e iteramos obteniendo el atributo HREF que es donde se encuentran las “nuevas rutas”, con posibilidad de hacer un nuevo request a cada una y extraer sus contenidos.
|
1 2 3 4 5 6 7 |
url_page = 'https://www.lifeder.com/cientificos-famosos/' page = requests.get(url_page).text soup = BeautifulSoup(page, "lxml") contenido = soup.find('div', attrs={'class': 'td-post-content'}) items = contenido.find_all('a') for item in items: print(item['href']) |
En el archivo Jupyter Notebook de mi cuenta de Github se ven estos ejemplos (y alguno más).
Conclusiones, repaso y código
Ahora sabemos cómo afrontar el proceso de obtener información de cualquier página web. Resumiendo el procedimiento básico que seguimos es:
- Cargar la página en el navegador
- Inspeccionar e investigar el HTML
- En Python: importar las librerías
- Obtener la página, parsear el contenido con BeautifulSoap
- Obtner el “trozo” de contenido que buscamos
- Mediante ID
- Mediante Etiqueta
- Mediante Clases CSS
- Otros Atributos
- Guardamos los datos en csv
Repasando, cuando ya tenemos el contenido en un objeto “soap”, solemos utilizar los métodos find() ó para múltiples etiquetas el find_all().
Si combinamos un script para webscraping, como en el ejemplo para capturar valores de la bolsa con el cron del sistema (ó con algún tipo de “repetidor de tareas del sistema”) que nos permita ejecutar nuestro código cada “x” tiempo, podremos generar un valioso archivo de información muy a medida de lo que necesitamos.
Otro ejemplo “clásico” es el de la obtención automática de los resultados de partidos de fútbol y en el código de este ejemplo en Github, encontrarás cómo hacerlo.
Obtener el Jupyter Notebook con código Python con este y más ejemplos de WebScaping
Si bien este artículo no es estrictamente sobre Machine Learning, me pareció bueno comentarlo pues he utilizado técnicas de Webscraping en ejercicios anteriores (como en el de Procesamiento del Lenguaje Natural) pasando por alto la explicación de esta porción del código. Además es un recurso utilizado frecuentemente para trabajar y para hacer pequeños experimentos con datos.
Ya estás listo para la Fase EDA!!!
Suscripción al Blog
Recibe los próximos artículos sobre Redes Neuronales y Deep Learning, Herramientas para Big Data y Data Science y ejercicios en código Python cada 15 días en tu bandeja de entrada.
Muchas gracias buen ejemplo y muy útil
Hola Oscar Riojas!, gracias por participar en el blog! seguimos en contacto, saludos
Realmente muy interesante el artículo.
Un saludo
Hola Ignacio, muchas gracias por el comentario!
Saludos
En Chrome Safari y imagino otros, puedes dar ya dentro del inspector de elementos, copy PATH SELECTOR, eso te arma la ruta completa de un selector como el que usaría una libreria de DOM como jQuery o cheerio (NodeJs)
Llegue aquí por tema de ML, gran blog,
Muy buen consejo Elías! Gracias por colaborar! Saludos
Muchas gracias por tus aportes! realmente muy valiosos y concretos. Saludos desde córdoba!
Hola Pablo, gracias por escribir! me alegra saber que ayudan! Saludos a Córdoba 🙂
Mucha gracias , esto me fue de gran ayuda
me sale este error:
AttributeError Traceback (most recent call last)
in ()
3 soup = BeautifulSoup(page, “lxml”)
4 contenido = soup.find(‘div’, attrs={‘class’: ‘td-post-content’})
—-> 5 items = contenido.find_all(‘a’)
6 for item in items:
7 print(item[‘href’])
AttributeError: ‘NoneType’ object has no attribute ‘find_all’
Muchas gracias por esta maravillosa página, es muy útil y estoy aprendiendo mucho. Ánimo y te deseo todo lo mejor.
Hola, en la parte del código: for fila in tabla.find_all(“tr”):
Da un error de que estamos tratando una lista de resultados como un único elemento. ¿Deberíamos coger el único elemento del ResultSet tabla, no?, así: files = tabla[0].find_all(“tr”)
Por cierto, muy buen trabajo con el blog, me esta ayudando mucho
Gran ejemplo!!!
Me ayudo bastante a comprender ciertas cosas.
Espero encontrar mas información que me ayude de igual manera
Excelente blog.