Saltar al contenido

Usando urllib2 con BeautifulSoup en Python

En el post de ayer di una introducción a BeautifulSoup.

Dado que BeautifulSoup no obtiene la página web por usted, tendrá que usar el módulo urllib2 para hacerlo.

Ejemplo de BeautifulSoup

Consulte los comentarios en el código para ver qué hace.

#import the library used to query a website
import urllib2

#specify the url you want to query
url = "http://www.python.org"

#Query the website and return the html to the variable 'page'
page = urllib2.urlopen(url)

#import the Beautiful soup functions to parse the data returned from the website
from BeautifulSoup import BeautifulSoup

#Parse the html in the 'page' variable, and store it in Beautiful Soup format
soup = BeautifulSoup(page)

#to print the soup.head is the head tag and soup.head.title is the title tag
print soup.head
print soup.head.title

#to print the length of the page, use the len function
print len(page)

#create a new variable to store the data you want to find.
tags = soup.findAll('a')

#to print all the links
print tags

#to get all titles and print the contents of each title
titles = soup.findAll('span', attrs = { 'class' : 'titletext' })
for title in allTitles:
    print title.contents

En próximas publicaciones, escribiré más sobre este increíble módulo.

Entrenamiento de Python recomendado

Para el entrenamiento de Python, nuestra principal recomendación es DataCamp.