web-dev-qa-db-fra.com

urllib.request.urlopen (url) avec authentification

Je joue avec de belles pages Web sur la soupe et l'analyse depuis quelques jours. J'utilise une ligne de code qui a été mon sauveur dans tous les scripts que j'écris. La ligne de code est:

r = requests.get('some_url', auth=('my_username', 'my_password')).

MAIS ...

Je veux faire la même chose avec (OUVRIR UNE URL AVEC AUTHENTIFICATION):

(1) sauce = urllib.request.urlopen(url).read() (1)
(2) soup = bs.BeautifulSoup(sauce,"html.parser") (2)

Je ne parviens pas à ouvrir une URL et à lire la page Web qui nécessite une authentification. Comment puis-je réaliser quelque chose comme ça:

  (3) sauce = urllib.request.urlopen(url, auth=(username, password)).read() (3) 
instead of (1)
pythonpython-3.xurlbeautifulsouprequest
12
user7800892

Jetez un œil au HOWTO Fetch Internet Resources Using The urllib Package des documents officiels:

# create a password manager
password_mgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()

# Add the username and password.
# If we knew the realm, we could use it instead of None.
top_level_url = "http://example.com/foo/"
password_mgr.add_password(None, top_level_url, username, password)

handler = urllib.request.HTTPBasicAuthHandler(password_mgr)

# create "opener" (OpenerDirector instance)
opener = urllib.request.build_opener(handler)

# use the opener to fetch a URL
opener.open(a_url)

# Install the opener.
# Now all calls to urllib.request.urlopen use our opener.
urllib.request.install_opener(opener)
10
Christian König

Vous utilisez HTTP Basic Authentication:

import urllib2, base64

request = urllib2.Request(url)
base64string = base64.b64encode('%s:%s' % (username, password))
request.add_header("Authorization", "Basic %s" % base64string)   
result = urllib2.urlopen(request)

Donc tu devrais base64 encodez le nom d'utilisateur et le mot de passe et envoyez-les sous la forme d'un en-tête Authorization.

17
moritzg