Как я могу нормализовать URL-адрес в Python

Py3

from urllib.parse import urlparse, urlunparse, quote
def myquote(url):
    parts = urlparse(url)
    return urlunparse(parts._replace(path=quote(parts.path)))

>>> myquote('https://www.example.com/~user/with space/index.html?a=1&b=2')
'https://www.example.com/~user/with%20space/index.html?a=1&b=2'

Py2

import urlparse, urllib
def myquote(url):
    parts = urlparse.urlparse(url)
    return urlparse.urlunparse(parts[:2] + (urllib.quote(parts[2]),) + parts[3:])

>>> myquote('https://www.example.com/~user/with space/index.html?a=1&b=2')
'https://www.example.com/%7Euser/with%20space/index.html?a=1&b=2'

Это цитирует только компонент пути.

используйте urllib.quote или urllib.quote_plus

Из документация urllib:

quote(string[, safe])

Replace special characters in string using the "%xx" escape. Letters, digits, and the characters "_.-" are never quoted. The optional safe parameter specifies additional characters that should not be quoted -- its default value is '/'.

Example: quote('/~connolly/') yields '/%7econnolly/'.

quote_plus(string[, safe])

Like quote(), but also replaces spaces by plus signs, as required for quoting HTML form values. Plus signs in the original string are escaped unless they are included in safe. It also does not have safe default to '/'.

Обновлено: использование urllib.quote или urllib.quote_plus по всему URL-адресу приведет к его искажению, как указывает @ ΤΖΩΤΖΙΟΥ:

>>> quoted_url = urllib.quote('http://www.example.com/foo goo/bar.html')
>>> quoted_url
'http%3A//www.example.com/foo%20goo/bar.html'
>>> urllib2.urlopen(quoted_url)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "c:\python25\lib\urllib2.py", line 124, in urlopen
    return _opener.open(url, data)
  File "c:\python25\lib\urllib2.py", line 373, in open
    protocol = req.get_type()
  File "c:\python25\lib\urllib2.py", line 244, in get_type
    raise ValueError, "unknown url type: %s" % self.__original
ValueError: unknown url type: http%3A//www.example.com/foo%20goo/bar.html

@ ΤΖΩΤΖΙΟΥ предоставляет функцию, которая использует urlparse.urlparse и urlparse.urlunparse для анализа URL-адреса и только кодирования пути. Это может быть более полезно для вас, хотя, если вы создаете URL-адрес из известного протокола и хоста, но с подозрительным путем, вы, вероятно, могли бы сделать то же самое, чтобы избежать разбора URL-адресов и просто процитировать подозрительную часть URL-адреса, объединяясь с известные безопасные части.

Взгляните на этот модуль: werkzeug.utils. (теперь в werkzeug.urls)

Функция, которую вы ищете, называется url_fix и работает следующим образом:

>>> from werkzeug.urls import url_fix
>>> url_fix(u'http://de.wikipedia.org/wiki/Elf (Begriffsklärung)')
'http://de.wikipedia.org/wiki/Elf%20%28Begriffskl%C3%A4rung%29'

В Werkzeug это реализовано следующим образом:

import urllib
import urlparse

def url_fix(s, charset='utf-8'):
    """Sometimes you get an URL by a user that just isn't a real
    URL because it contains unsafe characters like ' ' and so on.  This
    function can fix some of the problems in a similar way browsers
    handle data entered by the user:

    >>> url_fix(u'http://de.wikipedia.org/wiki/Elf (Begriffsklärung)')
    'http://de.wikipedia.org/wiki/Elf%20%28Begriffskl%C3%A4rung%29'

    :param charset: The target charset for the URL if the url was
                    given as unicode string.
    """
    if isinstance(s, unicode):
        s = s.encode(charset, 'ignore')
    scheme, netloc, path, qs, anchor = urlparse.urlsplit(s)
    path = urllib.quote(path, '/%')
    qs = urllib.quote_plus(qs, ':&=')
    return urlparse.urlunsplit((scheme, netloc, path, qs, anchor))

Настоящее исправление этой проблемы в Python 2.7

Правильное решение было:

 # percent encode url, fixing lame server errors for e.g, like space
 # within url paths.
 fullurl = quote(fullurl, safe = "%/:=&?~#+!$,;'@()*[]")

Для получения дополнительной информации см. Проблема 918368: «urllib не исправляет URL, возвращенные сервером».

Поскольку эта страница является одним из лучших результатов поиска Google по этой теме, я думаю, стоит упомянуть некоторую работу, которая была проделана по нормализации URL-адресов с помощью Python, которая выходит за рамки символов пробела urlencoding. Например, работа с портами по умолчанию, регистром символов, отсутствием косой черты в конце и т. д.

Когда разрабатывался формат синдикации Atom, было некоторое обсуждение того, как нормализовать URL-адреса в канонический формат; это описано в статье PaceCanonicalIds на вики-странице Atom / Pie. В этой статье представлены несколько хороших тестовых примеров.

Я считаю, что одним из результатов этого обсуждения стала библиотека Марка Ноттингема urlnorm.py, которую я использовал с хорошими результатами в паре проектов. Однако этот сценарий не работает с URL-адресом, указанным в этом вопросе. Таким образом, лучшим выбором может быть Версия urlnorm.py Сэма Руби, который обрабатывает этот URL, и все вышеупомянутые тестовые примеры из вики Atom.

К вашему сведению, urlnorm переместился на github: http://gist.github.com/246089

Сталкиваюсь с такой проблемой: нужно цитировать только пробел.

fullurl = quote(fullurl, safe = "%/:=&?~#+!$,;'@()*[]") действительно помогает, но это слишком сложно.

Поэтому я использовал простой способ: url = url.replace(' ', '%20'), он не идеален, но это самый простой способ, и он работает в данной ситуации.

Действительно для Python 3.5:

import urllib.parse

urllib.parse.quote([your_url], "\./_-:")

пример:

import urllib.parse

print(urllib.parse.quote("http://www.example.com/foo goo/bar.html", "\./_-:"))

вывод будет http://www.example.com/foo%20goo/bar.html

Шрифт: https://docs.python.org/3.5/library/urllib.parse.html?highlight=quote#urllib.parse.quote