Извлечение URL и e-mail из текста, HTML или файла

Извлечение URL и e-mail: все ссылки и адреса из текста, веб-страницы или файла

Вы вставляете текст или открываете файл, а инструмент выдаёт чистый список всех веб-адресов, которые в нём есть, по одному в строке, либо, если выбрать, чистый список всех адресов e-mail. Ссылки находит он, так что вам не нужно читать текст и копировать их по одной. Всё происходит в вашем браузере: текст и файлы никогда не загружаются.

Когда это нужно

Инструмент для случая, когда у вас много текста со спрятанными в нём ссылками, а нужны только ссылки:

• Длинное письмо, чат или документ. Вам нужен список всех присланных ссылок, чтобы открыть их, проверить, сохранить или переслать.
• Код веб-страницы. Откройте страницу, нажмите Ctrl+U, чтобы увидеть исходный код, скопируйте его сюда и получите все адреса, которые есть на странице: ссылки на другие страницы, изображения, скрипты и таблицы стилей.
• Текстовый файл, лог или экспорт. В файле заметок, статье в Markdown, таблице CSV, логе сервера или сохранённой странице среди других слов могут быть сотни ссылок. Откройте файл и получите список.
• Проверка ссылок сайта (SEO). На какие сайты ссылается страница? Введите в поле свой домен, и ссылки на ваш сайт исключатся, так что останутся только ссылки, ведущие с него. Выберите «Только домены», чтобы получить список сайтов без длинных адресов.
• Очистка списка. У вас длинный список ссылок с повторами. Оставьте включённой опцию «Показывать каждую ссылку один раз», и повторов не будет.

После этого вы можете проверить, что отвечают ссылки, с помощью проверки кодов ответа HTTP или прочитать коды %XX в них с помощью кодирования и декодирования URL.

Извлечение адресов e-mail

Переключите поле «Найти» на «Адреса e-mail», и то же поле выдаст список адресов e-mail из текста. Инструмент находит адрес в любом месте текста, в письме, списке контактов, таблице CSV, исходнике страницы или логе, а не только в ссылках, начинающихся с mailto:, потому что большинство адресов в вебе записано простым текстом.

• Без повторов. «Показывать каждый адрес один раз» убирает повторы, а [email protected] и [email protected] считаются одним адресом.
• С сортировкой. «Отсортировать список от А до Я» ставит адреса в алфавитном порядке.
• Только домены. Выберите «Только домены», чтобы получить часть после @, например чтобы увидеть, каким почтовым сервисам или компаниям принадлежат адреса.
• Без ваших собственных адресов. Введите свой домен в поле «Ваш собственный домен», и адреса на нём и на его поддоменах будут исключены.

Адрес — это имя, знак @ и домен с зоной. В имени могут быть буквы любого алфавита, цифры и знаки . _ % + -, а зона может быть длинной (.photography) или международной (пример.рф). Запятая, скобка, кавычка или точка после адреса к нему не относятся. Инструмент пропускает то, что лишь похоже на адрес: имена изображений вроде [email protected] и имя пользователя в веб-адресе вроде https://user:[email protected].

Он не находит намеренно скрытый адрес: name [at] example [dot] com, адрес, нарисованный картинкой, или собранный скриптом на странице. Подумайте, прежде чем собирать адреса других людей: массовая рассылка им без их разрешения противозаконна во многих странах (GDPR в Европе, CAN-SPAM в США и другие).

Как пользоваться

1. Выберите, что искать: ссылки или адреса e-mail.
2. Вставьте текст в поле, перетащите на него файл или нажмите «Открыть файл». Подходят текстовые файлы, HTML, Markdown, CSV, JSON, XML и логи до 10 МБ.
3. Список сразу появляется под полем с числом найденных ссылок (или адресов), числом без повторов и числом разных доменов.
4. Выберите, как его показывать: каждую ссылку один раз или все, отсортированными или в порядке текста, ссылки целиком или только домены.
5. Нажмите «Копировать» либо скачайте список файлом .txt.

Что считается ссылкой

• Адреса, начинающиеся с http://, https:// или ftp://. Можно также отметить опцию для адресов, начинающихся с www. и без http://.
• Ссылки в HTML (href="...", src="...") и в Markdown ([текст](адрес)) находятся; кавычки и скобки вокруг них в результат не входят.
• Знаки препинания предложения к ссылке не относятся: в «visit http://example.com/page.» точка отбрасывается. Скобка, которая принадлежит адресу, как в https://en.wikipedia.org/wiki/Rust_(programming_language), остаётся.
• Находятся адреса с не английскими буквами, портом, именем пользователя, IP-адресом или localhost.

Ограничения

• Находятся только полные адреса. Ссылка вроде /about или ../page.html в HTML не содержит имени сайта, поэтому в список не попадает. Адрес без http:// и без www., такой как example.com/page, тоже не находится, потому что его нельзя отличить от обычного слова с точкой.
• В режиме «Ссылки» адрес e-mail ссылкой не является, поэтому mailto:[email protected] ничего не даёт. Переключитесь на «Адреса e-mail», чтобы получить адреса.
• В режиме «Адреса e-mail» имя вроде user@localhost, без точки в домене, адресом не считается, а существование почтового ящика инструмент не проверяет. Текст, оборванный посреди адреса, даёт оборванный адрес.
• Ссылка, разорванная на две строки, читается как два куска. Адреса, в которых косые черты записаны как \/ (как в некоторых JSON), не находятся.
• Инструмент не проверяет, работает ли ссылка, а только то, что она записана как адрес.