Работа с прокси-серверами в программе TopSite

#СТАТЬИ 15 ФЕВР. 2019 Г.

В программе TopSite имеется возможность использовать прокси-серверы. Прокси-сервер — это специальный сервер, который используется в качестве посредника между клиентом и сервером, к которому клиент хочет обратиться. Целью использования прокси-сервера может быть доступ к интернет-ресурсу, к которому клиент не хочет или не может обращаться напрямую. Обычно это происходит из-за намеренного временного или постоянного блокирования доступа к ресурсу по разным причинам.

Прокси-сервер имеет уникальный IP адрес. IP адрес прокси может быть IPv4 или IPv6. Как правило, IPv6 прокси намного дешевле чем IPv4. Это связано с тем, что количество IPv4 адресов ограничено и они уже все распределены по мировым сетям.

Уточняйте при покупке, какой прокси вы покупаете. В программе TopSite могут использоваться как IPv4, так и IPv6 адреса. Но IPv6 прокси подходят только для проверки позиций в Яндекс и Google. Яндекс Вордстат и поисковик Mail не обрабатывают запросы, приходящие с IPv6 адресов. Тип прокси сервера должен быть HTTP(s). Не рекомендуется использовать публичные прокси (которыми пользуется кто-то кроме вас).

Для проверки работоспособности прокси существует множество интернет-сайтов. Достаточно ввести в поисковике фразу «проверить прокси» или «proxy checker».

Настройка списка прокси-серверов

Для настройки списка прокси в программе TopSite откройте настройки на вкладке «Прокси» и нажмите кнопку «Список прокси». При этом откроется следующее диалоговое окно:

Список прокси-серверов

В списке уже есть «Основной IP адрес». Это ваше прямое соединение с интернетом без использования прокси. Вы можете добавить в список адреса прокси-серверов. Для этого необходимо заполнить внизу форму «Настройки прокси» и «Аккаунт Яндекса» (необязательно), а затем нажать кнопку «Добавить | Сохранить».

Чтобы отредактировать уже имеющуюся запись, кликните по ней (её данные появятся в форме ниже), внесите изменения и нажмите кнопку «Добавить | Сохранить».

Прокси-сервер в программе уникально идентифицируется при помощи трёх полей: «Сервер», «Порт» и «Логин». Если при сохранении записи все эти три поля совпадут с уже имеющимся в списке прокси-сервером, то вместо добавления новой записи произойдёт редактирование уже имеющегося прокси. Если в поле «Сервер» ничего не введено, программа считает это редактированием записи «Основной IP адрес». Основной IP нельзя удалить, его можно только отключить. Да и то не полностью.

Значения для полей «Сервер», «Порт», «Логин» и «Пароль» вы получите при покупке прокси. Если прокси не имеет Логина/Пароля (публичный прокси), то эти поля следует оставить пустыми. При покупке прокси эти поля могут идти в одну строку, разделённые двоеточием. Например: 178.234.11.26:8088 — это сервер 178.234.11.26 и порт 8088. Так же и с логином и паролем. Не перепутайте с IPv6 адресом. Он тоже содержит двоеточия.

В поле «Регион» рекомендуется вводить название региона прокси, например, «Россия». Это поле пока не используется программой. В дальнейшем, по нему можно будет отбирать прокси-серверы для сбора в группе запросов.

Если вы добавляете IPv6 прокси, то обязательно отметьте галочку «IPv6». Программа не будет через этот прокси пытаться производить запросы, которые технически нельзя произвести через IPv6. IPv6 прокси имеет смысл добавлять для того чтобы экономить на капче. Чем больше количество прокси, тем меньше запросов идёт через каждый из них, и тем меньше будет капчи. А при достаточно большом их количестве, капчи не будет совсем. Особенно если использовать достаточные паузы между запросами и/или автопроверки.

Аккаунт Яндекса имеет смысл вводить только для IPv4 прокси, если будет производиться сбор данных Яндекс Вордстат. Используйте разные аккаунты по одному на прокси. Это увеличит скорость работы с Вордстатом (пока только в главном окне при сборе частотностей) и поможет избежать бана аккаунта.

Хранить пароли в программе может быть небезопасно. Для аккаунта Яндекса можно не заполнять поле пароль. Если аккаунт Яндекса не заполнен или заполнен только логин, то пароль будет запрошен у вас при необходимости через диалоговое окно с указанием прокси-сервера, для которого требуется авторизоваться.

Внутренние механизмы

При работе с прокси программа использует внутренние виртуальные браузеры с раздельным хранением данных и независимой обработкой запросов. При необходимости (например, при проверке позиций), программа использует браузеры в режиме инкогнито. При возникновении проблем с прокси (например, недоступность), программа использует механизм увеличивающихся задержек.

Некоторые механизмы программы используют только основной IP адрес. Даже в том случае, если он отключен. Это касается обращения к серверу распознавания капчи и работы через Яндекс XML. Яндекс XML сейчас может собираться только через основной IP.

(Думаю, что в свете последних украинских событий с блокированием доступа к Яндексу, я эту вещь в ближайшее время изменю...)