WebBear

Обновления

1.019

  • 1. Для доменных зон ru, su и рф добавлен тайм-аут между запросами в 0.5 секунды. Для минимизации бана со стороны whois.
  • 2. При съеме whois для ru зоны (аналогично должно быть для su и рф) отменены правила пропуска. Т.е. неважно сколько неудачных попыток было сделано, домен не пропускается. Причина в том, что whois для этих зон стал банить чаще и на значительно больший срок (полчаса и более). И получается картина, что когда поймали временный бан, последующие домены пропускаются пачками. Потому введено игнорирование и повторные попытки через 60 секунд.

1.018

  • 1. В табах добавлена иконка настроек, перекидывает в соответствующие настройки. Введена скорее для акцентирования возможности разгрузки интерфейса, чем никто не пользуется по моим наблюдениям (просто в силу незнания).
  • 2. Актуализирована ссылка на мануал в главном меню.
  • 3. Добавлен сброс первички и Whois. Если нужно перепроверить домены или в других случаях (например, как в кейсе с поиском Яндекс.Иксов)
  • 4. Новая колонка в списке дропов - Яндекс.Икс
  • 5. Из списка механик при создании проекта убран тип "Иксы". Их можно собрать на любом типе проекта.
  • 6. Колонка Икс кликабельна для сортировки от большего к меньшему.
  • 7. Добавлена функция съема Яндекс.Икс. В 10 потоков. На тесте прочеканы 12к доменов, встретился один бан на последней сотне, но обновление страницы без проблем продолжило сбор. Собственная разработка, затрат на съем нет.
  • 8. Новый раздел "Чистка". Для удаления доменов. Работает точечно, т.е. выбирается параметр по которому чистить, а потом запускается само удаление. Сделано специально, чтобы случайно не удалить лишние домены (в форме не заметили как изменили значение и нормальные дропы улетели). Сейчас, на первых порах, доступные условия удаления: значение ИКСа и наличие в РКН.
  • 9. Потихоньку внедряю пояснения по действиям (уведомления в шапке). Пока что при чистке по иксам и РКН, после чистки будет плашка что процесс завершен и сводка, сколько удалено.
  • 10. На главной странице, где отображается остаток лимитов на DomDetailer и XMLstock, добавлен блок наличия обновлений.
  • 11. На странице обновления выведены детали последних 10 обнов.
  • 12. В инфо по проекту добавлены сведения об очереди съема Икса.

1.01701

  • Срочный фикс по части модуля Выдача. Был оставлен участок при разработке, который данное обновление затрет.

1.017

  • ДОБАВЛЕНА НОВАЯ МЕХАНИКА за счет расширения паука. Паук+Выдача. Подробнее в кейсе https://seoarsenal.ru/cases/2/
  • Фикс паука в плане остановок из-за новых ответов. Больше не будет сбиваться. И еще пара других фиксов для стабильности работы.
  • В таблице дропов после домена колонка "дон", она появляется если есть ссылающийся источник. Конкретно под эту обнову выводится урл донора, на котором найден дроп. Переходим, открываем исходный код и делаем поиск по имени домена, находим откуда ссылается. Так быстрее, чем просматривать сайт.

1.016

  • 1. Добавлен глобальный реестр найденных ранее дропов. Т.е. со всех проектов свободные домены складываются в единую таблицу.
  • 2. Функция проверки на наличие дублей в реестре. Отработали один проект, создали другой, собрали список доменов и !!до первички!! запустили проверку на дубли. Тогда найденные в других проектах дропы будут удалены. Запускается из меню проекта по ссылке "Дубли".
  • 3. Добавлена функция проверки годов присутствия в архиве. Можно использовать в любом типе проектов. Запускается по ссылке "Года WA" из меню проекта. Также, обнаружена проблема с парсингом ВебАрхива и эта функция частично устраняет проблему.
  • 4. В настройках проксей массовое выделение чекбоксов: все прокси, только живые и только мертвые

1.015

  • Добавлена фильтрация по вхождению домена в списке дропов
  • В глобальных настройках новый раздел - прокси. Пока что для парсинга WebArchive
  • Добавлена поддержка прокси в модуле поиска дропов в Архиве. Можно использовать статичные и динамические (когда меняется ip на каждом запросе). Поддерживаются http(s) и socks5
  • В глобальных настройках новый параметр - количество потоков при парсинге WebArchive

1.014

  • - Поддержка Ahrefs через сторонний API. DR, количество ссылок и доменов-доноров, 20 анкоров с характеристиками доноров
  • - Процесс обновления базы разбит на шаги, вероятность что база не успеет всё применить уменьшена

1.013

  • Изменения в модуле Паук:
  • 1. Добавлен массовый импорт урлов (форма и файл)
  • 2. Паук теперь поддерживает шаблоны доменных зон
  • 3. Выведена сводка по очереди задач
  • Пункт управление:
  • Добавлен сброс статуса проверки бана в РКН.

1.012

  • Открыт модуль "Паук", который парсит сайты для поиска дропов с них.

1.011

  • 1. Экспорт в CSV - добавлен выбор, какие поля выгружать
  • 2. Список проектов на главной странице: табличный вид, добавлена дата создания проекта, выведены несколько пунктов очереди. Табы для фильтрования типов проектов.
  • 3. Переработан механизм сбора выдачи Гугла по ключам. Устанавливается стартовая страница сбора и глубина. Подробности по ссылке https://seodrops.ru/manual/16/
  • 4. Добавлена функция проверки количества страниц в индексе Google и Яндекс.
  • 5. В списке дропов две новые колонки: ИндЯ и ИндG - индекс в Яндексе и Google соответственно.
  • 6. Колонки таблицы дропов можно скрыть
  • 7. Колонки таблицы дропов можно переименовать
  • 8. Колонки таблицы дропов можно поменять местами (в смысле что указать очередность). Делается в глобальных настройках -> Табы

1.01

  • 1. Кратно ускорено обновление базы РКН, в зависимости от настроек будет занимать 3-10 минут. Пояснение по настройкам смотрите в мануале.
  • 2. Обновление РКН можно продолжить, если закрыли вкладку. Снова нажмите на РКН -> Обновление -> Продолжить
  • 3. Теперь домены без зоны пропускаются. Домены без зон - это затесавшиеся слова, например, названия колонок, которые попали в файл вместо с доменами. В общем всё то, что ранее вызывало ошибку при заливе доменов.
  • 4. В верхнем меню добавлена ссылка на мануал.

1.009

  • - Добавлена поддержка доменной зоны co.uk
  • - Новая функция проверки наличия в реестре РКН. Вероятна нестабильная работа (самого скрипта), тестим. Находится в меню проекта, кнопка "РКН"
  • - В глобальных настройках (в основных) поле Доменов за раз при обновлении базы РКН. Отвечает за то, сколько за раз строк будет разбираться из файла с базой РКН.
  • - Залив собственных доменов: сделана правка, которая позволяет закидывать урлы вида https://www.Домен.com/level1/level2 - т.е. полный урл. Скрипт обрежет до домена. Плюс увидел косяк в коде. Если у кого-то были проблемы при заливе собственного списка посредством файла, то она устранена.

1.008

  • 1. Увеличена скорость на следующих участках: импорт фраз WebArchive, парсинг WebArchive, импорт своих доменов и генерация имен в модуле Нейминг. Снижена нагрузка на базу данных.
  • 2. В меню проекта новый пункт - Настройки проекта. Идет первым в меню, в виде иконки шестерни. В самих настройках на данный момент указывается шаблон доменных зон.
  • 3. ШАБЛОНЫ доменных зон. Создаются в глобальных настройках. Когда идет проверка правил зоны в модулях:
  • ВебАрхив: при сборе доменов из выдачи
  • Свой список: при записи в базе импортированного списка. Т.е. здесь тоже работает это правило (зон).
  • Нейминг: при генерации фраза+домен
  • Выдача: при парсинге выдачи

1.00701

  • Фикс экспорта в CSV

1.007

  • 1. Сортировка по практически всем столбам (все еще только от большего к меньшему)
  • 2. Добавлен таб WAlink, по клику переходит в ВебАрхив с подстановкой домена
  • 3. В глобальных настройках, в разделе API два новых поля: логин и ключ API xmlstock.com
  • 4. На главной выведен баланс xmlstock
  • 5. Модуль ВЫДАЧА запущен.
  • 6. В глобальных настройках поле Лимит внесения фраз [1-1000]. Применяется при добавлении запросов в модуль ВебАрхив и Выдача.
  • 7. В глобальных настройках поле Лимит разбора доменов [1-1000].
  • 8. Изменения в дизайне. Сбор первички. Занятые домены серым шрифтом, возможно свободные зеленым. Сокращен объем текста, всё помещается на один экран.
  • 9. Новый таб "Запросы", отображается в проекте типа Выдача.
  • 10. Новый раздел "Инфо" в меню проекта.
  • 10.1 В инфо сводка по очередям. Пока 3 пункта, позже расширю.
  • 10.2 В инфо "Ошибки Whois", в нем список доменов, с которыми webbear не справился.

1.006

  • 1. Добавлен подсчет длины имени домена (без зоны), количества букв, цифр и наличие дефиса. Для проектов, которые были созданы до обновления 006 в списке дропов будут нули. Если кому-то требуется просчитать эти показатели, то отпишите в группу, сделаю функцию. А для новых проектов считать уже будет сразу.
  • 2. В списке дропов 4 новых столбца из прошлого пункта.
  • 3. В настройках новый пункт "Доменов на странице", регулирует количество строк в разделе "Дропы".
  • 4. В таблицу дропов добавлен показатель stumbles (честно говоря, хз что это, но DomDetailer отдает.). Если кто в курсе, отпишите в группу.
  • 5. В выгрузку CSV добавлены все поля из таблицы дропов.
  • 6. В таблице дропов добавлены поля "сабдомен" и "WA текст". Ранее они были объеденены, а значения были во всплывающем тексте. Теперь в явном виде.
  • 7. ТАБЫ. Создаем группы табов, определяем какие столбы таблицы дропов в каких табах показывать. Разгрузка интерфейса, группировка показателей, подстройка под себя. У себя, помимо прочих табов, создал под названием "Нах" и закинул туда все те показатели, с которыми не работаю. Найдете в глобальных настройках.
  • 8. Частично сделана сортировка в списке дропов. Пока что для части столбов (подчеркнуты ссылкой) и только от большего к меньшему.

1.005

  • 1. Добавлен модуль "Свой список" - можно залить свой список доменов. Количество хоть 100 тысяч, вставка в базу происходит порциями и не положит сервер.
  • 2. В инструментах функция "Установить первичку проверенной" - в случае, если заливается свой список доменов и нет нужды в этом этапе, т.к. заранее известно, что это дропы.
  • 3. +"Установить Whois проверенным". Аналогично первичке, а также для съема показателей ссылочного аукционных доменов или доменов конкурентов.
  • 4. На главной проекта выведен остаток лимита DomDetailer (если указан ключ API в настройках). Название программы в левом верхнем углу теперь кликабельно.
  • 5. Экспорт в txt. Только домены (адреса), один в строку
  • 6. Выгрузка в csv. Пока что поля по основным ссылочным показателям. В скором времени расширим, как введу настройки полей.

1.004

  • Модуль Нейминг - поиск домена с нужным именем (ключом). Тема не про дропы, а для поиска свободных доменов с конкретным именем. На примере гемблы: позволит найти свободные домены с именем 7kcasino.зона. Новые глобальные настройки: "Переходы". Для установки правил перехода. Например, после проверки первички автоматически перейти к съему Whois. Удаление проекта (находится в управлении) Список проектов на главной

1.003

  • Переработан механизм проверки Whois.
  • Добавлены новые доменные зоны. Всего в базе 1171 зона.
  • Установка количества потоков проверки по первичке (в глобальных настройках).
  • В меню проекта появился раздел "Управление". В него добавлена функция сброса ошибочных проверок по Whois для повторной проверки. Впредь всякие мелочи будут попадать в этот раздел.

1.002

1.001