Known Bots

ПЛАГИН xF2 Known Bots 6.0.5

Определение дополнительных поисковых роботов.
  • Автор НетМеня
  • Дата создания
исправлена ошибка: совместимость с XF2.3 для отправки новых ботов через вложение электронной почты
Улучшена совместимость с XF 2.3
Это обновление содержит важное исправление ошибки для обработки искаженного UTF-8 в строках пользовательского агента.

Это обновление будет просто игнорировать любые пользовательские агенты с искаженным UTF-8, избегая ошибок при попытке отправки обновлений через API. Эти пользовательские агенты недействительны, и поэтому нет смысла проводить какой-либо дальнейший анализ - таким образом, они автоматически удаляются.

Эта новая версия также содержит дополнительный инструмент командной строки для импорта пользовательских агентов из текстового файла в целях тестирования.
Исправлена незначительная ошибка - нет необходимости обновлять, если только у вас не возникают проблемы с отправкой обновлений бота.
  • при отправке ботов по электронной почте включайте список ботов во вложении, а не в основной текст
  • новый инструмент командной строки для прямой отправки ботов по электронной почте, используемый для устранения проблем с отправкой ботов
Версия 6 - это еще одно крупное изменение базовой функциональности дополнения, направленное на улучшение процесса отправки сообщений о вновь обнаруженных пользовательских агентах и повышение производительности.

Важно для пользователей версии 4: с этим выпуском я отказываюсь от API v1 - аддоны версий 4.x и более ранних продолжат функционировать некоторое время, но затем начнут возвращать коды ошибок 404, как только я отключу API версии v1. Все, кто все еще использует KnownBots версии 4.x, должны обновиться как можно скорее.

Важно для пользователей версии 5: API версии v2, используемый в аддоне v5.x для получения новых ботов, останется работоспособным, однако я отказываюсь от системы отправки сообщений по электронной почте в пользу новой системы отправки пользовательских агентов на основе API. По истечении переходного периода система входящей электронной почты будет отключена, и все электронные письма, отправленные на knownbots@hampel.io адрес, будут возвращены как недоставленные. Любой, кто все еще использует KnownBots версии 5.x, должен либо обновить, либо, по крайней мере, отключить опцию "Агенты пользователей электронной почты" в настройках дополнения версии 5.x.

Важно для всех, кто переходит на версию 6: новая система отправки сообщений в версии 6 использует процесс аутентификации, чтобы гарантировать, что будут отправлены только действительные сообщения. После обновления до версии 6, чтобы продолжить отправку новых пользовательских агентов для анализа, необходимо сначала настроить систему аутентификации - это очень простой процесс - смотрите инструкции на странице дополнения. Параметры для версии 6 изменились - вы должны проверить их после обновления.

Новая система отправки в версии 6 использует API проверки подлинности клиентов XenForo для аутентификации сайтов при отправке агентов через наш новый API.

Чтобы настроить API, введите токен проверки лицензии для вашего сайта, найденный в клиентском интерфейсе XenForo. Токен проверки будет отправлен в API проверки клиента XenForo системой KnownBots, и если он действителен, будет сгенерирован токен KnownBots API и возвращен обратно на запрашивающий форум для последующей аутентификации.

При наличии подтвержденной лицензии процесс аутентификации происходит автоматически. Токены API обновляются каждые 28 дней и автоматически проходят повторную аутентификацию. Данные клиента автоматически удаляются из базы данных KnownBots после 30 дней бездействия (см. Информацию о конфиденциальности на главной странице дополнения). Повторное использование вашего токена проверки лицензии автоматически приведет к сбою повторной проверки API и удалению данных клиента - если только вы не настроите параметры дополнения заново с помощью нового токена проверки лицензии.

Список Изменений для версии 6:
  • известен новый инструмент командной строки-bots:parse для анализа лог-файлов веб-сервера и отображения обнаруженных ботов
  • известен новый инструмент командной строки-боты: отправить для отправки вновь обнаруженных пользовательских агентов в KnownBots API для анализа
  • известен новый инструмент командной строки-боты: проверка токена для подтверждения успешной аутентификации токена API - и, при необходимости, повторной установки системой нового токена API, если срок его действия истек
  • knownbots@hampel.io адрес электронной почты устарел и скоро будет удален - электронные письма больше не следует отправлять на этот адрес
  • новая опция конфигурации для "Отправки пользовательских агентов через API", которая требует настройки путем ввода токена проверки лицензии XenForo. Новые агенты отправляются напрямую через api, а не по электронной почте
  • опция "Агенты пользователей электронной почты" остается, но используется только для того, чтобы администраторы форума могли сами отправлять электронные письма, если захотят. При обновлении дополнения до версии 6 из этого параметра конфигурации удаляется любая ссылка на knownbots@hampel.io.
  • теперь аддон использует версию v3 API выборки ботов, которая включает в себя новые функциональные возможности
  • версия API bot fetch API остается работоспособной для сайтов, все еще использующих аддон версии 5.x
  • версия API bot fetch API устарела и скоро перестанет функционировать - сайты, все еще использующие аддон версии 4.x, должны обновиться как можно скорее
  • новая функциональность для дополнения - список игнорируемых строк на основе регулярных выражений для удаления из анализа искаженных или запутанных пользовательских агентов. Это также позволяет нам игнорировать пользовательские агенты, содержащие sql-инъекции и другие формы атак, которые обычно заполняют систему большим количеством уникальных пользовательских агентов за короткий промежуток времени.
  • повышение производительности - мы больше не выполняем проверки в браузере или игнорируем пользовательские агенты пользователей, вошедших в систему. Мы предполагаем, что любой, кто вошел в систему с действительным идентификатором пользователя XenForo, использует действительный браузер. Обратите внимание, что обнаружение ботов все еще запущено, на всякий случай. Это значительно сокращает объем обработки, выполняемой аддоном для действительных пользователей.
версия 5.0.0 представляет собой серьезную переработку основных функциональных возможностей этого дополнения, направленную на повышение скорости обработки, сложности обнаружения ботов и значительное расширение нашей способности идентифицировать новых ботов.

Обратите внимание, что параметры изменились - поэтому, пожалуйста, проверьте параметры после обновления. Более подробная информация о каждом параметре представлена на главной странице дополнения.
  • основные изменения - больше не используйте строки поиска "бот | паук | обход" и списки ложных срабатываний для идентификации возможных ботов, вместо этого полагайтесь на строки поиска, предоставляемые API, для определения допустимых браузеров и храните их непосредственно в базе данных, а не в SimpleCache, готовом для отправки по электронной почте
  • более полная переработка агентов - проверка на наличие действительных браузеров и игнорируемых агентов
  • измените основную функцию userAgentMatchesRobot на использование strpos вместо preg_match, это намного быстрее и не будет зависать при чрезвычайно большом количестве строк соответствия бота
  • разрешить ручную настройку BotFetcher для обхода ненадежного http-агента - используется для тестирования, когда источник API находится в локальном домене. Действие по умолчанию по-прежнему заключается в использовании ненадежного http-агента для обеспечения прокси исходящих вызовов API.
  • измените cron электронной почты на ежедневную отправку
  • использование нового API версии v2 от KnownBots
  • замените универсальных ботов сложным поиском на основе регулярных выражений
  • добавьте кнопку "Выбрать новых ботов" в список известных ботов в интерфейсе администратора
  • автоматическая повторная обработка пользовательских агентов после загрузки новых данных бота
  • новая команда командной строки для повторной обработки пользовательских агентов, включая опцию принудительной повторной обработки всех пользовательских агентов
  • улучшен тест агента пользователя в пользовательском интерфейсе администратора, чтобы сделать его более наглядным
  • укажите дополнительный адрес электронной почты, чтобы сохранить их конфиденциальность
  • исправлена ошибка: не ссылаться на список известных ботов, если ссылки не указаны
Этот выпуск включает дополнительные проверки работоспособности, чтобы предотвратить попадание на форумы неверных данных, возвращаемых из API.

Если какие-либо данные, возвращаемые API, не соответствуют точному формату, который мы ожидаем, вся загрузка отбрасывается, и никакие изменения не применяются к форуму. Будет зарегистрировано сообщение об ошибке, требующее дальнейшего расследования.

После обновления до версии 4.0.1 вам следует вручную принудительно загрузить новые данные API, выполнив следующую команду из корневого каталога вашего форума:
Код:
php cmd.php known-bots:fetch -f
KnownBots v4 - это совершенно новая сборка. боты больше не закодированы жестко, они обновляются с помощью вызовов API и используют кэш кода XF для хранения данных бота
  • исходные данные бота, загруженные из API, хранятся во internal_data/knownbots.json
  • новый инструмент командной строки для ручной выборки ботов из API (также предусмотрена задача Cron)
  • новый инструмент командной строки для ручной загрузки ботов из knownbots.json
  • новый инструмент командной строки для тестирования соответствия пользовательских агентов
Перезалит архив для установки через админпанель
Назад
Верх Низ