Алексей Данилин

Инструменты для технического анализа сайта

Какие программы сегодня рассмотрим?

1. XENU2. Screaming Frog3. Netpeak Spider

XENU - Интерфейс

XENU - Настройки

XENU – Настройки сканирования

XENU – Результаты сканирования

XENU – Несколько результатов сканирования

XENU – Для URL

+открыть ссылку в браузере+проверка Google Cache

+проверка в web.archive.org+проверка в Alexa

XENU – Данные по URL

- Address- Status- Type- Size- Title- Date- Level- Out Links- In Links- Server- Error- Duration- Charset- Description

XENU – Экспорт данных

XENU – Формирование отчета

XENU – сводная статистика

Screaming Frog – Интерфейс

Screaming Frog – Настройки

В бесплатной версии можно настроить только Proxy

Screaming Frog – Результаты сканирования

Screaming Frog – Для URL

Screaming Frog – Данные по URL

- Address- Content- Status Code- Status- Title N- Title N Length- Title N Pixel Width- Meta Description N- Meta Description Length N- Meta Description Pixel Width N- Meta Keyword N- Meta Keyword Length N- H1-N- H1-len-N- H2-N- H2-len-N- Meta Robots N- Meta Refresh N- Canonical Link Element N- Size- Word Count- Level- Inlinks- Outlinks- External Outlinks- Hash

+ X-Robots-Tag N+ HTTP Canonical+ rel=“prev”/rel=“next”+ Ajax

Screaming Frog – Экспорт данных

Netpeak Spider – Интерфейс

Netpeak Spider – Настройки

Netpeak Spider – Результаты сканирования

Netpeak Spider – Для URL

Netpeak Spider – Данные по URL

- #- Глубина- URL- LinkCanonical- Ответ- Title- Description- Keywords- robots.txt- MetaRobots- Редиректы- Заголовки (Н1)- Ссылки с этой страницы- Ссылки на эту страницу- Внутренние ссылки- Внешние ссылки

+ Кол-во символов+ PR

Netpeak Spider – Подсчет PR

Netpeak Spider – Экспорт данных

Сравнение ПО

Характеристика XENU Screaming Frog Netpeak SpiderРежимы сканирования URL URL, List, SERP URL, раздел, SERP

Анализ нескольких проектов в 1 окне

+ - -

Создание отчета + - -

Создание sitemap.xml + + -

Подсчет PR - - +

Анализ сниппетов - + -

Экспорт в Excel + + +

Сканирование изображений, .js + + +

Количество потоков до 100 5 free до 15

Обновления - + +

Язык интерфейса eng eng ru

Лицензия free 500 URL (£99/год) free

Тест сканирования

Характеристика XENU Screaming Frog Netpeak Spider

Количество потоков сканирования

5 5 5

Типы сканируемых документов

HTML, изображения, JavaScript

HTML, изображения, JavaScript

HTML, изображения, JavaScript

Количество найденных файлов

164 67 57

Время сканирования 15 сек 6 сек 11 сек

% просканированных страниц из существующих на сайте

100% 100% 100%

Выделяемая память, КБ

4132 1144 65832

Кейсы

Кейс 1. Анализ сайта с миллионами страниц

Screaming Frog – уйдут годы на сканирование по 500 URL и чистку пересечений

Netpeak Spider – нужен очень мощный компьютер

XENU – средний компьютер~9 часов работы

~1200000 URL просканировано~250МБ файл отчета.

Лучше разбить на части, ограничить документы по типу и использовать мощный сервер. Для XENU отключить Site Map в отчете.

Кейс 2. Анализ сайта, чувствительного к высоким нагрузкам

Уменьшить количество потоков – XENU, Netpeak SpiderСканировать только HTML документы – Netpeak Spider (из-за структуры вложенности)

Кейс 3. Анализ сайта с защитой от роботов

Screaming Frog, Netpeak Spider

XENU – без проблем со стандартным User Agent

Если ничего не помогает – меняем User Agent в Netpeak Spider

Где скачать?

Netpeak Spider - http://netpeak.ua/downloads/netpeak-spider-setup.exe

XENU - http://home.snafu.de/tilman/XENU.ZIP

Screaming Frog - http://www.screamingfrog.co.uk/products/seo-spider/ScreamingFrogSEOSpider-2.40.exe

Алексей ДанилинMiddle SEO Specialist в Netpeak

Спасибо за внимание!