Datacol ошибка загрузки таймаут загрузки страницы

Для начала разберемся, в каких случаях кампания работает некорректно. Во-первых, о некорректной работе говорит отсутствие результатов сбора данных после завершения работы кампании. Кроме того, если результатов нет в течение 2-3 минут (даже если кампания еще выполняется), это также чаще всего свидетельствует о некорректной настройке. Напомним, результаты работы кампании отображаются в соответствующей панели после ее запуска. Первые результаты появляются в тот же момент, когда программа их находит.

Как видим, предварительно можно сделать вывод, что кампания работает корректно, ведь результаты появились.
Во-вторых, об ошибках настройки свидетельствует слишком малое количество результатов, по крайней мере, меньше того, которое мы ожидали собрать. Однако этот критерий относителен, ведь в интерфейсе программы по умолчанию отображаются только первые 50 найденных результатов. В полном объеме данные доступны после экспорта в файл, CMS или базу данных. Данное ограничение можно изменить в настройках кампании.

Также, стоит помнить, что демо версия программы собирается не более 25 результатов.
В-третьих, одно или несколько полей данных могут вообще не собираться. Это видно по пустым колонкам в таблице результатов.

Обратите внимание, что это актуально только если вся колонка пустая (то есть значение не найдено ни на одной странице). Это можно проверить применив разные виды сортировки к таблице. Если же нашлось хотя бы несколько групп данных с заполненным значением поля, то это обычно значит, что: либо, поле данных доступно не на всех страницах, либо на разных страницах оно должно получаться с помощью разных сигнатур, либо подобранные сигнатуры можно сделать более универсальными, чтобы значение поля находилось везде, где оно есть. Под сигнатурами здесь подразумеваются xpath или регулярные выражения.

Четвертый случай — это отсутствие выгруженных в соответствии с настройками экспорта результатов работы кампании. Имеется в виду, что результаты получены (то есть видны в панели результатов), однако не сохранены в файл, CMS или базу данных.

Теперь мы покажем как действовать в каждом из вышеописанных случаев, чтобы определить в чем конкретно заключается проблема, а также решить ее либо наметить направление решения.

Есть один универсальный прием, который стоит попробовать перед исследованием любых проблем, кроме тех, которые касаются экспорта собранных данных. Нужно заменить стандартный загрузчик на браузер. Суть в том, что изначально настройка кампании осуществляется с помощью мастера, в которым вебстраницы грузятся именно браузером, а не встроенным загрузчиком Datacol. Поэтому, если для работы, из соображений скорости обработки, все же выбран стандартный загрузчик, могут возникать непредвиденные ситуации. Они объясняются тем, что встроенный загрузчик и браузер, грузят страницы и формируются DOM модель по разному. Для примера данная кампания. Запускаем и видим, что кампания быстро завершается, при этом не собрав данных вообще. Установим браузер в качестве загрузчика. Проверяем. Теперь все нормально. Обратите внимание, если в качестве загрузчика используется плагин, то данный шаг можно пропустить, поскольку в таких случаях он обычно не дает результата.

Если установка браузера в качестве загрузчика не помогла решить проблему, то можно вернуть начальные настройки.

Теперь рассмотрим первые 2 случая, в частности, когда данные вообще не найдены, либо их найдено слишком мало. Здесь стоит начать с изучения логов. Практически всегда логи позволяют определить причину неполадки. Рассмотрим это на нескольких примерах. Запустим настройку. Кампания завершилась без результатов. Просмотрим ее логи.

Обратите внимание, что по умолчанию отображаются все типы лог-сообщений, независимо от их смысла или важности. Для удобства просмотра лога можно включить или выключить отображение тех или иных сообщений. Однако мы рекомендуем это делать только тогда, когда вы научитесь работать с логами и будете хорошо понимать, какие сообщения вам нужны в тот или иной момент.

Видим, что проблема заключается в превышении таймаута загрузки страницы. Попытаемся исправить проблему, увеличив максимально допустимый таймаут загрузки. Запустим кампанию.

Теперь результаты появляются и все отрабатывает как надо. Заметим, что если после увеличения таймаута хотя бы до 20-30 секунд проблема остается, то чаще всего сайт либо висит, либо заблокировал нас. Это можно проверить открыв страницу сайта в обычном браузере на нашем компьютере. Помимо того, ошибки загрузки могут возникать в сценарии браузера. Об их диагностике и исправлении мы поговорим в дальнейших видео.

Рассмотрим еще один пример. Опять же, кампания завершилась, а результатов нет. Откроем лог. В нем мы видим, что в самом начале работы на исходной странице, ссылок не найдено. Соответственно Datacol остановил свою работу, поскольку в очередь не было добавлено новых страниц для обработки. Для начала стоит проверить, а есть ли они вообще на странице. Чтобы это сделать, откроем страницу в нашем браузере по умолчанию. Это можно сделать кликнув по ссылке левой кнопкой мыши.

Видим, что ссылки на посты, а также ссылки пагинации присутствуют. Значит проблема скорее всего заключается в некорректно заданных правилах сбора ссылок. В большинстве случаев подкорректировать настройки сбора ссылок можно с помощью пикера. Задано 2 xpath выражения, однако найденных соответствий нет. Некорректные xpath выражения можно удалить. Теперь подберем новые, корректные. Принципы подбора Xpath для сбора ссылок были изложены в первых видеоинструкциях. Сохраняем подобранные сигнатуры. Запускаем кампанию для теста. Теперь результаты появляются и все отрабатывает как надо.

Рассмотрим другой пример. Видим, что поле “регион работы” не собирается. Опять же, перед тем как грешить на настройку, проверим наличие информации на самом исходном сайте. Данные присутствуют, поэтому ищем проблему в настройке.

Наиболее вероятная причина — некорректно настроенные сигнатуры сбора данных, то есть xpath или регулярные выражения. Предварительно для корректировки можно воспользоваться Picker-ом. Кликнем дважды левой кнопкой на поле данных, чтобы открыть пикер в режиме подбора сигнатур для полей данных.

Вариант xpath задан, однако найденных соответствий нет. Тогда кликаем на нужных данных, чтобы автоматически подобрать новый xpath и подкорректировать ранее созданный. Все получилось. Сохраняем. Перезапускаем кампанию.

Так нам удалось подкорректировать сбор данных. Следует отметить, что иногда проблемы сбора данных найти и исправить не так просто. Иногда для их решения нужно проводить более тщательное тестирование. Об этом мы расскажем в дальнейших видео.

Сейчас мы только упомянем, что если пустым оказывается поле с изображением, которое мы загружаем на локальный компьютер, то первым делом стоит проверить включен ли режим сохранения тегов, а уже потом переходить к другим мероприятиям. Например протестируем кампанию. Видим, что поле фото пустое. Проверим включено ли сохранение тегов. Оно выключено. Включим его. Протестируем повторно. Теперь все работает корректно. Более подробно о диагностике проблем сохранения изображений мы поговорим в дальнейших видео.

Рассмотрим случай отсутствия выгруженных в соответствии с настройками экспорта результатов работы кампании. Напомним, при настройке с помощью мастера собранные данные по умолчанию должны выгружаться в Excel файл, который генерируется после окончания работы кампании в папке Мои документы. Имя файла по умолчанию соответствует названию кампании. Заметим, что при наличии результатов сбора данных файл должен генерироваться внезависимости от того завершилась ли кампания сама, либо была остановлена пользователем. Однако настройки сохранения можно переопределить. В дереве быстрой настройки видно, какие форматы экспорта используются в настройке.

Чаще всего, ошибки экспорта видны в логе. Кампания завершилась, перейдем в Мои документы. Файла с экспортом здесь нет. Посмотрим лог работы кампании. Перейдем в конец лога, ведь экспорт обычно осуществляется в конце работы. Здесь мы находим описание ошибки экспорта. Видимо она произошла из за того, что на компьютере нет директории, в которую настроено сохранение. Исправим это. Можно выбрать определенную папку для сохранения, а можно оставить путь пустой строкой. В последнем случае, сохранение будет осуществляться в папку Мои документы. Сохраним и протестируем. Теперь файл сохранился.

Более продвинутые методы диагностики и исправления ошибок работы кампаний будут приведены в дальнейших видео.

• 
  Вопрос задан

  более трёх лет назад

• 782 просмотра

Пригласить эксперта

• 
  Показать ещё
  Загружается…
  

Чтобы на веб-странице появился контент, браузер должен получить от сервера, на котором расположен сайт, необходимые данные. Когда на устройстве пользователя, на веб-сервере или на другом промежуточном узле (например, прокси) возникают неполадки, вместо содержимого сайта в браузере появляется страница с ошибкой. Для устранения сбоя, необходимо знать, на чьей стороне он произошел и по какой причине. Понять, что является источником проблемы, помогает цифровой код ошибки. Если он имеет формат 5xx, значит, сбой происходит на стороне сервера. Разбираем в статье ошибку 504 на сайте и способы ее устранения.

Что значит ошибка 504 и когда она появляется

Ошибка 504 Gateway Time Out — это ошибка, возникающая при загрузке сайта, если запрос пользователя передавался на сервер, хранящий данные веб-ресурса, через промежуточный сервер, действующий как шлюз или прокси, и в процессе обработки данного запроса один из серверов не получил ответ от другого в течение максимально допустимого времени ожидания. Обмен данными происходит по HTTP, и если возникает «тайм-аут шлюза», браузер показывает на веб-странице код 504, указывающий на соответствующее состояние протокола.

На выполнение некоторых операций на сервере выделяется определенное количество времени. Например, обработка http-запроса на Nginx по умолчанию должна быть завершена за 30 секунд. Лимит времени устанавливается для того, чтобы при избыточной нагрузке сервер мог прервать процесс, который не может выполнить, и перейти к следующей задаче. Средняя продолжительность загрузки сайта составляет всего 1–3 секунды, однако иногда она может увеличиваться, например, если сервер выполняет ресурсоемкие скрипты. Когда на это требуется больше максимально допустимого времени, соединение с клиентом (браузером) разрывается и возникает один из вариантов сообщения «HTTP Error 504 — Gateway Timeout». К повышенной нагрузке на сервер могут привести внутренние сбои на сайте, проблемы с безопасностью, настройки браузера и так далее.

Если говорить простыми словами, то ошибка 504 означает, что сервер, на котором расположен сайт, не успевает вовремя обработать запрос и ответить пользователю.

Как исправить ошибку 504 владельцу сайта

Чтобы исправить ошибку 504, необходимо установить и устранить причину ее возникновения. Некоторые способы решения проблемы требуют вмешательства администратора сайта.

Долго обрабатывается скрипт

Если скрипт тяжелый, сервер может не успеть полностью его обработать до появления ошибки. Лучшим решением проблемы будет облегчение скрипта или его замена. Когда это невозможно, увеличивают период ожидания сервера. Лимит времени, за которое скрипт должен быть отработан, устанавливается через директиву «max_execution_time» в файле «php.ini». По умолчанию он составляет 30 секунд. Чтобы он стал больше, необходимо открыть файл и подставить в строку «max_execution_time = 30» новую допустимую продолжительность операции. Кроме того, поменять настройки можно в Nginx и Apache.

Нестандартные параметры времени ожидания сервера могут понадобиться, если вы используете Nginx в качестве прокси-сервера для Apache. Изменение времени выполнения скрипта на веб-сервере производится в файле «nginx.conf». Порядок действий:

1. Подключение к серверу по Secure Shell (протоколу для удаленного управления операционной системой).
2. Ввод команды «sudo nano/etc/nginx/nginx.conf» для запуска файла.

3. Редактирование блока server: увеличение времени до наступления тайм-аута с 300 секунд до 600:

   

4. Перезагрузка веб-сервера командой «service nginx reload».

Коррекцию файлов «php.ini» и «nginx.conf» лучше проводить совместно. В обоих документах необходимо указать одинаковое время обработки запроса.

При использовании Apache время обработки запроса редактируется через «httpd.conf». Что необходимо сделать:

1. Открыть файл.

2. Ввести строку:

   

3. Сохранить корректировки и заново запустить сервер.

Проблемы с CDN

CDN ― это несколько связанных серверов, предназначенных для того, чтобы ускорить передачу данных сайта его пользователям. CDN сохраняют контент, часто запрашиваемый аудиторией, на кеш-сервере. При повторном запросе этих данных сервер достает их из временной памяти. Таким образом, снижается нагрузка на сервер, являющийся источником контента, и сокращается время обработки запросов пользователей.

Иногда ошибка 504 может возникать при использовании CDN. Если после отключения от системы работоспособность сайта восстановится, сообщите о проблеме разработчикам сервиса.

Выросла нагрузка на один из серверов

К повышенной нагрузке на сервер может привести резкий рост трафика. Наплыв пользователей может быть связан как с намеренными действиями владельца веб-ресурса — с запуском рекламной кампании, так и со случайными событиями — временным увеличением спроса на сезонный товар, продающийся в интернет-магазине. Поскольку количество операций, которое сервер может выполнять одновременно, ограничено его вычислительной мощностью, при избыточной нагрузке хостинг-компьютер перестает отвечать на запросы пользователей. Чтобы он снова мог отдавать данные браузеру, достаточно арендовать компьютер с более мощным железом, например, с виртуального хостинга перейти на VPS. Если планируется проведение маркетинговых мероприятий, лучше заранее арендовать дополнительные вычислительные ресурсы (оперативную память, место на жестком диске и т. д.).

В компании «Интернет Хостинг Центр» клиенты могут арендовать VPS сервер в России с бесплатной защитой от DDoS на всех тарифах. Выделенный IP и техподдержка входят в стоимость.

Проверка службы DNS

Сообщение «Error 504 — Gateway Timeout» может появиться, если DNS-служба не справилась с преобразованием доменного имени в IP-адрес. Причиной ошибки становится перенос веб-ресурса с локального ПК на веб-сервер и автоматически пропадет, после того как новые DNS-данные распространяются по всему Интернету. Процесс занимает около двух суток.

Проблемы с DNS могут возникнуть на компьютере пользователя. Для их устранения на ПК вызывается командная строка операционной системы, где вводится специальная команда для очистки DNS-кэша, в Windows — это «ipconfig /flushdns».

Спам, вирусы и DDoS-атаки

Перегрузка сервера может быть вызвана не только возросшим интересом пользователей к вашим товарам и услугам, но и менее позитивными причинами — спамом, вирусами и DDoS-атаками. Для защиты веб-ресурса от вредоносных программ и действий хакеров, необходимо предпринять несколько профилактических мер:

• проверить наличие антивируса в административной панели хостинга;
• включить защиту от DDoS;
• подключить анти-спам плагины в CMS сайта;
• проверить лог-файлы на наличие часто повторяющихся IP-адресов;
• установить SSL/TLS;
• защитить формы обратной связи с помощью капчи;
• предотвратить публикацию комментариев со ссылками на вредоносное ПО, подключив модерирование контента и так далее.

Проблемы с плагинами в CMS

Функции на сайте, созданном с помощью CMS, реализуются благодаря плагинам. Не все они работают достаточно быстро, некоторые из них обрабатываются медленно, что приводит к тайм-ауту шлюза. Чтобы проверить, не является ли установленный плагин причиной сбоя, его необходимо отключить, а затем запустить сайт без него. Если веб-ресурс загрузится, значит, нужно выбрать другой функциональный модуль.

Как решить проблему, если вы — пользователь

Неполадки могут возникнуть на стороне пользователя: в его DNS-службе, браузере, программном обеспечении, роутере или модеме. Убедитесь, что настройки ваших устройств, выставлены правильно:

• обновите страницу, заново указав URL в адресной строке и нажав кнопку ввода (Enter);
• откройте сайт в другом браузере, если в нем сбой не повторится, обновите браузер с ошибкой до последней версии;
• запустите веб-ресурс на другом устройстве, чтобы проверить, не связаны ли проблемы с программным обеспечением вашего компьютера;
• очистите файлы кэша и cookies, чтобы избавиться от ошибок, накопленных браузером за длительное время использования;
• перезагрузите роутер, чтобы устранить конфликт между обновленным ПО провайдера и вашим устройством;
• очистите кэш DNS через командную строку ОС.

Заключение

Мы разобрали самые популярные причины возникновения ошибки 504 и привели способы решения каждой из них. Надеемся, что наша статья поможет Вам справиться с любой проблемой, способной привести к тайм-ауту шлюза.