Рекурсивный парсинг URL адресов из sitemap.xml на Python

Дело было вечером, делать было нечего…

К сожалению, на PHP нет нормальной многопоточности, поэтому быстро накатал рекурсивный парсинг страниц сайта из XML карты по заданному списку доменов на Python.

Скрипт сам ищет карту сайта и парсит ее, включая вложенные карты сайте, если они есть.

Читать далее «Рекурсивный парсинг URL адресов из sitemap.xml на Python»

Настройка логирования access логов Nginx в Google Big Query с помощью Fluentd

Решил перевести логи Nginx’а в Google BQ. Сначала хотел перенести в Elastic, но лень было поднимать сервер, а Big Query уже готов. Вот, как это делается на Debian.

Читать далее «Настройка логирования access логов Nginx в Google Big Query с помощью Fluentd»

Как проверить статус индексации страницы в Google через Гугл таблицы (Google Spreadsheet)

Сегодня увидел один интересный лайфхак в канале Mike Blazer (ищите ссылку на него и другие источники на странице источников по SEO).

Пример демонстрации на видео

Читать далее «Как проверить статус индексации страницы в Google через Гугл таблицы (Google Spreadsheet)»

Заметки и лайфхаки по Google Search Console

Скорость сканирования сайта Гугл Ботом

Чтобы узнать как часто приходит к вам Гугл бот — откройте GSC (Google Search Console) и внизу откройте раздел Settings (Настройки). Там можно открыть отчет по скорости сканирования вашего сайта.

Читать далее «Заметки и лайфхаки по Google Search Console»

Как установить SSL сертификат для сайта через панель ISPmanager

Установка SSL сертификата на сайт не потребует много времени и труда. Тем более, когда есть панель ISPmanager. Сертификаты делятся на 2 вида:

Читать далее «Как установить SSL сертификат для сайта через панель ISPmanager»

Продвижение хостинга или что нужно знать реселлеру для успешной работы

Сегодня мы поговорим о том, как продвинуть хостинг-услуги в Интернете.

Читать далее «Продвижение хостинга или что нужно знать реселлеру для успешной работы»

Выбор Windows или Linux — извечное противостояние

Многие пользователи задаются вопросом – что выбрать, Windows или Ubuntu? У каждой из этих операционных систем есть ряд достоинств и недостатков, определяющий спектр их применения и удобство для пользователя. Информация о них поможет сделать правильный выбор наиболее подходящей для каждого конкретного случая ОС. Это особенно важно при развертывании виртуальных серверов, поэтому рассмотрим обе эти системы подробнее.

Читать далее «Выбор Windows или Linux — извечное противостояние»

Протокол POP3 или IMAP – что лучше выбрать для работы почты.

Вряд ли найдется хотя бы один активно пользующийся интернетом человек, у которого нет электронной почты. Действительно, наличие e-mail позволяет упростить ведение корреспонденции, а также является обязательным условием использования многих виртуальных сервисов — от социальных сетей до регистрации на сайте или подписки на его обновления.

Читать далее «Протокол POP3 или IMAP – что лучше выбрать для работы почты.»

Отображение ошибок PHP, подключение и отключение их вывода на экран

Работая над своими сайтами, любой разработчик рано или поздно сталкивается с так называемым белым экраном смерти — свидетельством появления ошибок в PHP-коде. Подобная ситуация может возникать по различным причинам — как по вине разработчика, так и из-за некорректно работающего программного обеспечения. Но чаще всего причиной является изменение кода или использование новых модулей.

Читать далее «Отображение ошибок PHP, подключение и отключение их вывода на экран»

Настройка Total Commander

Total Commander – еще один файловый менеджер, по функционалу похожий на Far Manager и Midnight Commander, однако с более «продвинутой» графической оболочкой. Благодаря широкому спектру возможностей, а так же множеству доступных опций, каждый пользователь сможет сконфигурировать программу «под себя».

Читать далее «Настройка Total Commander»

Как работает веб-сервер?

То, что Интернет состоит из миллионов связанных между собой компьютеров или виртуальных VPS серверов, знают все. Но вот то, как выглядит и работает отдельно взятый веб-сервер, представляют себе далеко не все, поэтому было бы полезно сказать несколько слов об этом.

Читать далее «Как работает веб-сервер?»

Инструменты ДНС для вебмастера

Обычные пользователи практически никогда не сталкиваются с вопросами:

  • Для чего нужен ДНС
  • Как настроить DNS записи домена.
  • Как проверить DNS записи домена.
  • Как быстро обновляется DNS.
  • Что такое TTL для записей ДНС (время жизни).

Для вебмастеров или просто владельцев хостов, которые стараются выполнить настройку своего сервиса максимально качественно, эти вопросы очень актуальны.

Читать далее «Инструменты ДНС для вебмастера»

Удаленное администрирование серверов под управлением windows и Linux

Администрирование хостинга – серьезная задача, с которой справится не каждый системный администратор. Для того, чтоб сервер и взаимодействующий с ним ресурс работали без задержек и остановок, необходимо одновременное выполнение ряда условий:

Читать далее «Удаленное администрирование серверов под управлением windows и Linux»

Что такое хостинг провайдер и услуги хостинга?

Созданный сайт — это набор отдельных файлов и базы данных, хранящиеся на жестком диске персонального компьютера. Чтобы сделать его доступным любому пользователю, он должен быть размещен в сети Интернет со свободным доступом на его страницы. Существуют компании, предоставляющие дисковое пространство, ресурсы и набор программного обеспечения для различных проектов на своих серверах. Их называют хостинг-провайдерами, главной задачей которых — обеспечить круглосуточную и бесперебойную работу любых веб-ресурсов.

Читать далее «Что такое хостинг провайдер и услуги хостинга?»