[Novo] As cópias de segurança na nuvem ficaram mais simples - Duplicator Cloud elimina o armazenamento de terceiros
Joella Dunn
Joella Dunn
John Turner
John Turner
Está a olhar para um site WordPress com mais de 500 páginas e o seu cliente quer uma auditoria completa das ligações quebradas.
Pode clicar manualmente em todas as páginas ou deixar que um Web crawler faça o trabalho pesado em cerca de 20 minutos.
Os Web crawlers são bots automatizados que navegam sistematicamente nos sítios Web, seguindo todas as ligações que encontram e catalogando o que descobrem.
Nesta publicação, explicarei o que fazem os Web crawlers, recomendarei as melhores ferramentas para diferentes situações e mostrarei como utilizar um para a próxima migração do seu sítio Web.
Aprenderá:
Um Web crawler (também designado por spider ou bot) é um robot da Internet que navega sistematicamente na Web para indexar e catalogar páginas.
O exemplo mais famoso? O Googlebot.
O Googlebot começa com uma lista de URLs conhecidos de rastreios e mapas de sítios anteriores. Visita cada página, lê o conteúdo e segue todas as ligações que encontra. Esses novos links são adicionados à sua fila para futuras visitas.
Este processo repete-se infinitamente, construindo o enorme índice de páginas Web do Google.
Pode executar uma versão de menor escala no seu próprio sítio Web. Em vez de indexar toda a Internet, o seu rastreador mapeia a estrutura e o conteúdo completos do seu sítio com uma precisão ao nível da máquina.
Sem páginas perdidas. Nenhum erro humano. Apenas uma visão abrangente de tudo o que existe no seu domínio.
A principal razão para utilizar um Web crawler é para auditorias técnicas de SEO.
Os rastreadores são excelentes na identificação de links quebrados, redireccionamentos defeituosos que enviam os utilizadores em círculos, títulos de página em falta ou duplicados, meta descrições vazias e páginas de conteúdo reduzido que podem estar a prejudicar as suas classificações.
A auditoria de conteúdos é outro caso de utilização importante.
Os rastreadores descobrem frequentemente páginas esquecidas que podem prejudicar a sua SEO, como arquivos de etiquetas gerados automaticamente, páginas de destino antigas ou conteúdos duplicados que se acumularam ao longo do tempo. Estas páginas passam muitas vezes despercebidas durante as auditorias manuais, mas aparecem imediatamente num rastreio abrangente.
Mas é aqui que os rastreadores se tornam absolutamente críticos: migrações de sítios Web.
Quando está a mover um site WordPress para um novo domínio ou servidor, um rastreador cria um mapa completo do seu site antigo. Pode então compará-lo com o novo site para verificar se todas as páginas, todos os redireccionamentos e todos os ficheiros importantes fizeram a viagem com sucesso.
Sem esta etapa de verificação, está basicamente a cruzar os dedos e a esperar que nada se tenha perdido na tradução.
O crawler certo depende do seu nível de conforto técnico e do que está a tentar alcançar.
Alguns são concebidos para profissionais de SEO. Outros destinam-se a proprietários de empresas que apenas querem apontar, clicar e obter resultados.
Eis a minha análise das melhores opções:
O Screaming Frog rastreia seu site para encontrar links quebrados, auditar redirecionamentos, analisar títulos de páginas e meta descrições e extrair dados específicos usando seletores CSS Path ou XPath. Ele pode lidar com a renderização de JavaScript, seguir links externos e exportar tudo para CSV para análise posterior.
Esta aplicação de ambiente de trabalho (disponível para Windows, macOS e Ubuntu) tem sido o padrão de ouro para os profissionais técnicos de SEO durante anos.
A versão gratuita rastreia até 500 URLs, o que abrange a maioria dos sites WordPress pequenos e médios. Para sites maiores, a licença paga remove esse limite e adiciona recursos como extração personalizada, integração com o Google Analytics e rastreamentos programados.
A interface pode parecer esmagadora no início. No entanto, considero que a profundidade dos dados que fornece é incomparável.
Webscraper.io é uma extensão do Chrome que se concentra em tarefas rápidas de extração de dados.
O fator de conveniência é enorme aqui - sem software para instalar, sem configuração complexa. Cria um "mapa do site" (o termo deles para um plano de recolha de dados) diretamente no seu browser, indicando-lhe os elementos em que deve clicar e os dados a extrair.
O Webscraper.io é perfeito para trabalhos mais pequenos, como obter uma lista de títulos de publicações de blogues do sítio de um concorrente ou recolher informações sobre produtos de algumas páginas. O seletor visual facilita a seleção exacta do que necessita.
A versão gratuita trata de tarefas básicas de recolha de dados. Os planos pagos adicionam rastreio baseado na nuvem, execuções programadas e acesso à API para integrar os dados noutras ferramentas...
A Semrush é uma das plataformas de auditoria de SEO mais populares. Fornece conjuntos de ferramentas abrangentes para que os profissionais de marketing e as empresas desenvolvam a sua SEO.
Para SEO on-page e técnico, a Semrush fornece uma ferramenta de Auditoria de Sites. Esta é alimentada por tecnologia de rastreio.
A Semrush rastreia o seu Web site, procurando problemas de saúde como conteúdo duplicado, etiquetas de título em falta, imagens danificadas e outros erros. Assim que tiver conhecimento destes problemas, pode corrigi-los.
Se você já está pagando pelo Semrush, o rastreador de Auditoria do Site está incluído. No entanto, os planos da Semrush começam em US $ 117 / mês, então provavelmente não vale a pena assinar apenas para o rastreador, a menos que você planeje usar as outras ferramentas de SEO também.
Tal como a Semrush, a Ahrefs efectua uma Auditoria do Site abrangente no seu kit de ferramentas de SEO.
O rastreador é rápido e a interface faz um excelente trabalho de visualização de erros técnicos. Dá-lhe uma pontuação geral de SEO e uma lista de potenciais problemas.
Além disso, integra-se com outras ferramentas Ahrefs como o Rastreador de Classificação e o Explorador de Sites. Pode ver como os problemas técnicos se correlacionam com o desempenho da classificação e perfis de backlink.
Pode utilizar a Auditoria do site da Ahrefs gratuitamente até 5.000 páginas rastreadas mensalmente.
É aqui que os crawlers provam o seu valor. Uma migração correta envolve duas pesquisas: uma antes de mover o site e outra depois.
Como primeiro passo antes de migrar o seu sítio Web, crie um inventário completo do seu sítio atual, rastreando-o.
Inicie o rastreador escolhido e execute-o no seu site de origem. Configure-o para capturar o URL, o código de estado HTTP, o título da página, a meta descrição, as etiquetas H1 e a contagem de palavras para cada página que encontrar.
Exporte todos estes dados para uma folha de cálculo. Esta passa a ser o registo definitivo do aspeto do seu sítio antes da migração.
Depois de mover o site para a nova casa, execute a mesma configuração de rastreamento no site de destino.
Agora vem o trabalho de detetive: comparar as duas folhas de cálculo. Utilize a função PROCV do Excel (ou ferramentas semelhantes no Google Sheets) para cruzar os dados.
Procure páginas que retornaram códigos de status 200 no site antigo, mas que estão lançando 404s no novo site. Verifique se os seus redireccionamentos estão a funcionar corretamente - um redireccionamento 301 no site antigo deve continuar a ser um redireccionamento 301 no novo site. Verifique se os títulos das páginas e as meta descrições fizeram a viagem intactos.
Este processo de comparação detecta problemas de migração que, de outra forma, poderiam passar despercebidos durante meses.
De um modo geral, o rastreio de páginas Web acessíveis ao público é legal se respeitar o ficheiro robots.txt e se o rastreio for efectuado a um ritmo razoável. No entanto, alguns sítios proíbem o rastreio nos seus termos de serviço. Em caso de dúvida, rastreie os seus próprios sítios ou obtenha permissão explícita.
Um crawler (ou spider) descobre e visita páginas Web seguindo ligações, enquanto um scraper extrai dados específicos dessas páginas. A maioria das ferramentas modernas desempenha ambas as funções. Compreender a distinção ajuda a avaliar as diferentes ferramentas para tarefas específicas.
Os Web crawlers dividem-se em quatro categorias principais: crawlers técnicos de SEO (como o Screaming Frog), ferramentas de extração de dados (como o Octoparse), crawlers de conjuntos integrados (integrados em plataformas de SEO) e estruturas para programadores (como o Scrapy). Cada uma delas serve diferentes necessidades e níveis de competência.
Para trabalho técnico de SEO, o nível gratuito do Screaming Frog processa até 500 URLs. Para uma extração rápida de dados, a extensão do navegador Webscraper.io funciona bem sem instalação de software.
Um rastreador agressivo pode tornar o seu site mais lento como um pico de tráfego, especialmente em alojamento partilhado. As boas ferramentas de rastreio permitem-lhe controlar a velocidade de rastreio com atrasos entre pedidos e limites de ligação. Utilize sempre estas definições em sítios de produção.
O ficheiro robots.txt indica aos crawlers quais as partes do seu site a que podem aceder. Coloque-o em yoursite.com/robots.txt para bloquear crawlers específicos ou restringir o acesso a diretórios. Tenha em atenção que os crawlers bem comportados respeitam-no, mas os bots maliciosos podem ignorá-lo.
O AutoGPT pode escrever código para raspadores da web usando bibliotecas como Scrapy, mas não realiza o rastreamento em si. Pense nele como um assistente de codificação que ajuda a construir ferramentas de raspagem. Você ainda precisa executar o código gerado para realmente rastrear sites.
Eis como escolher o crawler certo para a sua situação:
Pode fazer a auditoria de rastreio mais minuciosa do mundo, mas se a sua ferramenta de migração deixar cair ficheiros, quebrar bases de dados ou corromper a estrutura do seu sítio, toda essa preparação torna-se inútil.
É por isso que eu recomendo emparelhar seu rastreador com o Duplicator Pro. Enquanto seu crawler cuida da verificação antes e depois, o Duplicator Pro cuida do trabalho pesado de mover seu site WordPress.
Pronto para atualizar o seu fluxo de trabalho de migração? Experimente o Duplicator Pro hoje mesmo e veja porque é que milhares de profissionais do WordPress confiam nele para a migração dos seus sítios.
Já que está aqui, acho que vai gostar destes recursos WordPress escolhidos a dedo:
Divulgação: O nosso conteúdo é apoiado pelos leitores. Isto significa que, se clicar em algumas das nossas hiperligações, podemos ganhar uma comissão. Apenas recomendamos produtos que acreditamos que acrescentam valor aos nossos leitores.
