Passo a Passo para o Diagnóstico de Sites

Para se otimizar um site é necessário fazer um diagnóstico bem feito. Aqui está uma sequência de passos que dou para diagnosticar sites. Ela é fruto de anos de experiência, por isso é muito prática. Você poderá aplicá-la em seu site e até corrigir alguns erros. É como se você fosse consertar o seu carro – pode consertar tudo ou uma parte. Ou pode ir consertando por etapas.

Outras ações podem ser necessárias. Teoricamente todos os erros passíveis de correção se encontram explicados nas páginas deste site. É preciso ter paciência e fazer muitas buscas internas até encontrar o que procura.

Conhecer os dados básicos do site – A primeira coisa a se fazer é conhecer os dados básico do site, tais como domínio, hospedagem.
-- Conhecer elementos do registro - Para conhecer particularidades do domínio, você tem de acessar o registro, seja no registro.br se for .com.br ou outro endereço terminado em br, seja em alguns registradores de domínios se a terminação for .com, .net, etc., acompanhados ou não da terminação do ppaís. Você encontra registradores de outros países fazendo busca por domain names (nomes de domínio). Ali você fica sabendo em nome de quem está registrado o domínio, a data inicial do registro, nome do responsável técnico e administrativo do site. Esses dados podem ficar ocultos sob pedido e pagamento do dono do domínio e, neste caso, você fica sem obter essas informações. Quando acessíveis, são necessários dois cliques, o último em Whois para se chegar ao destino.

A data do registro do domínio não é necessariamente a data que o site começou a rodar; em geral é anterior. Mas faz muita diferença saber se o site está rodando há um ano ou dez anos. Quanto mais antigo, maiores as chances de ter erros. Logo, é informação importante que pode orientar outras pesquisas.

Como os registros de domínios são feitos por terceiros, em geral o dono do site desconhece esses dados. É bom acessá-los e ver se se encontram dentro do esperado.

-- Conhecer a plataforma e o servidor - É importante conhecer a plataforma de servidor porque ela pode nortear diversas ações como o uso de ferramentas. Por exemplo, é impossível rodar um site em asp numa plataforma qualquer da família Unix, como por exemplo, o Linux. Outro exemplo: se você quiser fazer o redirecionamento permanente de um link num servidor IIS6.0 (instalado em plataforma Windows) vai precisar comprar e instalar um programa chamado ISAPI_Rewrite, enquanto que isso é dispensável num servidor Apache (instalado no Linux e outros da família Unix). Algumas hospedagens oferecem o serviço de redirecionamento, mas esta não é a regra.

-- Conhecer detalhes do servidor - Os planos de hospedagem oferecem configurações diferentes. É necessário conhecê-las bem já que você não conseguirá instalar certos programas no seu site dependendo do sua configuração. Muitos sites não têm bom desempenho (= boa colocação) devido a insuficiências na configuração. Por exemplo, em certos sites (inclusive lojas) você não consegue instalar o ISAPI ou o arquivo de redirecionamento .htaccess. Ou instala e eles não funcionam. Escolha de servidor é uma coisa que requer muito conhecimento e prática na área; como a maioria de não tem, o problema vai surgir depois da instalação do site. No começo é melhor você consultar pessoas que entendem do assunto antes de escolher um plano de hospedagem.

Reconhecimento do site - Em seguida partimos para o conhecimento do site propriamente dito, o que requer muitas ações como vou descrreverr a seguir.
-- Navegar aleatoriamente pelas páginas do site - Esse giro, que inclui exame dos códigos fontes de algumas páginas, permite ter uma ideia geral, como por exemplo, tema do site, se os links funcionam bem, se as principais tags estão corretas, se os textos informam adequadamento, e assim por diante. Informações bastante precisas podem ser obtidas com ferramentas gratuitas que cito a seguir.
-- Conhecer links, links quebrados, endereços e títulos das páginas - Esse tipo de diagnóstico é obtido rapidamente (exceto quando o site tem centenas ou milhares de páginas) com o uso de um robot chamado Xenu, que você baixa gratuitamente para o seu site. Em sites pequenos ou médios as informações aparecem em questão de segundos ou minutos. As informações sobre os endereços das páginas são bem captados, mas quando se trata dos títulos das mesmas, não se pode dizer o mesmo. São frequentes as repetições indevidas de títulos web. Mas, por outro lado, podemos ter idéia de como o site foi estruturado através das URLs listadas.

Os links quebrados veem com código. Você pode fazer uma busca na Internet para saber o que significa um dado código. Os mais comuns são: error 404, que indica página não encontrada, error 12002, que se refere a falha na conexão - pode ser problema do seu servidor que está lento -, error 500, que indica erro interno no servidor, em geral no banco de dados.

A ferrramenta Xenu habitualmente trava quando o número de URLs é muito grande, digamos, 10.000 ou mais. Quando isso ocorre o programa para de funcionar e você perde os dados já levantados. Quando isso ocorrer, proceda da seguinte forma:

-- Vá em Opções > Preferences e marque "Broken links, ordered by pages e desmarque o restante. Em seguida ponha para rodar o seu site (ou outro que desejar). No final ele dará um relatório somente dos links quebrados.
-- Depois desmarque a opção anterior e marque FTP and gopher URL. Em seguida ponha para rodar. No final ele dará relatório somente das URLs que podem inclusive serem usadas como mapa do site.
-- Depois desmarque a ação anterior e marque Valid text URL e ele fornecerá a lista dos títulos ds páginas e seu arranjo na estrutura do site.

Você pode ainda recolher informações separadas na guia Options. A vantagem desta estratégia é colocar o robot para rodar um número menor de dados de cada vez, o que reduz as chances de bug. Você pode ler mais sobre Xenu.

-- Conhecer mais as páginas, títulos e estatísticas - Quando necessário, complemento as informações rodando um robot chamado GSiteCrawler. Embora sua finalidade seja fazer mapas de site em xml e txt, é muito bom para a análise. Por exemplo, peço o mapa em txt que dá a listagem de URLs, a qual transfiro para um arquivo de testes. Ali posso ver quantas URLs o site tem, posso correr a lista com os olhos e ver eventuais erros nos endereços, posso fazer uma busca dentro da lista para encontrar eventuais duplicações de URLs causadas pela programação (em particular em sites dinâmicos), posso agrupar URLs de acordo com certos interesses, e muito mais, e ainda tenho algumas informações estatíticas que permitem a correção de links e arquivos.

Eu posso comparar as URLs dese mapa com as páginas que são listadas pelo mecanismo de busca por meio da pesquisa site:seudominio.com.br na área de busca.

-- Conhecer a história do site - Quando o site tem mais de dois anos na Internet, posso acessar Arquivo da Internet para verificar versões anteriores. Em muitos casos em que o dono do site desconhece versões anteriores do site, elas podem ser obtidas nesse endereço, embora de forma precária, especialmente se forem muito antigas. Esse serviço começou a coletar dados em 1996. É importante que o dono do site conheça tudo sobre a história do site, especialmente mudanças de endereços de textos e, se possível, ter backup de versões anteriores. Se você tem um webmaster cuidadoso, há muita chance de ele ter esses dados armazenados no computador. Há alguma possibilidade de você obter a exclusão dessas versões, página por página, via Ferramentas para Webmasters do Google. Existe ainda a alternativa de redirecionar página por página das versões antigas para as páginas atuais.

Na história do site, conhecida sua ou de seu webmaster, é importante verificar se existem outros domínios e qual a relação de uns com os outros, se estão independentes, se estão duplicando no todo ou em partes. Quando há duplicação de conteúdos em dois ou mais domínios, ela precisa ser eliminada.

Quando há informações ou suspeitas de duplicação de páginas, o local certo é Copyscape. Infelizmente ele não informa se alguém está duplicando ou plagiando você. Como também não informa se você ou seu webmaster estão duplicando ou plagiando outros sites. A informação é que existe(m) texto(s) semelhante(s) na Internet. De posse dessas informações podemos traçar uma estratégia de correção. A busca por duplicações não faz parte de minha rotina, exceto se informado de sua existência.

-- Punições anteriores - Na história do site é importante conhecer eventuais punições sofridas, seja na versão atual ou em versões anteriores. Observe como a coisa é delicada: o site sofreu punição em alguma versão anterior, a solução encontrada na época foi mudar a versão (passar, por exemplo, de html para php), a mudança foi feita mas as páginas em html com erros continuam lá no index do Google, Yahoo, Bing, etc. Esses erros repercutem sobretudo sobre a home, onde se localiza a palavra-chave principal. Quando você faz o redirecionamento citado, não está eliminando páginas com erro do index do Google, Yahoo, etc. - está apenas entregando ao visitante ou ao robot do Google, Yahoo, etc. o conteúdo de outra página, a que recebeu o redirecionamento. O que existia no index, continua lá. Por isso o melhor caminho pode ser pedir a eliminação das páginas dessas versões.

O inconveniente da eliminação é a perda dos links que apontam para essas páginas, cujos ranks são transferidos em caso de redirecionamento. Em muitos sites a avaliação de custo/benefício de uma ou outra escolha pode ser difícil.

Há quem acredite que o tempo resolve esse tipo de problema. Ou seja, com o passar dos anos, de tanto o robot testar com página não encontrada (de versão anterior), essa página acaba sendo eliminada do index. Mas não temos nenhuma prova de que isso acontece e tampouco o tempo que levaria para essa exclusão.

-- Site que foi banido - Uma questão relevante é conhecer os tipos de punições sofridas pelo site. Muitas vezes podemos ver que se trata de coisas de boa-fé, fruto de desconhecimento de quem construiu/otimizou o site. Mas há casos raros que carregam uma mancha para toda a vida. Por exemplo, se o site foi punido com o banimento, e se esse banimento não foi permanente, mas temporário (dois anos, digamos), quando o site volta, não volta para o mesmo lugar e sua caminhada para alcançar posições melhores é muito mais pesada. Isso me faz supor que, em certos casos de punição, o site não fica totalmente "limpo" nunca e a mancha fica associada às palavras-chave principais. Uma boa saída é ir gradualmente mudando as páginas de forma a otimizá-las para bons nichos na Internet.

Eu acompanho alguns sites americanos que foram banidos. Um deles conseguiu boa recuperação fazendo essas mudanças. Por exemplo, a palavra 'car wash' foi substuída por 'car wax' - todo o site foi gradualmente remodelado, recebeu novos textos, e a frase-chave 'car wax' foi introduzida aos poucos. Foi um processo que levou cerca de três ou quatro anos.

Essas dificuldades indicam como é importante conhecermos a história de um site, especialmente se ele for objeto de compra.

-- Posições das palavras-chave - É importante saber o desempenho das palavras-chave, dado pelas posições que ocupam nas buscas. Fazer isso manualmente, indo de página em página é tarefa quase impossível. Para isso temos muitas ferramentas disponíveis na Internet, nas quais podemos fazer pesquisas gratuitas. Uso com frequência Rank Checker que você faz download gratuito acoplado ao Firefox. O inconveniente dela é dar resultados apenas até a posição 200, mas é confiável e rápida.

O diagnóstico das posições das páginas com as palavras-chave serve como referência dos resultados de nossas intervenções. Com ele podemos saber o que está funcionando e o que precisa ainda ser modificado ou receber uma ação diferente. Por exemplo, não há mais o que otimizar o site por dentro (nas páginas) e a posição não muda; isso pode ser devido a um erro, digamos, de navegação, o que requer ação diferente.

-- Validação pelo W3C - É importante termos uma validação do código porque ele pode refletir na otimização. Às vezes são coisas simples e que impedem os robots do Google, Yahoo, etc progredirem no exame da página, como por exemplo a presença do símbolo &. Se o exame da página fica incompleto ela pode perder posições. A validação pode ser feita em documentos html, xhtml, etc, ou css ou xml ainda, outros documentos.

A validação pode ser enganosa. É possível haver erro grave na URL e assim mesmo a página ser validada no w3c. Suponha que a URL seja http://www.seudominio.com/pastaA/arquivo1.html mas que foi digitada com o erro http://www.seudominio.compastaA/arquivo1.html. Ela passará pelo validador de documento em html mas será barrada pelos robots.

-- Otimização fora da página - É importante ver o pagerank das páginas e os links externos que apontam para ela. Você pode ver os links externos escrevendo na área de busca do mecanimso de busca: link:seudominio.com.br e dando enter em seguida.

-- Texto - É indispensável uma análise dos textos. Neste particular o meu pensamento está voltado para o usuário. O texto é claro? Tem erros gramaticais? Tem erros de digitação? Tem pontuação correta? A paragrafação é correta? As frases são muito compridas? Ele tem conteúdo suficiente para ser indexado?

-- Redirecionamentos - Em geral, checar os redirecionamentos não faz parte da rotina de diagnóstico de um site. A razão é que os programas de redirecionamentos são muito estáveis. Mas se esses programas falham ou sofrem alguma desconfiguração, pode haver sérios danos ao posicionamento do site. Imagine um site que redirecionou digamos, 10% de seu conteúdo por haver duplicações ou por outros motivos. Se a página antiga permanece no servidor e/ou index dos mecanismos de busca o site pode começar a perder posições. A introdução do armazenamento de dados em nuvem vem causando problemas nessa área: Ao que parece o arqquivo htaccess desconfigura com facilidade e o acerto só é possível com a intervenção do suporte de hospedagem.

Essas são as principais medidas para se diagnosticar um site. Você poderá também ver como está o site no Google Analytics (tráfego, desempenho das palavras-chave, prinicpais entradas e saídas de seu site, etc) e nas mídias sociais, bom como possíveis problemas encontrados pelo Google pela Ferramentas para Webmasters. Em geral não seguimos essa sequência, mas vamos checando uma coisa e outra conforme a conveniência ou informes que vamos obtendo no trabalho. Por meio delas você pode fazer o diagnóstico do seu site com bastante precisão.