Como Proceder Com os Arquivos Velhos / Desatualizados que Queremos Eliminar

Apagar um arquivo no servidor é muito simples, mas se isto não for feito de forma correta, gera problemas, especialmente se envolver muitos arquivos, ainda que apagados ao longo de um tempo maior. A seguir dou algumas dicas de cuidados que você deve ter para evitar esses problemas.

Você, o servidor e os bancos de dados – Existe uma relação estreita entre suas ações no servidor e os bancos de dados dos mecanismos de busca. Parte dela, a que se acha nos bancos de dados, é invisível ou inacessível; outra parte, a que foi apagada / deletada, também se torna invisível. Se não são tomados certos cuidados, depois de um certo tempo você ou alguém que vai trabalhar no site pode ficar desnorteado por não se lembrar ou por desconhecer o que foi feito antes.

Quando deletar / apagar um arquivo no servidor – Você pode ter vários motivos para apagar / deletar um arquivo do servidor: ele ficou velho e desatualizado, você tem coisas melhores para colocar no lugar, você encontrou erros graves no arquivo, o assunto está ultrapassado, e assim por diante. Não importam os motivos, mas as conseqüências.

Possíveis perdas – Muitas vezes, deletar pura e simplesmente, significa uma perda enorme, posto que aquele URL tem um PageRank (PR) alto que poderia ser aproveitado de outra forma para ganhar posições no Google. Até mesmo um URL que tem PR zero pode ser útil, já que ele pode ser, na verdade, 0,99.

Por outro lado, apagar / deletar um arquivo, o faz desaparecer do seu servidor, mas não o faz desaparecer dos bancos de dados dos mecanismos de busca, pelo menos a curto e médio prazo. Isto pode trazer vários problemas mais à frente, e conduzir a perdas de posições sem que o dono do site saiba o que se passa.

Essa combinação de consumir com o conteúdo do arquivo evitando problemas no futuro, e ao mesmo tempo tirar proveito do PR, deve ser conduzida de forma coordenada. O mesmo se pode dizer quando apagamos uma pasta inteira e, em certas circunstâncias, quando apagamos um site inteiro.

Dicas para apagar um arquivo – Vamos ver isto em etapas.
1. Lembrar – A primeira coisa que você deve ter em mente quando pretender apagar um arquivo é que algo precisa ser feito também nos bancos de dados dos mecanismos de busca.
2. Disponibilidade – Ter no site um outro arquivo correlacionado que vá substituir o conteúdo do arquivo velho / desatualizado, ou então providenciar um novo arquivo.
3. Redirecionar – Redirecionar o URL do arquivo velho para o URL do arquivo disponibilizado, em carater definitivo (redirecionamento 301). Pode não haver redirecionamento quando o arquivo a ser apagado não tem substituto e tampouco PR a ser aproveitado.
4. Links – Deletar todos os links das outras página do site que apontam para o arquivo velho. Colocar links para o arquivo novo. Se não há arquivo novo, apagar também os links do arquivo que será deletado.
5. Bloqueio dos robots - Bloquear com noindex e nofollow o acesso dos robots ao arquivo velho. (Veja no final mudanças com o Google Caffeine)
6. Mapas do site – Atualizar ou acrescentar, conforme o caso, no mapa em xml e/ou no mapa em txt, o URL do arquivo disponibiilizado. Deletar o URL do arquivo velho. Em seguida, re-submeter os dois mapas.
Hora de deletar – O fato de o Google, o Yahoo e o MSN começarem a mostrar a página nova e listar seu URL, significa, quase sempre, que o arquivo velho foi substituído nos bancos de dados e pode ser deletado do servidor. Entretanto, em certas circunstâncias não existe tal evidência - é o caso, por exemplo, em que o URL que recebeu o redirecionamento já existia antes do redirecionamento; neste caso fica difícil saber o momento de deletar o arquivo velho e seu URL.

Esta operação de transferência e de completa compreensão da operação por parte dos programas existentes nos bancos de dados dos mecanismos de busca, em geral leva semanas no Google e MSN, e um tempo indefinido no Yahoo. Então, qual é o momento certo? Eu tenho por norma, deixar o assunto amadurecer o máximo de tempo possível. Qual a minha referência? É quando o Google começa a "chiar", ou seja, quando ele começa a emitir relatórios ou avisos na área de webmasters para se tomar alguma providência com respeito ao URL velho. Veja que ainda não dá para saber como a coisa está nos bancos de dados do Yahoo e MSN (o do MSN muda mais rápido do que o próprio Google, mas não se tem informação objetiva da situação específica). Por causa desta incerteza, prefiro esperar um pouco mais de tempo (semanas).
7. Ação final – Por fim, deletar o arquivo antigo. Vê-se que aquilo que em geral é feito como se fosse brincadeira (deletar arquivo) é a última providência em um processo. Caso esta ação tenha sido intempestiva, o Google vai imformar, nas ferramentas para webmasters, que não está encontrando o arquivo velho (sinal de que ele continua no seu índex).

Procedendo desta forma, a área do arquivo nos bancos de dados fica "limpa" e não sobra nenhum "galho" para atrapalhar no futuro. E ainda, parte do rank do arquivo antigo é transferido para o arquivo disponibilizado.

Fica limpo mesmo? Nem sempre. Pode ocorrer do URL voltar a aparecer. Como explicar? Uma causa provável é a existência de algum link, em algum canto do site, apontando para o URL antigo. Em tal circunstância é preciso fazer uma busca minuciosa e que, se o site é grande, só se torna possível com o uso de programas específicos. Nos últimos tempos o Google passou a indicar, nas ferramentas dos webmasters, os endereços onde esses links continuam a aparecer.

Variações – As circunstâncias podem impor variações no esquema acima.

a - Arquivos deletados recentemente – Digamos que um ou mais arquivos foi (foram) apagado(s) pura e simplesmente no servidor, sem que essas precauções fossem tomadas. Como apagá-lo(s) no banco de dados?

Devemos tomar as outras providências: desabilitar no robots.txt, retirar todos os links que apontam para a(s) página(s) deletada(s), retirá-las dos mapas em xml e txt, re-submeter os mapas, e esperar.

b - Arquivos deletados há muito tempo – Eles não existem no servidor, mas seus endereços aparecem na lista de URLs indexadas de algum mecanismo de busca. O procedimento é o mesmo da letra a.

c - Arquivos "ressuscitados" – Por vezes, em sites antigos, aparece, de uma hora para outra, na lista de URLs indexados, um (ou mais de um) que foi apagado anos antes. Os procedimentos são os mesmos da letra a. Entretanto, é comum não encontrarmos links para serem deletados, e aí o procedimento não funciona. O que fazer?

-- Se houver mais de um URL inesperado, ver se um está apontando link para o outro, e se um deles não está linkado a alguma página ativa. Descobrindo-se um link qualquer fazendo a ligação, repetir o procedimento, incluindo-se, desta vez, o redirecionamento.

-- Se não se encontrar link algum, fazer uma página com o esqueleto de html apenas (só aparecem as tags, sem dados, de <html> a </html>) do URL que não deveria existir, repetir o procedimento completo (primeira descrição acima), com a inclusão, naturalmente, do redirecionamento.

Em outras situações em que falhar o procedimento, deve-se tentar esta tática do esqueleto de html e incluir nele o redirecionamento.

Mudanças com o Google Caffeine -- Com a entrada em cena do Google Caffeine em 08-06-2008, uma superestrutura desse mecanismos de busca, as operações ficaram muito mais rápidas e podemos seguir outros caminhos para apagar/deletar páginas (URLs), pastas ou sites. Depois de apagar os links de origem (nem sempre isso é possível porque o link pode estar em outro site, petencente a outra pessoa, mas isto não é impedimento para prosseguir), efetuamos o bloqueio do site ou pasta (também chamada de diretório) ou URLs de página no robots.txt, vamos à area de webmasters, clicamos no link acesso do rastreador, em seguida no link Remover URL e, por fim, na guia Novo pedido de remoção. O pedido em geral é atendido em menos de vinte e quatro horas.

Fevereiro/2008
Atualizado em Março/2008
Atualizado em Abril/s008
Atualizado em Maio/2008
Atualizado em Junho/2008
Atualizado em Junho/2010
Atualizado em Novembro/2010
Atualizado em Julho/2011