Yahoo bots + crawlers

[Luis França]

Ao tempo que tenho observado vários bots e crawlers (MSN e Yahoo) a espiar o nosso fórum diariamente. Já nos devemos ter tornado tão conhecidos que já somos espiados. Senão vejamos:

- diariamente inscrevem-se novos membros com nomes tão estranhos como 434, Aneredup61,Admo, Adpoenceter00 e outros mimos (espiam tudo quanto é tópicos, enviam mensagens privadas ao admin, etc, etc)

http://help.yahoo.com/help/us/ysearch/slurp/index.html
http://www.cartoonbarry.com/2006/08/search_engine_roundtable_topic.html
http://www.seroundtable.com/archives/004259.html
http://searchenginewatch.com/showPage.html?page=2167871

Não sei qual a solução para evitar isto, se ir para o fórum de emergência, se o Administrador tomar uma atitude para com os ditos sites...

 

[dj_alex]

Ao tempo que tenho observado vários bots e crawlers (MSN e Yahoo) a espiar o nosso fórum diariamente. Já nos devemos ter tornado tão conhecidos que já somos espiados. Senão vejamos:

- diariamente inscrevem-se novos membros com nomes tão estranhos como 434, Aneredup61,Admo, Adpoenceter00 e outros mimos (espiam tudo quanto é tópicos, enviam mensagens privadas ao admin, etc, etc)

http://help.yahoo.com/help/us/ysearch/slurp/index.html
http://www.cartoonbarry.com/2006/08/search_engine_roundtable_topic.html
http://www.seroundtable.com/archives/004259.html
http://searchenginewatch.com/showPage.html?page=2167871

Não sei qual a solução para evitar isto, se ir para o fórum de emergência, se o Administrador tomar uma atitude para com os ditos sites...

Na minha opinião, seria só ter acesso ao forum todos os membros registados, fazer uma limpeza aos membros fantasmas, e a seguir mudar a forma de registo, de forma a não ser possivel registar de forma automatica. Mas ser preciso por um número a partir de uma imagem ou algo assim, coisa que já se faz em outros foruns

 

[kimcarvalho]

Ao tempo que tenho observado vários bots e crawlers (MSN e Yahoo) a espiar o nosso fórum diariamente. Já nos devemos ter tornado tão conhecidos que já somos espiados. Senão vejamos:

- diariamente inscrevem-se novos membros com nomes tão estranhos como 434, Aneredup61,Admo, Adpoenceter00 e outros mimos (espiam tudo quanto é tópicos, enviam mensagens privadas ao admin, etc, etc)

http://help.yahoo.com/help/us/ysearch/slurp/index.html
http://www.cartoonbarry.com/2006/08/search_engine_roundtable_topic.html
http://www.seroundtable.com/archives/004259.html
http://searchenginewatch.com/showPage.html?page=2167871

Não sei qual a solução para evitar isto, se ir para o fórum de emergência, se o Administrador tomar uma atitude para com os ditos sites...

Na minha opinião, seria só ter acesso ao forum todos os membros registados, fazer uma limpeza aos membros fantasmas, e a seguir mudar a forma de registo, de forma a não ser possivel registar de forma automatica. Mas ser preciso por um número a partir de uma imagem ou algo assim, coisa que já se faz em outros foruns

Sim está visto que já estamos a dar nas vistas!

E sou da mesmíssima opinião colocar uma parte do fórum disponível para os mirones e o resto restringido a users registados.

Como é que é Fil? Qual a opinião do meu ilustre companheiro? Tá visto que já chegamos a um novo patamar e forçosamente teremos de evoluir não? Uma vez que tu é que criaste aqui a casa, terás um palavra a dizer. Senão é a revolta na bounty! Todos a Bragança!!!!!!

 

[Vince]

Se me permitem a minha humilde opinião, que estes assuntos são da minha área profissional e que domino, aqui vai:

1) Não tornem o Forum privado ou semi-privado. Quanto mas conteúdos estiverem disponíveis, mais conteúdos o Google indexa, mais importância o Google dá ao Forum e mais pessoas interessadas nestes temas encontrarão o Forum por via das pesquisas. É assim que a comunidade cresce, é assim que a maior parte das pessoas chegam aqui pela primeira vez. Ao tornarem o forum privado, o GoogleBot também não entra lá, portanto não indexa os conteúdos, é como se não existissem na Net para quem faz pesquisas.

2) Os problemas dos utilizadores fantasma nada tem a ver com os Bots dos motores de pesquisa. Os bots/crawlers são bem vindos, nem sequer se registam. E como se costuma dizer no meio, até lhes devemos estender a passadeira vermelha. Este forum por exemplo poderia instalar uns MOD's que existem para lhes facilitar a vida, para tornar o forum mais Search engine friendly.

3) Os utilizadores fantasma são uma praga que afecta todo o tipo de blogs e forums. E porquê ? Porque uma das mais importantes variáveis que existe no complexo algoritmo de ranking do Google é o número de links que existem para determinado site.
Estes utilizadores fantasma a única coisa que querem são links, ao inscreverem-se num forum, é mais um link (via perfil ou mesmo post) para o site deles. Chama-se a isso link spamming, e isto é feito por verdadeiras máfias, muitas vezes russas ou chinesas, que chegam a vender este serviço e tem poderosas ferramentas para vasculhar a internet inteira à procura de forums e blogues para proceder ao registo automático e obter links para um qualquer site de spamming deles.

5) Não há grande coisa a fazer senão ir limpando o lixo (apagar os users fantasma) de vez em quando. Deixar o lixo é fazer com que o crime deles compense. Reconhecer estes users fantasma é geralmente fácil. Deixam sempre um link estranho (afinal o verdadeiro objectivo deles).
Os forums implementam contra-medidas como a introdução daquelas caracteres via imagem, mas tem sido uma luta danada.

Concluindo: Tornando o forum ou partes do forum privadas em nada impede os registos destes spammers, continuam a ser feitos de qualquer forma. E o facto de ser privado, isso sim, tem imensas desvantagens que referi no ponto 1).

 

[Administrador]

Concordo com o que o Vince disse! Além do mais, permitir o acesso só a utilizadores registados faria com que a maioria das pessoas que visitam o fórum se registassem só para dar uma "olhadela" e não voltassem mais, criando muitos utilizadores fantasma.

Apaguei 16 utilizadores, registados provavelmente só para fazer spam automático, embora nenhum deles o tenha conseguido. A partir de agora, o registo requer a verificação de uma imagem para prevenir o registo de bots.

 

[Mago]

È natural que Aconteça isso, com os bots que estao constantemente a varrer toda a internet para pregar spam.
Normalmente existem algumas estratégias de segurança, uma delas ao se registarem o membro no final do registo tem de copiar umas letras que constam numa imagem tipo um código, coisa que as máquinas nao conseguem fazer logo não há membros criados por maquinas.

Fiz isto num livro de visitas de um site meu que tinha 40 mensagens de spam por dia, hoje nao tem nenhuma mensagem de spam.

Os membros que durante 90 dias não escrevam ou entrem no forum deveriam ser eliminados pois apenas contam para a estatistica.

O forum deve continuar a ser aberto mesmo apenas a visitantes, nem todos se sentem à vontade de participar eu antes de me registar andei por aqui uma ou duas semanas e ler os artigos expostos e foi por isso que resolvi registar-me.

São apenas sugestões....

 

[kimcarvalho]

È natural que Aconteça isso, com os bots que estao constantemente a varrer toda a internet para pregar spam.
Normalmente existem algumas estratégias de segurança, uma delas ao se registarem o membro no final do registo tem de copiar umas letras que constam numa imagem tipo um código, coisa que as máquinas nao conseguem fazer logo não há membros criados por maquinas.

Fiz isto num livro de visitas de um site meu que tinha 40 mensagens de spam por dia, hoje nao tem nenhuma mensagem de spam.

Os membros que durante 90 dias não escrevam ou entrem no forum deveriam ser eliminados pois apenas contam para a estatistica.

O forum deve continuar a ser aberto mesmo apenas a visitantes, nem todos se sentem à vontade de participar eu antes de me registar andei por aqui uma ou duas semanas e ler os artigos expostos e foi por isso que resolvi registar-me.

São apenas sugestões....

Dia lá aí a direcção Mago, qual é o teu site!?

Quanto ao fórum acho que devia ser parcialmente restrito a users registados, mas prontos, bomecês é que sabem.

 

[ACalado]

Dia lá aí a direcção Mago, qual é o teu site!?

Quanto ao fórum acho que devia ser parcialmente restrito a users registados, mas prontos, bomecês é que sabem.

eu tb sou apologista dessa ideia podemos abrir um tópico para se fazer uma votação

 

[Minho]

Acho que o primeiro passo já foi dado pelo Administrador com a activação do registo de user digitando uma imagem... isto já deve eliminar muitos falsos registos. Se ainda assim não chegar, terão de ser feitos registos através de envio de e-mail de confirmação, penso que esta plataforma também dá para activar.

Vamos aguardar....

 

[Mago]

Vão ver que isso da imagem resolve os problemas dos membros fantasmas, embora os criados manualmente vao existir mas é normal, eu acho que o forum aberto a visitantes é uma forma de o promover, de promover a meterologia, de dar-mos a conhecer a nossa comunidade.

Imaginem as visitas em massa que perdia-mos quando alguem coloca a PUB nos comentarios do portugaldiario ou entao alguns anda se registavam só para entrar no site mas se calhar depois nem vinham mais e ficava mais um registo assim fantasma.

Mas na democracia falam os votos... mas quem manda é o administrador!

Kimcarvalho o meu site está um pouco parado na altura tinha um blog acopolado que tinha cerca de 100 visitas diarias, mas dava muito trabalho e´há "Obis" que se tornam quase obrigações.
Agora tem menos, é um site que mostra um pouco de Trancoso, tem centenas de fotos, textos e um livro de visitas com quase 600 mensagens, tem uma media de 2000 visitas unicas mensais, é um site simples feito em front.page sem artefactos especiais até porque os meus conhecimentos são um pouco limitados nisto Desculpem a publicidade e off-topic ( www.trancoso.pt.vu )