Yahoo bots + crawlers

Tópico em 'Fórum e Comunidade' iniciado por Luis França 2 Mar 2007 às 10:10.

  1. Luis França

    Luis França
    Expand Collapse
    Nimbostratus

    Registo:
    23 Mai 2006
    Mensagens:
    1,467
    Local:
    Hades
    Ao tempo que tenho observado vários bots e crawlers (MSN e Yahoo) a espiar o nosso fórum diariamente. Já nos devemos ter tornado tão conhecidos que já somos espiados. Senão vejamos:

    - diariamente inscrevem-se novos membros com nomes tão estranhos como 434, Aneredup61,Admo, Adpoenceter00 e outros mimos (espiam tudo quanto é tópicos, enviam mensagens privadas ao admin, etc, etc)

    http://help.yahoo.com/help/us/ysearch/slurp/index.html
    http://www.cartoonbarry.com/2006/08/search_engine_roundtable_topic.html
    http://www.seroundtable.com/archives/004259.html
    http://searchenginewatch.com/showPage.html?page=2167871

    Não sei qual a solução para evitar isto, se ir para o fórum de emergência, se o Administrador tomar uma atitude para com os ditos sites...
     
  2. dj_alex

    dj_alex
    Expand Collapse
    Nimbostratus

    Registo:
    14 Dez 2005
    Mensagens:
    1,913
    Local:
    Lisboa
    Na minha opinião, seria só ter acesso ao forum todos os membros registados, fazer uma limpeza aos membros fantasmas, e a seguir mudar a forma de registo, de forma a não ser possivel registar de forma automatica. Mas ser preciso por um número a partir de uma imagem ou algo assim, coisa que já se faz em outros foruns
     
    Collapse Signature Expand Signature
  3. kimcarvalho

    kimcarvalho
    Expand Collapse
    Nimbostratus

    Registo:
    19 Nov 2005
    Mensagens:
    1,775
    Local:
    Elvas
    Sim está visto que já estamos a dar nas vistas! ;)

    E sou da mesmíssima opinião colocar uma parte do fórum disponível para os mirones e o resto restringido a users registados.

    Como é que é Fil? Qual a opinião do meu ilustre companheiro? Tá visto que já chegamos a um novo patamar e forçosamente teremos de evoluir não? Uma vez que tu é que criaste aqui a casa, terás um palavra a dizer. Senão é a revolta na bounty! Todos a Bragança!!!!!! :D
     
  4. Vince

    Vince
    Expand Collapse
    Furacão

    Registo:
    23 Jan 2007
    Mensagens:
    10,624
    Local:
    Braga
    Se me permitem a minha humilde opinião, que estes assuntos são da minha área profissional e que domino, aqui vai:

    1) Não tornem o Forum privado ou semi-privado. Quanto mas conteúdos estiverem disponíveis, mais conteúdos o Google indexa, mais importância o Google dá ao Forum e mais pessoas interessadas nestes temas encontrarão o Forum por via das pesquisas. É assim que a comunidade cresce, é assim que a maior parte das pessoas chegam aqui pela primeira vez. Ao tornarem o forum privado, o GoogleBot também não entra lá, portanto não indexa os conteúdos, é como se não existissem na Net para quem faz pesquisas.

    2) Os problemas dos utilizadores fantasma nada tem a ver com os Bots dos motores de pesquisa. Os bots/crawlers são bem vindos, nem sequer se registam. E como se costuma dizer no meio, até lhes devemos estender a passadeira vermelha. Este forum por exemplo poderia instalar uns MOD's que existem para lhes facilitar a vida, para tornar o forum mais Search engine friendly.

    3) Os utilizadores fantasma são uma praga que afecta todo o tipo de blogs e forums. E porquê ? Porque uma das mais importantes variáveis que existe no complexo algoritmo de ranking do Google é o número de links que existem para determinado site.
    Estes utilizadores fantasma a única coisa que querem são links, ao inscreverem-se num forum, é mais um link (via perfil ou mesmo post) para o site deles. Chama-se a isso link spamming, e isto é feito por verdadeiras máfias, muitas vezes russas ou chinesas, que chegam a vender este serviço e tem poderosas ferramentas para vasculhar a internet inteira à procura de forums e blogues para proceder ao registo automático e obter links para um qualquer site de spamming deles.

    5) Não há grande coisa a fazer senão ir limpando o lixo (apagar os users fantasma) de vez em quando. Deixar o lixo é fazer com que o crime deles compense. Reconhecer estes users fantasma é geralmente fácil. Deixam sempre um link estranho (afinal o verdadeiro objectivo deles).
    Os forums implementam contra-medidas como a introdução daquelas caracteres via imagem, mas tem sido uma luta danada.

    Concluindo: Tornando o forum ou partes do forum privadas em nada impede os registos destes spammers, continuam a ser feitos de qualquer forma. E o facto de ser privado, isso sim, tem imensas desvantagens que referi no ponto 1).
     
  5. Administrador

    Administrador
    Expand Collapse
    Administração

    Registo:
    22 Ago 2005
    Mensagens:
    120
    Concordo com o que o Vince disse! Além do mais, permitir o acesso só a utilizadores registados faria com que a maioria das pessoas que visitam o fórum se registassem só para dar uma "olhadela" e não voltassem mais, criando muitos utilizadores fantasma.

    Apaguei 16 utilizadores, registados provavelmente só para fazer spam automático, embora nenhum deles o tenha conseguido. A partir de agora, o registo requer a verificação de uma imagem para prevenir o registo de bots.
     
  6. Mago

    Mago
    Expand Collapse
    Nimbostratus

    Registo:
    25 Out 2006
    Mensagens:
    1,668
    Local:
    Beira Interior
    È natural que Aconteça isso, com os bots que estao constantemente a varrer toda a internet para pregar spam.
    Normalmente existem algumas estratégias de segurança, uma delas ao se registarem o membro no final do registo tem de copiar umas letras que constam numa imagem tipo um código, coisa que as máquinas nao conseguem fazer logo não há membros criados por maquinas.

    Fiz isto num livro de visitas de um site meu que tinha 40 mensagens de spam por dia, hoje nao tem nenhuma mensagem de spam.

    Os membros que durante 90 dias não escrevam ou entrem no forum deveriam ser eliminados pois apenas contam para a estatistica.

    O forum deve continuar a ser aberto mesmo apenas a visitantes, nem todos se sentem à vontade de participar eu antes de me registar andei por aqui uma ou duas semanas e ler os artigos expostos e foi por isso que resolvi registar-me.

    São apenas sugestões....:thumbsup:
     
  7. kimcarvalho

    kimcarvalho
    Expand Collapse
    Nimbostratus

    Registo:
    19 Nov 2005
    Mensagens:
    1,775
    Local:
    Elvas
    Dia lá aí a direcção Mago, qual é o teu site!? :w00t: ;)

    Quanto ao fórum acho que devia ser parcialmente restrito a users registados, mas prontos, bomecês é que sabem. :cool:
     
  8. ACalado

    ACalado
    Expand Collapse
    Cumulonimbus

    Registo:
    16 Fev 2006
    Mensagens:
    2,945
    Local:
    Covilhã 750m
    eu tb sou apologista dessa ideia podemos abrir um tópico para se fazer uma votação ;)
     
    Collapse Signature Expand Signature
  9. Minho

    Minho
    Expand Collapse
    Cumulonimbus

    Registo:
    6 Set 2005
    Mensagens:
    4,091
    Local:
    Melgaço
    Acho que o primeiro passo já foi dado pelo Administrador com a activação do registo de user digitando uma imagem... isto já deve eliminar muitos falsos registos. Se ainda assim não chegar, terão de ser feitos registos através de envio de e-mail de confirmação, penso que esta plataforma também dá para activar.

    Vamos aguardar....
     
    Collapse Signature Expand Signature
  10. Mago

    Mago
    Expand Collapse
    Nimbostratus

    Registo:
    25 Out 2006
    Mensagens:
    1,668
    Local:
    Beira Interior
    Vão ver que isso da imagem resolve os problemas dos membros fantasmas, embora os criados manualmente vao existir mas é normal, eu acho que o forum aberto a visitantes é uma forma de o promover, de promover a meterologia, de dar-mos a conhecer a nossa comunidade.

    Imaginem as visitas em massa que perdia-mos quando alguem coloca a PUB nos comentarios do portugaldiario ou entao alguns anda se registavam só para entrar no site mas se calhar depois nem vinham mais e ficava mais um registo assim fantasma.

    Mas na democracia falam os votos... ;) mas quem manda é o administrador!

    Kimcarvalho o meu site está um pouco parado na altura tinha um blog acopolado que tinha cerca de 100 visitas diarias, mas dava muito trabalho e´há "Obis" que se tornam quase obrigações.
    Agora tem menos, é um site que mostra um pouco de Trancoso, tem centenas de fotos, textos e um livro de visitas com quase 600 mensagens, tem uma media de 2000 visitas unicas mensais, é um site simples feito em front.page sem artefactos especiais até porque os meus conhecimentos são um pouco limitados nisto :unsure: Desculpem a publicidade e off-topic ( www.trancoso.pt.vu )
     

Partilhar esta Página