Arquivos de dados de estações

jbatista

Cirrus
Registo
5 Out 2012
Mensagens
2
Local
Setúbal
Olá,

Antes de mais devo esclarecer que sou um novo utilizador; é a minha primeira mensagem no MeteoPT.com.

Eu já tinha ideia, há algum tempo, que existem entusiastas da meteorologia que dispõem de páginas na Internet onde disponibilizam a informação que registam com a instrumentação que têm em casa. Tanto quanto percebo, publicam nessas páginas um registo que (corrijam-me se estou errado) não passa para além de algumas horas antes da última actualização. Admito que alguns possam arquivar a informação que recolhem, mas tanto quanto sei a informação do passado não é disponibilizada ao público.

Mais concretamente:
- se alguém estivesse interessado em agregar informação de diferentes fontes para fazer uma sinopse meteorológica para uma dada hora;
- se alguém quisesse consultar informação registada por uma estação meteorológica no passado, vinda de diferentes fontes;
- ou qualquer outra forma de "data mining";
que eu saiba -- não existe uma maneira uniforme de o fazer. Ou seja, cada entusiasta que se disponha a publicar, na sua página de Internet, essa informação, fá-lo da maneira como bem entende e no formato que quer; mas cada um faz à sua maneira. Não que haja algo errado nisso -- as páginas são pessoais e cada um faz o que quiser com elas -- mas admito que alguém que queira agregar informação não tem maneira de o fazer porque a informação é diversa e formatada de maneiras diferentes.
Por exemplo, se eu quisesse saber (e de alguma forma, quantificar) até que ponto são diferentes as previsões feitas por um centro meteorológico e as feitas com informação recolhida por "hobbyistas" (não sei qual o termo correcto a usar aqui), e principalmente perceber o que causa as diferenças, então seria necessário agregar essa informação ou, de alguma maneira, dispor de ferramentas ou um protocolo que permitisse consultar e agregar essa informação para processamento.

Os diferentes centros meteorológicos nacionais arquivam informação, porém muitos deles não disponibilizam ao público pois usam-na como fonte de rendimento para gerar produtos pagos. Mas com hobbyistas é diferente: segundo percebo, fazem-no porque gostam e divulgam os resultados como entendem.

O que estou a perguntar, pois, é o seguinte:
1) Existe maneira de consultar arquivos de informação de estações meteorológicas? Quais os participantes, só um país, uma região? Pode-se fazê-lo programáticamente? Ou seja, existe alguma ferramenta para agregar informação arquivada e perguntar "dá-me os registos disponíveis de temperatura à superfície das estações dentro de uma certa região e num determinado intervalo de tempo" e permitir o processamento dessa informação da maneira que se entender?
2) Essa informação está disponível livremente? Pode-se aceder-lhe sem restrições?
3) Se não existir essa interface, haveria interesse em pensar e conceber um sistema que permitisse a todos fazê-lo?
Estou a pensar num sistema que permitisse receber informação enviada voluntariamente por cada participante (quando o entendessem e a informação que entendessem), que identificasse a fonte (para que não melindrar aqueles que não querem o aproveitamento sem atribuição), para um ou vários agregadores que disponbilizem a infraestrutura para recolha e arquivamento dessa informação, e que permitisse a sua utilização para fins não comerciais (i.e. hobbyistas, curiosos, etc.). Idealmente, poder-se-ia permitir a replicação de tais arquivos para que não ficasse na posse exclusiva de uma minoria ("olha pra isto! nós enviamos a informação e eles agora decidiram ficar com ela e já não partilham!"). O acesso seria por uma interface web, que permitiria a sua utilização independentemente da tecnologia (linguagem de programação) e que facilitasse aos interessados a possibilidade de desenvolver ferramentas que consumissem os dados para processar como se entendessem (gerar gráficos a partir da informação, animações, etc). Já existem ferramentas informáticas para processamento (toolkits) em diferentes linguagens de programação, portanto o objectivo não seria limitar a utilização a uma tecnologia; mas a pergunta aqui é sobre como disponibilizar os dados a usar.

O objectivo não é competir com centros meteorológicos, mas sim perceber quais as capacidades e potencialidades da "rede informal" de estações meteorológicas em posse de particulares que se disponham a publicar (na totalidade, ou em parte) alguma da informação que recolhem e arquivam. O objectivo é permitir, a quem tem conhecimentos e vontade, de poder interagir com informação de diferentes origens e saciar a curiosidade sobre relações entre diferentes conjuntos de dados, dados esses fornecidos por indivíduos que se disponham a publicá-los para eventuais interessados. O objectivo é também "fazer coisas giras" e eventualmente aprender com os erros ("porque é que fazendo isto desta maneira dá resultados malucos? o que é que eu estou a fazer errado?").
 


jbatista

Cirrus
Registo
5 Out 2012
Mensagens
2
Local
Setúbal
Mais um assunto que eu sinto que é necessário abordar desde já. Trata-se da possível objecção do tipo "A página é minha e eu não quero que outras pessoas estejam para aí a copiar de mim e a dizer que é delas!", a que respondo da seguinte maneira: Quem publica informação, sem controlar a quem lhe acede, deixa de conseguir efectivamente controlar o que é feita com ela; quanto muito, podem expor uma declaração na vossa página a explicar o que não querem que se faça -- mas parte-se do princípio de que quem vê irá honrar esses "termos de utilização" e não há maneira fácil de saber que os termos de utilização são honrados -- a não ser por uma vigilância muito cuidada e "descuido" do prevaricador, o que pode dar imenso trabalho para o conseguir e não valer a pena. Em suma: uma página da Internet permite que alguém faça uma cópia da informação lá contida -- quer guarde a informação sempre que muda,

Mais concretamente: quando alguém acede, com um browser, a uma página de Internet, o browser já está efectivamente a fazer uma cópia (no vosso computador) dos conteúdos estáticos disponíveis nas páginas a que acedem. Não estou a falar do histórico dos endereços; estou a falar das imagens e dos conteúdos estáticos das páginas que ficam armazenados na "cache" do browser até que sejam limpos. (A cache permite acelerar o acesso a páginas e recursos (media) usados com frequência, evitando sobrecarregar os servidores a que se acede com pedidos para os mesmos conteúdos e melhorando a experiência do utilizador. Pode-se configurar em cada browser a política de retenção desses conteúdos.) Se abrirem a cache do vosso browser (cuja localização no disco do computador depende do browser, se é Internet Explorer, se é Mozilla Firefox, se é Google Chrome, etc.) vão ver que estão lá os conteúdos das páginas a que acederam até um determinado limite de data ou de espaço reservado para a cache. Portanto, tecnicamente, já estão a fazer uma cópia no vosso computador da informação a que acedem, quer tenham percebido ou não.

Portanto, não se trata de "roubar" informação, mas sim o de oferecer a todos a possibilidade de consultar informação que já disponibilizam periodicamente, a cada actualização.
 
Última edição:

CptRena

Nimbostratus
Registo
16 Fev 2011
Mensagens
1,526
Local
Gafanha da Encarnação, Aveiro
Boa tarde jbatista

Muitos dos entusiastas que têm uma estação meteorológica e que disponibilizam dados na internet, têm a sua estação registada no Weather Underground, que por si já mantém uma base de dados para a estação. Provavelmente este serviço não cobrirá todas as estações uma vez que algumas registam noutros serviços (ex. meteoclimatic), e também não oferecem os serviços que tem em mente. Mas, e no caso do Weather Underground, existe a disponibilização de ficheiros de texto com os dados que quiser desde que a estação foi registada no respectivo website. Outra coisa é que os dados que são disponibilizados não são garantidos e é bem possível que haja por lá valores irreais.
Quanto à criação de um serviço como o que refere, com disponibilização de dados de forma personalizável, bem para isso seria preciso agrupar algumas pessoas com os conhecimentos necessários, particularmente em bases de dados e em programação para o desenvolvimento do conteúdo interactivo, e os dados teriam que ser harvested para uma base de dados que possivelmente ficaria alojada no mesmo sitio que este fórum e desenvolver o resto a partir daí.
 

filipe cunha

Nimbostratus
Registo
20 Dez 2009
Mensagens
1,424
Local
Viana do Castelo - interior (160m)
Já forneci os dados arquivados da minha EM a alguem que precisou deles, mais de um ano de dados....