Script parou de funcionar
[ROTULO] [Sem rotulo]
[LENDO REGISTRO LATTES: 1o. DA LISTA] HTTP Error 500: Internal Server Error HTTP Error 500: Internal Server Error HTTP Error 500: Internal Server Error HTTP Error 500: Internal Server Error HTTP Error 500: Internal Server Error [AVISO] Nao é possível obter o CV Lattes: 2754856860124688 [AVISO] Certifique-se que o CV existe. Traceback (most recent call last): File "scriptLattes.py", line 62, in <module> novoGrupo.carregarDadosCVLattes() #obrigatorio File "/home/pedro/RCMS/lattes/scriptLattes/grupo.py", line 346, in carregarDadosCVLattes membro.carregarDadosCVLattes() File "/home/pedro/RCMS/lattes/scriptLattes/membro.py", line 217, in carregarDadosCVLattes cvLattesHTML = baixaCVLattes(self.idLattes) File "/home/pedro/RCMS/lattes/scriptLattes/baixaLattes.py", line 123, in baixaCVLattes raise Exception("Nao foi possivel baixar o CV Lattes em 5 tentativas") Exception: Nao foi possivel baixar o CV Lattes em 5 tentativas
Comments (25)
-
-
Boa tarde,
Temos uma equipe desenvolvendo um produto para a Universidade Federal de São Carlos que faz uso do script. Estamos com o mesmo problema.
Alguma previsão para a correção?
Desde já, grato.
[]'s
-
Ola,
aqui também estamos com problemas....não baixa os cvs...da mensagem: HTTP Error 500: Internal Server Error HTTP
[AVISO] Certifique-se que o CV existe. Traceback (most recent call last): File "./scriptLattes.py", line 64, in <module> novoGrupo.carregarDadosCVLattes() #obrigatorio File "/home/infofau/scriptlattes-8.12/scriptLattes/grupo.py", line 346, in carregarDadosCVLattes membro.carregarDadosCVLattes() File "/home/infofau/scriptlattes-8.12/scriptLattes/membro.py", line 217, in carregarDadosCVLattes cvLattesHTML = baixaCVLattes(self.idLattes) File "/home/infofau/scriptlattes-8.12/scriptLattes/baixaLattes.py", line 123, in baixaCVLattes raise Exception("Nao foi possivel baixar o CV Lattes em 5 tentativas") Exception: Nao foi possivel baixar o CV Lattes em 5 tentativas
Tem previsão para correção?
Obrigada e abraços!
-
Infelizmente semana passada o CNPq bloqueou definitivamente o acesso aos currículos Lattes. Estamos tentando encontrar uma forma de resolver isso com o CNPq, mas provavelmente eles não voltarão atrás.
Até lá, se puderem, espalhem a notícia entre seus conhecidos para que criemos corpo para manifestar nosso descontentamento com a medida de bloquear o acesso e seu consequente prejuízo à ciência brasileira.
-
Oi Fabio,
Vou divulgar isso na Unidade! O CNPq ao menos deveria não bloquear o acesso a Entidades academicas!
Muito obrigada pela resposta!
Abraços!
-
Olá Fábio. Obrigado pelo retorno.
Gostaria de saber como se deu esse bloqueio. Você teria alguma informação mais concreta dessa decisão do CNPq ? Algo como uma notícia, uma nota no site deles ? Eu procurei, mas não encontrei nada nesse sentido.
Abraço
-
Prezados,
Vejam a nota na visão geral do repositório ou no arquivo
README.md
. Criamos uma petição online para que o CNPq remova o exigência de CAPTCHA para acesso aos currículos. Se concordarem, assinem e divulguem, por favor.Obrigado.
-
Prezados,
Com esse novo mecanismo Captcha o scriptLattes não funciona de forma automática. O usuário pode baixar todos os CVs Lattes (usando o browser) em um diretório local, configurar o arquivo de configuração e executar o scriptLattes. Não é a solução mais ideal, por demandar maior tempo do usuário, mas é uma alternativa para execução do script para grupos pequenos. A seguir o passo a passo:
- Criar um diretório local no seu computador, por exemplo /home/user10/cache-lattes/
- Acessar cada CV Lattes usando seu browser, validar o captcha manualmente, salvar o CV Lattes no seu diretório local (exemplo, /home/user10/cache-lattes/). O nome do arquivo a ser salvo deve ser o mesmo do ID (16 dígitos) do CV Lattes, sem nenhuma extensão. Pode salvar o HTML simples ou completo.
- No seu arquivo de configuração (arquivo com extensão .config) deve modificar parâmetro de armazenamento cache de CVs, por exemplo:
global-diretorio_de_armazenamento_de_cvs = /home/user10/cache-lattes/
- No seu arquivo de configuração também considerar as seguintes opções para os parâmetros:
mapa-incluir_alunos_de_pos_doutorado = nao mapa-incluir_alunos_de_doutorado = nao mapa-incluir_alunos_de_mestrado = nao
- Execute o scriptLattes!
-
Bom dia Jesús,
Consegui rodar o script com essas configurações, porém ele gera um XML vazio, dessa forma:
<?xml version="1.0" encoding="UTF-8" ?> <curriculo_lattes data_processamento="18/10/2015 09:07:39"> <pesquisador id="2668568143800755"> <identificacao> <identificador10></identificador10> <nome_inicial></nome_inicial> <nome_completo>[Nome-nao-identificado]</nome_completo> <nome_citacao_bibliografica></nome_citacao_bibliografica> <sexo>Masculino</sexo> </identificacao> <endereco> <endereco_profissional></endereco_profissional> <endereco_profissional_lat></endereco_profissional_lat> <endereco_profissional_long></endereco_profissional_long> </endereco> </pesquisador> </curriculo_lattes>
Alguma ideia do que pode ser?
[]'s
-
Por favor, pode indicar mais informações? especificamente o que foi feito? os relatórios html foram gerados contendo os dados de publicações?
-
Eu estava salvando o XML do lattes, é necessário salvar o HTML da página do pesquisador, agora deu certo. Obrigado! :)
-
Bom dia! Está funcionando dessa maneira citada acima? Fiz as alterações, criei a pasta e continuou apresentando o erro "HTTP Error 500: Internal Server Error HTTP"
-
Sim. O scriptLattes está funcionando da forma como indicada em outubro de 2015. Compreendemos que o processo semi-automatico demanda muito tempo. Se sua lista de IDs Lattes é grande (e.g. maior a 50 IDs), por favor, entre em contato por email.
-
Account Deleted Bom dia!
Primeiramente, parabéns pela iniciativa de desenvolvimento desta importante ferramenta. É uma ferramenta muito útil para todos da academia!
Não consegui fazer o scriptLattes funcionar. Segui o tutorial e as dicas indicadas pelo Jesús. Por alguma razão, o script insiste em tentar baixar os currículos. Acessei apenas 2 CVs para teste. Utilizei o Firefox, salvei o CV em formato HTML (click com o botão direito do mouse e escolhi a opção Save Page as). Forneci o nome de arquivo com o ID de 16 dígitos indicados no CV, e deixei o arquivo sem extensão. Fiz a alteração do arquivo .config de acordo com as orientações do Jesús. Entretanto, recebo o erro:
[ROTULO] [Sem rotulo] [LENDO REGISTRO LATTES: 1o. DA LISTA] [AVISO] Nao é possível obter o CV Lattes: 0062065110639984 [AVISO] Certifique-se que o CV existe. Traceback (most recent call last): File "scriptLattes.py", line 62, in <module> novoGrupo.carregarDadosCVLattes() #obrigatorio File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/grupo.py", line 346, in carregarDadosCVLattes membro.carregarDadosCVLattes() File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/membro.py", line 217, in carregarDadosCVLattes cvLattesHTML = baixaCVLattes(self.idLattes) File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/baixaLattes.py", line 123, in baixaCVLattes raise Exception("Nao foi possivel baixar o CV Lattes em 5 tentativas") Exception: Nao foi possivel baixar o CV Lattes em 5 tentativas
As únicas mudanças no arquivo .config foram:
global-diretorio_de_armazenamento_de_cvs = # /home/sander/Downloads/scriptLattesV8.10/pixel/cache-lattes . . . mapa-mostrar_mapa_de_geolocalizacao = nao mapa-incluir_membros_do_grupo = sim mapa-incluir_alunos_de_pos_doutorado = nao mapa-incluir_alunos_de_doutorado = nao mapa-incluir_alunos_de_mestrado = nao # NÃO sugerido pois pode demorar muito baixar todos os CVs Lattes (Use apenas para grupos menores)
Os arquivos para teste foram baixados e renomeados corretamente, como pode ser observado em:
sander@matrix:~/Downloads/scriptLattesV8.10/pixel/cache-lattes$ file 0062065110639984 0062065110639984: HTML document, ISO-8859 text, with very long lines sander@matrix:~/Downloads/scriptLattesV8.10/pixel/cache-lattes$ file 1633968449319130 1633968449319130: HTML document, ISO-8859 text, with very long lines
A versão utilizada foi # scriptLattes V8.12 e anteriormente a V8.10.
Alguém poderia me ajudar?
sander@unemat.br
skype: carlosalexsander
Obrigado!
-
Caro Carlo,
Troque de:
global-diretorio_de_armazenamento_de_cvs = # /home/sander/Downloads/scriptLattesV8.10/pixel/cache-lattes
para
global-diretorio_de_armazenamento_de_cvs = /home/sander/Downloads/scriptLattesV8.10/pixel/cache-lattes
O caractere "#" significa comentário.
-
Account Deleted Muito obrigado Jesús. Desculpe a falha grotesca!
Aproveitando, poderia dizer o que há de errado quando tento incluir o Qualis:
sander@matrix:~/Downloads/scriptLattesV8.10$ ./scriptLattes.py pixel/pixel.config Traceback (most recent call last): File "./scriptLattes.py", line 57, in <module> novoGrupo = Grupo(arquivoConfiguracao) File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/grupo.py", line 163, in __init__ self.qualis = Qualis(self) # carregamos Qualis a partir de arquivos definidos no arquivo de configuração File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/qualis/qualis.py", line 52, in __init__ self.qextractor = qualis_extractor(self.extrair_qualis_online) File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/qualis/qualis_extractor.py", line 50, in __init__ self.init_session() File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/qualis/qualis_extractor.py", line 141, in init_session acessoInicial = requests.get(urlBase+'principal.seam') File "/usr/lib/python2.7/dist-packages/requests/api.py", line 60, in get return request('get', url, **kwargs) File "/usr/lib/python2.7/dist-packages/requests/api.py", line 49, in request return session.request(method=method, url=url, **kwargs) File "/usr/lib/python2.7/dist-packages/requests/sessions.py", line 457, in request resp = self.send(prep, **send_kwargs) File "/usr/lib/python2.7/dist-packages/requests/sessions.py", line 595, in send history = [resp for resp in gen] if allow_redirects else [] File "/usr/lib/python2.7/dist-packages/requests/sessions.py", line 189, in resolve_redirects allow_redirects=False, File "/usr/lib/python2.7/dist-packages/requests/sessions.py", line 569, in send r = adapter.send(request, **kwargs) File "/usr/lib/python2.7/dist-packages/requests/adapters.py", line 420, in send raise SSLError(e, request=request)
# Atribuição dos Qualis global-identificar_publicacoes_com_qualis = sim global-extrair_qualis_online = nao global-arquivo_areas_qualis = ./pixel/areas_qualis.txt global-arquivo_qualis_de_congressos = ./pixel/qualis_computacao_conferencias_2012.csv #
Muito obrigado!!!
-
Sim. A parte dos Qualis deve ser corrigida. A versão atual está com problemas.
-
Bom dia! Excelente a especificação do programa e suas funcionalidades mas infelizmente eu não consegui uma execução que trouxesse resultados com integridade. Fiz o procedimento de baixar os cvs para a pasta do cache. O programa processa mas traz resultados inconsistentes. Talvez possa ser algum problema no encode do html salvo. Pessoal, qual navegador utilizaram para salvar os arquivos? Tentei em 2 máquinas diferentes e vieram os mesmos resultados, nos 2 testes o programa não localizou o ano da maioria dos artigos científicos.
-
Bom dia!
Fiz as alterações no arquivo de configuração e baixei os currículos conforme informado anteriormente, porém continuo com o mesmo erro. Podem me ajudar ?
-
Prezado Felipe,
Por favor veja a versão Develop que contém uma nova característica. No lugar da pessoa baixar manualmente cada CV o sistema apresenta na tela a imagem captcha para que o usuário digite as letras.
-
- edited description
- changed status to resolved
-
Boa noite !!! Também não estou conseguindo usar. Jesús, onde encontro essa versão Develop?
-
Estou tendo esse mesmo problema!! Também não estou achando essa versão Develop para baixar!
-
Prezados
Acabo de rodar o scriptLattes e estou tendo este problema relatado no post:
[AVISO] Nao é possível obter o CV Lattes:
[AVISO] Certifique-se que o CV existe. Exception: Nao foi possivel baixar o CV Lattes em 10 tentativas
Já verifiquei e os espelhos dos CVs estão corretos.
Será o que houve?
No meu caso é inviável baixar todos os CVs, pois possuo em torno de 80 para baixar.
Atenciosamente
ELVIO
(15 de abril de 2021)
-
Bom dia. A Plataforma Lattes voltou a considerar validação por captcha para baixar os CVs (precisa de o usuário preencher os captchas em toda requisição). Dessa forma, a versão atual neste repositório não está funcionando. Por favor, entre em contato por email para indicação sobre uma alternativa. Obrigado.
- Log in to comment
Boa tarde.
Estou exatamente com o mesmo problema, desde a última quarta-feira, dia 30/09. Testei os outros branches e obtive o mesmo erro.
Abraço