Script parou de funcionar

[Former user]

[ROTULO] [Sem rotulo]

[LENDO REGISTRO LATTES: 1o. DA LISTA] HTTP Error 500: Internal Server Error HTTP Error 500: Internal Server Error HTTP Error 500: Internal Server Error HTTP Error 500: Internal Server Error HTTP Error 500: Internal Server Error [AVISO] Nao é possível obter o CV Lattes: 2754856860124688 [AVISO] Certifique-se que o CV existe. Traceback (most recent call last): File "scriptLattes.py", line 62, in <module> novoGrupo.carregarDadosCVLattes() #obrigatorio File "/home/pedro/RCMS/lattes/scriptLattes/grupo.py", line 346, in carregarDadosCVLattes membro.carregarDadosCVLattes() File "/home/pedro/RCMS/lattes/scriptLattes/membro.py", line 217, in carregarDadosCVLattes cvLattesHTML = baixaCVLattes(self.idLattes) File "/home/pedro/RCMS/lattes/scriptLattes/baixaLattes.py", line 123, in baixaCVLattes raise Exception("Nao foi possivel baixar o CV Lattes em 5 tentativas") Exception: Nao foi possivel baixar o CV Lattes em 5 tentativas

[Heraldo]

Boa tarde.

Estou exatamente com o mesmo problema, desde a última quarta-feira, dia 30/09. Testei os outros branches e obtive o mesmo erro.

Abraço

[Pedro Felipe Marques Moreira]

Boa tarde,

Temos uma equipe desenvolvendo um produto para a Universidade Federal de São Carlos que faz uso do script. Estamos com o mesmo problema.

Alguma previsão para a correção?

Desde já, grato.

[]'s

[Renata Rosa]

Ola,

aqui também estamos com problemas....não baixa os cvs...da mensagem: HTTP Error 500: Internal Server Error HTTP

[AVISO] Certifique-se que o CV existe. Traceback (most recent call last): File "./scriptLattes.py", line 64, in <module> novoGrupo.carregarDadosCVLattes() #obrigatorio File "/home/infofau/scriptlattes-8.12/scriptLattes/grupo.py", line 346, in carregarDadosCVLattes membro.carregarDadosCVLattes() File "/home/infofau/scriptlattes-8.12/scriptLattes/membro.py", line 217, in carregarDadosCVLattes cvLattesHTML = baixaCVLattes(self.idLattes) File "/home/infofau/scriptlattes-8.12/scriptLattes/baixaLattes.py", line 123, in baixaCVLattes raise Exception("Nao foi possivel baixar o CV Lattes em 5 tentativas") Exception: Nao foi possivel baixar o CV Lattes em 5 tentativas

Tem previsão para correção?

Obrigada e abraços!

[Fabio Kepler]

Infelizmente semana passada o CNPq bloqueou definitivamente o acesso aos currículos Lattes. Estamos tentando encontrar uma forma de resolver isso com o CNPq, mas provavelmente eles não voltarão atrás.

Até lá, se puderem, espalhem a notícia entre seus conhecidos para que criemos corpo para manifestar nosso descontentamento com a medida de bloquear o acesso e seu consequente prejuízo à ciência brasileira.

[Renata Rosa]

Oi Fabio,

Vou divulgar isso na Unidade! O CNPq ao menos deveria não bloquear o acesso a Entidades academicas!

Muito obrigada pela resposta!

Abraços!

[Heraldo]

Olá Fábio. Obrigado pelo retorno.

Gostaria de saber como se deu esse bloqueio. Você teria alguma informação mais concreta dessa decisão do CNPq ? Algo como uma notícia, uma nota no site deles ? Eu procurei, mas não encontrei nada nesse sentido.

Abraço

[Fabio Kepler]

Prezados,

Vejam a nota na visão geral do repositório ou no arquivo README.md. Criamos uma petição online para que o CNPq remova o exigência de CAPTCHA para acesso aos currículos. Se concordarem, assinem e divulguem, por favor.

Obrigado.

[Jesús P. Mena-Chalco]

Prezados,

Com esse novo mecanismo Captcha o scriptLattes não funciona de forma automática. O usuário pode baixar todos os CVs Lattes (usando o browser) em um diretório local, configurar o arquivo de configuração e executar o scriptLattes. Não é a solução mais ideal, por demandar maior tempo do usuário, mas é uma alternativa para execução do script para grupos pequenos. A seguir o passo a passo:

• Criar um diretório local no seu computador, por exemplo /home/user10/cache-lattes/
• Acessar cada CV Lattes usando seu browser, validar o captcha manualmente, salvar o CV Lattes no seu diretório local (exemplo, /home/user10/cache-lattes/). O nome do arquivo a ser salvo deve ser o mesmo do ID (16 dígitos) do CV Lattes, sem nenhuma extensão. Pode salvar o HTML simples ou completo.
• No seu arquivo de configuração (arquivo com extensão .config) deve modificar parâmetro de armazenamento cache de CVs, por exemplo:

global-diretorio_de_armazenamento_de_cvs  = /home/user10/cache-lattes/

• No seu arquivo de configuração também considerar as seguintes opções para os parâmetros:

mapa-incluir_alunos_de_pos_doutorado = nao
mapa-incluir_alunos_de_doutorado     = nao
mapa-incluir_alunos_de_mestrado      = nao

• Execute o scriptLattes!

[Pedro Felipe Marques Moreira]

Bom dia Jesús,

Consegui rodar o script com essas configurações, porém ele gera um XML vazio, dessa forma:

<?xml version="1.0" encoding="UTF-8" ?>
<curriculo_lattes data_processamento="18/10/2015 09:07:39">
  <pesquisador id="2668568143800755">
    <identificacao>
      <identificador10></identificador10>
      <nome_inicial></nome_inicial>
      <nome_completo>[Nome-nao-identificado]</nome_completo>
      <nome_citacao_bibliografica></nome_citacao_bibliografica>
      <sexo>Masculino</sexo>
    </identificacao>
    <endereco>
      <endereco_profissional></endereco_profissional>
      <endereco_profissional_lat></endereco_profissional_lat>
      <endereco_profissional_long></endereco_profissional_long>
    </endereco>
  </pesquisador>
</curriculo_lattes>

Alguma ideia do que pode ser?

[]'s

[Jesús P. Mena-Chalco]

Por favor, pode indicar mais informações? especificamente o que foi feito? os relatórios html foram gerados contendo os dados de publicações?

[Pedro Felipe Marques Moreira]

Eu estava salvando o XML do lattes, é necessário salvar o HTML da página do pesquisador, agora deu certo. Obrigado! :)

[Diego Costa]

Bom dia! Está funcionando dessa maneira citada acima? Fiz as alterações, criei a pasta e continuou apresentando o erro "HTTP Error 500: Internal Server Error HTTP"

[Jesús P. Mena-Chalco]

Sim. O scriptLattes está funcionando da forma como indicada em outubro de 2015. Compreendemos que o processo semi-automatico demanda muito tempo. Se sua lista de IDs Lattes é grande (e.g. maior a 50 IDs), por favor, entre em contato por email.

[Former user]

Bom dia!

Primeiramente, parabéns pela iniciativa de desenvolvimento desta importante ferramenta. É uma ferramenta muito útil para todos da academia!

Não consegui fazer o scriptLattes funcionar. Segui o tutorial e as dicas indicadas pelo Jesús. Por alguma razão, o script insiste em tentar baixar os currículos. Acessei apenas 2 CVs para teste. Utilizei o Firefox, salvei o CV em formato HTML (click com o botão direito do mouse e escolhi a opção Save Page as). Forneci o nome de arquivo com o ID de 16 dígitos indicados no CV, e deixei o arquivo sem extensão. Fiz a alteração do arquivo .config de acordo com as orientações do Jesús. Entretanto, recebo o erro:

[ROTULO]  [Sem rotulo]
[LENDO REGISTRO LATTES: 1o. DA LISTA]
[AVISO] Nao é possível obter o CV Lattes:  0062065110639984
[AVISO] Certifique-se que o CV existe.
Traceback (most recent call last):
  File "scriptLattes.py", line 62, in <module>
    novoGrupo.carregarDadosCVLattes() #obrigatorio
  File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/grupo.py", line 346, in carregarDadosCVLattes
    membro.carregarDadosCVLattes()
  File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/membro.py", line 217, in carregarDadosCVLattes
    cvLattesHTML = baixaCVLattes(self.idLattes)
  File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/baixaLattes.py", line 123, in baixaCVLattes
    raise Exception("Nao foi possivel baixar o CV Lattes em 5 tentativas")
Exception: Nao foi possivel baixar o CV Lattes em 5 tentativas

As únicas mudanças no arquivo .config foram:

global-diretorio_de_armazenamento_de_cvs  = # /home/sander/Downloads/scriptLattesV8.10/pixel/cache-lattes
.
.
.
mapa-mostrar_mapa_de_geolocalizacao  = nao
mapa-incluir_membros_do_grupo        = sim
mapa-incluir_alunos_de_pos_doutorado = nao
mapa-incluir_alunos_de_doutorado     = nao
mapa-incluir_alunos_de_mestrado      = nao  # NÃO sugerido pois pode demorar muito baixar todos os CVs Lattes (Use apenas para grupos menores)

Os arquivos para teste foram baixados e renomeados corretamente, como pode ser observado em:

sander@matrix:~/Downloads/scriptLattesV8.10/pixel/cache-lattes$ file 0062065110639984 
0062065110639984: HTML document, ISO-8859 text, with very long lines
sander@matrix:~/Downloads/scriptLattesV8.10/pixel/cache-lattes$ file 1633968449319130 
1633968449319130: HTML document, ISO-8859 text, with very long lines

A versão utilizada foi # scriptLattes V8.12 e anteriormente a V8.10.

Alguém poderia me ajudar?

[e-mail]

skype: carlosalexsander

Obrigado!

[Jesús P. Mena-Chalco]

Caro Carlo,

Troque de:

global-diretorio_de_armazenamento_de_cvs  = # /home/sander/Downloads/scriptLattesV8.10/pixel/cache-lattes

para

global-diretorio_de_armazenamento_de_cvs  =  /home/sander/Downloads/scriptLattesV8.10/pixel/cache-lattes

O caractere "#" significa comentário.

[Former user]

Muito obrigado Jesús. Desculpe a falha grotesca!

Aproveitando, poderia dizer o que há de errado quando tento incluir o Qualis:

sander@matrix:~/Downloads/scriptLattesV8.10$ ./scriptLattes.py pixel/pixel.config 
Traceback (most recent call last):
  File "./scriptLattes.py", line 57, in <module>
    novoGrupo = Grupo(arquivoConfiguracao)
  File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/grupo.py", line 163, in __init__
    self.qualis = Qualis(self) # carregamos Qualis a partir de arquivos definidos no arquivo de configuração
  File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/qualis/qualis.py", line 52, in __init__
    self.qextractor = qualis_extractor(self.extrair_qualis_online)
  File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/qualis/qualis_extractor.py", line 50, in __init__
    self.init_session()
  File "/home/sander/Downloads/scriptLattesV8.10/scriptLattes/qualis/qualis_extractor.py", line 141, in init_session
    acessoInicial = requests.get(urlBase+'principal.seam')
  File "/usr/lib/python2.7/dist-packages/requests/api.py", line 60, in get
    return request('get', url, **kwargs)
  File "/usr/lib/python2.7/dist-packages/requests/api.py", line 49, in request
    return session.request(method=method, url=url, **kwargs)
  File "/usr/lib/python2.7/dist-packages/requests/sessions.py", line 457, in request
    resp = self.send(prep, **send_kwargs)
  File "/usr/lib/python2.7/dist-packages/requests/sessions.py", line 595, in send
    history = [resp for resp in gen] if allow_redirects else []
  File "/usr/lib/python2.7/dist-packages/requests/sessions.py", line 189, in resolve_redirects
    allow_redirects=False,
  File "/usr/lib/python2.7/dist-packages/requests/sessions.py", line 569, in send
    r = adapter.send(request, **kwargs)
  File "/usr/lib/python2.7/dist-packages/requests/adapters.py", line 420, in send
    raise SSLError(e, request=request)

# Atribuição dos Qualis 
global-identificar_publicacoes_com_qualis = sim
global-extrair_qualis_online              = nao
global-arquivo_areas_qualis               = ./pixel/areas_qualis.txt
global-arquivo_qualis_de_congressos       = ./pixel/qualis_computacao_conferencias_2012.csv
#

Muito obrigado!!!

[Jesús P. Mena-Chalco]

Sim. A parte dos Qualis deve ser corrigida. A versão atual está com problemas.

[Murilo Crespo]

Bom dia! Excelente a especificação do programa e suas funcionalidades mas infelizmente eu não consegui uma execução que trouxesse resultados com integridade. Fiz o procedimento de baixar os cvs para a pasta do cache. O programa processa mas traz resultados inconsistentes. Talvez possa ser algum problema no encode do html salvo. Pessoal, qual navegador utilizaram para salvar os arquivos? Tentei em 2 máquinas diferentes e vieram os mesmos resultados, nos 2 testes o programa não localizou o ano da maioria dos artigos científicos.

[fellipewolly]

Bom dia!

Fiz as alterações no arquivo de configuração e baixei os currículos conforme informado anteriormente, porém continuo com o mesmo erro. Podem me ajudar ?

[Jesús P. Mena-Chalco]

Prezado Felipe,

Por favor veja a versão Develop que contém uma nova característica. No lugar da pessoa baixar manualmente cada CV o sistema apresenta na tela a imagem captcha para que o usuário digite as letras.

[raisson]

Boa noite !!! Também não estou conseguindo usar. Jesús, onde encontro essa versão Develop?

[dp]

Estou tendo esse mesmo problema!! Também não estou achando essa versão Develop para baixar!

[ELVIO PRADO DA SILVA]

Prezados

Acabo de rodar o scriptLattes e estou tendo este problema relatado no post:

[AVISO] Nao é possível obter o CV Lattes: 
[AVISO] Certifique-se que o CV existe. Exception: Nao foi possivel baixar o CV Lattes em 10 tentativas

‌

Já verifiquei e os espelhos dos CVs estão corretos.

Será o que houve?

No meu caso é inviável baixar todos os CVs, pois possuo em torno de 80 para baixar.

‌

Atenciosamente

ELVIO

(15 de abril de 2021)

[Jesús P. Mena-Chalco]

Bom dia. A Plataforma Lattes voltou a considerar validação por captcha para baixar os CVs (precisa de o usuário preencher os captchas em toda requisição). Dessa forma, a versão atual neste repositório não está funcionando. Por favor, entre em contato por email para indicação sobre uma alternativa. Obrigado.