the BibTeX scraper detects some symbols that let it assume it is BibTeX.

solution: make BibTeX scraper more strict (e.g., using MIME magic library or regex on URL).

2012-09-25T11:52:05+00:00

Robert Jäschke

Hagen, could you please have a look at the problem and propose a solution? Thanks!

2013-02-06T09:30:51+00:00

Former user Account Deleted

Commented by hks: The problem is the bibtex parser not checking semantics, see attachment. Depending on which MIME types the BibtexScraper should support (not properly defined yet) one also could solve the problem in checking the Content-Type header from the server response.

2013-02-17T14:05:07+00:00

Robert Jäschke

Das ist eher nicht die relevante Stelle: der Scraper muss da prüfen, nicht der Parser.

Wir sollten sicherstellen, dass die Scraper nur mit Text arbeiten. Dazu schlage ich folgendes vor:

1) Die Methode WebUtils.getContentAsString() liefert nur noch einen Wert zurück, wenn die Webseite Text enthält. Dazu überprüft sie den Content-Type-Header (über erlaubte Werte sollten wir nochmal sprechen: text/html, bibtex, text, etc. - die stehen in einem statischen HashSet in den WebUtils). Enthält der Content-Type-Header kein gelistetes Format, liefert die Methode null zurück (und liest auch den InputStream nicht ein).

2) Des weiteren führen wir eine Längenbegrenzung von 1MB (oder mehr?) ein: weiter wird nicht mehr vom InputStream gelesen. Dazu zu der Methode WebUtils.inputStreamToStringBuilder() einen Parameter maxBytes hinzufügen, nach dem die Methode abbricht.

2013-02-18T13:56:08+00:00

Former user Account Deleted

Commented by hks: Zu (1): Für die URL http://www.fasebj.org/citmgr?type=bibtex&gca=fasebj;fj.12-211441 kommt ein BibTeX als application/octet-stream deklariert zurück, was letztendlich für alles verwendet werden kann, was nicht registriert ist. Ich weiß nicht ob man das zulassen sollte, bzw. ob man dann mit dem Test etwas gewonnen hat.

Zu (2): Ist schon vorhanden gewesen.

2013-02-25T00:17:32+00:00

Robert Jäschke

Au man, das sind ja Helden. :-(

Also hilft da so richtig nur, dass wir die mal anschreiben und denen vorschlagen, einen anderen MIME-Typ zurückzuliefern.

Alternativ könnten wir Heuristiken bauen, die nach bestimmten Zeichen im Inhalt suchen und dann den Inhalt nicht dem Scraper geben. ich habe aber keine gute idee, was man da nehmen sollte.