Multiprocessing Problem in Scikit-Learn RFC + RIOS

RFC macht selbst mit n_jobs=1 Probleme innerhalb eines MultiProcessing-RIOS-Jobs.

Siehe Email-Verkehr mit Patrick Griffiths

Am 28.10.2016 um 15:48 schrieb Patrick Griffiths:

Ich hab jetzt nochmal das RFC Modell mit n_jobs=1 trainiert und das dann mit Rios im multiprocessing mode genutzt und es gibt zum selben Fehler... Muss an etwas anderem liegen... Im singleprocessing Mode funktioniert es nach wie vor...

Am 28.10.2016 1:57 nachm. schrieb "Patrick Griffiths" patrick.griffiths@geo.hu-berlin.de:

also wenn ich ein rfc model welches ich mit n_jobs = 24 trainiert habe, in RIOS im singleprocessing mode laufen lasse funktioniert es. Im multiprocessing mode kommt der fehler...

Vor dem anwenden des Models model.n_jobs = 1 setzen hilft nicht.

Ich trainiere jetzt nochmal mit n_jobs=1 und teste dann RIOS nochmal mit multiprocessing...

---
Dr. Patrick Griffiths
Postdoctoral Researcher
Geomatics Lab | Geography Department | Humboldt-Universität zu Berlin

e-mail: patrick.griffiths@geo.hu-berlin.de
phone: +49 (0) 30 2093 6894
fax: +49 (0) 30 2093 6848
mail: Unter den Linden 6 | 10099 Berlin | Germany
web: http://www.hu-geomatics.de/
googleScholar: http://scholar.google.de/citations?user=b7NMzTYAAAAJ&hl=en

2016-10-28 13:36 GMT+02:00 Andreas Rabe <andreas.rabe@geo.hu-berlin.de>:

    hmm, kenne den fehler nicht. wenn du RFC  n_jobs = 1 setzt, dann läuft es oder?

    Am 28.10.2016 um 12:25 schrieb Patrick Griffiths:

    Hi Andreas,

    beim Anwenden der RFC modelle innerhalb von rios bekomme ich merkwürdige Fehlermeldungen (zahlreiche dieser: s.u.). Deuten die evtl darauf hin worüber wir vorhin gesprochen haben: das scikit learn die n_jobs innerhalb jedes rios prozesses starten wird?

    Process SpawnPoolWorker-5069:
    Traceback (most recent call last):
    Process SpawnPoolWorker-5071:
    Traceback (most recent call last):
      File "P:\ZumbaConda3\envs\py3\lib\multiprocessing\process.py", line 254, in _bootstrap
        self.run()
      File "P:\ZumbaConda3\envs\py3\lib\multiprocessing\queues.py", line 360, in get
        res = self._reader.recv_bytes()
      File "P:\ZumbaConda3\envs\py3\lib\multiprocessing\queues.py", line 360, in get
        res = self._reader.recv_bytes()
      File "P:\ZumbaConda3\envs\py3\lib\multiprocessing\process.py", line 93, in run
        self._target(*self._args, **self._kwargs)

    ---
    Dr. Patrick Griffiths
    Postdoctoral Researcher
    Geomatics Lab | Geography Department | Humboldt-Universität zu Berlin

Comments (1)