[Qualipso-a4] instalación y pruebas de las herramientas de NLP

[Javier Pueyo]

Hola Jose,

El mar, 08-12-2009 a las 00:31 +0100, Jose Gato Luis escribió:
> Acabo de darme cuenta, que existen unas variables para configurar 
> ciertos paths, por defecto están pensadas para ejecutar programas dentro 
> de donde tenemos todo lo de NLP:
> 
> config_FLOSS_NLP_PATH = sys.path[0] + "/"
> 
> config_FLOSS_NLP_PATH_NLP_FLOSS = config_FLOSS_NLP_PATH + "floss_nlp/"
> 
> si ejecuto el programa desde cualquier otro directorio, sys.path no va a 
> tener el valor esperado. De momento he puesto el valor que quiero a 
> pelo, estaría bien, que al crear la clase NLP, puedas configurar esos 
> valores.

Sí. Lo cierto es que config.py asumía erróneamente que los programas se
ejecutarían en un lugar determinado. La solución que se me ocurre es
colocar el directorio floss_nlp/ bajo la raiz de python, es decir, aquí:

/usr/lib/python2.5/site-packages/floss_nlp

Y modificar el fichero config.py de esta manera:

- config_FLOSS_NLP_PATH = sys.path[0] + "/"
+ config_FLOSS_NLP_PATH = "/usr/lib/python2.5/site-packages/"

¿Qué te parece? Si te parece bien, "cometo" ese cambio al SVN.


> Por otro lado, aparece un nuevo error:

Buff. Llevo peleando con bugs de NLTK desde hace meses... Lo mejor es
volver de momento a la versión 0.9.9b1 y ver si conseguimos avanzar. Ya
iré yo mirando si puedo corregir los bugs de la 2.0. He subido al SVN un
paquete RPM y un DEB (este lo he creado a partir del rpm, pero parece
funcionar bien). Después de instalarlo hay que volver a integrar los
files de NLTK_additions, (y si aún lo tenéis en vuestras copias locales,
hay borrar el file modificado "probability.py" que ya no sirve... yo ya
lo he quitado del SVN). A mí un simple:

sudo cp -R NLTK_additions/nltk/* /usr/lib/python2.5/site-packages/nltk/

me funciona bien.

Un saludo,

Javier

> *** Traceback (most recent call last):
>    File 
> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_POST/floss_item_classifier.py", 
> line 213, in <module>
>      (topics, extracted_entities_clean) = classify_item(doc_item)
>    File 
> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_POST/floss_item_classifier.py", 
> line 207, in classify_item
>      topic = classifier.classify(item_features(item_info,dictionary_info))
>    File "/usr/lib/python2.5/site-packages/nltk/classify/naivebayes.py", 
> line 89, in classify
>      return self.prob_classify(featureset).max()
>    File "/usr/lib/python2.5/site-packages/nltk/classify/naivebayes.py", 
> line 122, in prob_classify
>      return DictionaryProbDist(logprob, normalize=True, log=True)
>    File "/usr/lib/python2.5/site-packages/nltk/probability.py", line 
> 638, in __init__
>      value_sum = sum_logs(self._prob_dict.values())
>    File "/usr/lib/python2.5/site-packages/nltk/probability.py", line 
> 1791, in sum_logs
>      return reduce(add_logs, logs[1:], logs[0])
> AttributeError: 'module' object has no attribute 'reduce'
> *****
> 
> Javier, si ves que va a ser más fácil, podemos volver a una versión 
> anterior de nltk ;)
> 
> Saludos,
> 
> El 07/12/09 19:03, Jose Gato Luis escribió:
> > Ahora estoy integrando de verdad las herramientas, dentro del extractor
> > de correos y....
> >
> >
> > Traceback (most recent call last):
> >     File
> > "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/plugins/MailingLists/mlFeedery.py",
> > line 320, in<module>
> >       analizeResourcesFromMbox (project, emailList)
> >     File
> > "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/plugins/MailingLists/mlFeedery.py",
> > line 257, in analizeResourcesFromMbox
> >       subjectBugs = searchBugInMessage (emailResource.email['subject'])
> >     File
> > "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/plugins/MailingLists/mlFeedery.py",
> > line 179, in searchBugInMessage
> >       print nlp.getItemTopics(message,True)
> >     File
> > "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_Process.py",
> > line 116, in getItemTopics
> >       topics = self.getItemTopicsEntities(doc_item, is_mail, only_topics)
> >     File
> > "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_Process.py",
> > line 103, in getItemTopicsEntities
> >       doc_item = self.tagItem(doc_item, is_mail)
> >     File
> > "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_Process.py",
> > line 74, in tagItem
> >       doc_item = self.getItemContents(doc_item, is_mail)
> >     File
> > "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_Process.py",
> > line 56, in getItemContents
> >       p = Popen([FLOSS_NLP_PATH_PRE + 'item_processor_1.pl', doc_item],
> > stdout=PIPE, stderr=STDOUT)
> >     File "/usr/lib/python2.5/subprocess.py", line 594, in __init__
> >       errread, errwrite)
> >     File "/usr/lib/python2.5/subprocess.py", line 1153, in _execute_child
> >
> >
> > ¿tiene algo que ver, el hecho de que este usando eclipse?
> >
> >
> > El 07/12/09 18:21, Jose Gato Luis escribió:
> >> Genial Javier, funciona ;)
> >>
> >> El 07/12/09 17:27, Javier Pueyo escribió:
> >>> Copiando ese fichero en nuestra instalación de NLTK 2.0b5 debería
> >>> solucionar el problema... I hope...
> >>
> >
> 
> -- 
> José Gato Luis                   | Libre Software Engineering Lab (GSyC)
> Tel: (+34)-914 888 105           | Universidad Rey Juan Carlos
> jgato en libresoft.es               | Edif. Departamental II - Despacho 121
> http://libresoft.urjc.es/        | c/Tulipán s/n 28933 Móstoles (Madrid)