[Qualipso-a4] instalación y pruebas de las herramientas de NLP

Mar Dic 8 18:53:12 CET 2009

El mar, 08-12-2009 a las 17:57 +0100, Jose Gato Luis escribió:
> >
> > ¿Qué te parece? Si te parece bien, "cometo" ese cambio al SVN.
> 
> déjame que pregunte a los expertos en python libresofter'os, para no 
> tener que depender del path donde se instale.

OK.

> He vuelto a esa versión, pero me sigue dando problemas :(

Vaya, siento que esto te esté dando tantos problemas. El caso es que a
mí no me salen esos warnings y estoy en la versión de NLTK:

>>> import nltk
>>> nltk.__version__
'0.9.9b1'

De todas formas ya veo que el problema es que yo estaba mezclando las
salidas STDOUT y STDERR de los scripts y de ahí venían los líos. Ya he
corregido en SVN este bug (que estaba en NLP_Process.py) y ahora STDERR
no se mezcla con STDOUT.

En cualquier caso he añadido a todos los scripts de python lo siguiente
(en SVN):

import warnings
warnings.filterwarnings('ignore')

Es cierto que debería controlar las excepciones (otro TODO), pero el
caso es que los problemas los estábamos teniendo con los warnings de
Deprecation de funciones de NLTK y no con excepciones.

Un saludo,

Javier

> 
> *** /usr/lib/python2.5/site-packages/nltk/data.py:150: 
> DeprecationWarning: object.__init__() takes no parameters
>    str.__init__(self, path)
> ['noissue', 'license']
> *****
> Traceback (most recent call last):
>    File "test.py", line 7, in <module>
>      only_topics = NLP.getItemTopics(item0)
>    File 
> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_Process.py", 
> line 116, in getItemTopics
>      topics = self.getItemTopicsEntities(doc_item, is_mail, only_topics)
>    File 
> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_Process.py", 
> line 107, in getItemTopicsEntities
>      topics = self.str_to_list(topics_entities)
>    File 
> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_Process.py", 
> line 144, in str_to_list
>      my_list = eval(my_string)
>    File "<string>", line 1
>      /usr/lib/python2.5/site-packages/nltk/data.py:150: 
> DeprecationWarning: object.__init__() takes no parameters
>      ^
> SyntaxError: invalid syntax
> 
> 
> Estos errores son extraños,  en algún sitio, estas esperando que se te 
> devuelva un resultado y no estas controlando que pasa cuando te 
> devuelven una excepción. ¿tienes idea de en que parte se devuelven esos 
> textos/warnings/exceptions?
> 
>    /usr/lib/python2.5/site-packages/nltk/data.py:150: 
> DeprecationWarning: object.__init__() takes no parameters
> 
> Puedo echarte una mano...
> 
> Un saludo,
> 
> >
> > Un saludo,
> >
> > Javier
> >
> >> *** Traceback (most recent call last):
> >>     File
> >> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_POST/floss_item_classifier.py",
> >> line 213, in<module>
> >>       (topics, extracted_entities_clean) = classify_item(doc_item)
> >>     File
> >> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_POST/floss_item_classifier.py",
> >> line 207, in classify_item
> >>       topic = classifier.classify(item_features(item_info,dictionary_info))
> >>     File "/usr/lib/python2.5/site-packages/nltk/classify/naivebayes.py",
> >> line 89, in classify
> >>       return self.prob_classify(featureset).max()
> >>     File "/usr/lib/python2.5/site-packages/nltk/classify/naivebayes.py",
> >> line 122, in prob_classify
> >>       return DictionaryProbDist(logprob, normalize=True, log=True)
> >>     File "/usr/lib/python2.5/site-packages/nltk/probability.py", line
> >> 638, in __init__
> >>       value_sum = sum_logs(self._prob_dict.values())
> >>     File "/usr/lib/python2.5/site-packages/nltk/probability.py", line
> >> 1791, in sum_logs
> >>       return reduce(add_logs, logs[1:], logs[0])
> >> AttributeError: 'module' object has no attribute 'reduce'
> >> *****
> >>
> >> Javier, si ves que va a ser más fácil, podemos volver a una versión
> >> anterior de nltk ;)
> >>
> >> Saludos,
> >>
> >> El 07/12/09 19:03, Jose Gato Luis escribió:
> >>> Ahora estoy integrando de verdad las herramientas, dentro del extractor
> >>> de correos y....
> >>>
> >>>
> >>> Traceback (most recent call last):
> >>>      File
> >>> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/plugins/MailingLists/mlFeedery.py",
> >>> line 320, in<module>
> >>>        analizeResourcesFromMbox (project, emailList)
> >>>      File
> >>> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/plugins/MailingLists/mlFeedery.py",
> >>> line 257, in analizeResourcesFromMbox
> >>>        subjectBugs = searchBugInMessage (emailResource.email['subject'])
> >>>      File
> >>> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/plugins/MailingLists/mlFeedery.py",
> >>> line 179, in searchBugInMessage
> >>>        print nlp.getItemTopics(message,True)
> >>>      File
> >>> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_Process.py",
> >>> line 116, in getItemTopics
> >>>        topics = self.getItemTopicsEntities(doc_item, is_mail, only_topics)
> >>>      File
> >>> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_Process.py",
> >>> line 103, in getItemTopicsEntities
> >>>        doc_item = self.tagItem(doc_item, is_mail)
> >>>      File
> >>> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_Process.py",
> >>> line 74, in tagItem
> >>>        doc_item = self.getItemContents(doc_item, is_mail)
> >>>      File
> >>> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_Process.py",
> >>> line 56, in getItemContents
> >>>        p = Popen([FLOSS_NLP_PATH_PRE + 'item_processor_1.pl', doc_item],
> >>> stdout=PIPE, stderr=STDOUT)
> >>>      File "/usr/lib/python2.5/subprocess.py", line 594, in __init__
> >>>        errread, errwrite)
> >>>      File "/usr/lib/python2.5/subprocess.py", line 1153, in _execute_child
> >>>
> >>>
> >>> ¿tiene algo que ver, el hecho de que este usando eclipse?
> >>>
> >>>
> >>> El 07/12/09 18:21, Jose Gato Luis escribió:
> >>>> Genial Javier, funciona ;)
> >>>>
> >>>> El 07/12/09 17:27, Javier Pueyo escribió:
> >>>>> Copiando ese fichero en nuestra instalación de NLTK 2.0b5 debería
> >>>>> solucionar el problema... I hope...
> >>>>
> >>>
> >>
> >> --
> >> José Gato Luis                   | Libre Software Engineering Lab (GSyC)
> >> Tel: (+34)-914 888 105           | Universidad Rey Juan Carlos
> >> jgato en libresoft.es               | Edif. Departamental II - Despacho 121
> >> http://libresoft.urjc.es/        | c/Tulipán s/n 28933 Móstoles (Madrid)
> >
> > _______________________________________________
> > Qualipso-a4 mailing list
> > Qualipso-a4 en gsyc.escet.urjc.es
> > http://gsyc.escet.urjc.es/cgi-bin/mailman/listinfo/qualipso-a4
> 