[Qualipso-a4] instalación y pruebas de las herramientas de NLP

[Javier Pueyo]

Jose,

No puedo reproducir el bug. Analizo mensajes sin entidades y me devuelve
correctamente []. De hecho algo he hecho mal en el SVN que tu arreglo en
la función str_to_list se ha perdido, lo siento (pero aún así los
mensajes sin entidades no me dan ningún error). ¿Puedes pasarme un
ejemplo en el que ocurra el error? Quizá sea algún otro bug el que están
relevando esos mensajes.


El lun, 14-12-2009 a las 12:36 +0100, Jose Gato Luis escribió:
> 
> El 09/12/09 12:37, Javier Pueyo escribió:
> >> Tenemos que ver, como capturar warnings y excepciones. Ahora mismo, he
> >> >  encontrado un problema, cuando no encuentra entidades, suelta la
> >> >  siguiente excepción:
> > Upsss! Pues tampoco me había pasado... siempre me ha encontrado alguna
> > entidad, aunque fuera una URL... de hecho si el identificador de tópicos
> > devuelve cosas como [noissue, nolicense, nocode...] era precisamente
> > para evitar que me devolviera en ocasines listas vacías cuando el topic
> > de un mensaje no puede ser identificado...
> >
> >> >  Habrá que detectar el momento, en el que no se detectan entidades, para
> >> >  que no ocurra. De todos modos, he hecho un "apaño", en la función
> >> >  str_to_list, compruebo si la cadena es vacía y devuelvo [], he subido el
> >> >  cambio al svn. Aunque esta soltando esta excepción, el programa no se
> >> >  detiene, y estoy haciendo las primeras pruebas serias, con buenos
> >> >  resultados.
> > ¿No resulta un poco lento al analizar tantos mensajes?
> >
> 
> de momento me vale para seguir con las pruebas ;)  Javier, ¿puedes 
> echarle un vistazo a ese bug, para que no nos salten las excepciones?
> 
> Traceback (most recent call last):
>    File 
> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_POST/floss_item_classifier.py", 
> line 219, in <module>
>      (topics, extracted_entities_clean) = classify_item(doc_item)
>    File 
> "/home/jgato/proyectos/Qualipso/A4/svn/qualipso/private/work/A4/3rdIteration/src/jpueyo/floss_nlp/NLP_POST/floss_item_classifier.py", 
> line 213, in classify_item
>      topic = classifier.classify(item_features(item_info,dictionary_info))
>    File "/usr/lib/python2.5/site-packages/nltk/classify/naivebayes.py", 
> line 89, in classify
>      return self.prob_classify(featureset).max()
>    File "/usr/lib/python2.5/site-packages/nltk/classify/naivebayes.py", 
> line 122, in prob_classify
>      return DictionaryProbDist(logprob, normalize=True, log=True)
>    File "/usr/lib/python2.5/site-packages/nltk/probability.py", line 
> 623, in __init__
>      value_sum = sum_logs(self._prob_dict.values())
>    File "/usr/lib/python2.5/site-packages/nltk/probability.py", line 
> 1776, in sum_logs
>      return reduce(add_logs, logs[1:], logs[0])
> AttributeError: 'module' object has no attribute 'reduce'
> 
> 
>