Semeval 2010 evaluation

Submitted by Josu on Tue, 10/04/2016 - 17:36
Forums

I'm trying to evaluate the coreference module with the Semeval 2010 coreference corpus and I'm getting wrong low results.

MUC results as example:


====== TOTALS =======
Identification of Mentions: Recall: (1451 / 14133) 10.26% Precision: (1451 / 2657) 54.61% F1: 17.28%
--------------------------------------------------------------------------
Coreference: Recall: (544 / 5344) 10.17% Precision: (544 / 1676) 32.45% F1: 15.49%
--------------------------------------------------------------------------

The input is the Semeval 2010 corpus with the CONLL format:


ID FORM LEMMA TAG

File Example:

1 El el DA0MS0
2 Gobierno Gobierno NP00000
3 argentino argentino AQ0MS00
4 anunció anunciar VMIS3S0
5 hoy hoy RG
6 que que CS
7 _ _ VMIS1S0
8 revisará revisar VMIF3S0
9 los el DA0MP0
10 permisos permiso NCMP000
11 de de SPS00
12 pesca pesca NCFS000
13 otorgados otorgados AQ0MP0P
14 " " Fe
15 de de SPS00
16 un uno DI0MS0
17 modo modo NCMS000
18 poco poco RG
19 claro claro AQ0MS00
20 " " Fe
21 durante durante SPS00
22 la el DA0FS0
23 presidencia presidencia NCFS000
24 de de SPS00
25 Carlos_Menem Carlos_Menem NP00000
26 , , Fc
27 quien quien PR0CS000
28 firmó firmar VMIS3S0
29 un uno DI0MS0
30 acuerdo acuerdo NCMS000
31 con con SPS00
32 la el DA0FS0
33 Unión_Europea Unión_Europea NP00000
34 por por SPS00
35 el el DA0MS0
36 que que PR0CN000
37 se se P00CN000
38 incorporaron incorporar VMIS3P0
39 a a SPS00
40 la el DA0FS0
41 flota flota NCFS000
42 argentina argentino AQ0FS00
43 barcos barco NCMP000
44 de de SPS00
45 empresas empresa NCFP000
46 mixtas mixto AQ0FP00
47 , , Fc
48 en en SPS00
49 su su DP3CS0
50 mayoría mayoría NCFS000
51 de de SPS00
52 capital capital NCMS000
53 español español AQ0MS00
54 . . Fp

I use the default config file : es.cfg with these changes:


InputLevel=tagged
OutputLevel=coref
InputFormat=conll
OutputFormat=conll
ConllInputConfig=/usr/local/share/freeling/config/conll_semeval_input.cfg
ConllOutputConfig=/usr/local/share/freeling/config/conll_semeval_output.cfg

Can you give me some hints about what could be the possible problem?

Coreference module is based on FreeLing parser, which detects different mentions than those marked in semeval corpus.
Thus, scores when compared to that corpus are low.