Proyecto Final de Carrera Directores: Xavier Amatriain / Pedro Cano Fecha: Septiembre de 2004 Ingeniería en Informática Universitat Pompeu Fabra

Agradecimientos

&

!"# ' ( )

$

) " & ,

'

%

%

*

*

+

.

Resumen /

0

1 #

)# 1 1 * )

(

#

) /

.

0

# .

#

1

#

)

2

0 0

. 1

!

"

1 345567 #

!"8+

Índice 99: ) 94% 9< ! 9

2.3 Requerimientos del dominio /

# !"8+

R

• !"8+ •

.

!"8+ # 3 1

•

1 !"8+

7

9?

3. Herramientas y conceptos !

#

. # '

# R •

)

• "

.

0

+

#

. )

C

0

& 0

(

.

#

0

#

3.1 Lenguajes de programación /

)

T

0

.

( #

) #

/

0

)

0

)

)

&

1

1

.

1 )

#

' 0

0 /

) / #'

#=

0 '

1

)

' )

6 3' D

' /

.

)

' # 0

= / 9;B@ 3'

7 0 9 57

) # '

)

0

)

0

% G( 1

)

.

0

.

0 %

0

*

#

. #

# )

1

#

# 0

1

# 1 (# H,#

9@

'

)

0

0

#

& ' 3J .# :

& #D

' # &

# L7

H #I

)

#

0

) *

#

0

' R

)

#

#

'

'

0 ('%E

)# 1 '

#

('%E 3(

'

0 0 # )

% E H ,7# ('%E

' )

#

0

0

/ 70

869

8& *

6

:

%

1 )

0

+

)

0

0 / T

)

0 9;;< 3/

C

= G 0 9 57 ) 3

# )

#D )

(

/

#

7

/

1 )

%

'

#

%E G ( &

/

* 3

) 1

( H

7

#

.

(

. # '

1

69 '

) =

A

0

)

#

9;;5 #'

#!

,#

'

( #

#

1 )

G

. # . 3 #

#

#

. # * 7 '

#

3 #

# #

) %

0 )

9;;> #

) '

& S , ) # '

) 7 #

& * =

" A #

)

H

9B

)

. 0

=

)

' # )

1

,

* 3

7

7

&

*

#

=

) % .8 /

=

. 3

.

/

/

#

.

6 ' J '

# 0

0

0 9;@9 3

1

0 9;;>7# 0 0 #

G :

'

'

) )

) '

'

0 3

H

C (

%

*

7

)

#

)

)

0 0

*

1

)#

)

'

# 0 )

'

*

1

#

)

0

;

%

# 1

+

<

6

.

&

'

)

0 '

'

)

0 #

G

*

)

0 ) : )

) ) 0 1 )

1 3 ' RR# .

# RR# ! .RR#

# 7

# . ' # . )

0

'

) ) #

7

0

3/

RR#

# /

+

0 &

H )

7 & '

) 0

/ 3

#

)

0 0

+ G3

7

+ G #

0 "

0

.

("G

9;

0 0

#

("G#

3 !"8+ 7 1 !"8+ #

)

H

0 0

'

3.2 Bases de datos J

)

0

0 !

!

0

&

# 0

J

R •

U

0

•

*

•

#

0 L

#

%

.

0

0

/# 0 )

:

'

#

/

2 =>0 / "EJ 1

# C

) / % #

#

/

"'/

/% 1 )

0 0

0

/

#

.

#

!"8+ #

. 1

1 #

!"8+ J

/

3

7 !"8+ 0

0 0

#

%

/

1 #

0

+

*

/ /

"5)5 + + 1 # )

.

)#

.

) '

)

.

0 1

#

#

0

0

" )# !"8+ 0 J )

'

*

+ +

%-

5)

C

G * *

0

0

3

7

G+

0 G+#

C

# . <

(+

(+

J 0

1 )

1

#

#

(+ *

# (+ .#

# L 3 R2 2HHH

* XH

2

X

7

C 1

H

3

R22HHH

7

. " &

#

# (+

0 %

1

' #

0

* #

0

44

=

1

# &.

.

#

) 1

#

0

0

C

!"8+

. ,

*

#

0

3

6

1 #1

#

#

*

>7 / 1

0 !"8+ #

#

1

3.3 Procesamiento del lenguaje natural &

)

)

&

. 3

7 0

( 1

. 0

0

0 #

0 0

&

R . # 0 )

#

0 0

1 &

1 %

&

.

# &

.

.

*

= !

.

? .

1

0 0

# 3

1 1 .

#

#

)

#

*

#

#

)

#

7

0 .

#

. #

&

'

)

R • •

' 3

0 )

#

' 3

#

7#

)

#

.

1 .

#

#

7#

0 ) )

M .

N

M

0 . /

&

1 0

M # #

N# M

N J .

N#

4<

. &

#

1

)

) ( #

0 0 )

) * '

.

& M

N 3

M

N7

i'm

your's

wouldn't

web

didn't

example

don't

they're

examples

i've

night

i'd

we've

nights

haven't

they've

anyone

etc

she's

isn't

won't

he's

i'll

myself

it's

actual

we've

great

actually

they've

old

presents

aren't

can't

presenting

we'd

tell

presenter

it'd

tells

present

ain't

busy

presented

i'll

doesn't

presentation

who've

you're

we're

-

6

#

@

= +

0 1

/

)

1 #

*

'

)

R

1

#

#

1 )

/

# 1

&

.

3

7

+ )

.

1 .

Y Y

Y

Z#

0 #

Z# Z# Y

* &

' 1 Z# Y

) Z#

46

. # )

1

LISTA DE PALABRAS SIN STEMMING

LISTA DE PALABRAS UTILIZANDO STEMMING

------------------------------

-------------------------------------

cat

cat

cats

dog

dogs

fine

fine

good

good

got

got

hat

hat

make

making

pet

pet pets

-

" .

*

=

<

)

/

0

#

# (

)

)

1 #

'

& % 7

.

1

)

39< 555 0

+ .

%

1

R •

'

•

'

•

/

•

+H

%

•

-

%

2T ,

% % %

0 R22HHH ' # 1

'

#

3

7

' #

J

# 9;B5 '

(

) ) &

)

)

)# 0

0

1 )

) 1

) '

# / &

# #

4>

)

)

) %

O

-

'

6

1 >P (

O I •

% 6

>PR

0

) R

9R 3 )

R

0 %

W[ )

F

F

7 % )

)

R REGLA

EJEMPLO

--------------------------------------------------

-

!

SSES -> SS

caresses

->

caress

IES

-> I

ponies

->

poni

SS

-> SS

caress

->

caress

S

->

cats

->

cat

<

6

7

:

4?

•

4 F 6R

) &

M

0

N

1

)

-

M

I

N 3 W5

7R

m=0

TR,

EE,

TREE,

Y,

m=1

TROUBLE,

OATS,

TREES,

m=2

TROUBLES,

$ .

A

PRIVATE,

B

BY. IVY.

OATEN,

<

6

) =

)

ORRERY.

0

7

:

M

N

0 R ETAPA

REGLA

EJEMPLO

--------------------------------------------------------------2

3

4

-

(m>0) ATIONAL ->

ATE

relational

(m>0) TIONAL

->

TION

conditional ->

condition

(m>0) ENCI

->

ENCE

valenci

->

valence

(m>0) ICATE

->

IC

triplicate

->

triplic

relate

(m>0) ATIVE

->

formative

->

form

(m>0) ALIZE

->

AL

formalize

->

formal

(m>0) ICITI

->

IC

electriciti ->

electric

(m>1) AL

->

revival

->

reviv

(m>1) ANCE

->

allowance

->

allow

(m>1) ENCE

->

inference

->

infer

(

<

•

->

4"

>R

6

0 0

) '

7

:

0

)

W[

CD .

) 0 #

J

8 0 0

1 0

8

1 .

( . 3 1

#

7

1

#

*

& %

0 %

8

.

3

3

# 7#

*

# 1

7#

#

M N

* 7#

3

#

4@

0

8

0

#

-

' )

1

+

1

.

/ '

.

8

E ,

#

.' 2

0

. A

, \

) 0

'

COMER + ...

PROBABILIDAD

COMIDA + ...

PROBABILIDAD

--------------------------------------------------------------------------

-

Comer en

0.16

|

Comida Hindú

0.04

Comer algo

0.06

|

Comida Tailandesa

0.03

Comer un

0.04

|

Comida China

0.02

Comer postre

0.07

|

Comida Mexicana

0.02

Comer hoy

0.03

|

Comida Inglesa

0.001

Comer mañana

0.01

F G

**

* &

) H

6

4B

J

O )# # 1

99P 0 #

0 1

) NOTA: = inicio de oración

BIGRAMA

PROBABILIDAD

BIGRAMA

PROBABILIDAD

------------------------------------------------------------------------Yo

0.25

|

Quiero algo

0.04

Opino

0.06

|

Quiero comer

0.01

Por

0.04

|

Comer a

0.26

Siento

0.02

|

Un restaurante

0.14

Yo quiero

0.32

|

En un

0.09

Yo podría

0.29

|

Alguna bebida

0.02

Por que

0.04

|

Buen comer

0.06

Que no

0.008

|

Rest. inglés

0.15

Quiero tomar

0.05

|

Cocina inglesa

0.01

No comer

0.15

|

Bebida nacional

0.01

-

6

J

1

&

) H

) R

•

S

•

'

&

'

R

-

'

0

-

#

# 8

#

4;

-

J

-

4

0

1 0 C

P(Yo quiero tomar alguna bebida nacional) = P(Yo|) P(quiero|Yo) P(tomar|quiero) P(alguna|tomar) P(bebida|alguna) P(nacional|bebida) = 0.25 * 0.32 * 0.05 * 0.14 * 0.02 * 0.01 = 0,000000112

P(Por que no comer en un restaurante inglés) = P(Por|) P(que|Por) P(no|que) P(comer|no) P(en|comer) P(un|en) P(restaurante|en) P(inglés|restaurante) = 0.04 * 0.04 * 0.008 * 0.15 * 0.16 * 0.09 * 0.14 * 0.15 = 0,000000000580608

-

" .

**

+

! 1

#

1

1

3.4 Inteligencia artificial %

1 #

.

1 &

& # 0

3G%7 (

0

0

# 1

G%#

P

0

(

.

#

) G ) )

) . .

1

( 1

%

#

)

0 '

1 1

)

3E

-

R

1

1 1

!

MVN7

H4