I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   2 ,   A p r il 2 0 2 6 ,   p p .   1 9 1 9 ~ 1 9 3 0   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 2 . p p 1 9 1 9 - 1 9 3 0          1919     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Summ a riz a tion   of   Indo Sum   da tas et  using   e n ha nced  Text Ra nk   with  weig hted  wo rd embed ding       E v i Y uli a nti P ia wa i Sa id U m ba ra   D e p a r t me n t   o f   C o mp u t e r   S c i e n c e ,   F a c u l t y   o f   C o m p u t e r   S c i e n c e ,   U n i v e r si t a s I n d o n e si a ,   D e p o k ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   1 5 ,   2 0 2 4   R ev is ed   Feb   7 ,   2 0 2 6   Acc ep ted   Ma r   5 ,   2 0 2 6       Th is  stu d y   e v a lu a tes   th e   e ffe c ti v e n e ss   o c o m b in in g   th e   Tex tRan k   m e th o d   with   wo r d   e m b e d d i n g   o n   t h e   I n d o n e sia n   tex s u m m a riza ti o n   ( In d o S u m )   d a tas e t.   Two   e x p e rime n tal  sc e n a rio we re   a p p li e d u n we i g h ted   a n d   we ig h ted .   Th e   u n we i g h te d   sc e n a rio   i n c o rp o ra tes   wo r d   e m b e d d in g ,   su c h   a s   Wo rd 2 Ve c F a stTex t ,   a n d   I n d o n e sia n   b id irec ti o n a e n c o d e re p re se n tatio n s   fro m   tran sfo rm e rs   (In d o BER T ) ,   in t o   t h e   Tex tRa n k   fra m e wo rk .   Th e   we ig h ted   sc e n a rio   fu rt h e a u g m e n ts  th e   term   fre q u e n c y - i n v e rse   d o c u m e n t   fre q u e n c y   ( TF - IDF)   we ig h ti n g   t o   th e   wo rd   e m b e d d in g   in   t h e   in it ial   sc e n a rio Ou re su lt o n   t h e   e ffe c ti v e n e ss   o e n h a n c e d   Tex tRan k   u s in g   wo r d   e m b e d d in g   o n   I n d o S u m   d a ta  a re   c o n siste n wi th   t h o se   re p o rted   i n   p re v io u wo rk   o n   Li p u ta n 6   d a ta.   Bo t h   sc e n a rio c a n   sig n ifi c a n tl y   i m p ro v e   th e   e ffe c ti v e n e ss   o f   Tex tRan k   s u m m a riza ti o n .   T he n ,   th e   we ig h ted   sc e n a rio   sh o we d   p e rf o rm a n c e   imp ro v e m e n in   m o st  su m m a riza ti o n   sy ste m s   c o m p a re d   to   th e   u n we ig h ted   sc e n a rio ,   with   a n   a v e ra g e   p e rf o rm a n c e   in c re a se   o 5 . 5 5 %   in   re c a ll - o r ien ted   u n d e rstu d y   f o g ist in g   e v a lu a ti o n   ( ROU G E ) - a n d   9 . 9 5 %   in   ROU G E - 2.   Th i re su lt   c o n f irms   th e   r o b u stn e ss   o th e   e n h a n c e d   Tex tRan k   wit h   we i g h t e d   wo r d   e m b e d d in g   o n   t h e   In d o S u m   d a ta.   Las tl y ,   o u stu d y   a lso   h ig h li g h ts   th e   imp o rtan c e   o u si n g   d o m a i n - sp e c ifi c   train in g   d a ta t o   o p t imiz e   su m m a riza ti o n   p e rf o rm a n c e .   K ey w o r d s :   Fas tTe x t   I n d o B E R T   I n d o Su m   Su m m ar izatio n   T ex tR an k   W eig h ted   wo r d   em b ed d in g   W o r d 2 Vec   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   E v i Y u lian ti   Dep ar tm en t o f   C o m p u ter   Scie n ce ,   Facu lty   o f   C o m p u ter   Scie n ce ,   Un iv er s itas   I n d o n esia   Dep o k W est J av a,   I n d o n esia   E m ail:  ev i.y @ cs.u i.a c. id       1.   I NT RO D UCT I O N   T h i n ter n et   h as  b ec o m a n   i n teg r al  p a r to   I n d o n esian   p eo p le  in   th e   p ast  d ec a d e.   Acc o r d in g   to   th Data R ep o r tal  s tati s tic s   in   2 0 2 3 ,   th n u m b e r   o f   in ter n et  u s e r s   in   I n d o n esia  r ea ch ed   2 1 2 . 9   m illi o n   in   2 0 2 3 ,   ac co u n tin g   f o r   ap p r o x im ately   7 7 . 0 2 % o f   th e   to tal  p o p u latio n   [ 1 ] .   T h in ter n et  h as  also   s h if ted   th way   p eo p le   s ee k   in f o r m atio n ,   f r o m   r ea d in g   p r in te d   m ed ia  to   r ea d i n g   o n lin m ed ia.   On   a v er ag e ,   p e r s o n   s p en d s   ar o u n d   eig h t to   n in e   h o u r s   o n lin d aily ,   p r im a r ily   ac ce s s in g   s o cial  m ed ia ,   an d   r ea d in g   n ews  [ 1 ]   Su r v ey s   o v er   th p ast  th r ee   y ea r s   h av co n s is ten tly   s h o wn   th at  o n lin m ed ia  r em ai n s   th m o s p r ef er r e d   s o u r ce   o f   i n f o r m a tio n   [ 2 ] .   C u r r e n tly ,   th o u s an d s   o f   ac tiv n ews  p latf o r m s   p r o v id v ar io u s   in f o r m atio n ,   r an g in g   f r o m   p o liti cs,  ec o n o m ics,  en ter tain m en t ,   an d   tech n o l o g y .   Ho we v er ,   th is   in cr ea s in g   am o u n t o f   in f o r m atio n   also   cr ea tes th ch allen g o f   in f o r m a tio n   o v er lo a d ,   wh er s o m e o n e   o f ten   h as d if f icu lty   f in d in g   r elev an t   in f o r m atio n   am id s th lar g e   am o u n o f   t ex d ata  av ailab le.   Me th o d s   th at  ca n   p r esen th e   p r im ar y   in f o r m atio n   f r o m   t ex b y   id en tif y in g   an d   ex tr ac t in g   ess en tial  p h r ases   o r   s en ten ce s   ar n ee d ed   to   ad d r ess   th is   is s u e.   On co m m o n ly   u s ed   m eth o d   is   tex t su m m ar izatio n .   T ex s u m m ar izatio n   is   a   task   o f   ex t r ac tin g   m ea n in g f u l   in f o r m atio n   f r o m   o n e   o r   m u ltip le  d o cu m en ts ,   en s u r in g   t h at  th e   in f o r m atio n   p r esen ted   r e m ain s   co m p lete  [ 3 ] .   B ased   o n   th e   o u tp u f o r m ,   tex s u m m ar izatio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 1 9 1 9 - 1 9 3 0   1920   ca n   b d iv id e d   in to   a b s tr ac tiv an d   ex tr ac tiv [ 4 ] .   Ab s tr ac tiv s u m m ar izatio n   g e n er at es  p ar ap h r ases   o f   s en ten ce s   in   th in p u te x t,  w h ile  ex tr ac tiv s u m m ar izatio n   s elec ts   m ea n in g f u l   s en ten ce s   d ir ec tly   f r o m   th e   in p u tex with o u p ar a p h r asin g .   E x tr ac tiv s u m m ar izatio n   is   o f ten   p r ef er r ed   b ec au s it  is   ea s ier   to   im p lem en an d   d o es n o t f ac t h co m p lex   ch allen g es o f   s em an tic  r ep r es en tatio n   an d   n atu r al  la n g u a g g en er atio n   [ 5 ] .   On o f   th m o s p o p u l ar   a lg o r ith m s   in   ex t r ac t iv s u m m a r iz at io n   is   T ex t R an k   [ 6 ] ,   wh ich   ad ap t s   Pag e R an k   a lg o r ith m   [ 7 ]   to   r a n k   s en t en c e s   wi th i n   a   d o cu m en t.   I t   h a s   b ee n   wid ely   u s ed   i n   p r ev io u s   r e s ea r ch   o n   v ar io u s   ta s k s   d u to   i t s   p r o v en   ef f ec tiv en e s s ,   s u ch   as  o n   n ew s   ar t icl s u m m ar i za tio n   [ 8 ] [ 1 4 ] ,   b io m ed ic al   tex s u m m a r i za tio n   [ 1 5 ] ,   l eg al  d o cu m en s u m m ar iz at i o n   [ 1 6 ] ,   web   d o cu m en s u m m ar iz at io n   [ 1 7 ] to p i c/k ey w o r d   e x tr ac tio n   [ 1 8 ] ,   s o f t wa r d o cu m en t at io n   ( r ele a s n o te   p r o d u ct io n )   [ 1 9 ] ,   an d   in f o r m a tio n   cr ed ib i li ty   a s s e s s m en t   [ 2 0 ] .   Ho w ev er ,   T ex t R an k   h a s   lim it at io n s   in   c ap tu r in g   t h e   s e m an t ic   r el at io n s h ip s   b et wee n   s en ten ce s   b e ca u s i t   p r im ar i ly   r el ie s   o n   wo r d   o r   p h r a s o v er l ap s   wi th o u co n s id er in g   th d ee p er   co n t ex t.   T o   o v er co m th e s e   l i m it at io n s ,   s ev e r a s tu d ie s   h av p r o p o s ed   in co r p o r a tin g   w o r d   em b ed d in g s   in to   T ex t R an k   [ 1 1 ] ,   [ 1 2 ] ,   [ 1 4 ] ,   [ 1 8 ] .   I n   g e n er al,   t h is   s tu d y   aim s   t o   ex am in th e   ef f ec tiv e n ess   o f   T ex tR an k   m eth o d   th at   is   co m b in ed   with   weig h ted   wo r d   em b ed d in g ,   p r o p o s ed   in   [ 1 4 ] ,   to   s u m m ar iz th I n d o n esian   tex s u m m a r izatio n   ( I n d o Su m )   d ataset  [ 2 1 ] .   W o r d   em b e d d in g   [ 2 2 ] ,   [ 2 3 ]   is   u s ed   to   b etter   esti m ate  th s en ten ce   s im ilar ity   with in   T ex tR an k .   T h en ,   wo r d   weig h tin g ,   s u ch   a s   ter m   f r eq u en c y - in v e r s d o c u m en f r e q u en c y   ( T F - I DF) ,   is   u s ed   to   weig h   th e   wo r d   em b e d d in g ,   em p h asizin g   th im p o r tan c o f   wo r d   with in   d o cu m en r elativ t o   th en tire   co r p u s ,   f o cu s in g   o n   m o r r elev a n wo r d s ,   an d   r ed u ci n g   th in f lu e n c o f   o r d in a r y   wo r d s   with   litt le  in f o r m ativ v alu e   [ 1 3 ] ,   [ 1 7 ] .   T h u s o f   I n d o Su m   d ata  in   th is   s tu d y   aim s   to   ev alu ate  th r o b u s tn ess   o f   th m eth o d   wh en   it  is   ap p lied   to   o th er   d atasets   wit h   d if f er e n ch ar ac ter is tics .   Her e,   th I n d o Su m   d ataset  h as  lar g er   n u m b er   o f   d o cu m e n ts   an d   lo n g er   av er a g d o c u m en t   len g th   th an   L ip u tan 6   d ataset  th at  was  u s ed   i n   th o r ig in al   p ap e r   ( th s tatis tical  co m p ar is o n   o f   t h ese  two   d atasets   ca n   b s ee n   in   s ec tio n   3 ) .   W ith   th ese  two   ch ar ac ter is tics ,   th u s o f   I n d o Su m   in   th is   s tu d y   is   ex p ec ted   to   p r o v id m o r co m p r eh e n s iv u n d er s tan d in g   of   th e f f ec tiv en ess   o f   th e   en h an ce d   T ex tR an k   m eth o d   o n   I n d o n esian   tex ts .   I n   ad d itio n ,   we   also   ex p lo r e   th ef f ec t   o f   u tili zin g   d if f er en s o u r ce s   o f   d ata  t o   tr ain   th wo r d   em b ed d i n g   m o d els  th at  en h an ce   T e x tR an k .   W h ile  in   [ 1 4 ]   th W o r d 2 Vec   an d   Fas tTe x t   m o d els  wer o n ly   tr ain ed   u s in g   W ik ip ed ia   d ata ;   in   th is   w o r k ,   we  also   u s ed   I n d o Su m   [ 2 1 ]   a n d   T em p o   [ 2 4 ]   d ata  t o   tr ain   t h o s m o d els.  T h is   ex p lo r atio n   in v esti g ates  to   wh at  ex te n th e   s u m m ar izatio n   s y s tem   p er f o r m an ce   d i f f er s   wh e n   th e   wo r d   em b ed d in g s   a r lear n ed   f r o m   th e   s am d o m ain   co r p u s ,   i.e . ,   th n ews  co r p u s .   T o   s u m   u p ,   th m ain   co n t r ib u tio n s   o f   th is   p a p er   ar e   tw o f o ld .   Firstl y ,   we  ex am in th p er f o r m an ce   o f   T ex tR an k   m eth o d   co m b in ed   wi th   wo r d   em b ed d in g   to   s u m m a r ize  I n d o Su m   d ata   in   an   u n weig h te d   an d   weig h te d   s ce n ar io .   T h is   s tu d y   aim s   to   co n f ir m   th r o b u s tn ess   o f   th e   m eth o d   wh en   it  is   ap p lied   to   o th er   d atasets   with   d if f er en ch ar ac ter is tics .   Seco n d ly ,   we  in v esti g ate  th ef f e ct  o f   u s in g   d if f er e n d ata  s o u r ce s   to   tr ain   th wo r d   em b ed d in g   m o d els  o n   th e   s u m m ar izatio n   s y s tem   p er f o r m an ce .   T h is   s tu d y   an aly ze s   th ef f ec o f   lear n in g   wo r d   em b e d d in g s   u s in g   th s am d o m ai n   co r p u s   ( as  t h d o cu m en ts   to   b e   s u m m ar ized )   o n   th s u m m ar iz atio n   s y s tem   p er f o r m an ce .   T h is   s tu d y   p r o v id es  v alu a b le  i n s ig h ts   in to   f u tu r e   s u m m ar iza tio n   r esear ch .   I t   em p h asizes   th ef f icac y   o f   T ex tR an k   m eth o d   th at  is   co m b in ed   with   weig h ted   wo r d   em b ed d in g   o n   th I n d o Su m   d ataset,   an d   th ef f ec t   o f   u s in g   th e   s am d o m ain   co r p u s   to   tr ain   w o r d   em b e d d in g   m o d els  o n   th e   s u m m ar izatio n   p er f o r m a n ce .   T h is   r esear ch   also   a d v an ce s   t h d ev elo p m en t   o f   m o r e f f ec tiv I n d o n esian   n atu r al   lan g u ag p r o ce s s in g   ( NL P)   ap p licatio n s ,   m o r s p ec if ically ,   a   s u m m ar izatio n   s y s tem ,   with   im p licatio n s   f o r   im p r o v i n g   u s er   ef f ec tiv en ess   an d   ef f icien c y   in   ac ce s s in g   im p o r tan t in f o r m atio n   f r o m   d o cu m en ts .     T h r est  o f   th p ap er   is   th e n   o r g a n ized   as  f o llo ws.  Sectio n   2   p r esen ts   th r ev iews  o f   r elate d   liter atu r e .   Sectio n   3   d escr ib es  th m eth o d s   u s ed   in   o u r   s tu d y .   Sectio n   4   d escr ib es  o u r   r esu lts   an d   an aly s is .   Sectio n s   5   an d   6 ,   r esp ec tiv ely   ex p lain   th d is cu s s io n   an d   co n clu s io n   o f   o u r   wo r k .       2.   L I T E R AT U RE   R E VI E W     T h er ar s o m p r e v io u s   s tu d i es  th at  ar clo s ely   r elate d   to   th is   r esear ch   [ 1 1 ] [ 1 4 ] [ 1 7 ] ,   [ 1 8 ] .   T h ese   s tu d ies  en h an ce d   T ex tR an k   m eth o d   u s in g   wo r d   em b e d d in g   an d /o r   T F - I DF  weig h tin g   m eth o d s .   T h e   p o s itio n   o f   o u r   wo r k   to war d s   th ese  p r e v io u s   s tu d ies  is   s u m m ar ized   in   T ab le  1 .     B a r m a n   et   a l .   [ 1 1 ]   e m p l o y e d   th e   g l o b a l   v e c t o r s   ( G l o V e )   e m b e d d i n g   m o d e l ,   t r a i n e d   o n   2014  W i k i p e d ia   co r p u s ,   to   s u m m ar ize  E n g lis h   n ews  ar ticles  f r o m   th e   B B C   n ews  s u m m ar y .   T h ey   u s ed   th Glo Ve  em b ed d in g   to   p r o d u ce   th s en ten ce   v ec to r s   to   b in p u t   in to   T ex tR an k   s u m m ar izer .   I n   co n tr ast  to   B ar m an   et  a l.   [ 1 1 ] ,   we   u s W o r d 2 Vec Fas tTe x t ,   a n d   I n d o B E R T   em b e d d in g s   to   b c o m b in e d   with   T e x t R an k   m eth o d   f o r   s u m m ar izin g   I n d o n esian   te x t.  R an an d   L o b iy al   [ 1 2 ]   u s ed   W o r d 2 Vec   em b e d d in g   tr ain e d   o n   th e   Go o g le  New s   co r p u s   i n   th eir   p r o p o s ed   s em a n tic  s u m m ar izer   u s in g   lin g u is tic  an d   s tatis tical  f ea tu r es.  T h i s   wo r k   is   d if f e r en t   f r o m   th eir s   in   th at   we  u s W o r d 2 Vec   in   co m b in atio n   with   T e x tR an k   s u m m ar izatio n   alg o r it h m .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S u mma r iz a tio n   o f I n d o S u d a ta s et  u s in g   en h a n ce d   TextR a n w ith   w eig h ted   w o r d   emb ed d i n g   ( E vi  Yu lia n ti)   1921   T ab le  1 .   R esear ch   p o s itio n   o f   t h is   wo r k   W o r k   Ta sk   M e t h o d   W o r d   e mb e d d i n g   W e i g h t i n g   st a t u o f   w o r d   e mb e d d i n g   U si n g   TF - I D F ?   D a t a   C o r p u s   t o   t r a i n   w o r d   e m b e d d i n g   mo d e l s   La n g   B a r ma n   e t   a l .   [ 1 1 ]   S u mm a r i z a t i o n   Te x t R a n k   G l o V e   U n w e i g h t e d   No   B B C   N e w s   W i k i p e d i a   a n d   G i g a w o r d   5   EN   R a n i   a n d   Lo b i y a l   [ 1 2 ]   S u mm a r i z a t i o n   S e ma n t i c   su mm a r i z e r   u s i n g   l i n g u i s t i c   a n d   st a t i st i c a l   f e a t u r e s   W o r d 2 V e c   W e i g h t e d   Y e s   D U C   2 0 0 7   G o o g l e   N e w s   ID   Zu o   e t   a l .   [ 1 8 ]   To p i c   e x t r a c t i o n   Te x t R a n k   W o r d 2 V e c   U n w e i g h t e d   No   Li t e r a t u r e   a b s t r a c t s   W i k i p e d i a   EN   G u a n     e t   a l .   [ 1 7 ]   S u mm a r i z a t i o n   Te x t R a n k     k e y w o r d   e x t r a c t i o n .   TF - I D F     sen t e n c e   o r d e r i n g   -   -   Y e s   W e b   d o c u me n t s   -   EN   A w a r e     e t   a l .   [ 1 3 ]   S u mm a r i z a t i o n   Te x t R a n k   -   -   Y e s   B B C   N e w s   -   EN   Y u l i a n t i   e t   a l .   [ 1 4 ]   S u mm a r i z a t i o n   Te x t R a n k   W o r d 2 V e c F a st T e x t I n d o B ER T   U n w e i g h t e d   a n d   W e i g h t e d   Y e s   Li p u t a n 6   W i k i p e d i a   ID   Th i s   w o r k   S u mm a r i z a t i o n   Te x t R a n k   W o r d 2 V e c F a st T e x t I n d o B ER T   U n w e i g h t e d   a n d   W e i g h t e d   Y e s   I n d o S u m   W i k i p e d i a   Te mp o   I n d o S u m   ID         Z u o   et  a l.   [ 1 8 ]   u s ed   W o r d 2 Vec   to   en h an ce   th T ex tR an k   m eth o d   to   in co r p o r ate  th e   s em an tic  r elatio n s h ip   b etwe en   k ey wo r d s .   T h m ai n   d if f er en ce   b et wee n   o u r   wo r k   an d   Z u o   et  a l s   wo r k   is   in   th d o wn s tr ea m   task .   I n   t h eir   wo r k ,   T e x tR an k   was  ad o p ted   f o r   th to p ic  ex tr ac tio n   task ,   b u in   o u r   wo r k ,   it  is   ap p lied   f o r   tex s u m m ar izatio n .   I n   a d d itio n ,   T F - I DF  weig h tin g   is   also   e m p lo y e d   in   o u r   wo r k   to   weig h   th wo r d   em b ed d i n g s .   Gu a n   et   a l.   [ 1 7 ]   also   u tili ze d   T e x tR an k   m eth o d   f o r   k e y wo r d   ex tr ac tio n ,   alth o u g h   th e   m ai n   task   o f   th eir   s tu d y   is   o n   tex s u m m ar izatio n .   T h ey   u s ed   th T ex tR an k   m eth o d   to   e x tr ac im p o r tan k e y wo r d s   f r o m   d o cu m e n ts ,   an d   ea ch   s e n ten ce   in   d o cu m en was  s co r ed   u s in g   th to tal  T F - I DF  s c o r es  o f   k ey w o r d s   in   th s en ten ce .   T h t o p - s co r in g   s en ten ce s   ar e   th en   tak en   a s   s u m m ar y .   W h ile  Gu an   e a l.   [ 1 7 ]   u s ed   th e     TF - I DF m eth o d   to   weig h   th k ey wo r d s   we  u s it to   weig h   t h wo r d   e m b ed d in g   f o r   tex t su m m ar izatio n .     Z awa r et  a l.   [ 1 3 ]   ap p lied   T F - I DF  to   s u m m a r ize  n ews  f r o m   th B B C   n ews  s u m m ar y .   I n   th eir   wo r k ,   th T F - I DF  is   u s ed   to   co m p u te  ea ch   elem en o f   th s en ten ce   v ec to r s   ( b ag - of - w o r d s   v ec t o r s   u s in g   T F - I DF) ,   wh ile  in   th is   r esear ch ,   it  is   u s ed   to   weig h   th wo r d   em b ed d in g s ,   an d   th av er ag weig h te d   wo r d   em b ed d in g s   will  f o r m   th e   s en ten ce   v ec t o r s .   R ec en tly ,   Yu lian ti   et  a l.   [ 1 4 ]   in c o r p o r ated   W o r d 2 Vec Fas tTe x t ,   an d   I n d o B E R T   em b ed d in g   in t o   T ex tR an k   m eth o d ,   to   s u m m a r ize  I n d o n esian   tex t.  W h ile  th ey   u s ed   L ip u tan 6   d ataset  [ 8 ]   in   th is   wo r k ,   th eir   m eth o d   a r ev al u ated   u s in g   I n d o Su m   d ataset  [ 2 1 ]   th at  h as  s ig n if ican tly   h ig h er   n u m b er   o f   d o c u m en ts ,   an d   ea ch   co n ta n in g   l o n g er   tex ( s ee   T ab le  2   f o r   t h co m p ar is o n   o f   th ese  two   d atasets ) .   W f u r th er   an aly s th e   ef f ec o f   tr ain in g   wo r d   em b ed d in g   m o d els u s in g   d if f e r en t d ata  s o u r ce s .         3.   M E T H O D   3 . 1 .   Da t a s et   I n d o Su m   d ata  [ 2 1 ]   is   u s ed   in   th is   s tu d y   to   ev alu ate  th p er f o r m an ce   o f   th en h an ce d   T ex tR an k   m eth o d   with   wo r d   em b ed d i n g .   T h is   is   d if f er en f r o m   [ 1 4 ]   wh o   u tili ze d   th L i p u tan 6   d at aset  u s in g   th s am m eth o d   as  th is   wo r k .   T h u n d er ly in g   m o tiv atio n   f o r   u s in g   I n d o Su m   d ataset  in   th is   s tu d y   is   b ec au s it  is   an o th er   b en ch m a r k   f o r   I n d o n esian   tex t   s u m m ar izatio n ,   b esid es  L ip u tan 6   d ataset  th at  h as  d if f er en t   ch ar ac ter is tics   f r o m   L ip u tan 6 ,   s u ch   as  a   lar g e r   n u m b e r   o f   d o cu m en ts   an d   a   lo n g er   av er ag d o c u m en le n g th   th an   L ip u tan 6 .   T a b le  2   co m p a r es th s tatis tic s   b etwe en   th I n d o Su m   a n d   L ip u tan 6   d atasets   in   m o r d etail.         T ab le  2 .   Statis tical  co m p ar is o n   b etwe en   L ip u tan 6   a n d   I n d o S u m   d atasets   D a t a s e t   N u mb e r   o f   d o c u me n t s   A v e r a g e   n u m b e r   o f   se n t e n c e p e r   d o c u me n t   A v e r a g e   n u m b e r   o f   w o r d p e r   d o c u me n t   A v e r a g e   n u m b e r   o f   w o r d p e r   s e n t e n c e   Li p u t a n 6   10 , 9 7 2   1 1 . 7 1   2 1 8 . 5 5   1 8 . 6 7   I n d o S u m   9 3 , 9 8 7   1 8 . 3 6   3 4 6 . 8 4   1 8 . 8 9       I n d o Su m   c o n s is ts   o f   9 3 , 8 7 0   n ews  ar ticles  f r o m   f o r m er   o n lin n ews  ag g r eg ato r   s ite  ca lled   Sh o r tir. co m .   T h is   d ataset  is   p u b licly   av ailab le  u n d er   Ap ac h licen s e,   Ver s io n   2 . 0   at  h ttp s ://g ith u b . co m /k ata - ai/ I n d o Su m .   E ac h   ar ticle  in clu d es  attr ib u tes  s u ch   as  titl e,   ca teg o r y ,   ar ticle  co n ten t,  n ews  s o u r ce ,   s o u r ce   UR L ,   ex tr ac tiv s u m m ar y   f la g   ( b o o l ea n ) ,   an d   a b s tr ac tiv s u m m ar y .   W u s ed   th ex tr ac tiv s u m m ar y   g r o u n d   tr u th   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 1 9 1 9 - 1 9 3 0   1922   as  r ef e r en ce   s u m m ar y   in   o u r   ev alu atio n .   I n d o Su m   is   o r g a n ized   in to   f iv e   cr o s s - v alid atio n   f o ld s ,   ea ch   d i v id ed   in to   th r ee   s u b s ets:   tr ain ,   d ev ,   an d   test   s ets.  E ac h   f o ld   co n tain s   1 8 , 7 7 4   n ews  ar ticles,  with   th tr ain ,   d ev ,   an d   test   s et s   h av in g   ap p r o x im ately   eq u al  p r o p o r tio n s   ( ar o u n d   0 . 7 5 :0 . 0 5 :0 . 2 ) .   I n   t h is   wo r k ,   th e   test   s et s   f r o m   ea ch   f o ld   a r co m b in ed   f o r   e v alu at io n   in   o u r   ex p er im en t.   T ab le   3   d escr ib es  th e   s tatis tics   o f   I n d o Su m   d ataset  u s ed   in   th is   wo r k .   Fro m   T ab le  3 ,   it  ca n   b o b s er v e d   th at  th d o cu m en ts   in   th I n d o Su m   d a taset  h av ar o u n d     1 8   s en ten ce s   p er   d o cu m e n t.  T h av er ag n u m b er   o f   wo r d s   p er   d o cu m en is   ap p r o x im a tely   3 4 7 ,   with   ea ch   s en ten ce   co n tain in g   a b o u t   1 9   wo r d s .   T o   en s u r e   co n s is ten cy   a n d   c o m p ar a b ilit y   with   th g r o u n d   tr u th   s u m m ar ies,  th len g th   o f   o u r   s u m m ar ies will f o llo th len g th   o f   th g r o u n d   t r u th   s u m m ar ies.    f ew  p r ep r o ce s s in g   s tep s   ar p er f o r m e d   on   th I n d o Su m   d ata.   T h ey   in clu d ca s f o ld in g ,   r em o v in g   to k en s   co n tain in g   non - al p h an u m er ic   ch ar ac ter s   ( ex ce p h y p h en ) ,   an d   r ep lacin g   n u m b e r   to k en s   with   s p ec ial   to k en   @ @ NUM @ @ .   T h is   p r e - p r o ce s s in g   is   n ee d e d   b e ca u s we  u s th e   p r et r ain ed   W o r d 2 Vec   a n d /o r   Fas tTe x t   th at  was p r ep r o ce s s ed   u s in g   th s am p r o ce d u r e.     W also   u tili ze   th I n d o n esia n   W ik ip ed ia   d atab ase  d u m p   f r o m   Ma y   2 n d ,   2 0 2 4   ( id wik i - 2 0 2 4 0 5 0 2 - p ag es - ar ticles.x m l.b z2 ) ,   to   tr ain   W o r d 2 Vec   an d   Fas tTe x t   em b ed d in g   m o d els.  T h e   I n d o n esian   W ik ip ed i a   d ataset  was  ch o s en   f o r   its   ex ten s iv s ize  an d   p u b lic  av ai lab ilit y ,   wh ich   alig n s   with   co m m o n   p r ac tice  in   s im ilar   r esear ch .   Do c u m en s c r ap in g   is   ca r r ied   o u t   u s in g   th e   Gen s im   lib r ar y ,   wh ic h   ef f icien tly   p r o ce s s es  th lar g v o lu m e   o f   W ik ip ed ia   ar t icles.  T o   ex a m in th e   in f l u en c o f   u s in g   d if f e r en t d ata  s o u r c es  to   tr ain   th w o r d   em b ed d in g   m o d els  o n   s u m m ar y   p e r f o r m an ce ,   we  also   u s th I n d o Su m   d ata   ( in   th t r ain   an d   v al   s ets) ,   co n s is tin g   o f   7 5 , 0 9 6   d o c u m en ts ,   an d   p r etr ain ed   W o r d 2 Vec   an d   Fas tTe x t   m o d els  u s in g   T em p o   d ata,   co n s is tin g   o f   4 0 0 K   d o cs,  1 6 0 M   wo r d   to k e n s ,   an d   6 0 0 K   wo r d   ty p es.   I n   ad d itio n   t o   W o r d 2 Vec   an d   Fas tTe x t ,   we  also   lev er ag p r e - tr ain ed   lan g u a g m o d el,   B E R T ,   s p ec if ically   I n d o B E R T   [ 2 5 ] .   I n d o B E R T   is   tr ain ed   o n   th I n d o 4 B   d ataset,   a   lar g e - s ca le  I n d o n esian   c o r p u s   t h at  co n tain s   3 , 5 8 1 , 3 0 1 , 4 7 6   w o r d s .   T h is   ex ten s iv d ataset  en s u r es  th at  th B E R T   m o d el  ca p tu r es  wid r an g e   o f   lin g u is tic  p atter n s   an d   n u an ce s   p r esen t in   th I n d o n esian   lan g u ag e.       T ab le  3 .   Statis tics   o f   I n d o Su m   d atasets   S u b s e t   N u mb e r   o f   d o c u me n t s   A v e r a g e   n u m b e r   o f   se n t e n c e p e r   d o c u me n t   A v e r a g e   n u m b e r   o f   w o r d p e r   d o c u me n t   A v e r a g e   n u m b e r   o f   w o r d p e r   s e n t e n c e   Tr a i n   71 , 353   18 . 36   3 4 6 . 79   18 . 88   D e v e l o p m e n t   3 , 7 4 3   18 . 33   3 4 8 . 24   19 . 00   Te st   18 , 774   18 . 36   3 4 6 . 77   18 . 89   To t a l   93 , 870   18 . 36   3 4 6 . 84   18 . 89       3 . 2   T he  f ra m ewo r k   o f   s um m a riza t i o n sy s t em   W u s th en h an ce d   T ex tR an k   m eth o d   u s in g   weig h ted   w o r d   em b e d d in g   m eth o d   [ 1 4 ] ,   ill u s tr ated   in   Fig u r 1 .   Fo r   d etails  o f   th e   m eth o d ,   p lease  r e f er   t o   th e   o r ig in al  p a p er .   I n   s u m m ar y ,   th is   m eth o d   wo r k s   as  f o llo ws in itially ,   wo r d   em b e d d in g s   th at   ar e   o b tain e d   f r o m   W o r d 2 Vec Fas tTe x t ,   o r   I n d o B E R T   m o d els  ar e   weig h ted   u s in g   T F - I DF  s co r es  th at  ar co m p u ted   u s in g   I n d o Su m   d ata.   T h en ,   s en ten ce   em b ed d in g s   ar e   g en er ated   b y   av er a g in g   t h wo r d   em b ed d i n g s   o f   wo r d s   co n tain ed   i n   th e   s en ten ce .   T h p air wis co s in e   s im ilar ity   b etwe en   s en ten ce s   is   co m p u te d   to   b u ild   s im ilar ity   m atr ix   to   b e   in p u t   in to   th e   T ex tR an k   m eth o d ,   wh ich   will  r an k   th s en ten ce s   ac co r d in g   to   th r elatio n s h i p   b etwe en   o th er   s en ten ce s   in   d o cu m e n t.  T h to p     s en ten ce s   ar th en   s elec ted   as a   s u m m ar y .       3 . 2 . 1 .   Wo rd  em bedd ing   T h is   s tu d y   ex p lo r es  th r ee   ty p e s   o f   wo r d   e m b ed d in g s W o r d 2 Vec   [ 2 2 ] Fas tTe x t   [ 2 3 ] ,   an d   I n d o B E R T   [ 2 5 ] .   W tr ain   th W o r d 2 Ve c   an d   Fas tTe x t   m o d els  u s in g   I n d o n esian   W ik ip ed ia ,   an d   I n d o Su m   d ataset.   Ad d itio n ally ,   we  also   u s ed   p r e - tr ain ed   W o r d 2 Vec   an d   Fas t T ex t   m o d els  lear n e d   f r o m   T e m p o   [ 2 4 ]   d ata,   an d   th I n d o n esian   B E R T   p r e - tr ai n ed   m o d el  f r o m   p r e v io u s   wo r k I n d o B E R T   [ 2 5 ]   T h is   wo r k   em p lo y s   th s k ip - g r am   m o d el  f o r   W o r d 2 Vec   b ec au s it  is   m o r ef f ec tiv at  ca p tu r in g   d etailed   s em an tic  r elatio n s h ip s .   Usi n g   th Gen s im   lib r ar y ,   t h W o r d 2 Vec   m o d el  is   tr ain ed   o n   th I n d o n esia n   W ik ip ed ia  an I n d o Su m   d atas et.   Fo llo win g   r esear ch   b y   Y u lian ti  et  a l.   [ 1 4 ] ,   d ef au lt  h y p er p ar am eter   v al u es  ar u s ed   to   b u ild   th W o r d 2 V ec   m o d el,   s u ch   as:  lear n in g   r ate  o f   0 . 0 2 5 ,   f iv tr ain i n g   e p o ch s ,   an d   win d o s ize  o f   f iv e.   W u s ex ac tly   th s am h y p er p ar am eter   s ettin g s   as  [ 1 4 ]   to   en s u r f air   c o m p ar is o n .   Fas tTe x t   m o d el  in c o r p o r a tes  s u b wo r d   i n f o r m atio n   t o   g en er ate  wo r d   e m b ed d in g .   T h er ef o r e,     th is   ap p r o ac h   ca n   g en er ate  e m b ed d in g s   f o r   r a r o r   u n s ee n   wo r d s   b ased   o n   th eir   s u b wo r d s ,   ad d r ess in g   th e     out - of - v o ca b u lar y   p r o b lem .   T h Fas tTe x t   m o d el  is   im p lem en ted   u s in g   Gen s im   with   Sk ip - g r am   a r ch itectu r e   an d   d ef au lt  h y p e r p ar am eter   s ettin g s .   I is   tr ain ed   o n   th e   I n d o n esian   W ik ip ed ia   an d   I n d o Su m   d atasets ,   f o llo win g   s im ilar   ap p r o ac h   t o   th W o r d 2 Vec   m o d el.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S u mma r iz a tio n   o f I n d o S u d a ta s et  u s in g   en h a n ce d   TextR a n w ith   w eig h ted   w o r d   emb ed d i n g   ( E vi  Yu lia n ti)   1923   B E R T   g en er ates  em b ed d in g s   b y   co n s id er in g   t h co n tex in   wh ich   wo r d   ap p ea r s .   T h is   b i d ir ec tio n al   ap p r o ac h   en a b les  B E R T   to   ca p tu r c o m p lex   wo r d   r elatio n s h ip s   an d   c o n tex tu al   n u a n ce s   m o r ef f ec tiv ely .     I n   th is   wo r k ,   B E R T   is   o n ly   u s ed   to   g en er ate   wo r d   em b e d d in g s ,   w h ich   a r f u r th er   in c o r p o r ate d   in t o   th e   T ex tR an k   alg o r ith m .   B E R T   h as  b ee n   p r e - tr ain ed   o n   lar g I n d o n esian   tex co r p u s   o f   ar o u n d   4   b illi o n   wo r d s ,   k n o wn   as  I n d o B E R T ,   in   two   v er s io n s I n d o B E R T B ASE  an d   I n d o B E R T L AR GE .   Her e,   t h lar g e   v e r s io n   h as  h ig h er   n u m b er   o f   p ar a m eter s   th an   th b ase  v er s io n .     3 . 2 . 2 .   T er m   f re qu ency - inv er s do cum ent   f re qu ency   weig hting   TF - I DF  is   m eth o d   u s ed   to   ass ig n   weig h to   wo r d s   in   tex b ased   o n   th eir   f r eq u e n cy   with in   d o cu m e n an d   ac r o s s   co llectio n   o f   d o c u m en ts .   I n   o u r   s u m m ar izatio n   m eth o d ,   T F - I DF  is   u s ed   to   weig h   th wo r d   e m b ed d in g s   ( s ee   Fig u r e   1 ) ,   b y   m u ltip ly in g   th e   wo r d   em b ed d in g   with   th e   T F - I DF  o f   th at   wo r d ,   b ef o r e   av er ag in g   t o   th s en ten ce   em b ed d in g .   T h av e r ag o f   all  weig h ted   wo r d   em b ed d i n g s   in   s en ten ce   is   th en   tak en   as  s en ten ce   v ec to r .   I n   v an illa  T ex tR an k ,   th s en ten ce   v ec to r   is   o b tain ed   d ir ec tly   u s in g   s im p le    b ag - of - wo r d s   m eth o d ,   wh ic h   th er ef o r d o   n o ca p tu r th e   s em an tic  in f o r m atio n   with in   s en ten ce s .   I n   th is   wo r k ,   wo r d   em b e d d in g   e n ab l es  th in co r p o r atio n   o f   s em an tic  in f o r m atio n ,   a n d   th T F - I DF  m eth o d   f u r t h er   g iv es  m o r weig h to   th wo r d   em b ed d in g   o f   m o r im p o r ta n wo r d s .   T h er ef o r e,   th s en ten ce   v ec to r   will  b co n tr ib u ted   m o r b y   th m o r im p o r tan t w o r d s   r ath er   th an   t h less   im p o r tan t w o r d s .   T h f o r m u las to   co m p u te  T F a n d   I DF sco r es a r g iv e n   b y   ( 1 )   a n d   ( 2 ) .      ( , ) = ( , ) ( ̂ , ) ̂   ( 1 )      ( ) = | | | : |   ( 2 )     W h er ( , )   is   th ac tu al  TF   o f   wo r d   t   in   d o c u m en d ( ̂ , ) ̂   is   th to ta ter m s   in   d o cu m en d  ( , )   is   th n o r m alize d   T o f   wo r d   t   in   d o cu m e n d | |   is   th to tal  n u m b er   o f   d o cu m e n ts   in   th co llectio n   | : |   is   th n u m b e r   o f   d o cu m en ts   c o n tain in g   t h wo r d   t ,   an d    ( )   is   t h I DF o f   wo r d   t           Fig u r 1 .   T h f r a m ewo r k   o f   th en h an ce d   T ex tR an k   s u m m a r izatio n   s y s tem   [ 1 4 ]       3 . 2 . 3 .   T ex t Ra nk   I n   th tex t   s u m m ar izatio n   d o m ain ,   T e x tR an k   is   g r a p h - b ased   r an k in g   al g o r ith m   f o r   s en ten ce   r an k in g .   T h r elatio n s h ip s   b et wee n   s en ten ce s   in   d o cu m en ar th m ain   f ac to r s   th at  co n tr ib u te  to   th s co r e   ass ig n ed   b y   T ex tR an k   to   ea c h   s en ten ce .   I n   th is   s tu d y ,   th e   tr ad itio n al   b ag - of - wo r d s   v ec to r s   th at  r e p r esen t   s en ten ce   v ec to r s   in   th o r ig in a T ex tR an k   is   r ep lace d   with   th av er ag e   o f   T F - I DF  weig h ted   wo r d   e m b ed d in g s   o f   wo r d s   in   th s en ten ce s .   He r e,   wo r d   em b ed d in g s   ar o b ta in ed   f r o m   W o r d 2 Vec Fas tTe x t ,   an d   I n d o B E R T   m o d els.  T h is   m o d if icatio n   is   ex p ec ted   to   en h an ce   th ac cu r ac y   o f   th o r i g in al  T ex tR an k   s u m m ar izatio n   m eth o d   b ec a u s wo r d   em b ed d in g s   co n s id er   s em an tic  s im ilar ity   b etwe en   s en ten ce s ,   an d   th T F - I DF  allo ws  m o r im p o r tan t w o r d s   to   co n tr ib u te  h ig h e r   in   th s en te n ce   v e cto r s .   Af ter   s en ten ce   v ec t o r s   ar f o r m ed ,   p air wis co s in s im ilar ity   b etwe en   s en te n ce s   is   co m p u ted   t o   co n s tr u ct  s im ilar ity   m atr i x .   T h is   m atr ix   f o r m s   th b asis   f o r   cr ea tin g   weig h ted   g r a p h   o f   s en ten ce s ,   wh er a   v er tex   is   r ep r esen ted   as  s en ten ce ,   an d   an   e d g is   r ep r ese n ted   as  s im ilar ity   s co r b etwe en   two   s en ten ce s .   T h is   g r ap h   will  b e   p r o ce s s ed   b y   th e   T ex tR an k   m eth o d   t o   s co r th e   s en ten ce s   in   d o cu m en t,  an d   th e   to p   N   h ig h est - s co r in g   s en ten ce s   ar th en   s elec ted   as  th s u m m ar y .   Her e,   is   ad ju s ted   to   m atch   th ac tu al  len g th   o f   th g r o u n d   tr u th   s u m m ar y   to   en s u r f air   r ec all - o r ie n ted   u n d er s tu d y   f o r   g is tin g   ev al u atio n   ( R OUGE )   s co r e   co m p ar is o n .   No te  th at  th is   m ay   n o r ef lect  th r ea l - wo r ld   s u m m ar izatio n   s ce n ar io   th at  u s u ally   u s es  th s am e   f ix ed - len g th   s u m m ar y   f o r   ea c h   d o cu m en t.    T h f u n ctio n   to   a p p ly   t h T ex t R an k   m eth o d   is   p r esen ted   in   ( 3 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 1 9 1 9 - 1 9 3 0   1924     ( ) = ( 1 ) + ×       ( )      ( ) × ( )   ( 3 )     W h er   is   th - th   v er tex ( )   is   th s co r f o r   th e   - th   v er tex   (t h s en ten ce   s co r e )  ( )   is   th s et  o f   v er tices  th at  g o   in to    ( )   is   th s et  o f   v er tices  th at  g o   o u f r o m     is   d am p in g   f ac t o r    is   th e   weig h t o f   th e d g b etwe en   s en ten ce s     an d   ,   an d      is   th weig h t o f   th e d g b etwe en   s en ten ce s     an d   .   T h Py th o n   lib r ar y   Netwo r k X   was  u s ed   to   ap p ly   th e   T ex tR an k   m et h o d .   W s et  th d am p in g   f ac to r   to   0 . 8 5 ,   b ec au s e   it  h as   b ee n   s h o wn   to   p er f o r m   well  in   th e   o r ig i n al  T ex tR an k   m eth o d   [ 9 ] ,   as   well  as  s o m e   p r ev io u s   wo r k   o n   s u m m ar iz atio n   [ 1 0 ] ,   [ 1 1 ] ,   [ 1 4 ] ,   [ 1 5 ] ,   [ 1 9 ] ,   [ 2 6 ] .   W d o   n o ex p er im en with   v ar y in g   n u m b er s   o f   d am p in g   f ac to r s   a n d   d ec id e   to   u s th s am v alu as  [ 1 4 ] ,   i.e . ,   0 . 8 5 ,   t o   en s u r f air   co m p ar is o n .     3 . 3   E v a lua t i o n m et ric   T h e   r esu lts   ar ev alu ated   u s in g   th R OUGE   m etr ic  [ 1 0 ] ,   wid ely   u s ed   m etr ic  f o r   ass e s s in g   ex tr ac tiv tex s u m m ar izatio n   p er f o r m a n ce .   T o   m ea s u r o u r   R OUGE   s co r es,  we  ch o o s t h F1 - s co r e,   wh ich   b alan ce s   p r ec is io n   an d   r ec all ,   th u s   o f f er in g   co m p r eh e n s iv e   ass e s s m en t o f   s u m m ar izatio n   q u ality .   T h u s o f   R OUGE - F - 1   allo ws  f o r   th b alan ce   b etwe en   in f o r m ativ en e s s   an d   co n cisen ess   in   th m ea s u r em en t.  I n   t h is   s tu d y ,   we  o n ly   u s R OUGE   s co r an d   d o   n o co n s id er   o t h er   s u m m ar izatio n   m etr ics,  s u ch   as  B E R T Sco r [ 2 7 ]   o r   m etr ic   f o r   ev al u atio n   o f   t r a n s latio n   with   ex p licit  o r d e r in g   ( ME T E OR )   [ 2 8 ] ,   b ec au s we   wan to   m ak e   f air   co m p ar is o n   with   th r esu lts   o b tain ed   in   [ 1 4 ]   th at  u s ed   L ip u tan 6   d ataset.   No te  th at  th g o al  o f   th is   s tu d y   is   to   ev alu ate  th e   r o b u s tn ess   o f   th e   m eth o d   p r o p o s ed   in   [ 1 4 ]   wh en   it  is   ev alu ate d   on  I n d o Su m   da taset.  W u tili ze   th Py th o n   lib r a r y   r o u g e _ s co r to   co m p u te  th R OUGE   s co r es  o f   o u r   g en er ate d   s u m m ar ies.  B ef o r th R OUGE   s co r es  ar co m p u te d ,   ca s n o r m aliza tio n   is   ap p lied   to   co n v er all  letter s   in   th g r o u n d   tr u th   s u m m ar ies an d   s y s tem   s u m m a r ies in to   lo wer ca s e .   T h s tatis tical  s ig n if ican ce   test   b etwe en   th R OUGE   s c o r es  o f   o u r   s u m m ar ies  ag ain s th o s o f   b aselin s u m m ar ies  is   co n d u cted   u s in g   p air e d   t - test .   T h co n f id en ce   lev el  u s ed   in   t h is   s tu d y   is   0 . 0 5 .   T h e   s am p le  s ize  is   1 8 , 7 7 4   d o cu m e n ts ,   as  it  is   th to tal  n u m b er   o f   d o cu m en ts   in   th test   s p lit  o f   I n d o Su m   d ataset  th at  ar s u m m ar ized   b y   o u r   m eth o d s .   Pair ed   t - test   is   ch o s en   b ec au s e ,   g iv en   p air s   o f   s co r es ,   i.e . ,   s co r es  o f   o u r   m eth o d s   an d   ea ch   o f   th b aselin m eth o d s ,   we  wa n to   d ec i d if   th d if f er en ce   b etwe en   p ai r ed   m ea s u r em e n ts   f o r   p o p u latio n   is   ze r o   o r   n o t.  I f   th d if f er e n ce   is   n o ze r o ,   th en   it  m ea n s   th er is   s tati s tically   s ig n if ican d if f er en ce   b etwe en   th r esu lts   o f   o u r   s u m m ar izatio n   m eth o d   an d   th b aselin m eth o d s .     T h b asic  ass u m p tio n s   f o r   p ai r ed   t - test   [ 2 9 ]   ar th d ata  is   co n tin u o u s   ( i.e . ,   th R OUGE   s co r es  ar e   co n tin u o u s   v ar iab les  as  t h ey   h av r atio   s ca le) ,   ea c h   o f   th e   p air ed   m ea s u r em en ts   ar e   o b ta in ed   f r o m   t h s am e   s u b ject  ( ea ch   p air   o f   R OUGE   s co r es  ar co m p u ted   f r o m   t h s u m m ar ies  g en er ated   f r o m   th e   s am d o cu m en t) T h d if f e r en ce s   b etwe en   t h p air ed   o b s er v atio n s   ar e   ap p r o x im ately   n o r m ally   d is tr ib u te d   ( i.e . ,   th e   r esu lts   o f   th Sh ap ir o - W ilk   test   s h o ws  th at  th d if f er en c o f   R OUGE   s co r es  b etwe en   o u r   m et h o d   an d   b aselin m eth o d s   ar n o r m ally   d is tr ib u ted ,   s in ce   th p - v alu < 0 . 0 5 ) .   T h e r ar e   n o   o u tlier s   ac r o s s   eith er   o f   t h g r o u p   ( i.e . ,   th e r is   n o   R OUGE - s co r v alu es with   z - s co r g r ea ter   th an   3   o r   l ess   th an   - 3 ) .       4.   RE SU L T S AN AN AL Y SI S   4 . 1   T he  enha nced  T ex t Ra n k   us ing   wo rd  em bedd ing   T ab le  4   ex p lain s   th r esu lts   o f   en h an ce d   T ex tR an k   m eth o d s   u s in g   wo r d   em b ed d i n g   f r o m   W o r d 2 Vec Fas tTe x t ,   an d   I n d o B E R T   to   s u m m ar ize  d o cu m e n ts   in   I n d o Su m   d ataset  ( test   s u b s et) .   T o   ex am in wh et h er   o u r   r esu lts   ar co n s is ten with   th o s o b tain e d   in   p r e v io u s   w o r k   u s in g   L ip u tan 6   d ataset,   we   also   d is p lay   in   th b o tto m   p ar o f   T ab le  4   t h s co r es  r ep o r ted   i n   [ 1 4 ] .   T o   b e   co m p ar ab le,   we  o n ly   p r esen t   i n   t h tab le   th r esu lts   o f   s u m m ar izatio n   s y s tem s   th at  u s W o r d 2 Vec   an d   Fas tTe x t   tr ain ed   u s in g   W ik ip ed ia .   T h r esu lts   o f   th o s u s in g   W o r d 2 Vec   an d   Fas tTe x t   tr ain ed   u s in g   I n d o Su m   an d   T em p o   d ata  a r p r esen ted   later   ( s ee   T ab le  5 ) .   T h e   r esu lts   in d icate   th at  all  s y s tem s   u tili zin g   wo r d   em b ed d in g s   to   s u m m ar ize  d o c u m en ts   in   I n d o Su m   d ataset  o u tp er f o r m   t h o r i g in al  T e x tR an k   b aselin e .   T h is   h i g h lig h ts   th e   ef f ec tiv e n ess   o f   in teg r atin g   wo r d   em b ed d i n g s   in to   th e   T e x tR an k   alg o r ith m ,   en h a n cin g   its   s u m m ar izatio n   ca p a b ilit ies.  T h is   is   co n s is ten t   with   th r esu lts   f r o m   p r ev io u s   wo r k   u s in g   L ip u tan 6   d ataset  [ 1 4 ] .   T h s y s tem   th at  g ain s   th b est  r esu lts   is   th en h an ce d   T ex tR an k   u s in g   I n d o B E R T L AR G E   em b ed d in g ,   wh ich   is   also   in   lin with   th r esu lts   o f   p r ev io u s   wo r k   [ 1 4 ] .   T h I n d o B E R T L AR GE   s y s te m   p er f o r m s   s lig h tly   b etter   th an   th I n d o B E R T B ASE  s y s tem ,   ac h iev in g   R OUGE - 1   an d   R OUGE - 2   s co r es  o f   0 . 4 6 0   a n d   0 . 3 4 5   co m p ar e d   to   0 . 4 3 5   a n d   0 . 3 1 3 ,   r esp ec tiv ely .   T h is   m ar g in al  im p r o v e m en a lig n s   with   p r ev io u s   f in d in g s ,   lik ely   d u t o   I n d o B E R T L AR GE 's  g r ea ter   ca p ac it y   to   ca p tu r e   co n te x tu al  n u an ce s   g iv en   its   lar g er   n u m b er   o f   lay er s   an d   p a r am et er s .   No te  th at  th e   em b ed d in g   d im en s io n ality   an d   th n u m b e r   o f   h id d e n   lay er s ,   as we ll a s   atten tio n   h ea d s   in   I n d o B E R T L AR GE ,   ar h ig h er   th an   I n d o B E R T B A SE.   C o n s e q u en tly ,   th n u m b er   o f   p ar am eter s   lear n ed   in   I n d o B E R T L AR GE   is   al s o   h ig h e r   th an   I n d o B E R T B ASE.   T h em b ed d in g   s ize  o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S u mma r iz a tio n   o f I n d o S u d a ta s et  u s in g   en h a n ce d   TextR a n w ith   w eig h ted   w o r d   emb ed d i n g   ( E vi  Yu lia n ti)   1925   I n d o B E R T L AR GE   is   1 , 0 2 4 ,   wh ile  th at  o f   I n d o B E R T B ASE  is   7 6 8 T h n u m b er   o f   h id d en   lay er s   in   I n d o B E R T L AR GE   is   2 4 ,   w h ile  th at  in   I n d o B E R T B AS E   is   1 2 T h n u m b e r   o f   a tten tio n   h ea d s   in   I n d o B E R T L AR GE   is   1 6 ,   wh il th at  in   I n d o B E R T B A SE  is   1 2 T h e   to tal   p ar am eter s   o f   I n d o B E R T L AR GE   is   3 3 5 . 2 M ,   wh ile  th at  o f   I n d o B E R T B A SE  is   1 2 4 . 5 M.     Ov er all,   co n tex t u alize d   wo r d   em b ed d i n g s ,   I n d o B E R T ,   s ig n if ican tly   b o o s th p e r f o r m a n ce   o f   th T ex tR an k   alg o r ith m .   I ca n   ca p tu r e   m o r e   s em an tic  m e an in g s   an d   lin g u is tic  f ea tu r e s   th an   s tatic  wo r d   em b ed d in g   m o d els  ( W o r d 2 Ve an d   Fas tTe x t) .   T h is   im p r o v em en ca n   b attr ib u ted   to   th e   s u p er io r   s em an tic  u n d er s tan d i n g   p r o v id e d   b y   th e s em b ed d in g s ,   wh ic h   r esu lts   in   m o r ac c u r ate  s u m m a r ies.    B ased   o n   r u n n in g   tim es  o f   m e th o d s ,   it  ap p ea r s   f r o m   th e   tab l th at  T ex tR an k +Wo r d 2 Vec   i s   th m o s t   ef f icien b ec au s it  ca n   r u n   v er y   f ast,  r eq u ir in g   o n ly   5   m in u tes  to   s u m m ar ize  ar o u n d   1 9 d o cu m en ts .   T h e   T ex tR an k +FastTe x t ta k es lo n g er   tim to   f in is h   th s am jo b   b ec au s in   th Fas tTe x t m o d e l,  th em b ed d i n g   o f   ea ch   wo r d   is   o b tain e d   b y   s u m m in g   u p   th em b e d d in g s   o f   its   s u b wo r d s .   T h er ef o r e,   its   co m p u tatio n   ta k es   lo n g er .   I n   ad d itio n ,   W ik ip ed ia  co llectio n   also   co n tain s   a   h u g n u m b e r   o f   wo r d s ,   an d   th is   m ak es  th v o ca b u lar y   s ize  f o r   Fas tTe x m u ch   b ig g er   th an   W o r d 2 Vec ,   r esu ltin g   in   m u ch   h ig h e r   ex e cu tio n   tim f o r   t h e   T ex tR an k +FastTe x m o d el.   W h ile  in   th u n weig h te d   s ce n ar io   th I n d o B E R T - b ased   m o d els  ar e   th m o s ef f ec tiv ( b ased   o n   R OUGE   s co r es),   it  tu r n s   o u to   b th le ast  ef f icien as  it  tak es  th lo n g est  tim to   r u n .   I t   tak es  ab o u te n   h o u r s   to   s u m m ar ize  ar o u n d   1 9 K   d o c u m en t s .   T h is   ca n   b e   ex p lain ed   b ec a u s wh en   g en er atin g   th em b ed d in g   o f   wo r d s   in   th s en ten ce   u s in g   I n d o B E R T ,   th in p u s en ten ce   n ee d s   to   b p ass ed   f o r war d   th r o u g h   t h n eu r al   n etwo r k   ar ch itectu r th at   co n s is ts   o f   s ev er al  f ee d - f o r wa r d   an d   s elf   att en tio n   la y er s .   T h is   p r o ce s s   is   clea r ly   ex p en s iv e,   e s p ec ially   if   it is   co n d u cted   f o r   h ig h   n u m b e r   o f   lo n g   d o c u m en ts .     I is   in ter esti n g   t o   n o te  th at   th o r ig i n al  T ex tR an k   m eth o d   t u r n s   o u to   b e   q u ite   tim co n s u m in g .   I tak es  alm o s ten   tim es  lo n g er   th an   th T ex tR an k +Wo r d 2 V ec   m o d el.   T h is   ca n   b ex p lain ed   as  f o llo ws.  T h e   o r ig in al  T e x tR an k   m eth o d   u s es  b ag - of - wo r d s   v ec to r   to   r e p r esen s en ten ce   v ec to r ,   an d   we  u s T F - I DF   r ep r esen tatio n   to   r e p r esen ea ch   wo r d   elem e n in   th v ec to r .   T h v ec to r   d im en s io n   is   th to tal  u n iq u wo r d s   in   th d o cu m en t.  T h er ef o r e,   th d im e n s io n   o f   v ec to r s   co u ld   b m o r e   th an   th o u s an d ,   d e p en d s   o n   th e   len g t h   o f   th d o cu m e n t.  T h len g th ie r   th d o c u m en t,  t h h ig h er   th e   n u m b e r   o f   t o tal  u n iq u wo r d s   in   th at  d o c u m en t,   an d   s o   th e   h ig h er   th e   d im en s io n   o f   s en ten ce   v e cto r s .   W h e n   d o cu m en t   h as  h ig h   d im en s io n   o f   s en ten ce   v ec to r s ,   it  tak es  lo n g er   tim es  to   g en er ate   th v ec t o r s .   No te  th at  ev er y   tim we  s u m m ar iz n ew  d o cu m e n t,   th s en ten ce   v ec to r s   f o r   ea c h   d o c u m en n ee d   to   b c o m p u ted   f r o m   s cr atch .   T h is   is   d if f er en f r o m   th T ex tR an k +Wo r d 2 Vec   m o d el   th at  ju s n ee d s   to   lo o k   u p   th e   wo r d   em b ed d i n g   f r o m   th e   p r e tr ain ed   W o r d 2 Vec   m o d el,   an d   tak th av er a g to   p r o d u ce   s en ten ce   v ec to r s .   I n   ad d itio n ,   wh en   th d im en s io n   o f   s en ten ce   v ec to r s   is   h ig h ,   it  also   ta k es  lo n g e r   ti m es  to   b u ild   th s en ten ce   s im ilar ity   m atr ix   a n d   t o   r u n   t h T ex tR an k   m et h o d .   T h is   ca u s es th o r ig in al  T ex tR an k   m eth o d   to   r u n   m u ch   s lo w er   th an   th T ex tR an k +Wo r d 2 Vec   m eth o d .   T o   ex am in th ef f ec o f   u s in g   v ar iatio n   o f   d ata  to   tr ain   wo r d   em b ed d in g   m o d els,  th W o r d 2 Vec   an d   Fas tTe x em b e d d in g s   a r also   tr ain ed   u s in g   I n d o Su m   d ata  ( tr ain   s u b s et)   a n d   T e m p o .   T h ese  em b ed d in g s   ar th en   u s ed   to   s u m m ar ize   I n d o Su m   d ata  ( test   s u b s et) .   B ec au s o f   th e   h ig h   co m p lex ity   a n d   r eso u r ce s   n ee d e d   to   p r e - tr ain   I n d o B E R T ,   tr ain in g   I n d o B E R T   m o d els  u s in g   a   v ar iatio n   o f   d ata  is   o m itted   i n   th is   in v esti g atio n .   T h r esu lts   ar d is p lay e d   in   T ab le  5 .   No te   th at  in   t h is   tab le,   we  ca n n o t   p u t h s co r es  in   [ 1 4 ]   s in ce   th e y   d i d   n o t u s d if f er en d ataset  o th er   th an   W ik ip ed ia  to   t r ain   th W o r d 2 Vec   an d   Fas tTe x t m o d els.       T ab le  4 .   T h r esu lts   u s in g   T ex tR an k   co m b in ed   with   wo r d   e m b ed d in g   W o r k   D a t a s e t   S u mm a r i z a t i o n   s y st e m   D a t a   t o   t r a i n   w o r d   e mb e d d i n g   m o d e l s   R O U G E - 1   R O U G E - 2   R u n n i n g   t i me   O u r   w o r k   I n d o S u m   Te x t R a n k   -   0 . 3 8 2   0 . 2 4 7   5 9 m   2 8   s   Te x t R a n k + F a st Te x t   W i k i p e d i a   0 . 4 1 7 *   0 . 2 8 8 *   9 4 5   s   Te x t R a n k + W o r d 2 V e c   W i k i p e d i a   0 . 4 2 4 *   0 . 2 9 6 *   5 2 4   s   Te x t R a n k + I n d o B E R T BA SE   I n d o 4 B   ( p r e - t r a i n e d )   0 . 4 3 5 *   0 . 3 1 3 *   9   h   5 1   3 9   s   Te x t R a n k + I n d o B E R T L A RG E   I n d o 4 B   ( p r e - t r a i n e d )   0 . 4 6 0 *   0 . 3 4 5 *   10   h   4   1 7   s   Y u l i a n t i     e t   a l .   [ 1 4 ]   Li p u t a n 6   Te x t R a n k   -   0 . 3 4 8   0 . 2 3 4   -   Te x t R a n + F a s t Te x t   W i k i p e d i a   0 . 3 7 8 *   0 . 2 6 4 *   -   Te x t R a n k + W o r d 2 V e c   W i k i p e d i a   0 . 3 8 2 *   0 . 2 6 9 *   -   Te x t R a n k + I n d o B E R T BA S E   I n d o 4 B   ( p r e - t r a i n e d )   0 . 3 9 3 *   0 . 2 8 4 *   -   Te x t R a n k + I n d o B E R T L A RG E     I n d o 4 B   ( p r e - t r a i n e d )   0 . 3 9 4 *   0 . 2 8 5 *   -   S y mb o l   *   d e n o t e   si g n i f i c a n t   d i f f e r e n c e s a g a i n s t   Te x t R a n k ,   a c c o r d i n g   t o   t h e   p a i r e d   t - t e st   u s i n g   c o n f i d e n c e   l e v e l   0 . 0 5 ,   ( p   < 0 . 0 5 ) .       T ab le  5 .   T h r esu lts   u s in g   v ar i atio n   o f   d ata  to   tr ain   t h em b e d d in g   m o d els   D a t a s e t   S u mm a r i z a t i o n   s y st e m   D a t a   t o   t r a i n   w o r d   e m b e d d i n g   mo d e l s   R O U G E - 1   R O U G E - 2   R u n n i n g   t i me   I n d o S u m   Te x t R a n k + F a st Te x t   Te mp o   0 . 4 1 9 *   0 . 2 9 4 *   5 4 1 s   Te x t R a n k + W o r d 2 V e c   Te mp o   0 . 4 3 1 *   0 . 3 1 1 *   5 3 7 s   Te x t R a n k + W o r d 2 V e c   I n d o S u m   0 . 4 5 7 *   0 . 3 3 8 *   5 1 8 s   Te x t R a n k + F a st Te x t   I n d o S u m   0 . 4 6 6 *   0 . 3 5 0 *   5 1 8 s   S y mb o l   *   d e n o t e   si g n i f i c a n t   d i f f e r e n c e s a g a i n s t   Te x t R a n k ,   a c c o r d i n g   t o   t h e   p a i r e d   t - t e st   ( p   < 0 . 0 5 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 1 9 1 9 - 1 9 3 0   1926   C o m p ar in g   th e   r esu lts   f r o m   T ab les  4   an d   5 ,   we   ca n   s ee   th at  th s y s tem s   with   W o r d 2 Vec   an d   Fas tTe x t   m o d els  tr ain ed   o n   t h I n d o Su m   d ata  g ain   h ig h er   ac cu r ac y   th an   t h o s tr ain ed   o n   W ik ip ed ia   d ata.   Mo r s p ec if ically ,   th co m b i n atio n   o f   T ex tR an k   with   th e   Fas tTe x t   m o d el  tr ain ed   o n   th I n d o Su m   d ataset   ac h iev es  th h ig h est  p e r f o r m a n ce .   T h is   d em o n s tr ates  th at   u s in g   tr ain in g   d ata  f r o m   th e   s am d o m ain   as  th e   test   d ata  ca n   im p r o v s y s tem   ac cu r ac y .   T h ese  f in d i n g s   h ig h lig h th im p o r tan ce   o f   s elec tin g   ap p r o p r iate   tr ain in g   d ata  an d   m o d els  to   a ch iev o p tim al  s u m m ar izatio n   r esu lts .   T h s y s tem s   lev er ag in g   W o r d 2 Vec   an d   Fas tTe x t   m o d els  tr ain ed   o n   T em p o   d ataset  also   ten d s   to   b m o r ac c u r ate  th an   th o s u s in g   W ik ip ed ia .   I t   co u ld   b e   b ec au s e ,   s im ilar   to   I n d o Su m ,   T em p o   is   also   co ll ec tio n   o f   n ews  ar ticles.  T h er e f o r e,   it  m a y   s h ar a   lo o f   s im ilar   v o ca b u lar y   with   I n d o Su m .   T h is   in cr ea s ed   p er f o r m a n ce   u n d e r s co r es  th im p o r tan ce   o f   u s in g   d o m ain - s p ec if ic  tr ain i n g   d at to   en h an ce   th q u ality   o f   wo r d   em b ed d in g s   an d ,   co n s eq u en tly ,   t h s u m m ar izatio n   r esu lts .   T o   b etter   u n d er s tan d   wh eth e r   th T em p o   a n d   I n d o Su m   ( tr a in )   d ata  ar ac tu ally   m o r s im ilar   to   th e   I n d o Su m   ( test )   c o m p a r ed   t o   W ik ip ed ia   b ec au s t h ey   h av e   th s am d o m ain   d ata,   we  c o m p u te  ter m   o v er lap   b etwe en   ea ch   o f   th ese  d ata  wit h   I n d o Su m   ( test )   d ata.   T h is   o v er lap   r atio   is   s im p ly   f o r m u late d   as  ( 4 ) .     Ov er lap   R atio =   ( 4 )     W h er   is   s et  o f   u n iq u ter m s   in   d ataset  A   is   s et  o f   u n iq u ter m s   in   d ataset  B an d     is   th e   n u m b er   o f   s im ilar   wo r d s   in   d a tasets   an d   B .   Fro m   T ab le  6   s h o ws   th at  th o v er lap   r atio   b etwe en   W ik ip e d ia   an d   I n d o Su m   ( test )   is   o b v io u s ly   th lo west.  T em p o   an d   I n d o Su m   ( tr ain )   d ata  a r e   s h o wn   to   co n t ain   h ig h e r   n u m b er   o f   o v er l ap p in g   wo r d s   with   I n d o Su m   ( test )   d ata  b ec au s t h ey   h a v th e   s am d o m ai n   d a ta,   i.e . ,   n ews  ar ticles.  T h is   ca u s es   th W o r d 2 Vec   an d   Fas tTe x t   lear n ed   f r o m   th e s two   d ataset s   ar m o r ac cu r ate  co m p ar ed   to   W ik ip ed ia   w h en   th ey   ar test ed   to   th I n d o Su m   ( test )   d ata.   T h i s   ex p lain s   o u r   f i n d in g s   d escr ib ed   in   T ab le  5 .     4 . 2 .     T he  enha nced  T ex t Ra n k   us ing   weig hte d wo rd  em bedd ing   T ab le  7   p r esen ts   th r esu lts   o f   en h a n ce d   T ex tR an k   m et h o d s   u s in g   weig h ted   wo r d   em b ed d in g   to   s u m m ar ize  d o cu m en ts   in   I n d o Su m   d ataset  ( test   s u b s et) .   Ag ain ,   we  also   d is p lay   th r esu lts   in   [ 1 4 ]   to   ex am i n e   wh eth er   o u r   r esu lts   u s in g   I n d o Su m   d ata  a r co n s is ten with   th eir   r esu lts   u s in g   L ip u tan 6   d ata.   I ap p ea r s   f r o m   th tab le  th at  all  s y s tem s   u tili zin g   weig h ted   w o r d   e m b ed d in g s   to   s u m m ar ize  d o cu m en ts   in   I n d o Su m   d ataset   o u tp er f o r m   th o r ig in al  T ex tR an k   b aselin e.   C o m p ar ed   t o   p r ev io u s   r esu lts   with o u T F - I DF  weig h tin g   ( d is p lay ed   ea r lier   in   T ab le   4 ) ,   th er is   a   s u b s tan tial  im p r o v e m en in   R OUGE - 1   an d   R OUGE - 2   s co r es  f o r   th e   s y s tem s   u s in g   s tatic  em b ed d in g   ( W o r d 2 Vec   a n d   Fas tTe x t ) .   No tab ly ,   th c o m b in atio n   o f   T ex tR an k   an d   W o r d 2 Vec   d em o n s tr ates  th h ig h est  p er f o r m a n ce   in cr ea s ( with   im p r o v em en ts   o f   1 3 . 2 1 %   f o r   R OUGE - 1   an d   2 5 . 3 4 % f o r   R OUGE - 2 ) .   T h is   f in d in g   also   ag r ee s   with   th at  r e p o r ted   in   [ 1 4 ]   u s in g   L ip u tan 6   d ata.       T ab le  6 .   T h o v e r lap   r atio   b et wee n   tr ain in g   d ata  ( A)   an d   test in g   d ata  ( B )   B e t w e e n   d a t a se t s   O v e r l a p   r a t i o   A :   W i k i p e d i a ,   B :   I n d o S u m   ( t e st )   0 . 4 2 3 7   A :   Te m p o ,   B :   I n d o S u m   ( t e s t )     0 . 6 0 3 4   A :   I n d o S u m   ( t r a i n ) ,   B :   I n d o S u m   ( t e st )   0 . 7 8 2 9   N o t e :   t r a i n i n g   d a t a   ( A )   i n d i c a t e s   t h e   d a t a   u s e d   t o   t r a i n   W o r d 2 V e c   a n d   F a st T e x t   m o d e l s       T ab le  7 .   T h r esu lts   u s in g   T ex tR an k   co m b in ed   with   weig h te d   wo r d   e m b ed d in g   W o r k   D a t a s e t   S u mm a r i z a t i o n   s y st e m   Tr a i n i n g   d a t a   R O U G E - 1   R O U G E - 2   R u n n i n g   t i me   Th i s   w o r k   I n d o S u m   Te x t R a n k   -   0 . 3 8 2   0 . 2 4 7     59   2 8   s   Te x t R a n k + I n d o B E R T BA S E   +   TF - I D F   I n d o 4 B   ( p r e - t r a i n e d )   0 . 3 9 0 *   0 . 2 6 0 *   9   h   2 7   1 7   s   Te x t R a n k + I n d o B E R T L A RG E   +   TF - I D F   I n d o 4 B   ( p r e - t r a i n e d )   0 . 4 1 8 *   0 . 2 9 5 *   9   h   3 5   2 3   s   Te x t R a n k + F a st Te x t + TF - I D F   W i k i p e d i a   0 . 4 7 8 *   0 . 3 6 8 *   10   4 4   s   Te x t R a n k + W o r d 2 V e c + TF - I D F   W i k i p e d i a   0 . 4 8 0 *   0 . 3 7 1 *   5   m   3 3   s   Y u l i a n t i   e t   a l .   [ 1 4 ]   Li p u t a n 6   Te x t R a n k   -   0 . 3 4 8   0 . 2 3 4   -   Te x t R a n k + I n d o B E R T BA S E +   TF - I D F   I n d o 4 B   ( p r e - t r a i n e d )   0 . 4 0 4 *   0 . 2 9 7 *   -   Te x t R a n k + F a st Te x t + TF - I D F   W i k i p e d i a   0 . 4 0 4 *   0 . 2 9 8 *   -   Te x t R a n k + I n d o B E R T L A RG E +   TF - I D F   I n d o 4 B   ( p r e - t r a i n e d )   0 . 4 0 4 *   0 . 2 9 8 *   -   Te x t R a n k + W o r d 2 V e c + TF - I D F   W i k i p e d i a   0 . 4 0 8 *   0 . 3 0 4 *   -   S y mb o l   *   d e n o t e   si g n i f i c a n t   d i f f e r e n c e s a g a i n s t   Te x t R a n k ,   a c c o r d i n g   t o   t h e   p a i r e d   t - t e st   ( p   < 0 . 0 5 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       S u mma r iz a tio n   o f I n d o S u d a ta s et  u s in g   en h a n ce d   TextR a n w ith   w eig h ted   w o r d   emb ed d i n g   ( E vi  Yu lia n ti)   1927   Nex t,  f o r   th s y s tem s   u s in g   co n tex tu al  em b e d d in g   ( I n d o B E R T ) ,   th in cr ea s ed   p er f o r m an ce   o f   weig h ted   wo r d   em b ed d in g   ap p r o ac h   o v er   u n weig h te d   wo r d   em b ed d in g   ap p r o ac h   is   n o f o u n d .   T h is   is   s im ilar   to   th r esu lts   in   [ 1 4 ] .   wh ich   co u ld   n o f in d   s tatis tically   s ig n if ican im p r o v em e n f o r   th s y s tem s   u s in g   I n d o B E R T   in   L ip u tan 6   d ata,   alth o u g h   th ey   s till   s h o wed   s lig h in cr ea s in   th eir   R O UGE   s co r es.  Us in g   I n d o Su m   d ata,   th s y s tem   u s in g   I n d o B E R T B ASE  s h o ws a  R OUGE - 1   s co r d ec r ea s o f   0 . 0 4 5   ( 1 0 . 3 4 %)  an d   a   R OUGE - 2   s co r d ec r ea s o f   0 . 0 5 3   ( 1 6 . 9 3 %).   Similar ly ,   th s y s tem   u s in g   I n d o B E R T L AR GE   s h o ws   R OUGE - 1   s co r d ec r ea s o f   0 . 0 4 2   ( 9 . 1 3 %)  an d   R OUGE - 2   s co r d ec r e ase  o f   0 . 0 5 0   ( 1 4 . 4 9 %).   T h is   in d icate s   th at  T F - I DF  weig h tin g   is   n o ef f ec tiv f o r   co n tex t u al  em b ed d in g s ,   b ec au s th eir   in h er en co n tex tu al   u n d er s tan d i n g   alr ea d y   ca p tu r es  ess en tial  s em an tic  n u an ce s   an d   th e   im p o r tan ce   o f   wo r d s   ac co r d in g   to   th e   co n tex t.  T h e r ef o r e,   an   a d d itio n al  weig h tin g   th at  ass u m es  w o r d   in d ep en d en ce ,   s u ch   as  T F - I DF,  in s tead   m ak es  th s em an tic  r ep r esen tatio n   o f   wo r d s   less   ac cu r ate.   T h is   r e s u lt  in d icate s   th at  th en h an c ed   T ex tR an k   u s in g   u n weig h ted   I n d o B E R T   em b e d d in g   ( with o u t   T F - I DF  weig h tin g )   is   alr ea d y   n ea r   th e   p er f o r m an ce   ce ilin g   f o r   th is   d ataset.   T ab le  8   d is p lay s   th r esu lts   u s in g   v ar iatio n   o f   d ata  t o   tr ain   wo r d   em b ed d i n g   m o d e ls   f o r   th s u m m ar izatio n   s y s tem s   with   weig h ted   wo r d   em b e d d in g   ap p r o ac h .   Her e,   th W o r d 2 Vec   an d   Fas tTe x t   em b ed d in g s   ar t r ain ed   u s in g   I n d o Su m   d ata  ( tr ai n   s u b s et)   an d   T em p o .   T h ese  em b ed d i n g s   ar th e n   u s ed   to   s u m m ar ize  I n d o Su m   d ata  ( te s s u b s et) .   T h v ar iatio n s   o f   I n d o B E R T   tr ain in g   d ata  a r e   o m itted   b ec au s its     p r e - tr ain in g   p r o ce s s   r eq u ir es  h ig h   co m p le x ity   an d   r eso u r ce s .   T h co m b i n atio n   o f   T ex tR an k   with   th Fas tTe x t   an d   W o r d 2 Vec   em b ed d in g s   tr ain ed   o n   th e   I n d o Su m   d ata s et  co n s is ten tly   s h o ws  s u b s tan tial  im p r o v em en t   co m p ar ed   to   th o s tr ain ed   o n   W ik ip ed ia .   T h is   em p h asizes  t h im p o r tan ce   o f   u s in g   d o m ai n - s p ec if ic  tr ain in g   d ata  in   en h an cin g   th e   q u alit y   o f   wo r d   em b e d d in g s   a n d   s u m m ar izatio n   r esu lts .   T h e   u s o f   T em p o   d ata,   h o wev er ,   ap p e ar s   to   g iv e   in c o n s is ten r esu lt,  s in ce   it  s lig h tly   in cr ea s es  th e   p er f o r m a n ce   o f   s y s tem   u s in g   Fas tTe x t ,   b u t it  s lig h tly   d ec r ea s es th p er f o r m a n ce   o f   s y s tem   u s in g   W o r d 2 Vec .       T ab le  8 .   T h r esu lts   u s in g   v a r iatio n   o f   d ata  to   tr ain   th em b ed d in g   m o d els   D a t a s e t   S u mm a r i z a t i o n   s y st e m   Tr a i n i n g   d a t a   R O U G E - 1   R O U G E - 2   R u n n i n g   t i me   I n d o S u m   Te x t R a n k + W o r d 2 V e c + TF - I D F   Te mp o   0 . 4 7 7 *   0 . 3 6 8 *   5 4 9 s   Te x t R a n k + F a st Te x t + TF - I D F   Te mp o   0 . 4 8 0 *   0 . 3 7 2 *   5 3 6 s   Te x t R a n k + W o r d 2 V e c + TF - I D F   I n d o S u m   0 . 4 9 4 *   0 . 3 8 8 *   5 2 5 s   Te x t R a n k + F a st Te x t + TF - I D F   I n d o S u m   0 . 4 9 8 *   0 . 3 9 3 *   5 4 7 s   S y mb o l   *   d e n o t e   si g n i f i c a n t   d i f f e r e n c e s a g a i n s t   Te x t R a n k ,   a c c o r d i n g   t o   t h e   p a i r e d   t - t e st   ( p   < 0 . 0 5 ) .       5.   DIS CU SS I O AND  F UT UR E   WO RK   T o   p r o v i d clea r er   p ictu r o f   th p er f o r m an ce   o f   th ev alu ated   m eth o d s ,   we  co n d u cte d   co m p ar ativ an al y s is   o n   th s u m m ar ies  g en er ated   b y   v ar i o u s   s y s tem s   ag ain s th g r o u n d   tr u th   s u m m a r y .   T ab le  9   s h o ws  an   ex a m p le  o f   g en er ated   s u m m ar ies  f o r   d o cu m en with   id   3 4   in   th e   test   s u b s et  o f   I n d o Su m   d ataset  u s in g   th T e x tR an k   m eth o d   c o m b in e d   with   v ar io u s   wo r d   e m b ed d in g   m o d els.  I n   th e   s ce n ar io   u s in g   u n weig h ted   wo r d   em b e d d in g s ,   th s u m m ar y   g en er ate d   b y   t h T ex tR an k + Fas tTe x t   ( W ik i p ed ia )   s y s tem   d o es  n o t c o n tain   an y   s en ten ce s   f r o m   th g r o u n d   tr u th .     T h T ex tR an k +Wo r d 2 Vec   ( W ik ip ed ia)   s y s tem   p er f o r m s   s lig h tly   b etter ,   in clu d in g   o n s en ten ce     f r o m   th g r o u n d   tr u th   s u m m ar y .   T h T ex tR an k +I n d o B E R T B A SE  an d   T ex tR an k +I n d o B E R T L AR GE   s y s tem s   also   o n ly   in clu d o n e   s en ten ce   f r o m   th g r o u n d   tr u th   s u m m ar y ,   b u th e y   ar e   m o r ef f ec tiv b ec a u s co n tain in g   a   h ig h e r   n u m b e r   o f   ter m   o v e r lap s   with   th g r o u n d   tr u th   s u m m ar y ,   r esu ltin g   i n   h ig h er   R OUGE   s co r es.  T h is   s h o wca s es  th eir   s u p er io r   ab ilit y   to   u n d er s tan d   th co n tex an d   s em an tics   o f   th tex t.  W h en   th Fas tTe x an d   W o r d 2 Vec   ar e   p r etr ain ed   u s in g   I n d o Su m   d a taset,  th p er f o r m an ce   o f   th e   m o d els  in c r ea s ed ,   r esu ltin g   in   b o th   t h R OUGE - 1   an d   R OUGE - 2   s co r es  ar 1   ( s ee   T ex tR an k +FastTe x t( I n d o Su m )   a n d   T ex tR an k +Wo r d 2 Vec ( I n d o Su m ) ) .   T h is   r ein f o r ce s   o u r   f in d i n g   th at   u s in g   th s am e   d o m ain   d ataset  as  th e   test   d ata  ca n   im p r o v s u m m ar y   ac cu r ac y .     W h en   th T F - I DF  weig h tin g   is   in co r p o r ated   i n to   th m o d els,  th p er f o r m an ce   o f   th s y s tem s     b ased   o n   s tatic  wo r d   em b ed d in g s   also   in cr ea s ed ,   r esu ltin g   b o th   o f   th R OUGE - 1   an d   R O UGE - 2   s co r es  ar 1   ( s ee   T ex tR an k +FastTe x t( W ik ip ed ia) +T F - I DF  an d   T e x tR an k +Wo r d 2 Vec ( W ik ip ed i a) +T F - I DF) .   T h is   h ig h lig h ts   th b en ef its   o f   th e   weig h tin g   m et h o d   f o r   s tatic  em b ed d i n g .   H o wev er ,   t h r esu lts   o f   en h an ce d   T ex tR an k   u s in g   I n d o B E R T   m o d el  ar e   n o im p r o v e d   b y   th weig h tin g   m eth o d .   T h is   is   b ec au s th e   b id ir ec tio n al  f ea tu r o f   th I n d o B E R T   m o d els  alr ea d y   ca p tu r es  th s em an tic  m ea n in g   o f   wo r d s T h er ef o r e ,   th ad d itio n al  weig h tin g   in s tead   m ak es  th s em an tic  r ep r es en tatio n   o f   wo r d s   less   ac cu r ate.   T o   o v er c o m th is   lim itatio n ,   in   th f u tu r e,   m o r ad v an ce d   c o n tex t u al  em b e d d in g s   f r o m   m u ltil in g u al  lan g u ag m o d el  th at   in clu d es B ah asa  I n d o n esia in   th p r etr ain i n g   d ata  ca n   b i n v esti g ated .   Ov er all,   th f in d in g s   o b tain e d   in   th is   s tu d y   co n f ir m   th r esu lts   r ep o r ted   in   [ 1 4 ]   th at  co m b in in g   T ex tR an k   an d   wo r d   em b e d d i n g   is   ef f ec tiv at  im p r o v in g   t h ac cu r ac y   o f   s u m m ar izati o n   s y s tem .   Fu r th er   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 1 9 1 9 - 1 9 3 0   1928   ad d in g   T F - I DF  weig h tin g   ca n   en h an ce   th s tatic  em b ed d i n g - b ased   s y s tem s ,   b u it  is   le s s   ef f ec tiv o r   ev en   d etr im en tal  f o r   c o n tex tu al  em b ed d in g s   lik I n d o B E R T .   I n   ad d itio n ,   o u r   r esu lts   also   d is co v er   n ew  f in d in g s   r eg ar d in g   th in f l u en ce   o f   u s in g   th s am d ata  d o m ain   f o r   t r ain in g   wo r d   em b e d d in g   m o d els  o n   th ac cu r ac y   o f   th g en er ate d   s u m m ar ies.  Ou r   r esu lts   em p h asize  th e   im p o r tan ce   o f   u s in g   d o m ain - s p e cif ic  tr ain in g   d ata  in   en h an cin g   th q u ality   o f   w o r d   em b ed d in g s   an d   s u m m ar izatio n   r esu lts .   T h p o s itiv R OUGE   s co r d if f er en ce s   b etwe en   o u r   m eth o d s   an d   th b aselin m eth o d s   in d icate   th at   o u r   s u m m ar ies  h av h i g h e r   n u m b e r   o f   ter m   o v er lap s   with   th r ef er en ce   s u m m ar ie s ,   co m p ar ed   to   th e   b aselin s u m m ar ies.  W h ile  th ese  r esu lts   r ef lect  th q u ality   o f   s u m m ar ies  b ased   o n   o f f lin m etr ic,   it  d o es  n o n ec ess ar ily   r ef lect  th u s er s   j u d g m e n t.  T h is   is   an o th er   lim itatio n   o f   th is   wo r k .   T h e r ef o r e ,   f u r th e r   u s er   s tu d y   ca n   also   b p er f o r m e d   in   th f u tu r to   ass ess   th q u ality   o f   s u m m ar ies  d ir ec tly   b ased   o n   u s er s   p er s p ec tiv es.  T h is   ad d itio n al  in v esti g atio n   o n   h u m an   e v alu atio n   o f   s u m m ar y   q u ality   ca n   c o n f ir m   th e   r esu lts   o b tain ed   in   th is   wo r k   b ased   o n   au to m atic  ev alu atio n .       T ab le  9 .   E x am p le  o f   g en e r ate d   s u m m ar ies   S y st e m   S u mm a r i e s   G r o u n d   t r u t h   T U RK I     L e b i h   d a ri   4 0   o ra n g ,   se b a g i a n   b e s a r   m a n t a n   a n g g o t a   u n i t   p a su k a n   k h u s u s   T u r k i ,   d i j a t u h i   h u k u m a n   se u m u h i d u p   se t e l a h   d i n y a t a k a n   t e r b u k t i   b e r sa l a h   m e n c o b a   m e m b u n u h   Pre s i d e n   R e c e p   T a y y i p   Erd o g a n .   D a l a m   p e rs i d a n g a n   d i   M u g l a ,   k o t a   d i   T u r k i   b a r a t   d a y a   h a ri   Ra b u   ( 0 4 / 1 0 ) ,   h a k i m   m e n y a t a k a n   t e r d a k w a   m e n y e ra n g   h o t e l   d i   r e so r   w i s a t a   t e p i   l a u t   d i   M a rm a r i s,  y a n g   m e n j a d i   t e m p a t   p e n g i n a p a n   Pre s i d e n   Er d o g a n   k e t i k a   b e r l a n g su n g   u p a y a   k u d e t a   y a n g   g a g a l   p a d a   1 5   J u l i   2 0 1 6 .   ( En g l i s h   t r a n sl a t i o n :   TU R K EY     M o r e   t h a n   4 0   i n d i v i d u a l s ,   m o st   o f   t h e f o r mer  m e m b e r o f   Tu r k i s h   sp e c i a l   f o r c e u n i t s,   h a v e   b e e n   s e n t e n c e d   t o   l i f e   i m p r i s o n me n t   a f t e r   b e i n g   f o u n d   g u i l t y   o f   a t t e m p t i n g   t o   a ss a ssi n a t e   P r e s i d e n t   R e c e p   Ta y y i p   Er d o g a n .   D u r i n g   t h e   t r i a l   i n   M u g l a ,   a   c i t y   i n   so u t h w e st e r n   T u r k e y ,   o n   W e d n e s d a y   ( 1 0 / 0 4 ) ,   t h e   j u d g e   s t a t e d   t h a t   t h e   d e f e n d a n t s   a t t a c k e d   a   h o t e l   i n   t h e   se a si d e   r e s o r t   o f   M a r mari s,  w h e r e   P r e s i d e n t   Er d o g a n   w a st a y i n g   d u r i n g   t h e   f a i l e d   c o u p   a t t e m p t   o n   J u l y   1 5 ,   2 0 1 6 . )   Te x t R a n k + W o r d 2 V e c   ( W i k i p e d i a )   ( En g l i s h   t r a n sl a t i o n :   TU R K EY     M o r e   t h a n   4 0   i n d i v i d u a l s ,   m o st   o f   t h e f o r mer  m e m b e r o f   Tu r k i s h   sp e c i a l   f o r c e u n i t s,   h a v e   b e e n   s e n t e n c e d   t o   l i f e   i m p r i s o n me n t   a f t e r   b e i n g   f o u n d   g u i l t y   o f   a t t e m p t i n g   t o   a ss a ssi n a t e   P r e si d e n t   R e c e p   T a y y i p   Er d o g a n .   A c c o r d i n g   t o   t h e   p a r l i a me n t a r y   c o mm i t t e e   i n v e s t i g a t i n g   t h e   i n c i d e n t ,   3 4   sp e c i a l   f o r c e m e m b e r a r r i v e d   a t   t h e   h o t e l   a t     3 : 2 0   a . m.,   w h i l e   Er d o g a n   l a n d e d   i n   I st a n b u l   a t   3 : 4 0   a . m.)   ( R O U G E - 1   = 0 . 5 5 7 ,   R O U G E - 2   = 0 . 4 3 3 )   Te x t R a n k + F a st Te x t   ( W i k i p e d i a )   ( En g l i s h   t r a n sl a t i o n :   I n   a n   i n t e r v i e w   w i t h   C N N ,   P r e s i d e n t   Er d o g a n   s a i d ,   I f   I   h a d   s t a y e d   1 0   o r   1 5   mi n u t e l o n g e r   ( i n   t h e   h o t e l ) ,   I   w o u l d   h a v e   b e e n   k i l l e d   o r   t a k e n   h o s t a g e .   A c c o r d i n g   t o   t h e   p a r l i a m e n t a r y   c o mm i t t e e   i n v e s t i g a t i n g   t h e   i n c i d e n t ,   3 4   s p e c i a l   f o r c e m e m b e r a r r i v e d   a t   t h e   h o t e l   a t   3 : 2 0   a . m. ,   w h i l e   Er d o g a n   l a n d e d   i n   I st a n b u l   a t   3 : 4 0   a . m . )   ( R O U G E - 1   = 0 . 3 0 3 ,   R O U G E - 2   = 0 . 0 3 4 )   Te x t R a n k + I n d o B E R T BA S E   ( En g l i s h   t r a n sl a t i o n :   TU R K EY     M o r e   t h a n   4 0   i n d i v i d u a l s ,   m o st   o f   t h e f o r mer  m e m b e r o f   Tu r k i s h   sp e c i a l   f o r c e u n i t s,   h a v e   b e e n   s e n t e n c e d   t o   l i f e   i m p r i s o n me n t   a f t e r   b e i n g   f o u n d   g u i l t y   o f   a t t e m p t i n g   t o   a s sassi n a t e   P r e si d e n t   R e c e p   Ta y y i p   Er d o g a n .   P r e s i d e n t   E r d o g a n   h i ms e l f   l e f t   h i s   r e so r t   i n   M a r mar i b e f o r e   t h e   a t t a c k ,   w h i c h   k i l l e d   t w o   p o l i c e   o f f i c e r s,   w a l a u n c h e d . )   ( R O U G E - 1   = 0 . 5 9 5 ,   R O U G E - 2   = 0 . 5 1 4 )   Te x t R a n k + I n d o B E R T L A RG E   ( En g l i s h   t r a n sl a t i o n :   D u r i n g   t h e   t r i a l   i n   M u g l a ,   a   c i t y   i n   s o u t h w e s t e r n   Tu r k e y ,   o n   W e d n e sd a y   ( 1 0 / 0 4 ) ,   t h e   j u d g e   s t a t e d   t h a t   t h e   d e f e n d a n t a t t a c k e d   a   h o t e l   i n   t h e   sea s i d e   r e s o r t   o f   M a r maris ,   w h e r e   P r e s i d e n t   Er d o g a n   w a s t a y i n g   d u r i n g   t h e   f a i l e d   c o u p   a t t e m p t   o n   Ju l y   1 5 ,   2 0 1 6 .   S o me   a n a l y st s   d i sm i sse d   P r e s i d e n t   Er d o g a n 's  c l a i m   t h a t   h e   h a d   a l r e a d y   l e f t   t h e   h o t e l   b e f o r e   t h e   f i r i n g   sq u a d   a r r i v e d   a t   t h e   h o t e l   w h e r e   Er d o g a n   a n d   h i s   f a mi l y   w e r e   st a y i n g . )   ( R O U G E - 1   = 0 . 6 6 2 ,   R O U G E - 2   = 0 . 6 2 5 )   Te x t R a n k + W o r d 2 V e c   ( I n d o S u m )   S a me  a s t h e   g r o u n d   t r u t h   su mm a r y   ( R O U G E - 1   = 1 ,   R O U G E - 2   = 1 )   Te x t R a n k + F a st Te x t   ( I n d o S u m )   S a me  a s t h e   g r o u n d   t r u t h   su mm a r y   ( R O U G E - 1   = 1 ,   R O U G E - 2   = 1 )   Te x t R a n k + W o r d 2 V e c   ( W i k i p e d i a ) + TF - I D F   S a me  a s t h e   g r o u n d   t r u t h   su mm a r y   ( R O U G E - 1   = 1 ,   R O U G E - 2   = 1 )   Te x t R a n k + F a st Te x t   ( W i k i p e d i a ) + TF - I D F   S a me  a s t h e   g r o u n d   t r u t h   su mm a r y   ( R O U G E - 1   = 1 ,   R O U G E - 2   = 1 )   Te x t R a n k + I n d o B E R T BA S E +   TF - I D F   S a me  a s t h e   s u mm a r y   o f   T e x t R a n k + I n d o B ER T BA S E   a b o v e .   ( R O U G E - 1   = 0 . 5 9 5 ,   R O U G E - 2   = 0 . 5 1 4 )   Te x t R a n k + I n d o B E R T L A RG E +   TF - I D F   ( En g l i s h   t r a n sl a t i o n :   D u r i n g   t h e   t r i a l   i n   M u g l a ,   a   c i t y   i n   S o u t h w e s t e r n   Tu r k e y ,   o n   W e d n e sd a y   ( 1 0 / 0 4 ) ,   t h e   j u d g e   s t a t e d   t h a t   t h e   d e f e n d a n t a t t a c k e d   a   h o t e l   i n   t h e   sea s i d e   r e s o r t   o f   M a r maris ,   w h e r e   P r e s i d e n t   Er d o g a n   w a st a y i n g   d u r i n g   t h e   f a i l e d   c o u p   a t t e m p t   o n   Ju l y   1 5 ,   2 0 1 6 .   P r e s i d e n t   Er d o g a n   h i m sel f   l e f t   h i r e s o r t   i n   M a r maris  b e f o r e   t h e   a t t a c k ,   w h i c h   k i l l e d   t w o   p o l i c e   o f f i c e r s,   w a s   l a u n c h e d . )   ( R O U G E - 1   = 0 . 7 0 4 ,   R O U G E - 2   = 0 . 6 5 0 )   Te x t R a n k + W o r d 2 V e c   ( I n d o S u m ) + TF - I D F   S a me  a s t h e   g r o u n d   t r u t h   su mm a r y   ( R O U G E - 1   = 1 ,   R O U G E - 2   = 1 )   Te x t R a n k + F a st Te x t   ( I n d o S u m ) + TF - I D F   S a me  a s t h e   g r o u n d   t r u t h   su mm a r y   ( R O U G E - 1   = 1 ,   R O U G E - 2   = 1 )   Evaluation Warning : The document was created with Spire.PDF for Python.