I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   40 ,   No .   2 N o v em b e r   2 0 2 5 ,   p p .   9 07 ~ 9 1 5   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 40 .i 2 . pp 907 - 91 5           907     J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Q uery  k ey wo rd e x trac tion in dis cri mina tive ma rg ina lized  pro ba bilistic ne ur a l method for  mu lti - do cumen sum ma riza tion       B a m ba ng   Su beno 1, 2 ,   I nd ra   B ud i 1 ,   E v i Y u lia nti 1   1 F a c u l t y   o f   C o mp u t e r   S c i e n c e ,   U n i v e r si t a s   I n d o n e si a ,   D e p o k ,   I n d o n e s i a   2 S c h o o l   o f   C o m p u t i n g ,   Te l k o m   U n i v e r si t y ,   B a n d u n g ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   No v   20 2 0 2 4   R ev is ed   Au g   11 2 0 2 5   Acc ep ted   Oct   14 2 0 2 5       Th e   larg e   n u m b e o tex tu a d o c u m e n ts  in   th e   m e d ica field   m a k e it   v e ry   d iffi c u lt   f o re a d e rs  t o   o b tain   c o m p re h e n siv e   in f o rm a ti o n .   Us e rs  u su a ll y   u se   a   q u e ry   a p p ro a c h   t o   g e t h e   d e sire d   in f o rm a ti o n .   Us in g   th e   c o rre c q u e ry   wil p ro d u c e   re lev a n t   i n fo rm a ti o n .   I n   t h e   e x ist in g   d isc rimin a ti v e   m a rg in a li z e d   p ro b a b il isti c   n e u ra m e th o d ,   re fe rre d   to   a DA M EN,   u se d   f o m u lt i - d o c u m e n t   su m m a riza ti o n ,   a   b a c k g ro u n d   se n te n c e   q u e ry   is  u se d   t o   re tri e v e   th e   to p - re lev a n d o c u m e n ts  a n d   th e n   g e n e ra te  a   su m m a ry   o th e se   d o c u m e n ts.  H o we v e r,   th e   b a c k g ro u n d   se n ten c e   q u e ry   u se d   to   re tri e v e   th e   to p - d o c u m e n ts  d i d   n o p r o v i d e   a c c u ra te  su m m a ry   re su lt s.  Th e   a u th o r   imp ro v e d   t h e   DA M EN   m o d e l   b y   a d d in g   a   k e y w o rd   e x trac ti o n   p r o c e ss   to   t h e   q u e ry   b a c k g ro u n d   se n ten c e .   We  c a ll   th is   m o d e l   Q - DAM EN.   O u m o d e l   sh o ws   si g n ifi c a n imp ro v e m e n o v e t h e   o r ig i n a DA M EN   m e th o d ,   wit h   t h e   b e st  re su lt a c h ie v e d   b y   th e   v a riatio n   o f   u si n g   k e y w o rd   q u e ry   e n tere d   in t o   th e   d isc rimin a to r   c o m p o n e n t   a n d   a   b a c k g ro u n d   se n te n c e   q u e ry   e n tere d   in t o   th e   g e n e ra to r   c o m p o n e n t .   Th e   m u lt ip a rt ieRa n k   k e y w o rd   e x trac ti o n   m e th o d   sh o ws   t h e   b e st  re su lt s   with   a   R o u g e - 1   v a l u e   o 2 9 . 1 2 ,   R o u g e - 2   o f   0 . 7 9 ,   a n d   Ro u g e - o 1 5 . 5 3 .   T h e   re su lt s   d e m o n stra te  th a th e   m o re   a c c u ra te  th e   k e y wo r d e x trac ted   fro m   t h e   se n t e n c e   b a c k g ro u n d   q u e ry ,   th e   m o r e   a c c u ra te   th e   m u lt i - d o c u m e n su m m a ries   g e n e ra ted .   K ey w o r d s :   B ac k g r o u n d   s en ten ce   q u er y   DAM E N   Key wo r d   ex tr ac ti o n   Key wo r d   q u er y   Mu lti - d o cu m e n t   s u m m ar izatio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   I n d r B u d i   Facu lty   o f   C o m p u ter   Scien ce ,   Un iv er s itas   I n d o n esia   Dep o k ,   1 6 4 2 4 ,   I n d o n esia   E m ail: in d r a@ cs.u d . ac . id       1.   I NT RO D UCT I O N   W ith   th d ev elo p m en o f   th e   I n ter n et,   d ig ital  tex d o cu m e n ts   ar in cr ea s in g ly   u s ed   a n d   g r o i n to   v er y   lar g e   d ata  [ 1 ] .   W ith   th e   m an y   te x tu al  d o cu m e n ts   s p r ea d   o v er   d ig ital  m e d ia,   it  is   n o t   ea s y   to   g et  s p ec if ic  in f o r m atio n   d esire d   b y   u s er s .   Sp ec ial  tech n iq u es  ar e   n ee d e d   to   g et  i n f o r m atio n   s p r ea d   o v er   d if f e r en d i g ital   m ed ia,   s u ch   as  m ac h in lear n in g   ( ML )   [ 1 ] ,   [ 2 ] .   T h is   h as  tr ig g er ed   th d esire   o f   m a n y   r es ea r ch er s   to   d ev el o p   an   ef f ec tiv ap p r o ac h   th at  ca n   au to m atica lly   s u m m ar ize  tex an d   p r o d u ce   s u m m ar y   th at  co n tain s   im p o r tan t   s en ten ce s   an d   in clu d es a ll r ele v an t im p o r tan t in f o r m atio n   f r o m   th o r ig i n al  d o c u m en t [ 2 ] ,   [ 3 ] .   ML   is   b r an ch   o f   ar tific ial  i n tellig en ce   ( AI )   th at  d ev elo p s   d y n am ic  alg o r ith m s   ca p ab le  o f   m ak in g   d ec is io n s   b ased   o n   d ata.   Ma n y   task s   ar d ev elo p ed   to   ex tr ac in f o r m atio n   co n tain ed   in   tex tu al  d o cu m en ts ,   s u ch   as  clu s ter in g ,   class if icatio n ,   a n d   s u m m ar izatio n   [ 2 ] .   C lu s ter in g   is   task   t o   g r o u p   d ata  ac c o r d i n g   to   s im ilar ity   o f   f ea tu r es  a n d   ch ar ac ter is tics   o f   d ata  [ 4 ] .   C lass if i ca tio n   is   a   task   o f   id e n tify in g   an d   g r o u p in g   d at a   b ased   o n   p r ed eter m in e d   ca te g o r ies.  T h e r ar e   f iv e   s tep s   t o   p er f o r m   th e   class if icatio n   p r o ce s s ,   n am ely   tex p r ep r o ce s s in g ,   tex r e p r esen tatio n ,   f ea tu r e   s elec tio n ,   cl ass if ier   tr ain in g ,   an d   ef f ec ev alu atio n   [ 5 ] .   Su m m ar izatio n   is   task   i n   th f ield   o f   n atu r al  lan g u ag p r o ce s s in g   ( NL P)  th at  in v o lv es  co n d en s in g   tex ts   to   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   2 ,   No v em b er   20 25 :   9 0 7 - 91 5   908   s u m m ar ize   th m ajo r ity   o f   th e   in f o r m atio n   f r o m   th s o u r ce   d o cu m e n [ 6 ] ,   [ 7 ] .   Su m m ar iza tio n   is   n ec ess ar y   to   s u p p o r t   d ata   an aly s is   an d   to   ex p lo r lar g d ata  s ets  [ 8 ] .   T h tex d o cu m en s u m m ar iza tio n   th at  h as  b ee n   c a r r i e d   o u t   c o n s i s ts   o f   s i n g l e   d o c u m e n t   s u m m a r i z a t i o n   [ 9 ] [ 1 2 ] .   a n d   m u l t i - d o c u m e n t   s u m m a r i z a t i o n   [ 1 3 ] [ 1 5 ]   with   an   ex tr ac tiv [ 1 6 ] ,   [ 1 7 ]   a n d   ab s tr ac tiv [ 1 8 ] ,   [ 1 9 ]   s u m m ar izatio n   ap p r o ac h .   Sin g le  d o cu m en s u m m ar izati o n   is   s u m m ar izatio n   th at  u s es  s in g le  d o cu m en as  an   in p u s o u r ce   [ 1 7 ] .   Mu lti - d o cu m e n s u m m a r izatio n   is   s u m m ar izatio n   th at  au to m atica lly   p r o d u ce s   s h o r s u m m ar y   o f   lar g co llectio n   o f   tex d o cu m en ts ,   m ak in g   it  ea s ier   f o r   r e ad er s   to   u n d er s tan d   th e   m ain   p o in o f   in f o r m atio n   d is cu s s ed   in   th en tire   co n ten o f   th d o cu m en an d   in c r ea s in g   th ac c ess ib ilit y   o f   co n ten f r o m   v a r io u s   ex is tin g   to p ics [ 2 0 ] .   Sev er al  a p p r o ac h es a r b asically   ca r r ied   o u t to   p r o d u ce   b etter   s u m m ar y   th at  r ef lects th e   co n ten o f   t h m ain   d o cu m e n [ 1 9 ] ,   o n o f   wh ich   is   th q u er y - b ased   s u m m ar izatio n   a p p r o ac h .   T h q u er y - b ased   s u m m ar izatio n   a p p r o a ch   ca n   o f ten   tak th e   f o r m   o f   q u er y   f o r   wo r d s   o r   p h r ases   th at  r ef er   to   a   p ar ticu lar   en tity   [ 2 1 ] .   Sev er al   q u er y - b ased   s u m m ar izatio n   m o d els,  n am ely   th T ASA  m o d el  [ 2 2 ] ,   q u esti o n - d r iv en   s u m m ar izatio n   ( QDS)   [ 2 1 ] ,   an d   d is cr im in ativ m ar g in a lized   p r o b ab ilis tic  m eth o d   ( DAM E N)   [ 2 3 ] ,   h av n o s h o wn   s ig n if ica n r e s u lts .   I n   th T ASA  m o d el,   s e n ten ce s   ar s co r ed   b ased   o n   wo r d s   th at  h av h ig h   weig h ts   to   b e   u s ed   as   s u m m a r y   ca n d id ates;  th is   m o d el  is   s till   lim ited   to   s h o r s en ten ce s   an d   less   r elev an t   to   th to p ic  [ 2 2 ] .   T h QDS  m o d el  is   s u m m ar izatio n   b ased   o n   q u esti o n s th an s wer s   to   q u esti o n s   ar ca lled   s u m m ar ies.  Ho wev er ,   th is   m o d el  o n ly   d ea ls   with   q u esti o n s   in   ea ch   s en ten ce   an d   ig n o r es  m u tu al  in f o r m atio n   b etwe en   s en ten ce s   an d   clu s ter s   [ 2 1 ] .   T h DAM E m o d el  r e p r esen ts   m eth o d   f o r   a b s tr ac tiv m u lti - d o c u m en t   s u m m ar izatio n   th at   in v o l v es  th co m b in atio n   o f   b ac k g r o u n d   s en ten ce s   in to   clu s ter   d o cu m e n ts .   I n   t h is   DAM E m o d el,   th in p u d o cu m en ts   m u s b in   t h f o r m   o f   clu s ter s ,   an d   t h b ac k g r o u n d   s en ten ce s   ar d eter m in ed   m an u ally   [ 2 3 ] .   Alth o u g h   t h s u m m a r izatio n   r esu lts   ar b etter   th an   e x is tin g   ab s tr ac tio n   s u m m ar izatio n ,   th is   m o d el  is   s till   f ar   f r o m   h u m a n - g en e r ated   s u m m ar ies.   T h r esu lts   o f   s en ten ce   q u e r y - b ased   s u m m ar izatio n   s h o t h at  th er ar e   s till   s o m lim i tatio n s .   T h is   co n clu s io n   is   in   lin with   th r esu lts   o f   th r esear ch   co n d u c ted   b y   [ 2 4 ] ,   [ 2 5 ] ,   wh ich   s tates  th at  th s en ten ce   q u er y - b ased   m u lti - d o cu m e n s u m m ar izatio n   a p p r o ac h   m o s tl y   f ails   to   p r o d u ce   b etter   s u m m ar y   co m p ar ed   t o   th k ey wo r d   q u er y - b ased   a p p r o ac h .   I n   a d d itio n ,   u s er s   ten d   to   p r ef er   s ea r c h in g   with   k ey w o r d s   r ath er   th an   with   lo n g   s en ten ce s   [ 2 5 ] .   T h e r ef o r e,   in   th is   s tu d y ,   th DAM E m o d el  was  m o d if ied   b y   ad d in g   k ey wo r d   ex tr ac tio n   p r o ce s s   f r o m   b ac k g r o u n d   s en ten ce s   b ef o r u s in g   th em   to   r etr iev d o cu m en ts .   B ac k g r o u n d   s en ten ce s   ar s till   u s ed   in   t h e   s u m m ar izatio n   p r o ce s s ,   s o   th at  s u m m ar y   ca n d id ates  co m e   f r o m   th r esu lts   o f   d o cu m e n r etr iev al  an d   th b a ck g r o u n d   s en ten ce s   th em s elv es.  T h s u m m ar izatio n   r esu lts   ar th en   co m p a r ed   with   th wo r d   q u er y   ap p r o ac h   an d   th b ac k g r o u n d   s en ten ce   q u er y .   I n   th e x is tin g   DAM E q u er y ,   th b ac k g r o u n d   s en ten ce   is   u s ed   in   th e   d is cr im in ato r   co m p o n e n to   r etr iev th to p - m o s r elev a n d o cu m e n ts ,   th en   in   t h g en er ato r   co m p o n e n t,  th ese  d o c u m en ts   ar p r o ce s s ed   to g eth er   with   th e   b ac k g r o u n d   s en ten ce s   to   p r o d u ce   th f i n al  s u m m ar y   ac co r d i n g   to   th e ir   clu s ter s .   I n   o u r   p r o p o s ed   m o d el,   t h q u er y   u s ed   to   r etr iev d o cu m en ts   in   th d is cr im in ato r   co m p o n en d o es  n o u s s en ten ce s ,   b u u s es  k e y wo r d s   ex tr ac ted   f r o m   b ac k g r o u n d   s e n ten ce s ,   with   t h e   aim   o f   d eter m in in g   th e   ef f ec t   o f   q u er y   u s o n   s u m m ar izatio n   r esu lts .   B ef o r r u n n in g   th e   ex p er im en tal  p r o ce s s   with   a   lo t   o f   d ata,   th e   au th o r   co n d u cte d   s m all  ex p er im en to   u n d er s tan d   wh eth er   th u s o f   k ey wo r d   q u er y   ca n   p o s itiv ely   af f ec th e   m u lti - d o cu m e n s u m m ar izatio n   r esu lts   u s in g   DAM E m eth o d .   T h d ata  u s ed   is   clu s ter   with   p r o ce s s   ac co r d in g   to   th e   s tag es  in   Fig u r 1 .   T h e   ex is tin g   DAM E u s es  b ac k g r o u n d   s en ten ce s   in   th d is cr im in atio n   co m p o n en t,  an d   th g en er ato r   p r o d u ce s   R o u g e - 1   v alu e   o f   2 3 . 5 2 ,   R o u g e - 2   is   8 . 5 4 ,   a n d   R o u g e - L   is   1 3 . 4 4 .   Ad d in g   t h k e y wo r d   ex tr ac ti o n   p r o ce s s   to   DAM E N,   w h ich   is   p er f o r m e d   in   th d is cr im in ato r   c o m p o n en t ,   p r o d u ce s   R o u g e - 1   v alu e   o f   3 0 . 0 8 ,   R o u g e - 2   is   7 . 2 1 ,   an d   R o u g e - L   is   1 5 . 9 2 .   An   e x a m p le  o f   a   s im p le  ex p er im en tal  p r o ce d u r is   s h o wn   in   Fig u r 2 .   B ased   o n   t h r esu lts   o b tain ed   f r o m   th s m all  ex p er im en in   Fig u r 2 ,   g o o d   k e y wo r d   q u er y   f r o m   b ac k g r o u n d   s en ten c q u er y   ca n   lead   to   b etter   s u m m ar izatio n   r esu lts   th at  is   ca u s ed   b y   b etter   to p - d o cu m en ts   r etr iev ed .   T h e r e f o r e,   in   th is   s tu d y ,   we  p r o p o s e   th u s o f   k ey wo r d   ex tr ac tio n   o n   DAM E to   ad d   th k e y wo r d   e x tr ac tio n   q u e r y   p r o ce s s   to   th b ac k g r o u n d   s en ten ce   b y   u s in g   lar g er   d ata,   with   t h h o p th at  th r esu lts   o b tain ed   s h o c o n s is ten cy .       2.   RE S E ARCH   M E T H O D   T h is   s ec tio n   d is cu s s es  th im p lem en tatio n   o f   k ey w o r d   e x tr ac tio n   q u er ies  th at  c o n v er b a ck g r o u n d   s en ten ce s   in to   k ey wo r d s .   T h e   p r o ce s s   s tag s tar ts   b y   tak in g   MS2   d ata;  clu s ter s   th at  h av b ac k g r o u n d   ar e   p r o ce s s ed   f o r   th n e x s tag e.   Af ter   th d ata   co n tain in g   th b ac k g r o u n d   s en ten ce   is   cle ar ,   th d o cu m e n is   p r o ce s s ed   b y   th in d ex er ,   an d   th b ac k g r o u n d   s en ten ce   o f   e ac h   clu s ter   is   ex tr ac ted   f r o m   t h k e y wo r d   wo r d s .   B ef o r ex tr ac tin g   th k ey w o r d   wo r d s ,   p r ep r o ce s s in g   p r o ce s s   i s   ca r r ied   o u to   r em o v u n im p o r tan wo r d s .   Af ter   th k ey wo r d   ex t r ac tio n ,   th wo r d s   ar u s ed   as  q u er y   to   r et r iev d o c u m en ts   i n   th d is cr im in ato r   co m p o n en t.  T h to p - r etr iev al  r esu lts   ar co m b in ed   with   th o r ig in al  s en ten ce   q u er y   u s e d   f o r   th g e n er atio n   s u m m ar izatio n   p r o ce s s .   See  Fig u r 1   f o r   m o r d etails.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Qu ery  ke ywo r d   ex tr a ctio n   in   d is crimin a tive  ma r g in a liz ed   p r o b a b ilis tic  n eu r a …  ( B a mb a n g   S u b en o )   909       Fig u r 1 .   Flo o f   th k e y wo r d   q u er y   ex tr ac tio n   p r o ce s s   f o r   m u lti - d o cu m e n t su m m ar izatio n           Fig u r 2 .   I ll u s tr atio n   o f   a   s im p le  ex p er im en tal  p r o ce s s   u s in g   b ac k g r o u n d   s en ten ce   an d   k e y wo r d   ex tr ac tio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   2 ,   No v em b er   20 25 :   9 0 7 - 91 5   910   2 . 1 .     K ey wo rd  e x t r a ct io n   Key wo r d   ex tr ac tio n   is   m eth o d   th at  au to m atica lly   ex tr a cts  im p o r tan wo r d s   f r o m   d o cu m e n t   co n tain in g   f iv to   ten   wo r d s th ese  im p o r tan wo r d s   p r o v id an   in s tan s u m m ar y   o f   th d o cu m en [ 2 6 ] ,   [ 2 7 ] .   Key wo r d s   ar u s ef u f o r   r ea d er s   to   s ee   th co n ten o f   th d o cu m en at  a   g lan ce ,   f o r   I n te r n et  u s er s   to   f in d   th m o s r elev an p ar o f   web   p ag e,   o r   e v en   f o r   s ea r ch   e n g in es  to   im p r o v s ea r c h   r esu lts .   T h u s o f   k ey wo r d   ex tr ac tio n   m eth o d   ca n   u s s tati s tical  ap p r o ac h   s u ch   as  ter m   f r eq u en cy in v er s d o cu m en f r e q u en cy   ( T FID F ) ,   wo r d   f r e q u en c y P a tr icia  tr ee   [ 2 6 ] ,   y et  a n o th er   k ey wo r d   ex tr ac to r   ( YAKE )   [ 2 7 ] ,   s tatis tical  g r ap h - b ased   s u ch   as M u ltip ar tieR an k   [ 2 8 ] ,   o r   ML   ap p r o ac h   s u ch   as   k ey wo r d   e x tr ac tio n   u s in g   B E R T   ( b id ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr an s f o r m e r s )   ( Key B E R T )   [ 2 7 ] .   I n   th is   s tu d y ,   k e y w o r d   ex t r ac tio n   was  attem p ted   in   th ex p er im en tal   s ce n ar io   u s in g   th T FID F,  K ey B E R T ,   YAKE ,   an d   Mu ltip ar ty R an k   m eth o d s .   T FID is   class ic  k ey wo r d   ex tr ac tio n   m et h o d   th at  is   b as ed   o n   cu ltu r es  b ased   o n   wo r d   f r e q u en c y   [ 2 9 ] .   Key B E R T   is   s im p le  k ey wo r d   ex tr ac tio n   m et h o d   th at  u s es  th B E R T   m o d el   with   a   tr an s f o r m er   lib r ar y   b ased   o n   co s in s im ilar ity   to   f in d   th m o s r elev an wo r d s   [ 3 0 ] ,   [ 3 1 ] .   YAKE   is   m eth o d   f o r   ex tr ac tin g   k ey wo r d s   b ased   o n   wo r d   f r e q u en c y ,   wo r d   p o s itio n ,   wo r d   r elate d n ess   to   co n tex t,   an d   wo r d   d if f er en ce   in   m u ltil in g u al   d o cu m e n ts   [ 2 6 ] .   M u ltip ar tieR an k   is   m eth o d   f o r   e x tr ac tin g   k ey w o r d   p h r ases   an d   to p ics  in   m u ltip ar tie   g r ap h   s tr u ct u r b ased   o n   th e   T ax tR an k   m eth o d   [ 2 8 ] .     2 . 2 .     DAME N   DAM E is   d is cr im in ativ m ar g in alize d   p r o b ab ilis tic  n eu r al  m eth o d   u s ed   to   s u m m ar ize  th e   m ed ical  d o m ain .   T h DAM E m o d el  co n s is ts   o f   th r ee   co m p o n en ts ,   n am ely   in d ex er ,   d is cr im in ato r   an d   g en er ato r   [ 2 3 ] .   At  t h in d ex er   s tag e,   ea ch   d o cu m en in   th clu s ter   is   in d ex ed   u s in g   t h B E R T   m o d el.   A th e   d is cr im in ato r   s tag e,   d o cu m en t   r etr iev al  is   p er f o r m ed   to   d is tin g u is h   im p o r tan in f o r m atio n   in   clu s ter   b ased   o n   its   b ac k g r o u n d   s en ten ce   q u er y .   E ac h   d o c u m en clu s ter   i s   g iv en   s co r o f   m atch in g   with   th b ac k g r o u n d   u s in g   co s in s im ilar ity ,   an d   t h en   th to p   ar e   s elec ted   to   b u s ed   as  ca n d id ates  f o r   th n ex p r o ce s s .   T h m o d el  u s ed   in   t h is   s tag is   B E R T .   At  th g en er ato r   s tag e,   t h s u m m ar izatio n   p r o ce s s   is   p er f o r m ed   b ased   o n   th b ac k g r o u n d   s en ten ce   q u er y   an d   th to p   d o cu m e n ts   u s in g   th b id ir ec tio n al  an d   au to - r eg r ess iv e   tr an s f o r m er s   ( B AR T )   m o d el.     T h m o d el  we  d ev elo p e d   co n s is ts   o f   in d ex er ,   d is cr im in ato r ,   an d   g en er at o r   co m p o n en ts   b ased   o n   th e   ex is tin g   DAM E m o d el.   Ho wev er ,   th er is   d if f er en ce   i n   th d is cr im in ato r   c o m p o n e n t;  th b ac k g r o u n d   s en ten ce   is   f ir s p r o ce s s ed   b y   k ey wo r d   ex tr ac tio n   to   o b tain   k ey wo r d s   b ef o r en ter in g   th d is cr im in ato r   co m p o n en t.  T h b asic id ea   o f   ad d in g   k e y wo r d   ex tr ac tio n   is   t h at  th s en ten ce   q u er y   ap p r o a ch   u s ed   in   p r ev io u s   s tu d ies  is   le s s   g o o d   th an   th wo r d   q u e r y   u s ed   in   ex tr ac t iv s u m m ar ies  [ 2 4 ] ,   an d   b ased   o n   th r esu lts   o f   a   s m all  ex p er im en ac co r d i n g   t o   Fig u r 2 ,   wh ic h   s h o ws  co r r elatio n   b etwe en   t h k ey wo r d   q u e r y   an d   th e   s u m m ar izatio n   r esu lts .   T h m o d el  we  d ev el o p ed   is   ca lled   Q - DAM E as sh o wn   in   Fig u r 3 .           Fig u r 3 .   Qu e r y   k e y wo r d   ex tr ac tio n   o n   DAM E ( Q - DAM E N)       Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Qu ery  ke ywo r d   ex tr a ctio n   in   d is crimin a tive  ma r g in a liz ed   p r o b a b ilis tic  n eu r a …  ( B a mb a n g   S u b en o )   911   3.   RE SU L T S AN AN AL Y SI S   T h th ir d   s ec tio n   co n s is ts   o f   th r ee   s u b s ec tio n s ,   n a m ely   d ataset,   ex p er im en tal  s ce n ar io ,   an d   ex p er im en tal  r esu lts   an d   an aly s is .   T h d ataset  s u b s ec tio n   d is cu s s es   th d ataset  u s ed   an d   its   ch ar ac te r is tic s .   T h ex p er im e n tal  s ce n ar io   s u b s ec tio n   d is cu s s es   s ev er al  ex p er im en tal  s ce n ar io s   co n d u cte d   u s in g   5   ex p er im en tal  s ce n ar io s .   T h e x p er im en tal  r esu lts   an d   an aly s is   s u b s ec tio n   d is cu s s e s   ea ch   s ce n ar io   r esu lt  an d   p r o v id es its   an aly s is .     3 . 1 .     Da t a s et   T h d ataset  u s ed   in   th is   s tu d y   is   th MS2   d ataset,   wh ich   is   co llectio n   o f   r elate d   d ata  o n   m ed ical  d ata  f o r   m u lti - d o c u m en t su m m ar ies.  T h MS2   d ataset  i s   a   co llectio n   o f   ab s tr ac t d o cu m e n ts   th at  ar alr ea d y   in   th f o r m   o f   p u b lic  clu s ter s .   E a ch   clu s ter   co n s is ts   o f   b ac k g r o u n d ,   co llectio n   o f   ab s tr ac t d o cu m e n ts ,   tar g et  s u m m ar y ,   a n d   an   ex am p le  o f   d ata,   as sh o wn   in   Fig u r 4 .           Fig u r 4 .   E x am p le  r e p r esen tat io n   o f   t h f ir s t 4   r o ws o f   th MS2   d ataset       B ac k g r o u n d   is   s h o r s en ten c th at  is   a   q u er y   th at  d escr ib es  q u esti o n   o r   r esear ch   to p ic  ac co r d in g   to   its   clu s ter .   A   co llectio n   o f   ab s tr ac d o cu m en ts   is   a   co lle ctio n   o f   r esear c h   ab s tr ac ts   g r o u p ed   ac co r d in g   to   th eir   b ac k g r o u n d .   T h tar g et  s u m m ar y   is   th r esu lt  o f   t h co n clu s io n   th at  is   u s ed   as  th g r o u n d   t r u th   o f   ea c h   clu s ter .   T h d ataset  u s ed   is   s h o wn   in   T ab le  1 .       T ab le  1 .   MS2   d ata   s tatis tic s   u s ed   N u mb e r   o f   c l u s t e r s   A v e r a g e   n u m b e r   o f   d o c u me n t   p e r   c l u st e r   A v e r a g e   n u m b e r   o f   w o r d   p e r   c l u st e r     1 , 0 0 0   c l u st e r   2 2   d o c u m e n t s   6 , 8 3 9   w o r d s         3 . 2 .     E x perim ent a s ce na rio   B ased   o n   th e   Q - DAM E m o d el  in   Fig u r 3   a n d   t h MS2   d ataset,   we  co n d u cted   f o u r   e x p er im en tal   s ce n ar io s   u s in g   th k ey wo r d   e x tr ac tio n   m eth o d s   T FID F,  Ke y B E R T ,   YAKE ,   an d   Mu ltip ar ty R an k .   Scen ar io   1   ca lcu lates  th p er f o r m an ce   o f   k ey wo r d   ex t r ac tio n .   Scen ar io   2   ca lcu lates  th u s o f   th k ey wo r d   q u er y   f o r   all   m o d els  with   v ar iatio n s .   ( a)   T h b ac k g r o u n d   s en ten ce   q u er y   is   p r o ce s s ed   b y   k ey wo r d   ex tr a ctio n   to   o b tain   th e   k ey wo r d   q u er y ,   th en   en ter s   t h d is cr im in ato r   co m p o n en t,  an d   th e   k e y wo r d   q u e r y   also   en ter s   th g en er ato r   co m p o n en t.  ( b )   T h b a ck g r o u n d   s en ten ce   q u er y   is   p r o ce s s ed   b y   k ey w o r d   e x tr ac tio n   to   o b tain   th k ey wo r d   q u er y ,   th en   e n ter s   th d is cr im in ato r   co m p o n e n t,  an d   th b ac k g r o u n d   s en ten ce   q u e r y   r em ai n s   in   th g en e r ato r   co m p o n en t.  ( c)   T h b ac k g r o u n d   s en ten ce   q u e r y   en ter s   th d is cr im in ato r   co m p o n en t,  a n d   th k ey wo r d   q u er y   en ter s   th g en er ato r   co m p o n e n t.  Scen ar io   3   ca lcu lates  th u s o f   th k e y wo r d   q u er y   g e n er ated   b y   h u m a n   an n o tato r s   with   t h r ee   v ar iatio n s   as  in   Scen ar io   2 .   Scen ar i o   4   co m p u tes  th e   T - test   to   d eter m i n th c o n s is ten cy   o f   k ey w o r d   e x tr ac tio n   u s ag ag ain s s u m m ar izatio n   r esu lts .   Scen ar io   5   ca lc u lates  th co r r elatio n   b etwe en   k ey wo r d   ex tr ac tio n   p er f o r m an ce   an d   s u m m ar izatio n   r es u lts   to   d eter m in th co r r elatio n   b etwe en   th p er f o r m an ce   o f   th k ey wo r d s   u s ed   an d   th e   r esu ltin g   s u m m a r izatio n .     3 . 3 .     E x perim ent   re s ults a nd   a na ly s is   T h r esu lts   o f   th 1 st   ex p er im en tal  s ce n ar io   ca n   b s ee n   in   T ab le  2 .   T h r esu lts   o f   th 2 nd   ex p er im en tal   s ce n ar io   ca n   b e   s ee n   in   T a b le  3 .   T h r esu lts   o f   th e   3 rd   ex p er im e n tal  s ce n ar i o   ca n   b e   s ee n   i n   th e   last   two   r o ws  o f   th e   tab le.   T h r esu lts   o f   th 4 th   ex p er im en t al  s ce n ar io   ca n   b e   s ee n   i n   T ab le  4 .   T h r esu lts   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   2 ,   No v em b er   20 25 :   9 0 7 - 91 5   912   th 5 th   ex p er im e n tal  s ce n ar io   ca n   b s ee n   in   T a b le  5 .   T ab le  2   s h o ws  th at  th b est  k ey wo r d   e x tr ac tio n   p er f o r m an ce   u s es th Mu ltip ar tieR an k   m o d el  with   p r ec is io n   @ 5   v alu o f   0 . 6 0 .       T ab le  2 .   Key wo r d   ex t r ac tio n   p er f o r m a n ce   r esu lts   M e t h o d   P   @ 5   R   @ 5   F 1   @ 5   TFI D F   0 . 40   0 . 13   0 . 20   K e y B ER T   0 . 26   0 . 08   0 . 13   Y A K E   0 . 5 3   0 . 1 7   0 . 2 6   M u l t i p a r t i e R a n k   0 . 60   0 . 19   0 . 30       B ased   o n   th r esu lts   in   T ab l 3 ,   o f   all  th k e y wo r d   ex tr a ctio n   m o d els  u s ed ,   th b est  v ar iatio n   is   v ar iatio n   ( b ) ,   wh er k ey wo r d   q u er y   is   in p u tted   in t o   th e   d is cr im in ato r   an d   b ac k g r o u n d   s en ten ce   q u er y   is   in p u tted   in to   th g e n er ato r .   B ased   o n   v ar iatio n   ( b )   in   T ab le   3 ,   th Mu ltip ar tieR an k   k ey w o r d   m eth o d   s h o ws  th b est  r esu lts   co m p ar ed   to   o t h er   k ey wo r d   ex tr ac tio n   m eth o d s   an d   b aselin v ar iatio n s .   T h i s   s h o ws  th at  u s in g   g o o d   k ey wo r d   q u er y   wo r d s   ca n   r esu lt  in   g o o d   to p - d o c u m en r etr iev al,   wh ich   lead s   to   b etter   s u m m a r izatio n   r esu lts   wh ile  s till   u s in g   th B AR T   m o d el  g en er at o r .   Fo r   v ar iatio n   ( a) ,   k ey wo r d   q u er y   is   in p u tted   in to   b o th   t h e   d is cr im in ato r   an d   g en er ato r   co m p o n e n ts ,   an d   f o r   v a r iatio n   ( c ) ,   b ac k g r o u n d   s en ten ce   q u er y   is   in p u tted   in t o   th e   d is cr im in ato r   an d   k ey wo r d   q u er y   is   in p u tted   in to   th g e n er a to r ,   th er is   ten d e n cy   f o r   less   th an   g o o d   r esu lts .   T h is   s h o ws  th at  wh en   t h g e n er ato r   in p u in   th f o r m   o f   k ey wo r d   q u er y   wo r d s   is   co m b in e d   d ir ec tly   with   to p - d o cu m en ts ,   it  p r o d u ce s   less   th an   g o o d   s u m m a r izatio n .   T h is   is   b ec au s th e   g e n er ato r   m o d el   u s ed   is   th e   B AR T   m o d el,   wh ich   is   b ased   o n   th g en er atio n   o f   a b s tr ac tiv s en ten ce   co n tex t.   W also   co m p ar ed   th r esu lts   o f   m an u al  k ey wo r d s   b y   co m p ar in g   th r esu lts   o f   v ar iatio n   ( b )   to   f in d   o u wh eth e r   g o o d   k e y wo r d   q u er y   ca n   also   l ea d   to   g o o d   s u m m ar izatio n   r esu lts   as  in   s ce n ar io   1 .   T h r esu lts   s h o th at  m an u al  k e y wo r d s   p r o v id b etter   r esu lts   th an   th b aselin e,   with   d if f er en ce   o f   7 . 7 1 %.  C o m p ar ed   t o   all  k ey wo r d   e x tr ac tio n   m o d els   u s ed ,   m an u al  k ey wo r d s   s till   s h o th b est  p er f o r m an ce .   M u ltip ar titeR an k   an d   YAKE   ar clo s est  to   t h p er f o r m a n ce   o f   m an u al   k ey w o r d s   with   a   d if f er en ce   o f   3 . 2 6 an d   4 . 4 7 %,   r esp ec tiv ely .   T h is   s h o ws  r esu lts   th at  r ein f o r ce   s ce n ar i o   1 ,   th at  th b etter   th e   k ey wo r d   q u er y   p r o d u ce d   f o r   d o cu m e n r etr iev al,   th e   b ette r   th e   s u m m ar izatio n   r esu lts   will  b e,   ev e n   th o u g h   t h d is cr im in ato r   s till   u s es  B E R T   an d   th g en er ato r   s till   u s es B A R T .   I n   th e   4 th   s ce n ar i o ,   a   R o u g e   T - test   was  p er f o r m ed   b ased   o n   th u s o f   th k ey wo r d   ex tr ac tio n   m eth o d   an d   th e   b est  v a r iatio n   o f   th e   b aselin e.   T h i s   T - test   w as  p er f o r m ed   to   d eter m in e   th e   co n s is ten cy   o f   t h b est  r esu lts   with   s tatis tical  m eth o d   ap p r o ac h .   T a b le  4   s h o ws  th at  th k ey wo r d   ex tr ac tio n   m eth o d   s h o ws   co n s is ten t r esu lts   in   all  clu s ter s   with   T - test   v alu b elo 0 . 0 5 .       T ab le  3 .   T h r esu lts   o f   th e v a lu atio n   o f   t h u s o f   k ey wo r d   ex tr ac tio n   o n   th s u m m a r izatio n   r esu lts   S u mm a r i z a t i o n   m e t h o d   K e y w o r d   e x t r a c t i o n   met h o d   D i scri m i n a t o r   G e n e r a t o r   R o u g e - 1   R o u g e - 2   R o u g e - L   D A M EN   B a s e l i n e *   ( q u e r y   s e n t e n c e )   S e n t e n c e   b a c k g r o u n d   S e n t e n c e   b a c k g r o u n d   24 . 67   6 . 60   14 . 26   Q - D A M EN   TFI D F   K e y w o r d   b a c k g r o u n d   K e y w o r d   b a c k g r o u n d   18 . 90   2 . 57   13 . 35       K e y w o r d   b a c k g r o u n d   S e n t e n c e   b a c k g r o u n d   25 . 33   6 . 75   15 . 43       S e n t e n c e   b a c k g r o u n d   K e y w o r d   b a c k g r o u n d   14 . 941   1 . 06   10 . 62   Q - D A M EN   K e y B ER T   K e y w o r d   b a c k g r o u n d   K e y w o r d   b a c k g r o u n d   18 . 03   2 . 24   12 . 10       K e y w o r d   b a c k g r o u n d   S e n t e n c e   b a c k g r o u n d   24 . 73   6 . 30   15 . 68       S e n t e n c e   b a c k g r o u n d   K e y w o r d   b a c k g r o u n d   18 . 34   2 . 11   12 . 46   Q - D A M EN   Y A K E   K e y w o r d   b a c k g r o u n d   K e y w o r d   b a c k g r o u n d   6 . 25   0 . 0   6 . 25       K e y w o r d   b a c k g r o u n d   S e n t e n c e   b a c k g r o u n d   27 . 91   11 . 90   16 . 53       S e n t e n c e   b a c k g r o u n d   K e y w o r d   b a c k g r o u n d   17 . 20   4 . 39   10 . 75   Q - D A M EN   M u l t i p a r t i e R a n k   K e y w o r d   b a c k g r o u n d   K e y w o r d   b a c k g r o u n d   17 . 20   4 . 39   10 . 75       K e y w o r d   b a c k g r o u n d   S e n t e n c e   b a c k g r o u n d   29 . 12   7 . 92   15 . 53       S e n t e n c e   b a c k g r o u n d   K e y w o r d   b a c k g r o u n d   18 . 18   4 . 65   13 . 63       T ab le  4 .   R esu lts   o f   T - test   p er f o r m an ce   k ey wo r d   ex tr ac tio n   M e t h o d   T - t e st   r e s u l t s   TFI D F   1 . 22     10 6   K e y B ER T   3 . 04     10 2   Y A K E   5 , 54     10 112   M u l t i p a r t i e R a n k   ,           Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Qu ery  ke ywo r d   ex tr a ctio n   in   d is crimin a tive  ma r g in a liz ed   p r o b a b ilis tic  n eu r a …  ( B a mb a n g   S u b en o )   913   I n   th e   5 th   s ce n ar i o ,   a   co r r elatio n   test   was  co n d u cted   b etwe en   th p er f o r m an ce   k ey w o r d   ex tr ac tio n   r esu lts   an d   th s u m m ar y   r es u lts   v ar iatio n   ( b )   u s in g   Pear s o n ' s   co r r elatio n   co ef f icien t.   T h p u r p o s o f   th is   s ce n ar io   is   to   ascer tain   wh eth er   th er is   co r r elatio n   b etwe e n   k ey wo r d   ex tr ac tio n   a n d   s u m m ar izatio n .   B ased   o n   th r esu lts   f r o m   T a b le  2 ,   t h m o s ac cu r ate  k ey w o r d   e x tr ac tio n   m eth o d   is   th Mu ltip ar tieR an k   m eth o d ,   an d   s im ilar   to   t h r esu lts   s h o wn   in   T ab le   5 ,   t h Mu ltip ar ti eRan k   m eth o d   also   s h o ws  th e   h ig h est  co r r elatio n   with   s u m m ar izatio n ,   with   v alu o f   0 . 2 7 5 6 .   T h e   least  ac cu r ate  k ey wo r d   e x tr ac tio n   m eth o d   is   th e   Key B E R T   m eth o d ,   an d   s im ilar   to   th r esu lts   s h o wn   in   T ab le  5 ,   th Key B E R T   m eth o d   also   s h o ws  th lo west  co r r elatio n   r esu lt  with   th s u m m ar izatio n ,   with   v alu o f   0 . 0 8 1 2 .   T h is   r esu lt  r ein f o r ce s   th at  th b etter   th k ey wo r d   ex tr ac tio n ,   th b etter   th s u m m ar izatio n   r esu lts .       T ab le  5 .   R esu lts   o f   p ea r s o n   co r r elatio n   p er f o r m a n ce   k e y wo r d   ex tr ac tio n   with   p er f o r m an ce   s u m m ar izatio n   M e t h o d   P e a r so n   c o r r e l a t i o n   TFI D F   0 . 1 0 9 1   K e y B ER T   0 . 0 8 1 2   Y A K E   0 . 2 0 3 8   M u l t i p a r t i e R a n k   0 . 2 7 5 6       4.   CO NCLU SI O N   T h e   Q - DAM E m eth o d   wh ich   ad d s   th p r o ce s s   o f   ex tr ac tin g   wo r d s   f r o m   th b ac k g r o u n d   o f   s en ten ce s ,   s h o ws  b etter   r esu lt s   th an   th b aselin e.   T h b est  r esu lts   ar s h o wn   in   v ar iatio n   ( b )   with   k ey wo r d   q u er y   in p u tted   i n to   t h d is cr im in ato r   c o m p o n en t   to   r etr iev e   to p - K   d o cu m en ts ,   an d   th e   g e n er ato r   s till   u s es  th e   b ac k g r o u n d   s en ten ce   q u e r y .   T h wo r s r esu lts   ar e   s h o wn   in   v ar iatio n s   ( a) ,   ( c ) ,   wh ich   u s th r esu lts   o f   th k ey wo r d   q u er y   in p u tted   in to   th g en e r ato r   co m p o n en t.   A m o n g   th k ey wo r d   e x tr ac tio n   m eth o d s   u s ed ,   t h Mu ltip ar tieR an k   m eth o d   s h o ws  th b est  r esu lts   with   R o u g e - 1   v al u o f   2 9 . 1 2 ,   R o u g e - 2   is   0 . 7 9 ,   an d   R o u g e - is   1 5 . 5 3 .   T h m o r ac cu r ate  t h k ey wo r d   q u er y ,   th m o r a cc u r ate  th s elec tio n   o f   to p - K   d o cu m en ts ,   wh ich   f u r th er   r esu lts   in   th m o r e   ac c u r ate  s u m m ar izatio n   r esu lts .   T h u s o f   k ey wo r d   e x tr ac tio n   in   th is   s tu d y   is   an   im p o r tan f ac to r   in   p r o d u cin g   a   b etter   s u m m ar y .   I n   f ac t,  tr ad itio n al  k ey w o r d   ex t r ac tio n   m eth o d s   h a v b ee n   a b le  to   p r o d u ce   s u m m ar y   t h a is   s u p er io r   to   th e   b aselin e.   C u r r en tly ,   m an y   k ey wo r d   ex tr ac tio n   m eth o d s   h av b ee n   d ev el o p ed ,   r a n g i n g   f r o m   tr ad itio n al  ap p r o ac h es  to   d ee p   lear n i n g   m eth o d s ,   w h ich   a r a b le  to   o v er co m v ar io u s   lim itatio n s   o f   tr ad itio n al  m eth o d s   an d   ar wo r t h   ex p lo r in g   in   f u r th er   r esear ch .   K ey wo r d   ex t r ac tio n   m eth o d s   s u ch   as  Key Gam es  an d   jo in tGL   s h o th b est  p e r f o r m an ce   f o r   u n s u p e r v is ed   d ata.   Me an wh i le,   f o r   s u p er v is ed   d ata,   m o d el s   s u ch   as  SMART - KPE+ Fu ll a n d   KI E MP  p r o v id th m o s t o p tim al  r esu lts .   T h er ef o r e,   th k e y wo r d   ex tr ac tio n   ap p r o ac h   n ee d s   to   b co n s id er e d   in   f u tu r s tu d i es.  I n   ad d itio n ,   co n s id er in g   t h av er a g d o cu m e n len g th   o f   ea ch   clu s ter ,   th e   s u m m ar y   g en er atio n   p r o ce s s   n ee d s   to   b tr ied   with   o t h er   m o d els  th at  ca n   h a n d le  lo n g   d o cu m e n ts ,   s u ch   as   L E D,   L o n g f o r m e r ,   an d   B ig B ir d - Peg asu s .   B y   m ak in g   im p r o v em en ts   ad ap ted   to   v ar iatio n   ( b ) ,   it  is   ex p ec te d   th at  th s u m m ar izatio n   r esu lts   will b ev en   b etter .       F UNDING   I NF O R M A T I O N   T h au th o r s   s tate  n o   f u n d in g   is   in v o lv ed .       CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au th o r s   s tate  n o   co n f lict o f   in ter est.       DATA AV AI L AB I L I T Y   Data   av ailab ilit y   d o es n o t a p p l y   to   th is   p ap e r   as n o   n ew  d ata  wer cr ea ted   o r   an aly ze d   in   th is   s tu d y .       RE F E R E NC E S   [ 1 ]   S .   D a s h ,   S .   K .   S h a k y a w a r ,   M .   S h a r ma,   a n d   S .   K a u s h i k ,   B i g   d a t a   i n   h e a l t h c a r e :   m a n a g e m e n t ,   a n a l y si s   a n d   f u t u r e   p r o s p e c t s,   J o u rn a l   o f   Bi g   D a t a ,   v o l .   6 ,   n o .   1 ,   Ju n .   2 0 1 9 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 3 7 - 019 - 0 2 1 7 - 0.   [ 2 ]   M .   G a mb h i r   a n d   V .   G u p t a ,   R e c e n t   a u t o m a t i c   t e x t   s u m m a r i z a t i o n   t e c h n i q u e s :   a   s u r v e y ,   Art i f i c i a l   I n t e l l i g e n c e   Re v i e w ,   v o l .   4 7 ,   n o .   1 ,   p p .   1 6 6 ,   M a r .   2 0 1 7 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 4 6 2 - 0 1 6 - 9 4 7 5 - 9.   [ 3 ]   M .   A l l a h y a r i   e t   a l . ,   Te x t   s u mm a r i z a t i o n   t e c h n i q u e s :   a   b r i e f   s u r v e y ,   I n t e rn a t i o n a l   J o u r n a l   o f   Ad v a n c e d   C o m p u t e S c i e n c e   a n d   Ap p l i c a t i o n s ,   v o l .   8 ,   n o .   1 0 ,   2 0 1 7 ,   d o i :   1 0 . 1 4 5 6 9 / i j a c sa . 2 0 1 7 . 0 8 1 0 5 2 .   [ 4 ]   A .   E.   Ez u g w u   e t   a l . ,   A   c o mp r e h e n s i v e   s u r v e y   o f   c l u s t e r i n g   a l g o r i t h ms:  s t a t e - of - t h e - a r t   ma c h i n e   l e a r n i n g   a p p l i c a t i o n s,  t a x o n o m y ,   c h a l l e n g e s,   a n d   f u t u r e   r e se a r c h   p r o s p e c t s ,   E n g i n e e r i n g   A p p l i c a t i o n s   o f   A rt i f i c i a l   I n t e l l i g e n c e ,   v o l .   1 1 0 ,   p .   1 0 4 7 4 3 ,   A p r .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . e n g a p p a i . 2 0 2 2 . 1 0 4 7 4 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  40 ,   No .   2 ,   No v em b er   20 25 :   9 0 7 - 91 5   914   [ 5 ]   H .   Zh u ,   X .   X i a ,   J .   Y a o ,   H .   F a n ,   Q .   W a n g ,   a n d   Q .   G a o ,   C o m p a r i s o n o f   d i f f e r e n t   c l a ss i f i c a t i o n   a l g o r i t h ms w h i l e   u si n g   t e x t   m i n i n g   t o   s c r e e n   p sy c h i a t r i c   i n p a t i e n t w i t h   s u i c i d a l   b e h a v i o r s ,   J o u rn a l   o f   Psy c h i a t r i c   R e se a rc h ,   v o l .   1 2 4 ,   p p .   1 2 3 1 3 0 ,   M a y   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . j p sy c h i r e s . 2 0 2 0 . 0 2 . 0 1 9 .   [ 6 ]   A .   A r i e s ,   D .   E .   Z e g o u r ,   a n d   K .   W .   H i d o u c i ,   A l l S u mm a r i z e r   s y st e a t   M u l t i L i n g   2 0 1 5 :   mu l t i l i n g u a l   s i n g l e   a n d   m u l t i - d o c u me n t   su mm a r i z a t i o n ,   i n   Pr o c e e d i n g s   o f   t h e   1 6 t h   A n n u a l   M e e t i n g   o f   t h e   S p e c i a l   I n t e res t   G r o u p   o n   D i sc o u rse   a n d   D i a l o g u e ,   2 0 1 5 ,   p p .   2 3 7 2 4 4 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / W 1 5 - 4 6 3 4 .   [ 7 ]   N .   R a n e   a n d   S .   G o v i l k a r ,   R e c e n t   t r e n d s   i n   d e e p   l e a r n i n g   b a se d   a b st r a c t i v e   t e x t   su mm a r i z a t i o n ,   I n t e r n a t i o n a l   J o u rn a l   o f   R e c e n t   T e c h n o l o g y   a n d   E n g i n e e r i n g ,   v o l .   8 ,   n o .   3 ,   p p .   3 1 0 8 3 1 1 5 ,   S e p .   2 0 1 9 ,   d o i :   1 0 . 3 5 9 4 0 / i j r t e . C 4 9 9 6 . 0 9 8 3 1 9 .   [ 8 ]   M .   F r a n c i a ,   M .   G o l f a r e l l i ,   a n d   S .   R i z z i ,   S u mm a r i z a t i o n   a n d   v i s u a l i z a t i o n   o f   m u l t i - l e v e l   a n d   mu l t i - d i me n si o n a l   i t e mse t s,   I n f o rm a t i o n   S c i e n c e s ,   v o l .   5 2 0 ,   p p .   6 3 8 5 ,   M a y   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . i n s. 2 0 2 0 . 0 2 . 0 0 6 .   [ 9 ]   D .   R .   R a d e v ,   S .   B l a i r - G o l d e n so h n ,   a n d   Z.   Zh a n g ,   E x p e r i me n t i n   si n g l e   a n d   m u l t i - d o c u me n t   s u mm a r i z a t i o n   u si n g   M EA D ,   i n   Pro c e e d i n g o f   t h e   f i rs t   i n t e r n a t i o n a l   c o n f e re n c e   o n   H u m a n   l a n g u a g e   t e c h n o l o g y   r e se a rc h   -   H L T   0 1 ,   2 0 0 1 ,   p p .   1 4.   [ 1 0 ]   I. - C .   W u ,   C . - H .   Ts a i ,   a n d   Y . - H .   Li n ,   C l u s t e r i n g   a n d   s u mm a r i z a t i o n   t o p i c s   o f   s u b j e c t   k n o w l e d g e   t h r o u g h   a n a l y z i n g   i n t e r n a l   l i n k s   o f   W i k i p e d i a ,   i n   2 0 1 3   I EE 1 4 t h   I n t e rn a t i o n a l   C o n f e r e n c e   o n   I n f o rm a t i o n   Re u se  & I n t e g r a t i o n   ( I RI ) ,   A u g .   2 0 1 3 ,   p p .   9 0 9 6 ,   d o i :   1 0 . 1 1 0 9 / I R I . 2 0 1 3 . 6 6 4 2 4 5 8 .   [ 1 1 ]   C .   W a n g ,   X .   Y u ,   Y .   Li ,   C .   Z h a i ,   a n d   J .   H a n ,   C o n t e n t   c o v e r a g e   ma x i m i z a t i o n   o n   w o r d   n e t w o r k s   f o r   h i e r a r c h i c a l   t o p i c   su mm a r i z a t i o n ,   i n   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n f o rm a t i o n   a n d   K n o w l e d g e   M a n a g e m e n t ,   P ro c e e d i n g s ,   O c t .   2 0 1 3 ,   p p .   2 4 9 2 5 8 ,   d o i :   1 0 . 1 1 4 5 / 2 5 0 5 5 1 5 . 2 5 0 5 5 8 5 .   [ 1 2 ]   P .   Y a n g ,   W .   Li ,   a n d   G .   Z h a o ,   L a n g u a g e   m o d e l - d r i v e n   t o p i c   c l u s t e r i n g   a n d   s u mm a r i z a t i o n   f o r   n e w a r t i c l e s,”   I EEE  Ac c e ss ,   v o l .   7 ,   p p .   1 8 5 5 0 6 1 8 5 5 1 9 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 9 . 2 9 6 0 5 3 8 .   [ 1 3 ]   T.   M a ,   H .   W a n g ,   Y .   Zh a o ,   Y .   Ti a n ,   a n d   N .   A l - N a b h a n ,   T o p i c - b a se d   a u t o mat i c   s u mm a r i z a t i o n   a l g o r i t h m   f o r   C h i n e s e   s h o r t   t e x t ,   Ma t h e m a t i c a l   B i o s c i e n c e s   a n d   E n g i n e e ri n g ,   v o l .   1 7 ,   n o .   4 ,   p p .   3 5 8 2 3 6 0 0 ,   2 0 2 0 ,   d o i :   1 0 . 3 9 3 4 / M B E . 2 0 2 0 2 0 2 .   [ 1 4 ]   B .   C .   W a l l a c e ,   S .   S a h a ,   F .   S o b o c z e n s k i ,   a n d   I .   J .   M a r s h a l l ,   G e n e r a t i n g   ( f a c t u a l ? )   n a r r a t i v e   s u m m a r i e s   o f   R C T s :   E x p e r i m e n t s   w i t h   n e u r a l   m u l t i - d o c u m e n t   s u m m a r i z a t i o n ,   A M I A   S u m m i t s   o n   T r a n s l a t i o n a l   S c i e n c e   P r o c e e d i n g s ,   v o l .   2 0 2 1 ,   n o .   5 ,   p p .   6 0 5 6 1 4 ,   2 0 2 1 .   [ 1 5 ]   X .   Y a n ,   Y .   W a n g ,   W .   S o n g ,   X .   Zh a o ,   A .   R u n ,   a n d   Y .   Y a n x i n g ,   U n s u p e r v i se d   g r a p h - b a s e d   t i b e t a n   m u l t i - d o c u m e n t   su mm a r i z a t i o n ,   C o m p u t e rs ,   M a t e ri a l s a n d   C o n t i n u a ,   v o l .   7 3 ,   n o .   1 ,   p p .   1 7 6 9 1 7 8 1 ,   2 0 2 2 ,   d o i :   1 0 . 3 2 6 0 4 / c m c . 2 0 2 2 . 0 2 7 3 0 1 .   [ 1 6 ]   Á .   H e r n á n d e z - C a st a ñ e d a ,   R .   A .   G a r c í a - H e r n á n d e z ,   Y .   L e d e n e v a ,   a n d   C .   E .   M i l l á n - H e r n á n d e z ,   L a n g u a g e - i n d e p e n d e n t   e x t r a c t i v e   a u t o m a t i c   t e x t   s u mm a r i z a t i o n   b a s e d   o n   a u t o m a t i c   k e y w o r d   e x t r a c t i o n ,   C o m p u t e S p e e c h   a n d   L a n g u a g e ,   v o l .   7 1 ,   p .   1 0 1 2 6 7 ,   Ja n .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . c sl . 2 0 2 1 . 1 0 1 2 6 7 .   [ 1 7 ]   N .   S a i n i ,   S .   S a h a ,   D .   C h a k r a b o r t y ,   a n d   P .   B h a t t a c h a r y y a ,   E x t r a c t i v e   si n g l e   d o c u me n t   su mm a r i z a t i o n   u si n g   b i n a r y   d i f f e r e n t i a l   e v o l u t i o n :   o p t i m i z a t i o n   o f   d i f f e r e n t   sen t e n c e   q u a l i t y   me a s u r e s,   PL o S   O N E ,   v o l .   1 4 ,   n o .   1 1 ,   p .   e 0 2 2 3 4 7 7 ,   N o v .   2 0 1 9 ,   d o i :   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 2 2 3 4 7 7 .   [ 1 8 ]   P .   Li ,   W .   C a i ,   a n d   H .   H u a n g ,   W e a k l y   su p e r v i se d   n a t u r a l   l a n g u a g e   p r o c e ss i n g   f r a m e w o r k   f o r   a b st r a c t i v e   mu l t i - d o c u me n t   su mm a r i z a t i o n ,   i n   Pr o c e e d i n g o f   t h e   2 4 t h   A C M   I n t e r n a t i o n a l   o n   C o n f e re n c e   o n   I n f o rm a t i o n   a n d   K n o w l e d g e   M a n a g e m e n t ,   O c t .   2 0 1 5 ,   v o l .   1 9 - 23 - O c t - ,   p p .   1 4 0 1 1 4 1 0 ,   d o i :   1 0 . 1 1 4 5 / 2 8 0 6 4 1 6 . 2 8 0 6 4 9 4 .   [ 1 9 ]   X .   W a n g ,   J .   W a n g ,   B .   X u ,   H .   L i n ,   B .   Z h a n g ,   a n d   Z.   Y a n g ,   E x p l o i t i n g   i n t e r se n t e n c e   i n f o r ma t i o n   f o r   b e t t e r   q u e st i o n - d r i v e n   a b s t r a c t i v e   s u mm a r i z a t i o n :   a l g o r i t h m   d e v e l o p me n t   a n d   v a l i d a t i o n ,   J MIR   Me d i c a l   I n f o rm a t i c s ,   v o l .   1 0 ,   n o .   8 ,   p .   e 3 8 0 5 2 ,   A u g .   2 0 2 2 ,   d o i :   1 0 . 2 1 9 6 / 3 8 0 5 2 .   [ 2 0 ]   L.   C a g l i e r o ,   P .   G a r z a ,   a n d   E .   B a r a l i s ,   ELSA :   a   m u l t i l i n g u a l   d o c u m e n t   s u mm a r i z a t i o n   a l g o r i t h m   b a se d   o n   f r e q u e n t   i t e ms e t s   a n d   l a t e n t   s e ma n t i c   a n a l y s i s,   A C T r a n s a c t i o n s   o n   I n f o rm a t i o n   S y s t e m s ,   v o l .   3 7 ,   n o .   2 ,   p p .   1 3 3 ,   Ja n .   2 0 1 9 ,   d o i :   1 0 . 1 1 4 5 / 3 2 9 8 9 8 7 .   [ 2 1 ]   X .   W a n g ,   J .   W a n g ,   B .   X u ,   H .   L i n ,   B .   Z h a n g ,   a n d   Z.   Y a n g ,   E x p l o i t i n g   i n t e r se n t e n c e   i n f o r ma t i o n   f o r   b e t t e r   q u e st i o n - d r i v e n   a b s t r a c t i v e   s u mm a r i z a t i o n :   a l g o r i t h m   d e v e l o p me n t   a n d   v a l i d a t i o n ,   J MIR   Me d i c a l   I n f o rm a t i c s ,   v o l .   1 0 ,   n o .   8 ,   p .   e 3 8 0 5 2 ,   A u g .   2 0 2 2 ,   d o i :   1 0 . 2 1 9 6 / 3 8 0 5 2 .   [ 2 2 ]   Y .   C a o   e t   a l . ,   TA S A :   d e c e i v i n g   q u e s t i o n   a n sw e r i n g   m o d e l b y   t w i n   a n sw e r   se n t e n c e a t t a c k ,   i n   Pr o c e e d i n g o f   t h e   2 0 2 2   C o n f e re n c e   o n   Em p i ri c a l   M e t h o d s   i n   N a t u r a l   L a n g u a g e   Pr o c e ssi n g ,   2 0 2 2 ,   p p .   1 1 9 7 5 1 1 9 9 2 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 2 . e m n l p - mai n . 8 2 1 .   [ 2 3 ]   G .   M o r o ,   L.   R a g a z z i ,   L.   V a l g i mi g l i ,   a n d   D .   F r e d d i ,   D i scri mi n a t i v e   mar g i n a l i z e d   p r o b a b i l i st i c   n e u r a l   m e t h o d   f o r   m u l t i - d o c u m e n t   su mm a r i z a t i o n   o f   m e d i c a l   l i t e r a t u r e ,   i n   Pr o c e e d i n g o f   t h e   6 0 t h   A n n u a l   Me e t i n g   o f   t h e   Asso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s   ( Vo l u m e   1 :   L o n g   Pa p e rs) ,   2 0 2 2 ,   v o l .   1 ,   p p .   1 8 0 1 8 9 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 2 . a c l - l o n g . 1 5 .   [ 2 4 ]   L.   W a n g ,   H .   R a g h a v a n ,   V .   C a s t e l l i ,   R .   F l o r i a n ,   a n d   C .   C a r d i e ,   A   se n t e n c e   c o m p r e ss i o n   b a se d   f r a mew o r k   t o   q u e r y - f o c u se d   m u l t i - d o c u me n t   su m mari z a t i o n ,   AC L   2 0 1 3   -   5 1 s t   A n n u a l   M e e t i n g   o f   t h e   Asso c i a t i o n   f o r C o m p u t a t i o n a l   L i n g u i st i c s,   P ro c e e d i n g s   o f   t h e   C o n f e re n c e ,   v o l .   1 ,   p p .   1 3 8 4 1 3 9 4 ,   2 0 1 3 .   [ 2 5 ]   Q .   W a n g ,   C .   N a ss ,   a n d   J.  H u ,   N a t u r a l   La n g u a g e   q u e r y   v s .   k e y w o r d   se a r c h :   e f f e c t s   o f   t a s k   c o m p l e x i t y   o n   se a r c h   p e r f o r ma n c e ,   p a r t i c i p a n t   p e r c e p t i o n s ,   a n d   p r e f e r e n c e s,”   i n   I FI C o n f e r e n c e   o n   H u m a n - C o m p u t e I n t e ra c t i o n ,   v o l .   3 5 8 5   LN C S ,   S p r i n g e r   B e r l i n   H e i d e l b e r g ,   2 0 0 5 ,   p p .   1 0 6 1 1 6 .   [ 2 6 ]   R .   C a m p o s ,   V .   M a n g a r a v i t e ,   A .   P a sq u a l i ,   A .   J o r g e ,   C .   N u n e s,  a n d   A .   Ja t o w t ,   Y A K E!   K e y w o r d   e x t r a c t i o n   f r o m si n g l e   d o c u m e n t s   u si n g   m u l t i p l e   l o c a l   f e a t u r e s,”   I n f o rm a t i o n   S c i e n c e s ,   v o l .   5 0 9 ,   p p .   2 5 7 2 8 9 ,   Jan .   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . i n s . 2 0 1 9 . 0 9 . 0 1 3 .   [ 2 7 ]   L.   K e l e b e r c o v á   a n d   M .   M u n k ,   S e a r c h   q u e r i e r e l a t e d   t o   C O V I D - 1 9   b a s e d   o n   k e y w o r d   e x t r a c t i o n ,   Pr o c e d i a   C o m p u t e S c i e n c e v o l .   2 0 7 ,   p p .   2 6 1 8 2 6 2 7 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s. 2 0 2 2 . 0 9 . 3 2 0 .   [ 2 8 ]   F .   B o u d i n ,   U n s u p e r v i se d   k e y p h r a se   e x t r a c t i o n   w i t h   m u l t i p a r t i t e   g r a p h s ,   i n   Pro c e e d i n g o f   t h e   2 0 1 8   C o n f e r e n c e   o f   t h e   N o rt h   Am e ri c a n   C h a p t e o f   t h e   Asso c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i s t i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s,   Vo l u m e   2   ( S h o rt   P a p e rs) 2 0 1 8 ,   v o l .   2 ,   p p .   6 6 7 6 7 2 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 8 - 2 1 0 5 .   [ 2 9 ]   H .   S h i n ,   H .   J.   Le e ,   a n d   S .   C h o ,   G e n e r a l - u se   u n s u p e r v i se d   k e y w o r d   e x t r a c t i o n   m o d e l   f o r   k e y w o r d   a n a l y s i s,   E x p e r t   S y s t e m s   w i t h   Ap p l i c a t i o n s ,   v o l .   2 3 3 ,   p .   1 2 0 8 8 9 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 2 3 . 1 2 0 8 8 9 .   [ 3 0 ]   R .   A g r a w a l ,   H .   M i sh r a ,   I .   K a n d a sam y ,   S .   R .   T e r n i ,   a n d   W .   B .   V a s a n t h a ,   R e v o l u t i o n i z i n g   s u b j e c t i v e   a s sessm e n t s :   a   t h r e e - p r o n g e d   c o m p r e h e n si v e   a p p r o a c h   w i t h   N LP  a n d   d e e p   l e a r n i n g ,   E x p e rt   S y st e m w i t h   Ap p l i c a t i o n s ,   v o l .   2 3 9 ,   p .   1 2 2 4 7 0 ,   A p r .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 2 3 . 1 2 2 4 7 0 .   [ 3 1 ]   M .   S o n g ,   Y .   F e n g ,   a n d   L .   J i n g ,   A   su r v e y   o n   r e c e n t   a d v a n c e i n   k e y p h r a se  e x t r a c t i o n   f r o m   p r e - t r a i n e d   l a n g u a g e   mo d e l s,   i n   Fi n d i n g o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s:   E AC L   2 0 2 3 ,   2 0 2 3 ,   p p .   2 1 5 3 2 1 6 4 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 3 . f i n d i n g s - e a c l . 1 6 1 .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Qu ery  ke ywo r d   ex tr a ctio n   in   d is crimin a tive  ma r g in a liz ed   p r o b a b ilis tic  n eu r a …  ( B a mb a n g   S u b en o )   915   B I O G RAP H I E S O F   AUTH O RS       Ba m b a n g   S u b e n o           is  a   d o c t o ra stu d e n t   a t h e   F a c u lt y   o C o m p u ter  S c ien c e ,   Un iv e rsitas   In d o n e sia .   He   is  a   m e m b e o th e   IR - NLP   Lab o ra t o ry .   He   is  a lso   a   lec tu re a t   Telk o m   U n iv e rsit y ,   Ba n d u n g .   His  re se a rc h   in tere sts  i n c lu d e   tex t   m in i n g ,   i n fo rm a ti o n   e x trac ti o n ,   in f o rm a ti o n   re tri e v a l ,   a n d   n a tu ra l   lan g u a g e   p ro c e ss in g .   He   c a n   b e   c o n tac ted   a t   e m a il b a m b a n g . su b e n o . if@g m a il . c o m .         Pro f.   Dr .   Ind r a   Bu d         is  a   lec tu re in   c o m p u ter  sc ien c e   a n d   in fo rm a ti o n   s y ste m s   a th e   F a c u lt y   o C o m p u ter  S c ien c e ,   Un iv e rsitas   I n d o n e sia .   H e   is  a lso   th e   h e a d   o t h e   In fo rm a ti o n   Re tri e v a a n d   Na t u r a Lan g u a g e   P ro c e ss in g   (IR - NL P Lab o ra t o ry .   His  re se a rc h   field i n c lu d e   in fo rm a ti o n   e x trac ti o n ,   tex m in in g ,   e - c o m m e rc e ,   se n ti m e n a n a ly sis,   a n d   so c ia l   n e two rk   a n a ly sis.  He   c a n   b e   c o n t a c ted   a e m a il in d ra @c s.u i. a c . i d .         Ev Yul ia n ti          is  a   lec tu re a n d   re se a rc h e a th e   F a c u lt y   o C o m p u ter  S c ien c e ,   Un iv e rsitas   In d o n e sia .   S h e   re c e iv e d   th e   B . Co m p . S c .   d e g re e   fro m   t h e   Un i v e rsitas   In d o n e sia   i n   2 0 1 0 ,   th e   d u a M . Co m p . S c .   d e g r e e   fro m   Un iv e rsitas   In d o n e sia   a n d   Ro y a M e lb o u r n e   In sti tu te   o Tec h n o l o g y   Un i v e rsity   in   2 0 1 3 ,   a n d   t h e   P h . D.   d e g re e   fro m   R o y a l   M e lb o u r n e   I n stit u te  o Tec h n o l o g y   U n iv e rsit y   i n   2 0 1 8 .   He re se a rc h   in tere sts  i n c lu d e   in f o rm a ti o n   re tri e v a l   a n d   n a tu ra lan g u a g e   p r o c e ss in g .   S h e   c a n   b e   c o n tac ted   a e m a il e v i. y @c s.u i. a c . id     Evaluation Warning : The document was created with Spire.PDF for Python.