I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   4 A u g u s t   20 25 ,   p p .   4 2 0 2 ~ 4 2 1 2   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 15 i 4 . pp 4 2 0 2 1 - 4 2 1 2           4202       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Enha ncing  multi - cla ss  t ex cla ss ific a tion in bio medic a l lit eratur by  int eg ra ting seq uential a nd  co nte x tual l ea rning  wi t h BERT   a nd LST M       O us s a m a   Nda m a ,   I s m a il B e ns a s s i,  Sa f a Nda m a ,   E l Mo k hta E n - Na im i   D S A I 2 S   R e s e a r c h   Te a m,  C 3 S   La b o r a t o r y ,   F a c u l t y   o f   S c i e n c e a n d   Te c h n o l o g i e s   o f   Ta n g i e r ,   A b d e l ma l e k   Essaâ d i   U n i v e r s i t y ,     Te t o u a n ,   M o r o c c o       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  2 0 ,   2 0 2 4   R ev is ed   Ma r   2 2 ,   2 0 2 5   Acc ep ted   Ma y   2 3 ,   2 0 2 5       Clas sifica ti o n   o se n ten c e in   b io m e d ica a b stra c ts  in to   p re d e fin e d   c a teg o ries   is  e ss e n ti a fo e n h a n c in g   re a d a b i li ty   a n d   fa c il it a ti n g   in f o rm a ti o n   r e tri e v a in   sc ien ti fic  li tera tu re .   We  p r o p o se   a   n o v e h y b r id   m o d e th a in teg ra tes   b id irec ti o n a l   e n c o d e re p re se n t a ti o n s   fro m   tran sfo rm e rs  (BE RT)   fo r   c o n tex t u a lea rn i n g ,   l o n g   sh o r t - term   m e m o ry   (LS TM )   fo r   se q u e n ti a l   p ro c e ss in g ,   a n d   se n ten c e   o r d e in fo rm a ti o n   to   c las sify   se n ten c e fro m   b io m e d ica a b stra c ts.  Util izin g   t h e   P u b M e d   2 0 0 k   ra n d o m ize d   c o n t ro ll e d   tri a l   (R CT)   d a tas e t,   o u r   m o d e l   a c h iev e d   a n   o v e ra ll   a c c u ra c y   o f   8 8 . 4 2 % ,   d e m o n stra ti n g   str o n g   p e rfo rm a n c e   in   id e n ti fy i n g   m e th o d a n d   re s u lt s   se c ti o n wh il e   m a in tain i n g   b a lan c e d   p re c isio n ,   re c a ll ,   a n d   F 1 - sc o re a c ro ss   a ll   c a teg o ries .   Th is  h y b ri d   a p p ro a c h   e ffe c ti v e ly   c a p tu re b o th   c o n te x tu a a n d   se q u e n ti a p a tt e rn o b io m e d i c a tex t,   o ffe rin g   a   ro b u st   so l u ti o n   f o r   imp ro v i n g   th e   se g m e n tati o n   o f   sc ien ti fic  a b stra c ts.  Th e   m o d e l' d e sig n   p ro m o tes   sta b i li ty   a n d   g e n e ra li z a ti o n ,   m a k i n g   it   a n   e ffe c ti v e   to o l   fo r   a u to m a ti c   tex t   c las sifica ti o n   a n d   in f o rm a ti o n   re tri e v a i n   b io m e d ica re se a rc h .   Th e se   re su lt u n d e rsc o re   th e   m o d e l' e ffica c y   i n   h a n d li n g   o v e rlap p in g   c a teg o r ies   a n d   it s   sig n if ica n c o n tri b u ti o n   to   a d v a n c i n g   b io m e d ica tex a n a ly sis.   K ey w o r d s :   B i d i r e ct i o n a l   e n c o d e r   r e p r e s e n t a ti o n s   f r o m   t r a n s f o r m e r s     B io m ed ical  tex t c lass if icatio n     L o n g   s h o r t - ter m   m e m o r y   Natu r al  lan g u ag e   p r o ce s s in g   Sen ten ce   s eg m en tatio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ou s s am Nd am a   DSAI 2 S R esear ch   T ea m ,   C 3 S   L ab o r ato r y ,   Facu lty   o f   Scien c es a n d   T ec h n o lo g ies   o f   T an g ie r ,   Ab d elm alek   E s s d i U n iv er s ity   T eto u an ,   M o r o cc o   E m ail: o u s s am a. n d am a@ etu . u ae . ac . m a       1.   I NT RO D UCT I O N   T h s u r g i n   b io m e d ical  liter a tu r h as  m ad e   it  in cr ea s in g ly   d if f icu lt  to   e x tr ac v alu a b le  in f o r m atio n   ef f icien tly   f r o m   s cien tific   p ap er s .   As  th v o lu m e   o f   b io m e d ical  r esear ch   c o n tin u es  to   g r o w,   m an y   ab s tr ac ts   ar d en s ely   wr itten ,   m ak in g   th em   ch allen g in g   to   n av ig ate  an d   in ter p r et  [ 1 ] ,   [ 2 ] .   T h is   is s u is   co m p o u n d e d   b y   th ab s en ce   o f   s tr u ctu r e d   s em an tic  f r am ewo r k s   in   th ese  ab s tr ac ts ,   wh ich   h in d e r s   ef f ec tiv e   d ata  r etr iev al  a n d   co m p r eh e n s io n .   W h ile  v a r iety   o f   n atu r al  lan g u ag e   p r o c ess in g   ( NL P)  m o d els  h av e   b ee n   d e v elo p ed   to   ad d r ess   th ese  ch allen g es  [ 3 ] [ 5 ] ,   ex is tin g   ap p r o ac h es  o f te n   s tr u g g le  to   b alan ce   th d e m an d s   o f   co n tex tu al   u n d er s tan d i n g   an d   s eq u en tial i n f o r m atio n   with in   th te x t.   T o   ad d r ess   th ese  ch allen g es,   th is   r esear ch   in tr o d u ce s   n o v el  h y b r id   m o d el  th at  i n teg r ates  th e   s tr en g th s   o f   b id ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr an s f o r m er s   ( B E R T )   f o r   co n tex tu a lear n in g   an d   lo n g   s h o r t - ter m   m em o r y   ( L STM )   f o r   s eq u en tial  lear n in g .   T h i s   co m b in atio n   aim s   to   ef f ec tiv ely   s eg m en an d   class if y   b io m ed ical  r esear ch   p ap er   a b s tr ac ts ,   o p tim izin g   th eir   r ea d ab ilit y   wh ile  p r eser v in g   ess en tial  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         E n h a n cin g   mu lti - cla s s   text  cla s s ifica tio n   in   b io med ica l litera tu r b y     ( Ou s s a ma   N d a ma )   4203   in f o r m atio n .   T h m o d el  le v er ag es  th r o b u s co n tex t u al  u n d er s tan d in g   ca p a b ilit ies  o f   B E R T   an d   th e   s eq u en tial  d ep en d en cies  ca p t u r ed   b y   L STM ,   o f f er i n g   a   m o r n u an ce d   ap p r o ac h   to   t ex s eg m en tatio n   i n   b io m ed ical  liter atu r e.   T h is   s tu d y   b u ild s   u p o n   th Pu b Me d   2 0 0 k   R C T   d ataset,   wid ely   u s ed   r eso u r ce   f o r   s en ten ce   class if icatio n   in   m ed ical  ab s tr ac ts   [ 6 ] .   W h ile  th o r ig in al  d a taset  co m p r is es  2 . 3   m illi o n   p h r ases   f r o m   2 0 0 , 0 0 r an d o m ize d   co n tr o lle d   tr ial  ab s tr ac ts ,   we  h av s elec ted   s u b s et  o f   5 0 0 , 0 0 0   s en ten ce s   to   tr ain   o u r   m o d el.   E ac h   s en ten ce   in   th is   d ataset  is   m ap p ed   to   o n o f   f iv p r e d e f in ed   ca teg o r ies:   b ac k g r o u n d ,   o b jectiv e,   m eth o d ,   r esu lt,  o r   co n clu s io n ,   p r o v i d in g   s tr u ctu r ed   f r am ewo r k   f o r   t r ain in g   an d   ev alu atio n .   Ou r   r esear ch   lev er ag es  th e   co m p u tatio n al  ca p ab ilit ies  o f   th e   Go o g le  C o lab   A1 0 0   GPU  to   ef f icien tly   tr ain   an d   f in e - tu n th h y b r i d   m o d el  with in   r ea l - wo r ld   r eso u r ce   co n s tr ain ts .   B y   h ar n ess in g   b o t h   co n te x tu al   an d   s eq u en tial  f ea t u r es,  th is   ap p r o ac h   ef f ec tiv ely   en h a n ce s   th r ea d ab ilit y   an d   ac ce s s ib ilit y   o f   s cien tific   ab s tr ac ts .   Ad d itio n ally ,   th m eth o d   m ain tain s   co m p u tati o n al  ef f icien cy ,   en s u r in g   th a th h y b r i d   m o d el  r em ain s   v iab le  f o r   p r ac tical  a p p licatio n s .   T h p r i m ar y   o b jectiv o f   th is   wo r k   is   to   b r id g g ap s   in   cu r r en NL ap p r o ac h es  b y   o f f er i n g   h y b r id   m o d el  th at  ex ce ls   in   u n d er s ta n d in g   co n tex wh ile  p r eser v in g   th lo g ical  f lo o f   b io m e d ical  tex t.  T h is   m o d el  im p r o v es  th s eg m e n tatio n   o f   b io m ed ical  ab s tr ac ts   b y   ac cu r ately   d is s ec tin g   th eir   s tr u ctu r al  an d   s em an tic   co m p o n en ts .   Fu r th er m o r e,   it  a im s   to   s et  n ew  s tan d a r d   f o r   r ea d ab ilit y   an d   co m p r eh e n s io n   with in   th f ield   o f   b io m ed ical  r esear ch .       2.   L I T E R AT U RE   R E VI E W     B io m ed ical  tex clas s if icatio n   h as  s ee n   s ig n if ican ad v an ce m en ts ,   p ar ticu lar ly   with   th in teg r atio n   o f   m ac h in lear n in g   an d   d ee p   le ar n in g   m o d els.  R io s   an d   Kav u lu r u   [ 7 ]   ( co n v o l u tio n al  n e u r al  n etwo r k s   ( C NNs)  f o r   b io m e d ical  tex class if ica tio n )   d em o n s tr ated   th ef f ec tiv en ess   o f   C NN s   in   as s ig n in g   m ed ical  s u b ject  h ea d in g s   ( Me SH)   to   b io m ed ical  ar ticles,  o u tp er f o r m i n g   t r ad itio n al  m et h o d s   lik e   lo g is tic  r eg r ess io n   a n d   s u p p o r v ec t o r   m ac h i n es  b y   i m p r o v i n g   m ac r o   F - s co r es.  T h is   wo r k   em p h asized   th ad v a n tag es  o f   C NNs  in   h an d lin g   lar g f ea t u r s p ac es  an d   co m p lex   b i o m ed ical  tex t s tr u ctu r es.   On   th o th er   h an d ,   Dr am é  e a l.   [ 8 ]   e x p lo r e d   k - n ea r es n eig h b o r s   ( k NN)   b ased   a n d   ex p licit   s em an tic  an aly s is   ( E SA)   b ase d   ap p r o ac h   f o r   lar g e - s ca le  b io m ed ical  tex class if icatio n .   T h eir   k NN  ap p r o ac h ,   co m b in ed   with   r an d o m   f o r est ( R F),   ac h iev ed   co m p etitiv p e r f o r m a n ce   with   an   F - m ea s u r o f   0 . 5 5 ,   wh ile   th ei r   E SA  m eth o d   u n d er p er f o r m ed .   T h eir   s tu d y   h ig h lig h te d   th o n g o in g   c h allen g o f   u s in g   p ar tial  in f o r m atio n   to   class if y   d o cu m en ts   in   th b io m ed ical  d o m ain .   I n   b r o ad er   r e v iew  o f   b io m ed ical  tex m in in g ,   C o h en   [ 9 ]   s u m m ar ized   th cu r r en p r o g r ess   in   ap p ly in g   tex t   m in in g   tech n i q u es  to   task s   lik e   n am e d   en tit y   r ec o g n itio n ,   tex t   class if icati o n ,   a n d   h y p o th esis   g en er atio n .   T h ey   h ig h lig h ted   s u b s tan tial  ad v an ce m en ts   in   co m p u tatio n al  m eth o d o lo g ies  an d   alg o r ith m s ,   en ab lin g   m o r ef f ec ti v ex tr a ctio n   o f   m ea n in g f u p atter n s   f r o m   b io m ed ical  tex ts .   Ho wev er ,   th ey   n o ted   th at   d esp ite  th ese  ad v an ce m e n ts ,   co n s id er ab le  ch allen g es  p er s i s t,  p ar ticu lar ly   in   im p r o v in g   s y s tem   u s ab ilit y   f o r   b io m ed ical  r esear ch er s   an d   en h an cin g   ac ce s s   to   f u ll - tex ar ticles,  wh ich   ar cr itical   b ar r ier s   lim itin g   wid esp r ea d   ad o p tio n   a n d   p r ac tical  u tili ty   o f   b io m e d ical  tex m in in g   to o ls .     Mo n d al  in tr o d u ce d   b io m ed ica B E R T - b ased   ad v er s ar i al  ex am p le  g en er atio n   ( B B AE G)   [ 1 0 ] ,   n o v el  ad v er s ar ial  ex am p le  g en e r atio n   tech n iq u s p ec if ically   f o r   b io m ed ical  tex class if icati o n .   B y   lev er ag in g   B E R T - m ask ed   lan g u ag m o d el  ( ML M)   p r ed ictio n s   an d   s y n o n y m   r ep lace m en f o r   b io m ed ical  en titi es,  B B AE d em o n s tr ated   th e   p o t en tial  o f   g en e r atin g   r o b u s ad v er s ar ial  attac k s   th at   co u l d   ex p o s v u ln er ab ilit ies   in   cu r r en b io m e d ical  NL m o d els,  h ig h lig h tin g   th e   n ee d   f o r   m o r r esil ien p r ed icti v s y s tem s .   Fu r th er   ad v an ce m e n ts   in   b i o m ed ical  m u lti - lab el  class if icatio n   wer e   ex p lo r ed   b y   Z h an g   et  a l.   [ 1 1 ] ,   wh o   in tr o d u ce d   a   m u lti - lay er   s elf - atten tio n   m ec h an is m   co m b in ed   with   B E R T   to   en h an ce   class if icatio n   ac cu r ac y .   T h eir   m o d el  o u tp er f o r m ed   b ase lin es  in   asp ec ca teg o r y   d etec tio n   an d   b i o m ed ical  d o cu m en class if icatio n ,   s h o wca s in g   th u tili ty   o f   s elf - atten tio n   f o r   ca p tu r in g   co m p lex   d ep en d en cies in   b io m e d ical  tex ts .   Neu m an n   et  a l.   [ 1 2 ]   co n tr i b u t ed   s ig n if ican tly   to   th f ield   with   Scis p aCy ,   s p ec ialized   Py t h o n   lib r a r y   b u ilt  u p o n   s p aCy ,   o p tim ized   s p ec if ically   f o r   p r o ce s s in g   b i o m ed ical  tex ts .   Scis p aCy   p r o v id es  f ast,  s ca lab le   m o d els  ac h iev in g   n ea r - s tate - of - th e - a r p er f o r m an ce   ac r o s s   m u ltip le  b io m ed ical  NL task s ,   s u ch   as  n am ed   en tity   r ec o g n itio n   an d   p ar s in g .   C o n s eq u en tly ,   it  s er v es  a s   r o b u s an d   h ig h l y   ac ce s s ib le  to o l,  f ac ilit atin g   wid er   ad o p tio n   am o n g   b io m ed ical  r esear ch er s   an d   p r ac titi o n er s .   Do cu m en t - lev el  b io m ed ical  r elatio n   ex tr ac tio n   was  s y s te m atica lly   ad d r ess ed   b y   Yu an   et  a l.   [ 1 3 ]   th r o u g h   th e   in tr o d u ctio n   o f   t h HT GR f r am ewo r k ,   wh ic h   em p lo y s   h ier a r ch ical  tr ee   g r a p h s   an d   d e d icate d   r elatio n   s eg m en tatio n   m o d u l e.   T h eir   f r a m ew o r k   s tr ateg i ca lly   m o d els  in ter ac tio n s   b e twee n   en tity   p air s ,   s ig n if ican tly   en h an cin g   th ac cu r ac y   o f   p r ed ictin g   r elatio n s   ac r o s s   m u ltip le  b io m ed ical  en titi es.  E x p er im en tal  ev alu atio n s   d em o n s tr ated   th a th eir   m eth o d   c o n s is ten tly   o u tp er f o r m ed   p r e v io u s   s tate - o f - th e - a r m o d els,  u n d er s co r i n g   th v alu o f   s tr u ctu r al  m o d elin g   in   b i o m ed ical  r elatio n   ex tr ac tio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   4 Au g u s t   20 25 :   4 2 0 2 - 4212   4204   Du an   et  a l.   [ 1 4 ]   tack led   th e   c h allen g o f   s eq u en tial  s en ten ce   class if icatio n   in   b i o m ed ica liter atu r b y   p r o p o s in g   th b o u n d ar y - a war d u al  b iaf f in m o d el.   T h eir   in n o v ativ ap p r o ac h   ef f ec tiv ely   lev er ag ed   d o cu m e n s tr u ctu r al  in f o r m ati o n ,   en a b lin g   p r ec is d etec tio n   o f   s en ten ce   b o u n d a r ies  an d   r elatio n s h ip s .   T h is   m eth o d   n o tab ly   r ed u ce d   class if icati o n   er r o r s ,   p a r ticu lar ly   i n   co m p lex   b io m ed ical   d o c u m en ts   ch ar ac ter ized   b y   in tr icate   s en ten ce   s eq u en ce s   a n d   r elatio n s h ip s .   Fin al ly ,   W an g   e a l.   [ 1 5 ]   p r o v id ed   co m p r eh en s iv s u r v ey   o n   th u s o f   p r e - tr a in e d   lan g u ag e   m o d el s   ( PL Ms )   in   b io m ed ica ap p l ic at io n s .   T h ey   ca teg o r iz ed   th e   ex i s t in g   b io m ed ica l   P L M s   an d   d i s c u s s e d   th e ir   ap p li ca tio n s   in   v ar io u s   t ask s ,   n o t in g   b o t h   th ad v an c em en t s   an d   l im it at io n s   i n   th e   f ie ld .   T h i s   s u r v e y   em p h a s ize d   th i m p o r tan ce   o f   cr o s s - d is ci p l in ar y   co ll ab o r at io n   t o   d r i v f u r th er   i n n o v a tio n   in   b io m ed i ca l   NL P.       3.   RE S E ARCH   M E T H O D   T h is   s ec tio n   o u tlin es  th m eth o d o lo g y   em p lo y ed   to   d ev el o p   an d   ev alu ate  th h y b r id   m o d el  u s ed   f o r   s eg m en tin g   an d   class if y in g   b i o m ed ical  r esear ch   p ap e r   ab s tr ac ts .   T h m o d el  in teg r ates  B E R T   f o r   co n tex tu al  lear n in g   an d   L STM   f o r   s eq u en tial  lear n in g   to   en h an ce   th e   r ea d ab ilit y   an d   s eg m en tatio n   o f   th ese  ab s tr ac ts .   W u tili ze d   th Pu b Me d   2 0 0 k   R C T   d ata s et  as   b en ch m ar k ,   f o cu s in g   o n   s u b s et  o f   5 0 0 , 0 0 0   s en ten ce s   to   en s u r co m p u tatio n al  ef f icien cy   wh ile  m ain tain in g   r o b u s m o d el  p er f o r m a n ce .   T h m o d el  was  tr ain ed   u s in g   Go o g le  C o lab s   A1 0 0   GPU,   a d h er in g   to   c o n s tr ain ts   o f   r eso u r ce   av ailab ilit y   a n d   co m p u tatio n al  ef f icien c y .   I n   th is   s ec tio n ,   we  d etail   th d a taset,  m o d el  ar c h itectu r e,   tr ai n in g   p r o ce d u r e,   an d   ev al u atio n   m etr ics  u s ed   to   ass es s   th p er f o r m a n ce   o f   th h y b r id   m o d el.     3 . 1 .     Da t a s et   T h d ataset  u s ed   in   th is   s tu d y   is   th Pu b Me d   2 0 0 k   R C T   d ataset,   lar g e - s ca le  r eso u r ce   d esig n ed   f o r   s eq u en tial  s en ten ce   class if icatio n   in   b io m e d ical  ab s tr ac ts .   I co m p r is es  ap p r o x im ately   2 0 0 , 0 0 0   r a n d o m ize d   co n tr o lled   tr ial  ab s tr ac ts ,   to talin g   2 . 3   m illi o n   s en ten ce s .   E ac h   s en ten ce   is   lab eled   with   o n e   o f   f iv p r ed ef i n ed   ca teg o r ies b ac k g r o u n d ,   o b jec tiv e,   m et h o d ,   r esu lt,   o r   co n cl u s io n .   T h is   d ataset  was  r elea s ed   to   ad d r ess   two   k ey   ch allen g es:  th lack   o f   lar g e - s ca le  d atasets   f o r   s eq u en tia s h o r t - tex class if icatio n   an d   th n ee d   f o r   b etter   to o ls   to   h elp   r esear c h er s   ef f ici en tly   n av ig ate  le n g th y   b io m e d ical  ab s tr ac ts .   Fo r   th p u r p o s es  o f   th is   r ese ar ch ,   a   s u b s et  o f   5 0 0 , 0 0 0   s en ten ce s   was  s am p led   f r o m   th e   d ataset  to   b alan ce   co m p u tatio n al  ef f icie n cy   an d   m o d el  p e r f o r m an ce .   Sp ec if ically ,   2 2 . 6 1 o f   th o r ig in al  d ataset  was  s elec ted   f o r   tr ain in g ,   wh ich   r e s u lted   in   5 0 0 , 1 0 2   s am p les  in   th tr ain in g   s et  an d   2 9 , 4 9 3   s a m p les  in   th test   s et.   E ac h   s am p le  in clu d es th f o llo win g   f ield s :     T ex t: T h s en ten ce   f r o m   t h a b s tr ac t.     C h ar s : A   ch ar ac ter - lev el  r ep r e s en tatio n   o f   th s en ten ce .     Or d er : T h s eq u en tial p o s itio n   o f   th s en ten ce   with in   th ab s tr ac t.     L ab el:  T h s en ten ce ' s   ca teg o r y   ( o n e   o f   th f iv p r ed ef i n ed   c lass es).   T o   p r e p r o ce s s   th d ata,   we  e m p lo y ed   d u al - lev el  t o k en iza tio n   s tr ateg y ,   t r an s f o r m i n g   t h e   s en ten ce s   at  b o th   th wo r d   a n d   ch a r ac te r   lev els.  C h ar ac ter - lev el  to k e n izatio n   was  ac h iev ed   u s in g   T ex tVec to r izatio n   lay er ,   co n f ig u r e d   with   cu s to m   v o ca b u lar y   c o n s is t in g   o f   d ig its ,   p u n ctu atio n   m ar k s ,   an d   ASC I I   ch ar ac ter s .   T h is   ap p r o ac h   ca p tu r es  th e   f i n er   g r an u lar ity   o f   s en ten ce   s tr u ctu r e,   en s u r in g   th at   ev er y   i n d iv id u al   ch ar ac ter   co n tr ib u tes to   th e   m o d el' s   u n d er s tan d in g   o f   th in p u t.   Fo r   wo r d - le v el  to k en izatio n ,   th v o c ab u lar y   was  d er i v ed   f r o m   clea n ed   v e r s io n   o f   th d ataset,   wh er p u n ct u atio n   an d   u n n ec ess ar y   s y m b o ls   wer s y s tem at ically   r em o v ed   to   s tan d a r d ize   th tex [ 1 6 ] ,   [ 1 7 ] T h r esu ltin g   s eq u e n ce s   o f   wo r d s   wer p ad d ed   to   alig n   with   th 9 5 th   p er ce n tile  o f   s en ten ce   len g th s ,   o p tim izin g   co m p u tatio n al  e f f icien cy   b y   s ettin g   p r ac tica in p u len g t h   th r esh o l d .   T h i s   ca r ef u ap p r o ac h   en s u r ed   lo n g er   s en ten ce s   wer e   ef f ec tiv ely   ac co m m o d ate d   with o u t lo s in g   ess en tial sem an tic  in f o r m atio n .   L ab el  p r e p r o ce s s in g   in v o lv ed   co n v er tin g   ca teg o r ical  lab els  i n to   n u m er ical  v alu es  t h r o u g h   th u s o f   L ab elE n co d e r ,   f ac ilit atin g   ef f icien co m p u tatio n al  h an d l in g .   Su b s eq u e n tly ,   th ese  n u m er ical  v alu es  wer tr an s f o r m ed   v ia   o n e - h o en co d in g ,   m a k in g   th em   s u itab le  f o r   th m u lti - class   clas s i f icatio n   task   [ 1 8 ] C o n s eq u en tly ,   th is   s tr u ctu r ed   lab elin g   ap p r o ac h   en ab led   th e   m o d el  to   class if y   ea ch   s en te n ce   ac cu r ately   in to   o n o f   th f iv e   p r ed e f in ed   ca te g o r ies:   b ac k g r o u n d ,   o b jectiv e,   m eth o d ,   r esu lt,  o r   c o n clu s io n .   T h d ataset  was  th en   s p lit  in t o   tr ain in g ,   v alid atio n ,   an d   te s s ets,  with   an   8 0 /2 0   d iv is io n   b etwe en   tr ain in g   an d   v alid atio n .   T h is   b alan ce d   s p lit  f ac ilit ated   ef f ec tiv tr ain in g   an d   m o d el  tu n i n g   wh ile  p r eser v in g   p o r tio n   o f   th e   d ata  f o r   u n b iased   ev alu atio n .   T h is   p r ep r o ce s s in g   f r am ewo r k   laid   th e   f o u n d atio n   f o r   th e   ef f icien t tr ain in g   o f   th e   h y b r id   B E R T - L STM   m o d el,   wh ich   i s   d etailed   in   th f o llo win g   s ec tio n .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         E n h a n cin g   mu lti - cla s s   text  cla s s ifica tio n   in   b io med ica l litera tu r b y     ( Ou s s a ma   N d a ma )   4205   3 . 2 .     M o del a rc hite ct ure   T h p r o p o s ed   m o d el  in te g r a tes  b o th   co n te x tu al  an d   s eq u en tial  lear n in g   to   ef f ec tiv ely   class if y   s en ten ce s   f r o m   b io m ed ical  ab s tr ac ts .   T h is   h y b r id   ar ch itectu r co m b in es  th s tr en g th s   o f   B E R T   f o r   co n tex tu al   em b ed d in g   a n d   L STM   f o r   s eq u en tial  u n d er s tan d in g .   I n   ad d it io n ,   it   in co r p o r ates  s en ten ce   o r d er   i n f o r m atio n   to   f u r th er   im p r o v class if icatio n   p er f o r m an ce .     3 . 2 . 1 .   B E RT   enco der  f o co n t ex t ua l le a rning   T h co r o f   th m o d el  is   th B E R T   en co d er ,   s tate - of - th e - ar m o d el  k n o wn   f o r   its   ab ilit y   to   ca p tu r d ee p   co n tex t u al  r elatio n s h ip s   in   tex [ 1 9 ] .   Fo r   th is   r esear ch ,   we  u s th p r e - tr ain ed   " b ert_ b a s e_ en _ u n ca s ed m o d el,   wh ich   is   f in e - tu n ed   o n   th b io m ed ical  tex d ataset  t o   ad ap it  to   d o m ain - s p ec if ic  lan g u ag [ 2 0 ] .   T h e   B E R T   to k en izer   an d   p r ep r o ce s s o r   ar in itialized   with   s eq u en ce   len g t h   o f   2 5 6   to k en s ,   en s u r in g   th at  s en ten ce s   ar tr u n ca te d   o r   p a d d ed   t o   c o n s is ten len g th   [ 2 1 ] ,   [ 2 2 ] .   T h B E R T   en co d e r   tak es  as  in p u th e   to k en ized   s en ten ce   = { 1 , 2 , ,  } ,   wh er    r ep r esen ts   th - th   to k en   in   t h - th   s en ten ce .   T h B E R T   m o d el  g e n er ates a   d ee p   c o n tex tu al  em b ed d i n g :     be r t = B E R T ( ) br     ( 1 )     wh er be r t   is   th d im en s io n ality   o f   th B E R T   em b ed d in g   s p ac ( 7 6 8   in   th b ase  m o d el) .   T h p o o led   o u tp u t   fr o m   th e   B E R T   en co d er ,   be r t ,   is   p ass ed   th r o u g h   f u lly   co n n ec ted   d en s lay er :     de ns e = R eL U ( 1 be r t + 1 )     ( 2 )     wh er 1  dne × br   an d   1  dne   ar th lear n ab le  weig h ts   an d   b iases   o f   th d en s lay er .   W ap p ly   L 2   r eg u lar izatio n   to   p r ev e n t o v er f itti n g ,   f o llo wed   b y   d r o p o u t la y er   to   f u r t h er   im p r o v g en er aliza tio n .     3 . 2 . 2 .   L ST M   f o s equentia l l ea rning   I n   p ar allel  with   B E R T s   co n tex tu al  em b ed d in g ,   th m o d el  in co r p o r ates a n   L STM   n etwo r k   to   ca p tu r wo r d - lev el  s eq u en tial  d e p en d en cies  [ 2 3 ] ,   [ 2 4 ] .   T h s en ten c   is   f ir s to k en ized   in to   wo r d s ,   wh ich   ar th en   em b ed d e d   in to   1 2 8 - d im en s i o n al  v ec to r   s p ac u s in g   a n   em b ed d in g   lay er :     wor d = E m b ed d in g ( )  × eb d     ( 3 )     wh er   is   th n u m b er   o f   w o r d s   in   th s en ten ce   an d   e mbed = 128   is   th d im en s io n ality   o f   th wo r d   em b ed d in g   s p ac e.   T h em b ed d ed   s eq u en ce   is   p r o ce s s ed   b y   th L STM   lay er   to   ca p tu r tem p o r a l   d ep en d e n cies:     ls tm = L STM ( wor d ) lt     ( 4 )     wh er ls tm = 32   r ep r esen ts   th h id d e n   s tate  s ize  o f   th L STM .   T h is   c ap tu r es  s eq u en tial  p atter n s   th a ar n o t   ex p licitly   m o d eled   b y   th B E R T   en co d er .   T h L STM   o u tp u is   p ass ed   th r o u g h   f u lly   co n n ec ted   d en s lay er   with   1 6   u n its :     ls tm _ de ns e = R eL U ( 2 ls tm + 2 )     ( 5 )     d r o p o u t la y er   with   a   r ate  o f   0 . 5   is   ap p lied   t o   p r e v en t o v er f i ttin g   d u r in g   tr ain in g .   T h is   co m p o n e n t f o cu s es o n   ca p tu r in g   s eq u en tial  r elatio n s h ip s   b etwe en   wo r d s   [ 2 5 ] ,   [ 2 6 ] ,   p r o v id i n g   a   co m p lem en ta r y   v iew  to   B E R T 's   co n tex tu al  em b ed d in g s .     3 . 2 . 3 .   I nco rpo ra t ing   s ent ence   o rder   info rm a t io n   T h o r d er   in   wh ich   s en te n ce s   ap p ea r   with in   an   ab s tr ac is   c r itical  f o r   u n d e r s tan d in g   th eir   r o le  in   th o v er all  n ar r ativ e.   T o   lev er ag e   th is ,   th s en ten ce s   p o s itio n     is   f ed   in to   a   s im p le  d en s n etwo r k :     or de r = R eL U ( 3 + 3 )     ( 6 )     wh er   is   s ca lar   r ep r esen tin g   th s en ten ce   o r d er ,   an d   3  odr × ,   3  odr   ar th weig h ts   an d   b iases   o f   th f u lly   co n n ec ted   l ay er .   T h is   en co d in g   p r o v id es  ad d itio n al  in s ig h t in to   th f u n ctio n   o f   th s en ten ce   b ased   o n   its   p o s itio n   in   th ab s tr ac t.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   4 Au g u s t   20 25 :   4 2 0 2 - 4212   4206   3 . 2 . 4 .   F us io n o f   f ea t ures   T h o u t p u ts   f r o m   th e   B E R T   en co d er ,   L STM ,   an d   o r d er   p r o ce s s in g   lay er s   ar co n ca ten ate d   to   c r ea te  u n if ied   r ep r esen tatio n   o f   th s en ten ce :     c onc a t = [ de ns e , ls tm _ de ns e , or de r ]     ( 7 )     T h is   co m b in ed   v ec to r   c onc a t c na   is   th en   p ass ed   th r o u g h   f u lly   co n n e cted   d en s lay er   with   8   u n its   an d   R eL ac tiv atio n   f u n ctio n   [ 2 7 ] :     f inal = R eL U ( 4 c onc a t + 4 )     ( 8 )     T o   r ed u ce   o v e r f itti n g ,   a   d r o p o u lay er   with   r ate  o f   0 . 2   is   a d d ed .   Fin ally ,   So f tMa x   lay e r   [ 2 8 ]   is   ap p lied   to   p r o d u ce   th p r o b a b ilit y   d is tr ib u tio n     o v er   th f iv s en ten ce   c ateg o r ies:     = So f tm ax ( 5 f inal + 5 )     ( 9 )     wh er   r ep r esen ts   th p r o b ab il ity   th at  th s en ten ce   b el o n g s   t o   ca teg o r y   .   Fig u r 1   p r o v id es  a   d etailed   b r ea k d o wn   o f   th e   m o d el’ s   ar ch itectu r e,   o u tlin in g   th v ar io u s   lay er s ,   th eir   r esp ec tiv e   o u tp u s h ap es ,   an d   th e   n u m b er   o f   p ar am et er s   ass o ciate d   with   ea ch .   Dir ec tly   f o llo win g   th e   tab le,   Fig u r 2   o f f er s   v is u al  r ep r esen tatio n   o f   th m o d el' s   s tr u ctu r e.   T h ar ch itectu r co n s is ts   o f   th r ee   m ain   co m p o n en ts th B E R T   en c o d er   f o r   ca p tu r i n g   c o n tex tu al   i n f o r m atio n ,   t h L STM   la y er   f o r   m o d elin g   wo r d - lev el  s eq u en ce s ,   a n d   th d e n s lay er s   p r o ce s s in g   s en te n ce   o r d er   in f o r m atio n .   T h es co m p o n en ts   a r co m b in ed   to   f o r m   a   co m p r e h en s iv f ea tu r r e p r esen tatio n ,   wh ich   is   th en   p ass ed   th r o u g h   f u lly   co n n ec ted   lay er s   f o r   f i n al  class if icatio n .   T h m o d el  c o n tain s   o v er   1 0 9   m illi o n   tr ain ab le   p a r am eter s ,   en s u r in g   f lex ib ilit y   an d   ca p ac ity   f o r   lear n in g   co m p lex   p atter n s   in   b io m ed ical  te x t.           Fig u r 1 .   Mo d el  s u m m ar y   an d   d etailed   b r ea k d o wn   o f   ar c h itectu r e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         E n h a n cin g   mu lti - cla s s   text  cla s s ifica tio n   in   b io med ica l litera tu r b y     ( Ou s s a ma   N d a ma )   4207       Fig u r 2 .   Ar c h itectu r o f   th p r o p o s ed   h y b r id   m o d el       3 . 3 .     T ra ini ng   p ro ce du re     T o   tr ain   th h y b r id   m o d el,   th e   d ataset  was  s p lit  in to   tr ain in g   an d   v alid atio n   s ets,  with   8 0 u s ed   f o r   tr ain in g   a n d   2 0 f o r   v alid a tio n .   T h e   in p u ts   in clu d e d   to k en ized   s en ten ce   tex f o r   b o th   wo r d - lev el  an d   co n tex tu al - lev el  em b ed d i n g   ( u s in g   B E R T )   as  well  as  s en te n ce   o r d e r   in f o r m atio n .   T h es co m p o n en ts   wer ess en tial f o r   f ee d in g   i n to   th B E R T   en co d er ,   L STM ,   an d   o r d er   m o d el  lay er s ,   r esp ec tiv ely .     3 . 3 . 1 .   O ptim izer   a nd   lo s s   f un ct io n       T h m o d el  was  co m p iled   u s in g   th Ad am   o p tim izer   [ 2 9 ] ,   with   lear n in g   r ate  o f   2 × 10 5 .   T h i s   s m all  lear n in g   r ate  was  s elec t ed   to   b alan ce   f ast  c o n v e r g en c an d   s tab le  tr ai n in g .   T h e   m o d el’ s   p er f o r m a n ce   was  o p tim ized   u s in g   ca teg o r i ca cr o s s en tr o p y ,   th s tan d ar d   lo s s   f u n ctio n   f o r   m u lti - class   class if ica tio n   task s   [ 3 0 ] .   T h is   f u n ctio n   is   d ef in e d   as:     = 5 = 1 l og ( )   ( 1 0 )     wh er   is   th tr u lab el  ( o n e - h o t e n co d e d ) ,   a n d     is   th p r ed ic ted   p r o b ab ilit y   f o r   ea ch   class .     3 . 3 . 2 .   L ea rning   ra t s chedul er     T o   f u r th er   o p tim ize  th e   lear n in g   p r o ce s s ,   a   cu s to m   lear n in g   r ate   s ch ed u ler   was  u s ed .   F o r   th e   f ir s t   th r ee   ep o ch s ,   th lear n i n g   r ate   was  k ep co n s tan t,  b u af ter   th th ir d   ep o c h ,   th lear n in g   r a te  was  r ed u ce d   b y   a   f ac to r   o f   0 . 1   at  ea ch   ep o ch .   T h is   d y n am ic  ad ju s tm en h el p ed   f in e - tu n th m o d el  as  it  ap p r o ac h e d   co n v er g en ce ,   s lo win g   d o wn   l ea r n in g   t o   av o i d   o v e r s h o o tin g   o p tim al  weig h ts   [ 3 1 ] ,   [ 3 2 ] .   T h lear n i n g   r ate   s ch ed u ler   is   d ef in e d   as:     lr _ s c he dul e r ( e p oc h , lr ) = if  e p oc h < 3   the n   l r   e l s e   l r 0 . 1     ( 1 1 )     T h is   ap p r o ac h   en s u r e d   th at  th e   m o d el  lear n e d   m o r ag g r ess iv ely   in   th in itial e p o c h s   wh ile  g r ad u ally   r ef in in g   th weig h ts   as tr ain in g   p r o g r es s ed .     3 . 3 . 3 .   Ca llb a ck s     T o   en s u r th e   m o d el  d id   n o t   o v er f it a n d   to   s p ee d   u p   co n v er g en ce ,   two   k e y   ca llb ac k s   wer em p lo y ed :     E ar ly   s to p p i n g T h is   ca llb ac k   m o n ito r ed   th e   v alid atio n   ac cu r ac y   a n d   s to p p ed   tr ain in g   i f   th er e   was  n o   im p r o v em e n f o r   3   co n s ec u tiv ep o c h s .   T h e   b est  weig h ts   wer r esto r ed   a f ter   tr ain i n g ,   e n s u r in g   t h at  th e   m o d el  u s ed   th e   p ar am eter s   f r o m   th ep o c h   th at  y ield e d   th h ig h est v alid atio n   ac cu r ac y .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   4 Au g u s t   20 25 :   4 2 0 2 - 4212   4208     L ea r n in g   r ate  s ch e d u ler T h e   cu s to m   lear n in g   r ate  s ch e d u l er   d escr ib ed   ab o v d y n a m ically   ad ju s ted   th e   lear n in g   r ate  b ased   o n   th tr ai n in g   ep o ch .     3 . 3 . 4 .   T ra ini ng   co nfig ura t io n     T h e   m o d el  was  tr ain ed   f o r   1 0   ep o c h s ,   with   b atch   s ize  o f   1 6 .   T h is   r elativ ely   s m all  b atch   s ize   allo wed   th m o d el   to   ef f ec t iv ely   ca p tu r th e   co m p lex   r elatio n s h ip s   in   th e   d ata  wit h o u o v er wh elm i n g   m em o r y .   T h tr ain i n g   in p u t   co n s is ted   o f :     Sen ten ce   tex t: Pass ed   to   b o th   t h to k en   an d   s en ten ce   m o d els.     Sen ten ce   o r d e r : Pass ed   to   th o r d er   m o d el.   T r ain in g   was  p er f o r m e d   o n   Go o g le  C o lab   A1 0 0   GPU,   le v er ag in g   th e   GPU' s   h ig h   co m p u tatio n al  p o wer   t o   s p ee d   u p   tr ai n in g   a n d   m a n ag th r eso u r ce - i n ten s iv n atu r e   o f   B E R T   f in e - tu n in g .     3 . 4 .     E v a lua t io m et rics   Af ter   tr ain in g ,   th e   m o d el  wa s   ev alu ated   o n   t h test   s et  to   ass ess   its   p er f o r m an ce .   T h e   ev alu atio n   f o cu s ed   o n   m ea s u r in g   k e y   m etr ics  th at  d em o n s tr ate  th e   m o d el’ s   ac cu r ac y ,   p r ec is io n ,   r e ca ll,  an d   F1 - s co r e,   p r o v id i n g   a   co m p r eh e n s iv v iew  o f   its   class if icatio n   p er f o r m an ce   [ 3 3 ] ,   [ 3 4 ] T h is   th o r o u g h   ass ess m en en s u r es th r eliab ilit y   an d   g en er aliza b ilit y   o f   th p r o p o s ed   m o d el  in   h a n d lin g   v ar io u s   b io m ed ical  ab s tr ac ts .     3. 4 . 1 .   T est  i np uts   T h test   s et  co n s is ted   o f   2 9 , 4 9 3   s en ten ce s ,   wh ic h   wer p r o ce s s ed   in   th s am way   as  th tr ain in g   an d   v alid atio n   d ata.   T h m o d e l to o k   as in p u t:     Sen ten ce   tex t: T o k en ize d   an d   p ass ed   to   b o th   th B E R T   e n co d er   an d   L STM   lay er s .     Sen ten ce   o r d e r : A   f lo at  v alu e   in d icatin g   th o r d e r   o f   ea c h   s e n ten ce   in   th a b s tr ac t.     3. 4 . 2 .   E v a lua t io pro ce s s   a nd   perf o rm a nce  m e t rics   T o   ev alu ate  th m o d el,   we  b u ild   cu s to m   f u n ctio n   ad ap t ed   to   o u r   h y b r id   m o d el.   T h i s   f u n ctio n   co m p u tes  th m o d el' s   p r ed ictio n s   b y   ap p l y in g   th So f tMa x   o u tp u to   d er iv class   p r o b ab ilit ies  an d   th en   s elec tin g   th class   with   t h h ig h est  p r o b ab ilit y   u s in g   ar g m a x .   T h ese  p r e d ictio n s   wer e   th e n   co m p ar ed   ag ai n s th tr u lab els f r o m   th test   s et  to   co m p u te  th f o llo win g   m et r ics:       Acc u r ac y T h e   p r o p o r tio n   o f   c o r r ec p r ed ictio n s   o u o f   all  p r ed ictio n s .   I p r o v i d es  h i g h - le v el  m ea s u r o f   h o well  th m o d el  class if ied   t h s en ten ce s :     A c c ura c y = C o rre c t   Pre d ic t ion s T o t a l   Pre d ic t ion s   ( 1 2 )       Pre cisi o n   ( Mic r o - Av er a g ed ) :   Pre cisi o n   m ea s u r es  h o m an y   o f   th p r ed icted   p o s itiv in s tan ce s   wer co r r ec t,  an d   is   ca lcu lated   as:     Pr e c isio n = T rue   Po sit iv e s T rue   Po sit iv e s + Fa l se   Po sit iv e s     ( 1 3 )     Mic r o - av er a g in g   c o m p u tes th i s   m etr ic  b y   ag g r eg atin g   co n tr i b u tio n s   f r o m   all  class es.     R ec all  ( Mic r o - Av er ag ed ) R ec all  m ea s u r es  h o m an y   o f   th ac tu al  p o s itiv in s tan ce s   wer co r r ec tly   id en tifie d   b y   th m o d el.   I t is d ef in ed   as:     R e c a l l = T rue   Po si t iv e s T rue   Po sit iv e s + Fa l se   N e g a t iv e s     ( 1 4 )       F1 - s co r ( Mic r o - Av e r ag ed ) T h F1 - s co r is   th h ar m o n ic  m ea n   o f   p r ec is io n   a n d   r ec all,   p r o v id in g   a   b alan ce d   m ea s u r e   th at  co n s id e r s   b o th   f alse p o s itiv es a n d   f alse n eg ativ es:     F1 = 2 Pre c isi o n Re c a l l Pre c isi o n + Re c a l l     ( 1 5 )       4.   RE SU L T S AN D I SCU SS I O N   T h p e r f o r m an ce   o f   th e   p r o p o s ed   h y b r i d   m o d el   was  ev alu ated   o n   th e   test   s et,   a n d   th r esu lts   d em o n s tr ate  s tr o n g   ab ilit y   to   class if y   s en ten ce s   f r o m   b io m ed ical  ab s tr ac ts   in to   th eir   r e s p ec tiv ca teg o r ies.  T h ev alu atio n   m etr ics  in clu d in g   ac cu r ac y ,   p r ec is io n ,   r ec all ,   an d   F1 - s co r in d icate   t h at  th m o d el  ef f ec tiv ely   ca p tu r es  b o th   co n te x tu al  an d   s eq u en tial  in f o r m atio n   in   th tex t.  T h m o d el  ac h iev ed   a n   o v er all  ac cu r ac y   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         E n h a n cin g   mu lti - cla s s   text  cla s s ifica tio n   in   b io med ica l litera tu r b y     ( Ou s s a ma   N d a ma )   4209   8 8 . 4 2 %,   with   p r ec is io n ,   r ec all,   an d   F1 - s co r o f   8 8 . 4 2 ac r o s s   all  ca teg o r ies,  r e f lectin g   b ala n ce d   p er f o r m an ce   ac r o s s   d if f er en t   ev alu atio n   d im en s io n s   a n d   h i g h lig h tin g   th e   m o d el' s   ab ilit y   to   co r r ec tly   class if y   th s en ten ce s   wh ile  m ain tain in g   h i g h   d e g r ee   o f   p r ec is io n   an d   r ec all.   T h tr ain in g   an d   v alid atio n   lo s s   o f   th m o d el   s h o wed   c o n s is ten im p r o v em en o v er   s ev e n   ep o ch s ,   as  illu s tr ated   in   Fig u r 3 .   T h tr ain in g   lo s s   d ec r ea s ed   f r o m   1 . 1 4   to   0 . 4 1 ,   wh ile  th v alid atio n   lo s s   f o llo wed   s im ilar   p atter n ,   r e d u cin g   f r o m   0 . 5 0   to   0 . 3 9 ,   wit h   m in o r   f lu ct u atio n s   to war d   th e n d .   T h is   c o n v er g en ce   o f   b o th   lo s s es  in d icate s   th at  th m o d el  was  ef f ec tiv ely   lear n in g   th p atter n s   f r o m   th d ata  with o u o v er f itti n g ,   m ain tain in g   s tab ilit y   th r o u g h o u tr ain in g .   T h to tal  tr ai n in g   tim f o r   th is   p r o ce s s   was  a p p r o x im ately     5 3 4 . 4 7   m in u tes  ( ~8 . 9   h o u r s ) ,   s ig n if ican tly   r ed u ce d   u s in g   a   Go o g le  C o lab   A1 0 0   GPU,   m ak in g   th t r ain in g   ef f icien t g iv en   th m o d el' s   co m p lex ity   an d   th s ize  o f   t h d a taset.   As s h o wn   in   T ab le  1 ,   th m o d el  d em o n s tr ated   s tr o n g   p er f o r m an ce   in   th ' M eth o d s '   an d   ' C o n clu s io n s ca teg o r ies,  with   F1 - s co r es  o f   9 3 . 5 6 an d   8 8 . 7 9 %,  r esp ec tiv ely ,   h ig h lig h tin g   its   ab i lity   to   ef f ec tiv ely   d if f er en tiate  th ese  well - d ef i n ed   s ec tio n s   o f   b io m e d ical  ab s tr ac ts .   Ho wev er ,   its   p er f o r m a n ce   in   th e   'B ac k g r o u n d '   an d   ' Ob ject iv e'   ca teg o r ies  was  co m p ar ativ ely   lo wer ,   with   F1 - s co r es  o f   7 4 . 0 3 an d   7 0 . 4 7 %,   r ef lectin g   ch allen g es  in   d is tin g u is h in g   th ese  s ec tio n s .   T h weig h ted   av er ag es  f o r   p r e cisi o n ,   r ec all,   an d     F1 - s co r 8 8 . 5 3 %,  8 8 . 4 2 %,  an d   8 8 . 4 5 %,  r esp ec tiv ely   u n d er s co r t h m o d el’ s   o v e r all  ef f ec tiv en ess   in   m an ag in g   class   im b alan ce   with in   th d ataset.           Fig u r 3 .   T r ain in g   a n d   v alid atio n   lo s s   o v er   e p o ch s       T ab le  1 .   C lass if icatio n   p er f o r m an ce   b y   ca teg o r y     A c c u r a c y   R e c a l l   F 1   S c o r e   S u p p o r t   B a c k g r o u n d   0 . 7 2 2 1   0 . 7 5 9 3   0 . 7 4 0 2   2 6 6 3   C o n c l u s i o n s   0 . 8 6 6 1   0 . 9 1 0 8   0 . 8 8 7 9   4 4 2 6   M e t h o d s   0 . 9 3 6 1   0 . 9 3 5 0   0 . 9 3 5 6   9 7 5 1   O b j e c t i v e   0 . 7 1 3 4   0 . 6 9 6 3   0 . 7 0 4 7   2 3 7 7   R e s u l t s   0 . 9 2 7 3   0 . 9 0 0 5   0 . 9 1 3 7   1 0 2 7 6   A c c u r a c y   -   -   0 . 8 8 4 2   2 9 4 9 3   W e i g h t e d   A v g   0 . 8 8 5 3   0 . 8 8 4 2   0 . 8 8 4 5   2 9 4 9 3       T h r esu lts   in d icate   th at   th h y b r id   m o d el,   wh ich   c o m b in es  B E R T ' s   co n tex tu al  em b e d d in g s   with   L STM 's  ab ilit y   to   ca p tu r s eq u en tial  d ep en d en cies,  is   h ig h l y   ef f ec tiv f o r   m u lti - class   s en ten ce   class if icatio n   in   b io m e d ical  ab s tr ac ts .   T h e   h ig h   ac cu r ac y   an d   b alan ce d   p r ec is io n   an d   r ec all  ac r o s s   m o s ca teg o r ies   d em o n s tr ate  th e   m o d el' s   r o b u s tn ess   an d   g en e r aliza tio n   c ap ab ilit y .   T h e   ex ce p tio n al  p er f o r m a n ce   in   th e   ' Me th o d s '   an d   ' R e s u lts '   ca teg o r ies  ca n   b attr ib u te d   to   th d is tin ct  lan g u ag an d   s tr u ctu r e   ty p ically   f o u n d   i n   th ese  s ec tio n s ,   wh ich   th m o d el  co u ld   lear n   ef f ec tiv ely .   T h lo wer   p er f o r m an ce   in   th 'B ac k g r o u n d '   an d   ' Ob jectiv e'   ca teg o r ies  s u g g ests   th at  th e s s ec tio n s   m ay   co n tain   m o r n u an ce d   la n g u ag o r   s h ar s im ilar ities   with   o th er   s ec tio n s ,   m ak in g   th e m   h ar d er   t o   class if y .   T h is   o v er lap   c o u ld   b d u to   th in tr o d u cto r y   n atu r e   o f   th e s s ec tio n s ,   wh er b ac k g r o u n d   in f o r m atio n   o f ten   s ets  th s tag f o r   th o b jectiv es  o f   th s tu d y .   Fu tu r wo r k   co u ld   f o cu s   o n   e n h an cin g   th e   m o d el' s   ab ilit y   to   d is tin g u is h   b etwe en   th ese  o v e r lap p in g   ca te g o r ies  b y   in co r p o r atin g   ad d itio n al  lin g u is tic  f ea tu r es  o r   lev er a g in g   d o m ain - s p ec if ic  k n o wled g e.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   4 Au g u s t   20 25 :   4 2 0 2 - 4212   4210   Mo r eo v er ,   th co n s is ten d ec r ea s in   tr ain in g   an d   v alid atio n   lo s s   o v er   th ep o ch s   with o u s ig n if ican t   f lu ctu atio n s   in d icate s   th at  th m o d el  d i d   n o o v er f it  an d   ca n   g en e r alize   we ll  to   u n s e en   d ata.   T h is   tr en d   u n d er s co r es  th r o b u s tn ess   o f   th tr ain in g   p r o ce d u r a n d   th s tab ilit y   o f   th m o d el’ s   ar ch itectu r e.   T h e   s u b s tan tial  tr ain in g   tim f u r th er   h ig h lig h ts   th co m p u tatio n a in ten s ity   o f   tr ain in g   s u ch   d ee p   lear n in g   m o d els;   h o wev er ,   t h u s o f   h ig h - p er f o r m an ce   c o m p u tin g   r eso u r ce s   lik GPUs   s ig n if ican tly   allev iates th is   ch allen g e.   I n   c o n clu s io n ,   th e   h y b r id   m o d el  d em o n s tr ates  s tr o n g   p o ten tial  f o r   au to m atin g   th class if icatio n   o f   s en ten ce s   in   b io m e d ical  liter atu r e,   th er e b y   f ac ilit atin g   m o r ef f icien t   in f o r m atio n   r etr ie v al  an d   k n o wled g ex tr ac tio n .   Fu tu r e   en h a n ce m e n ts   co u ld   f u r th er   im p r o v e   th e   m o d el’ s   p er f o r m an ce ,   p a r ticu lar ly   in   ch allen g in g   ca teg o r ies,  m ak in g   it  an   ev e n   m o r v alu a b le  to o f o r   b i o m ed ical  r esear ch er s   an d   p r ac titi o n er s .   On g o i n g   r ef in em en ts   to   th m o d el’ s   ar ch itectu r an d   o p tim izatio n   s t r ateg ies  m ay   y ield   ev e n   m o r r o b u s an d   s ca lab le  s o lu tio n s   in   th lo n g   ter m .       5.   CO NCLU SI O N   I n   th is   s tu d y ,   we  in tr o d u ce d   h y b r id   m o d el  th at  c o m b in es  B E R T   f o r   c o n tex tu al  lea r n in g ,   L STM   f o r   s eq u en t ial  p r o ce s s in g ,   an d   s en ten ce   o r d er   in f o r m atio n   to   class if y   s en ten ce s   in   b io m ed ical  ab s tr ac ts .   T h m o d el  ac h ie v ed   s tr o n g   p er f o r m an ce   o n   th e   Pu b Me d   2 0 0 k   R C T   d ataset,   with   an   o v er all   ac cu r ac y   o f   8 8 . 4 2 an d   b alan ce d   p r ec is io n ,   r ec all ,   an d   F1 - s co r ac r o s s   ca teg o r i es.  I ex ce lled   in   class if y in g   m eth o d s   an d   r esu lts   s ec tio n s ,   th o u g h   f u r th er   im p r o v em en ts   co u ld   b m a d in   d is tin g u is h in g   b ac k g r o u n d   an d   o b jectiv s en ten ce s .   B y   ef f ec tiv ely   in teg r atin g   b o th   co n tex tu al  an d   s eq u en tial  in f o r m atio n ,   o u r   m o d el  d em o n s tr ates  it s   p o ten tial  f o r   im p r o v in g   th r ea d ab ilit y   an d   s eg m e n tatio n   o f   c o m p lex   b io m ed ical  tex ts .   T h u s o f   f i n e - tu n in g ,   lear n in g   r ate  s ch ed u lin g ,   an d   ea r ly   s to p p in g   co n tr i b u ted   to   th m o d el' s   co n v er g en ce   a n d   s tab il ity ,   en s u r in g   r o b u s g en er aliza tio n   to   u n s ee n   d at a .   T h is   h y b r id   ap p r o ac h   o f f e r s   v alu ab le  to o f o r   en h an cin g   th au to m atic   p r o ce s s in g   o f   b io m e d ical  liter atu r e,   en ab lin g   m o r ef f icien in f o r m atio n   r etr iev al  f o r   r esea r ch er s .   Fu tu r wo r k   co u ld   ex p lo r f u r th e r   r ef in e m en ts   in   class if icatio n   ac cu r ac y ,   p ar ticu l ar l y   in   o v er lap p in g   ca teg o r ies,  an d   th e   in teg r atio n   o f   ad d itio n al  tech n iq u es su ch   as a tten tio n   m ec h a n is m s   to   en h an ce   p er f o r m an ce .       F UNDING   I NF O R M A T I O   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al   u s es  th C o n t r ib u to r   R o les  T a x o n o m y   ( C R ed iT)   to   r ec o g n ize   in d iv i d u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ou s s am Nd am a                               I s m ail  B en s as s i                               Saf ae   Nd am a                               E l M o k h tar   E n - Naim i                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r ma l   a n a l y si s   I     I n v e st i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   E d i t i n g   Vi     Vi s u a l i z a t i o n   Su     Su p e r v i si o n   P     P r o j e c t   a d m i n i st r a t i o n   Fu     Fu n d i n g   a c q u i s i t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h d ata   th at  s u p p o r th e   f i n d in g s   o f   th is   s tu d y   ar e   o p e n ly   av ailab le   in   th AC L   A n th o lo g y   at   h ttp s : //w w w . a clw eb . o r g /a n th o lo g y/I 1 7 - 2 0 5 2 . p d f ,   r e f er en ce :   Der n o n co u r a n d   L ee   ( 2 0 1 7 )   [ 6 ] .   Pu b Me d   2 0 0 k   R C T : a   Data s et  f o r   s eq u en tial  s en ten ce   class if icatio n   in   m ed ical  ab s tr ac ts .   I J C NL P.         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         E n h a n cin g   mu lti - cla s s   text  cla s s ifica tio n   in   b io med ica l litera tu r b y     ( Ou s s a ma   N d a ma )   4211   RE F E R E NC E S   [ 1 ]   C .   J .   C r e m i n ,   S .   D a s h ,   a n d   X .   H u a n g ,   B i g   d a t a :   H i s t o r i c   a d v a n c e s   a n d   e mer g i n g   t r e n d s   i n   b i o m e d i c a l   r e sea r c h ,   C u rr e n t   Re se a rc h   i n   Bi o t e c h n o l o g y ,   v o l .   4 ,   p p .   1 3 8 1 5 1 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . c r b i o t . 2 0 2 2 . 0 2 . 0 0 4 .   [ 2 ]   Q .   Ji n   e t   a l . ,   B i o me d i c a l   q u e st i o n   a n sw e r i n g :   A   su r v e y   o f   a p p r o a c h e a n d   c h a l l e n g e s,”   A C M   C o m p u t i n g   S u rve y s ,   v o l .   5 5 ,   n o .   2 ,   p p .   1 3 6 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 1 4 5 / 3 4 9 0 2 3 8 .   [ 3 ]   T.   A u g u st ,   L .   L.   W a n g ,   J .   B r a g g ,   M .   A .   H e a r st ,   A .   H e a d ,   a n d   K .   L o ,   P a p e r   P l a i n :   M a k i n g   me d i c a l   r e s e a r c h   p a p e r a p p r o a c h a b l e   t o   h e a l t h c a r e   c o n su m e r w i t h   n a t u r a l   l a n g u a g e   p r o c e ssi n g ,   AC T r a n s a c t i o n o n   C o m p u t e r - H u m a n   I n t e r a c t i o n ,   v o l .   3 0 ,   n o .   5 ,   p p .   1 3 8 ,   O c t .   2 0 2 3 ,   d o i :   1 0 . 1 1 4 5 / 3 5 8 9 9 5 5 .   [ 4 ]   G .   F r i s o n i ,   G .   M o r o ,   a n d   A .   C a r b o n a r o ,   A   s u r v e y   o n   e v e n t   e x t r a c t i o n   f o r   n a t u r a l   l a n g u a g e   u n d e r st a n d i n g :   R i d i n g   t h e   b i o me d i c a l i t e r a t u r e   W a v e ,   I E EE  Ac c e ss ,   v o l .   9 ,   p p .   1 6 0 7 2 1 1 6 0 7 5 7 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 1 . 3 1 3 0 9 5 6 .   [ 5 ]   D .   D e m n er - F u sh m a n ,   N .   El h a d a d ,   a n d   C .   F r i e d ma n ,   N a t u r a l   l a n g u a g e   p r o c e ss i n g   f o r   h e a l t h - r e l a t e d   t e x t s ,   i n   Bi o m e d i c a l   I n f o rm a t i c s ,   C h a m:   S p r i n g e r   I n t e r n a t i o n a l   P u b l i sh i n g ,   2 0 2 1 ,   p p .   2 4 1 2 7 2 .   [ 6 ]   F .   D e r n o n c o u r t   a n d   J .   Y .   L e e ,   P u b M e d   2 0 0 k   R C T :   A   d a t a se t   f o r   se q u e n t i a l   s e n t e n c e   c l a ssi f i c a t i o n   i n   m e d i c a l   a b st r a c t s ,   a r Xi v   p re p ri n t   a rXi v : 1 7 1 0 . 0 6 0 7 1 ,   2 0 1 7 .   [ 7 ]   A .   R i o s   a n d   R .   K a v u l u r u ,   C o n v o l u t i o n a l   n e u r a l   n e t w o r k f o r   b i o me d i c a l   t e x t   c l a ss i f i c a t i o n ,   i n   Pro c e e d i n g s   o f   t h e   6 t h   A C M   C o n f e re n c e   o n   B i o i n f o rm a t i c s,  C o m p u t a t i o n a l   B i o l o g y   a n d   H e a l t h   I n f o rm a t i c s ,   S e p .   2 0 1 5 ,   p p .   2 5 8 2 6 7 ,   d o i :   1 0 . 1 1 4 5 / 2 8 0 8 7 1 9 . 2 8 0 8 7 4 6 .   [ 8 ]   K .   D r a ,   F .   M o u g i n ,   a n d   G .   D i a l l o ,   L a r g e   sc a l e   b i o me d i c a l   t e x t s   c l a ssi f i c a t i o n :   A   k N N   a n d   a n   ESA - b a s e d   a p p r o a c h e s,”   J o u rn a l   o f   Bi o m e d i c a l   S e m a n t i c s ,   v o l .   7 ,   n o .   1 ,   p .   4 0 ,   D e c .   2 0 1 6 ,   d o i :   1 0 . 1 1 8 6 / s 1 3 3 2 6 - 0 1 6 - 0 0 7 3 - 1.   [ 9 ]   A .   M .   C o h e n ,   A   s u r v e y   o f   c u r r e n t   w o r k   i n   b i o me d i c a l   t e x t   m i n i n g ,   Br i e f i n g s   i n   Bi o i n f o rm a t i c s ,   v o l .   6 ,   n o .   1 ,   p p .   5 7 7 1 ,   Ja n .   2 0 0 5 ,   d o i :   1 0 . 1 0 9 3 / b i b / 6 . 1 . 5 7 .   [ 1 0 ]   I .   M o n d a l ,   B B A EG :   T o w a r d B ER T - b a se d   b i o m e d i c a l   a d v e r sari a l   e x a m p l e   g e n e r a t i o n   f o r   t e x t   c l a ss i f i c a t i o n ,   i n   Pr o c e e d i n g o f   t h e   2 0 2 1   C o n f e re n c e   o f   t h e   N o rt h   Am e ri c a n   C h a p t e o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s ,   2 0 2 1 ,   p p .   5 3 7 8 5 3 8 4 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 1 . n a a c l - mai n . 4 2 3 .   [ 1 1 ]   X .   Z h a n g ,   X .   S o n g ,   A .   F e n g ,   a n d   Z .   G a o ,   M u l t i - sel f - a t t e n t i o n   f o r   a s p e c t   c a t e g o r y   d e t e c t i o n   a n d   b i o me d i c a l   m u l t i l a b e l   t e x t   c l a ss i f i c a t i o n   w i t h   B E R T,   Ma t h e m a t i c a l   Pro b l e m i n   E n g i n e e r i n g v o l .   2 0 2 1 ,   p p .   1 6 ,   N o v .   2 0 2 1 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 1 / 6 6 5 8 5 2 0 .   [ 1 2 ]   M .   N e u m a n n ,   D .   K i n g ,   I .   B e l t a g y ,   a n d   W .   A mm a r ,   S c i sp a C y :   F a st   a n d   r o b u st   mo d e l f o r   b i o m e d i c a l   n a t u r a l   l a n g u a g e   p r o c e ss i n g ,   i n   Pro c e e d i n g o f   t h e   1 8 t h   B i o N L W o rks h o p   a n d   S h a re d   T a sk ,   2 0 1 9 ,   p p .   3 1 9 3 2 7 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / W 1 9 - 5 0 3 4 .   [ 1 3 ]   J.  Y u a n ,   F .   Z h a n g ,   Y .   Q i u ,   H .   L i n ,   a n d   Y .   Zh a n g ,   D o c u me n t - l e v e l   b i o m e d i c a l   r e l a t i o n   e x t r a c t i o n   v i a   h i e r a r c h i c a l   t r e e   g r a p h   a n d   r e l a t i o n   se g me n t a t i o n   mo d u l e ,   Bi o i n f o rm a t i c s ,   v o l .   4 0 ,   n o .   7 ,   J u l .   2 0 2 4 ,   d o i :   1 0 . 1 0 9 3 / b i o i n f o r ma t i c s/ b t a e 4 1 8 .   [ 1 4 ]   J.  D u a n ,   H .   G u o ,   H .   J i a n g ,   F .   G u o ,   a n d   J .   W a n g ,   B o u n d a r y - a w a r e   d u a l   b i a f f i n e   m o d e l   f o r   se q u e n t i a l   s e n t e n c e   c l a ss i f i c a t i o n   i n   b i o me d i c a l   d o c u m e n t s,   I EEE / AC T ra n s a c t i o n o n   C o m p u t a t i o n a l   Bi o l o g y   a n d   B i o i n f o rm a t i c s ,   v o l .   2 1 ,   n o .   5 ,   p p .   1 2 0 2 1 2 1 0 ,   S e p .   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / TC B B . 2 0 2 4 . 3 3 7 6 5 6 6 .   [ 1 5 ]   B .   W a n g   e t   a l . ,   P r e - t r a i n e d   l a n g u a g e   mo d e l i n   b i o m e d i c a l   d o ma i n :   A   s y st e ma t i c   su r v e y ,   A C C o m p u t i n g   S u r v e y s ,   v o l .   5 6 ,     n o .   3 ,   p p .   1 5 2 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 1 4 5 / 3 6 1 1 6 5 1 .   [ 1 6 ]   S .   J.  M i e l k e   e t   a l . ,   B e t w e e n   w o r d s a n d   c h a r a c t e r s :   A   b r i e f   h i st o r y   o f   o p e n - v o c a b u l a r y   mo d e l i n g   a n d   t o k e n i z a t i o n   i n   N LP,   a rX i v   p re p ri n t   a rXi v : 2 1 1 2 . 1 0 5 0 8 ,   2 0 2 1 .   [ 1 7 ]   B .   K i m   a n d   H .   J.  J a n g ,   W o r d - l e v e l   e mb e d d i n g   t o   i m p r o v e   p e r f o r man c e   o f   r e p r e se n t a t i v e   S p a t i o - t e mp o r a l   d o c u me n t   c l a ss i f i c a t i o n ,   J o u r n a l   o f   I n f o rm a t i o n   Pr o c e ssi n g   S y s t e m s ,   v o l .   1 9 ,   n o .   6 ,   p p .   8 3 0 8 4 1 ,   2 0 2 3 ,   d o i :   1 0 . 3 7 4 5 / JI P S . 0 4 . 0 2 9 6 .   [ 1 8 ]   N .   K o sar a j u ,   S .   R .   S a n k e p a l l y ,   a n d   K .   M a l l i k h a r j u n a   R a o ,   C a t e g o r i c a l   d a t a :   N e e d ,   e n c o d i n g ,   s e l e c t i o n   o f   e n c o d i n g   m e t h o d   a n d   i t s   e m e r g e n c e   i n   ma c h i n e   l e a r n i n g   m o d e l s a   p r a c t i c a l   r e v i e w   s t u d y   o n   h e a r t   d i s e a s e   p r e d i c t i o n   d a t a s e t   u s i n g   P e a r so n   c o r r e l a t i o n ,   i n   Pro c e e d i n g o f   I n t e r n a t i o n a l   C o n f e re n c e   o n   D a t a   S c i e n c e   a n d   A p p l i c a t i o n s:   I C D S 2 0 2 2 ,   V o l u m e   1 ,   2 0 2 3 ,     p p .   3 6 9 382 .   [ 1 9 ]   J.  D e v l i n ,   M . - W .   C h a n g ,   K .   Le e ,   K .   T.   G o o g l e ,   a n d   A .   I .   L a n g u a g e ,   B E R T:   P r e - t r a i n i n g   o f   d e e p   b i d i r e c t i o n a l   t r a n sf o r mers   f o r   l a n g u a g e   u n d e r st a n d i n g ,   N a a c l - H l t   2 0 1 9 ,   n o .   M l m,   p p .   4 1 7 1 4 1 8 6 ,   2 0 1 8 ,   d o i :   1 0 . 4 8 5 5 0 / a r x i v . 1 8 1 0 . 0 4 8 0 5 .   [ 2 0 ]   B e r t Te x t C l a ssi f i e r   m o d e l , ”  K e r a s ,   h t t p s : / / k e r a s. i o / a p i / k e r a s _ n l p / m o d e l s/ b e r t / b e r t _ c l a ss i f i e r /   (a c c e ss e d   A u g .   0 7 ,   2 0 2 4 ) .   [ 2 1 ]   A .   M e r c h a n t ,   E.   R a h i m t o r o g h i ,   E .   P a v l i c k ,   a n d   I .   Te n n e y ,   W h a t   h a p p e n t o   B ER e m b e d d i n g d u r i n g   f i n e - t u n i n g ? ,   a r Xi v   p re p ri n t   a rXi v : 2 0 0 4 . 1 4 4 4 8 ,   p p .   3 3 4 4 ,   2 0 2 0 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . b l a c k b o x n l p - 1 . 4 .   [ 2 2 ]   G .   P u c c e t t i ,   A .   M i a s c h i ,   a n d   F .   D e l l O r l e t t a ,   H o w   d o   B ER e m b e d d i n g o r g a n i z e   l i n g u i st i c   k n o w l e d g e ? ,   i n   Pr o c e e d i n g o f   D e e p   L e a r n i n g   I n si d e   O u t   ( D e e L I O ) :   T h e   2 n d   W o rks h o p   o n   K n o w l e d g e   E x t r a c t i o n   a n d   I n t e g r a t i o n   f o D e e p   L e a r n i n g   Arc h i t e c t u r e s ,   2 0 2 1 ,   p p .   4 8 5 7 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 1 . d e e l i o - 1 . 6 .   [ 2 3 ]   D .   N i u ,   Z .   X i a ,   Y .   L i u ,   T.   C a i ,   T.   L i u ,   a n d   Y .   Zh a n ,   A LST M :   A d a p t i v e   L S TM   f o r   d u r a t i v e   se q u e n t i a l   d a t a ,   i n   2 0 1 8   I E EE   3 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   T o o l w i t h   Ar t i f i c i a l   I n t e l l i g e n c e   ( I C T AI ) ,   N o v .   2 0 1 8 ,   p p .   1 5 1 1 5 7 ,   d o i :   1 0 . 1 1 0 9 / I C T A I . 2 0 1 8 . 0 0 0 3 2 .   [ 2 4 ]   Y u   W a n g ,   A   n e w   c o n c e p t   u si n g   LSTM   n e u r a l   n e t w o r k s   f o r   d y n a m i c   s y st e i d e n t i f i c a t i o n ,   i n   2 0 1 7   A m e ri c a n   C o n t r o l   C o n f e re n c e   ( A C C ) ,   M a y   2 0 1 7 ,   p p .   5 3 2 4 5 3 2 9 ,   d o i :   1 0 . 2 3 9 1 9 / A C C . 2 0 1 7 . 7 9 6 3 7 8 2 .   [ 2 5 ]   Y .   Y u ,   X .   S i ,   C .   H u ,   a n d   J.   Z h a n g ,   A   r e v i e w   o f   r e c u r r e n t   n e u r a l   n e t w o r k s:   LST M   c e l l s   a n d   n e t w o r k   a r c h i t e c t u r e s ,   N e u r a l   C o m p u t a t i o n ,   v o l .   3 1 ,   n o .   7 ,   p p .   1 2 3 5 1 2 7 0 ,   J u l .   2 0 1 9 ,   d o i :   1 0 . 1 1 6 2 / n e c o _ a _ 0 1 1 9 9 .   [ 2 6 ]   G .   V a n   H o u d t ,   C .   M o s q u e r a ,   a n d   G .   N á p o l e s,   A   r e v i e w   o n   t h e   l o n g   s h o r t - t e r mem o r y   m o d e l ,   Ar t i f i c i a l   I n t e l l i g e n c e   Re v i e w v o l .   5 3 ,   n o .   8 ,   p p .   5 9 2 9 5 9 5 5 ,   D e c .   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 4 6 2 - 0 2 0 - 0 9 8 3 8 - 1.   [ 2 7 ]   A .   M .   J a v i d ,   S .   D a s ,   M .   S k o g l u n d ,   a n d   S .   C h a t t e r j e e ,   A   R e L U   d e n s e   l a y e r   t o   i m p r o v e   t h e   p e r f o r ma n c e   o f   n e u r a l   n e t w o r k s ,   i n   I C AS S P   2 0 2 1   -   2 0 2 1   I E EE  I n t e rn a t i o n a l   C o n f e r e n c e   o n   Ac o u st i c s,   S p e e c h   a n d   S i g n a l   Pr o c e s si n g   ( I C A S S P) ,   J u n .   2 0 2 1 ,     p p .   2 8 1 0 2 8 1 4 ,   d o i :   1 0 . 1 1 0 9 / I C A S S P 3 9 7 2 8 . 2 0 2 1 . 9 4 1 4 2 6 9 .   [ 2 8 ]   M .   W a n g ,   S .   L u ,   D .   Z h u ,   J.   L i n ,   a n d   Z.   W a n g ,   A   h i g h - s p e e d   a n d   l o w - c o m p l e x i t y   a r c h i t e c t u r e   f o r   S o f t M a x   f u n c t i o n   i n   d e e p   l e a r n i n g ,   i n   2 0 1 8   I EE Asi a   Pa c i f i c   C o n f e re n c e   o n   C i r c u i t s   a n d   S y s t e m s   ( APC C A S ) ,   O c t .   2 0 1 8 ,   p p .   2 2 3 2 2 6 ,   d o i :   1 0 . 1 1 0 9 / A P C C A S . 2 0 1 8 . 8 6 0 5 6 5 4 .   [ 2 9 ]   S .   B o c k ,   J .   G o p p o l d ,   a n d   M .   W e i ß ,   A n   i m p r o v e me n t   o f   t h e   c o n v e r g e n c e   p r o o f   o f   t h e   A D A M - o p t i mi z e r ,   a rX i v   p re p ri n t   a rXi v : 1 8 0 4 . 1 0 5 8 7 ,   2 0 1 8 .   [ 3 0 ]   J.  G h o sh   a n d   S .   G u p t a ,   A D A M   o p t i mi z e r   a n d   c a t e g o r i c a l   C r o ss e n t r o p y   l o ss  f u n c t i o n - b a s e d   C N N   me t h o d   f o r   d i a g n o si n g   c o l o r e c t a l   c a n c e r ,   i n   2 0 2 3   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m p u t a t i o n a l   I n t e l l i g e n c e   a n d   S u st a i n a b l e   En g i n e e ri n g   S o l u t i o n s   ( C I S E S ) ,   A p r .   2 0 2 3 ,   p p .   4 7 0 4 7 4 ,   d o i :   1 0 . 1 1 0 9 / C I S ES5 8 7 2 0 . 2 0 2 3 . 1 0 1 8 3 4 9 1 .   [ 3 1 ]   C .   K i m,   S .   K i m ,   J .   K i m,   D .   Le e ,   a n d   S .   K i m ,   A u t o mat e d   l e a r n i n g   r a t e   s c h e d u l e r   f o r   l a r g e - b a t c h   t r a i n i n g ,   a rX i v   p r e p r i n t   a rXi v : 2 1 0 7 . 0 5 8 5 5 ,   2 0 2 1 .   [ 3 2 ]   G .   I o a n n o u ,   T.   T a g a r i s,   a n d   A .   S t a f y l o p a t i s ,   A d a Li p :   A n   a d a p t i v e   l e a r n i n g   r a t e   m e t h o d   p e r   l a y e r   f o r   s t o c h a st i c   o p t i m i z a t i o n , ”  N e u ra l   Pr o c e ss i n g   L e t t e rs ,   v o l .   5 5 ,   n o .   5 ,   p p .   6 3 1 1 6 3 3 8 ,   O c t .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s1 1 0 6 3 - 022 - 1 1 1 4 0 - w.   Evaluation Warning : The document was created with Spire.PDF for Python.