I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   14 ,   No .   6 Dec em b er   2 0 2 5 ,   p p .   4 4 2 7 ~ 4 4 4 1   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 14 .i 6 . p p 4 4 2 7 - 4 4 4 1          4427     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   A review  on lo ng   sho rt - ter m memo ry  com bina tion d ev elo pment       Ahm a d Riy a di 1, 2 Nur  Ro k h m a n 1 ,   L uk m a n H er y a wa n 1   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E l e c t r o n i c s,   F a c u l t y   o f   M a t h e ma t i c s   a n d   N a t u r a l   S c i e n c e s U n i v e r s i t a s Ga d j a h   M a d a ,   Y o g y a k a r t a ,   I n d o n e si a   2 D e p a r t me n t   o f   I n f o r mat i c s ,   F a c u l t y   o f   S c i e n c e   a n d   T e c h n o l o g y ,   U n i v e r si t a s PG R I   Y o g y a k a r t a ,   Y o g y a k a r t a ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct   26 2 0 2 3   R ev is ed   Sep   13 2 0 2 5   Acc ep ted   Oct   16 2 0 2 5       Lo n g   sh o rt - term   m e m o ry   (LS TM h a c o n ti n u e d   t o   d e v e l o p   si n c e   it   wa p ro p o se d   i n   1 9 9 7 .   LS TM   h a o p t imiz e d   so lu ti o n t o   v a ri o u p r o b l e m s.  Th e   LS TM   c e ll ,   a rc h it e c tu re ,   a n d   m e m o ry   m o d e h a v e   b e e n   re v iew e d .   re v iew   o LS TM   imp lem e n tatio n   h a b e e n   c a rried   o u t   in   v a ri o u p ro b lem   d o m a in s .   Th e re   a re   c o m b in a ti o n o LS T M   with   o t h e m e th o d t o   o p ti m iz e   so lu ti o n s.   Ho we v e r,   th e re   is  n o   re v iew   o n   th e   d e v e lo p m e n o L S TM   c o m b in a ti o n   (LC).   Th is  re se a rc h   re v iew th e   d e v e lo p m e n o t h e   LC  m o d e l   o n   n i n e   re se a rc h   q u e stio n s,   n a m e ly d e v e lo p m e n fra m e wo rk ,   d a ta,  p re p ro c e ss in g ,   lea rn in g   p ro c e ss ,   tas k s,   o p ti m iz a ti o n   a n d   e v a l u a ti o n ,   d o m a in   p ro b lem s,  tren d s,  a n d   c h a ll e n g e s.  Th e   re su l ts  sh o th a th e   LC  m o d e is  in c re a sin g l y   wid e sp re a d   i n   s o lv in g   p ro b lem s.  Th e   LC   m o d e l   h a c o m p lete d   2 6   t y p e s   o f   tas k s.  P re d ictio n ,   d e tec ti o n ,   fo re c a stin g ,   c las sifica ti o n ,   a n d   re c o g n it io n   a re   th e   m o st  fre q u e n tl y   p e rf o rm e d   t a sk s.  LC  m o d e d e v e lo p m e n tre n d sh o w   th a LS TM   is  i n c re a sin g ly   c o ll a b o ra ti v e   wi th   o t h e m e th o d o n   a   wi d e r   sc o p e .   Th e   c h a ll e n g e id e n t ifi e d   in c lu d e   re se a rc h   a re a s,  d a t a ,   m o d e l   d e v e lo p m e n ts,  t h e   a re a   o imp lem e n tatio n ,   p e rf o rm a n c e ,   a n d   e fficie n c y .   K ey w o r d s :   C o m b in atio n   Dee p   lear n in g   L o n g   s h o r t - ter m   m e m o r y   Op tim izatio n   Sy s tem atic  liter atu r r ev iew   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Nu r   R o k h m an   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E lectr o n ics,  Facu lty   o f   Ma th em atics a n d   Natu r al  Sci en ce s   Un iv er s itas   Gad jah   Ma d a   B u ild in g   C ,   4 th   Flo o r ,   Sek ip   Utar a,   B u lak s u m u r ,   Yo g y ak a r ta  5 5 2 8 1 ,   I n d o n esia   E m ail: n u r r o k h m a n @ u g m . ac . i d       1.   I NT RO D UCT I O N   L o n g   s h o r t - ter m   m em o r y   ( L STM )   is   r ec u r r en co n n ec tio n   n etwo r k   a r ch itectu r th at  en ab les  u p d atin g   th cu r r en s tate  b ased   o n   p ast  s tates  an d   cu r r en in p u d ata.   L STM   is   n ew  m e th o d   to   ad d r ess   th wea k n ess   o f   r ec u r r en n e u r al  n etwo r k   ( R NN) .   L STM   co n s is ts   o f   m em o r y ,   in p u g ate,   f o r g et  g ate,   an d   o u tp u t   g ate.   L STM s   ca n   b s tack e d   to   cr ea te  d ee p   L STM   n etwo r k s   th at  ca n   lear n   m o r co m p l ex   s eq u en tial  d ata.   L STM   is   ca p ab le  o f   lear n i n g   m o r th an   1 0 0 0   s tep s   in   ad v an ce   [ 1 ] .   T wo   r ev iews  o n   L STM   ar ch it ec tu r f o cu s   o n   L STM   ce lls   an d   L STM   co m p o n en t.  T h L STM   ce ll   r ev iew  aim s   to   ex p lo r th le ar n in g   ca p ac ity   in   d ea lin g   wi th   lo n g - ter m   d ep e n d en c y   p r o b lem s .   T h is   r ev iew  h as  f o u n d   t h at  n o   L STM   v ar ia n o u tp er f o r m s   in   all  asp ec ts   [ 2 ] .   T h L STM   co m p o n e n r ev iew  f o u n d   it  ca n   b e   ap p lied   to   in ter esti n g   task s ,   in clu d in g   tex r ec o g n itio n ,   tim s er ies  f o r ec asti n g ,   n atu r al  la n g u ag e   p r o ce s s in g ,   co m p u ter   v is io n ,   tex t,   im ag es,  an d   v id e o .   T h is   r e v iew  f o u n d   th at  th e   co m b i n atio n   o f   L STM   a n d   co n v o l u tio n al  n e u r al  n etwo r k   ( C NN )   ca n   im p r o v e   s y s tem   p e r f o r m a n ce   o p tim izatio n   [ 3 ] .   T wo   r ev iews  o n   L STM   ap p li ca tio n   f o cu s   o n   s to ck   m ar k et   p r ed ictio n   a n d   an o m aly   d ete ctio n .   T h e   L STM   ap p licatio n   in   s to ck   m ar k et  p r ed ictio n   r ev iew  s h o ws  th at  L STM   p lay s   an   im p o r tan r o le  in   s to ck   m ar k et  f o r ec asti n g .   T h is   r ev ie r ec o m m en d s   th at  L STM   s h o u ld   b e   co m b in ed   with   o th er   m eth o d s   to   im p r o v Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  14 ,   No .   6 Dec em b er   20 25 4 4 2 7 - 4 4 4 1   4428   ac cu r ac y   b y   co n s id er in g   ex ter n al  f ac to r s   [ 4 ] .   T h L STM   ap p licatio n   in   an o m aly   d etec tio n   r ev iew   s h o ws  th at   d if f er en t a r ch itectu r es a r ca p ab le  o f   d etec tin g   v ar i o u s   co m p lex   an o m alies c o n tex tu ally   a n d   co llectiv ely   [ 5 ] .   B o th   r ev iews  ab o v o n ly   d is cu s s   th L STM   ce ll  ar ch itectu r its elf   an d   h a v n o d is cu s s ed   th e   co m b in atio n   a r ch itectu r o f   L STM   with   o th er   m eth o d s .   T h e y   o n ly   d is cu s s   th im p lem en tatio n   o f   L STM   in   a   lim ited   s co p e,   ev en   th o u g h   L STM   h as  b ee n   im p lem en ted   i n   wid r an g o f   ar ea s .   T h is   r esear ch   will  r ev iew   th d ev elo p m en o f   L STM   c o m b in atio n s   ( L C )   in   v ar i o u s   ar ea s   an d   ar c h itectu r es.  I will  b co n d u cted   in   th e   f o r m   o f   s y s tem atic  liter atu r e   r ev iew  ( SLR)  t o   en s u r e   m o r d etailed   a n d   f o c u s ed   an aly s is .   T o   ac h iev th e   m ain   o b jectiv es,  th f o llo win g   n in r esear ch   q u esti o n s   wer d ef in ed :   i)   R Q1 wh at   is   th L C   m o d el  d ev elo p m e n f r am ewo r k ? ii)  R Q2 h o is   th d ata  u s ed   in   L C   m o d el  d ev elo p m en t? ;   iii)  R Q3 h o i s   p r ep r o ce s s in g   u s ed   in   L C   m o d el  d ev elo p m en t? iv )   R Q4 wh at  is   th e   lear n i n g   p r o ce s s   in   L C   m o d el   d ev elo p m e n t? v )   R Q5 h o t o   o p tim ize  an d   ev alu ate  L C   m o d el  d ev elo p m en t? v i)   R Q6 wh at  task s   d o es  L C   m o d el  d ev elo p m en p e r f o r m ? v ii)  R Q7 wh at  p r o b lem s   d o es  th d ev elo p m e n o f   th L C   m o d el  s o lv e?   v iii)  R Q8 wh at  i s   th r ec en tr en d   in   th d ev elo p m en o f   L C   m o d els? an d   ix )   R Q9 wh at  ar th r ec en ch allen g es in   L C   m o d el  d ev el o p m en t?       2.   M E T H O D   T h is   r esea r c h   h as   s ev e n   s te p s ,   n a m el y   f o r m u la ti n g   t h e   p r o b le m ,   s ea r c h i n g   t h e   li te r at u r e ,   s c r ee n i n g   f o r   in c lu s io n ,   ass ess in g   q u ali ty ,   e x t r a cti n g   d ata ,   a n a ly zi n g ,   a n d   s y n th esiz in g   d a ta   as   s h o w n   i n   Fi g u r 1   [ 6 ] ,   [ 7 ] T e x cl ass if ic ati o n   is   u s e d   as  th e   a n al y s is   tec h n i q u e   [ 8 ] .   Pa p e r s   we r e   o b t ai n e d   th r o u g h   a   s ea r c h   p r o c ess   o n   s ev er al   o n l in ac ad em ic   s ea r c h   e n g in es ,   s u c h   as  S c o p u s ,   S ci en ce D ir ec t ,   I E E E   X p l o r e ,   Sp r i n g e r L i n k ,   E m er al d ,   an d   Pr o Q u es t,   u s i n g   t h e   k e y w o r d s   " L ST M"   wit h   a   f ilte r   f o r   2 0 2 3 ,   an d   t h e   f iel d   o f   c o m p u t e r   s cie n ce .   T h in clu s io n   c r iter ia  u s ed   in   th is   r esear ch   in clu d p ap er s   d i s cu s s in g   th d ev elo p m en o f   LC ,   p ap er s   co n tain in g   f r am ewo r k   f o r   d ev elo p in g   LC   to   s o lv r esear ch   p r o b lem s   i n   p ar ticu la r   d o m ain ,   p ap er s   ex p lain in g   th task s   ca r r ied   o u b y   LC ,   an d   p ap er s   ex p lain in g   d ata  an d   p e r f o r m an ce .   Me an wh ile,   th ex clu s io n   cr iter ia  u s ed   in   th is   r esear ch   ar p a p er s   co n tain in g   th w o r d s   "L STM o r   "L o n g   s h o r t - ter m   m em o r y in   th titl e.   T h p ap er   is   p u b licatio n   o f   r esear ch   o r   ex p er im en tal  r esu lts .   T h s tag es  o f   s elec tin g   p ap er s   b ased   o n   in clu s io n   an d   ex clu s io n   cr iter ia  ar s h o wn   in   Fig u r 2 .           Fig u r 1 .   R esear ch   m eth o d           Fig u r 2 .   Stag es o f   s elec tin g   p ap er s       3.   RE SU L T S AN D I SCU SS I O N   T h is   r esear ch   f o cu s es  o n   r ev i ewin g   th LC   in   SLR  f o r m   i n   m o r d etailed   an d   f o cu s e d   m an n e r .   Pre v io u s   r ev iews  o n ly   c o v er e d   L STM   in   a   lim ited   s co p e   a n d   in   th f o r m   o f   g en e r al  r ev iews  th at  wer less   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   r ev iew   o n   lo n g   s h o r t - term me mo r co mb in a tio n   d ev elo p me n t ( A h ma d   R iya d i)   4429   f o cu s ed   an d   d etailed .   T h is   r esear ch   d escr ib es  th p ap er s   u s ed ,   th r esu lts   o f   th L C   r e v iew,   co m p ar ativ e   r ev iews,  an d   f u r t h er   r esear ch .   T h p ap er   d escr ip tio n   is   u s e d   to   i n d icate   th e   q u ality   an d   q u an tity   o f   r esear ch   s o u r ce s .   T h r esu lts   o f   th r e v iew  ar u s ed   t o   s h o a   d es cr ip tio n   o f   L C   m o d el  d e v elo p m en f r o m   v ar io u s   p r ed eter m in e d   p o i n ts   o f   v iew.   C o m p ar ativ r ev iews  wer u s ed   to   d em o n s tr ate  th r ec en cy   an d   s u p er io r ity   o f   th r ev iew  ca r r ied   o u c o m p a r ed   to   p r ev i o u s   r ev iews.  Fu r th er   r esear ch   is   n ee d ed   to   r e f in th lim itatio n s   o f   th is   r esear ch .     3 . 1 .     P a pers  des cr iptio n   Pap er s   wer co llected   th r o u g h   o n lin ac ad em ic  s ea r ch   en g in es,  in clu d in g   Sco p u s ,   Scien ce Dir ec t,  I E E E   Xp lo r e,   Sp r in g er L in k ,   E m er ald ,   an d   Pro Qu est.  Al p ap er s   wer p u b lis h ed   in   2 0 2 3 .   T h p ap e r s   s y n th esized   in   th is   s tu d y   h a v g o n th r o u g h   9   s tag es  o f   s elec tio n   with   in clu s io n   an d   ex clu s io n   cr iter ia .     T h s elec ted   p ap e r s   wer 1 4 6   o u o f   4 7 2 ,   o r   3 0 %.  Fig u r e   3   s h o ws  th at  th s y n t h esized   p ap er s   wer p u b lis h ed   in   5 5   p o p u lar   i n ter n atio n al  j o u r n als.  Mo s o f   th p a p er s   ar p u b lis h ed   in   jo u r n als  in   th e   f ield   o f   co m p u ter   s cien ce ,   with   o t h er s   in   th e   f ield   o f   ap p lied   c o m p u ter   s cien ce .   3 3 % o f   th p ap er s   wer p u b li s h ed   b y   jo u r n als  in   th f ield   o f   co m p u ter   s cien c an d   its   ap p licatio n s ,   in clu d in g   I E E E   Acc ess ,   Sen s o r s ,   E n er g ies,  Ap p lied   Scien ce ,   an d   B io m ed ical  Sig n al  Pro ce s s in g   an d   C o n tr o l.  T h q u ality   o f   s elec ted   jo u r n als a n d   p ap e r   p u b lis h er s   s p r ea d   ac r o s s   eig h co u n tr ies  is   s h o wn   in   Fig u r e s   4   an d   5 .   Mo s o f   th p ap er s   wer p u b lis h ed   b y   MD PI,   I E E E ,   E ls ev ier ,   an d   Sp r in g er .   Fig u r 6   s h o ws  th at  all  jo u r n als  o cc u p y   q u a r tile  o n o r   q u ar tile  2   in   th e   Scim ag o   J o u r n al  a n d   C o u n tr y   R an k .           Fig u r 3 .   Pu b licatio n   jo u r n al  o f   L C       Fig u r 4 .   Pu b lis h er   o f   L C           Fig u r 5 .   Pu b licatio n   co u n tr y   o f   L C           Fig u r 6 .   J o u r n al  q u ar til e   o f   L C     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  14 ,   No .   6 Dec em b er   20 25 4 4 2 7 - 4 4 4 1   4430   3 . 2 .     Resea r ch  re s ult   T h is   r esear ch   aim s   to   d escr ib th d ev elo p m e n o f   th L C   m o d el ,   in clu d i n g   th f r am e wo r k ,   d ata,   p r ep r o ce s s in g ,   lear n in g   p r o ce s s ,   o p tim izatio n ,   ev alu atio n ,   t ask s ,   p r o b lem   d o m ain s ,   tr e n d s ,   an d   ch allen g es,   wh ich   wer n o d is cu s s ed   in   p r ev io u s   r ev iews.  T h d escr ip tio n   o f   r esear ch   r esu lts   is   ac co m p an ied   b y   d is cu s s io n   to   p r esen th e   r esear ch   r esu lts   m o r e   co m p r eh en s i v ely .   T h e   d is cu s s io n   s co p o f   th r esear ch   r esu lts   was   b ased   o n   n in p r ed ete r m i n ed   r esear ch   q u esti o n s .     3 . 2 . 1 .     RQ 1 :   wha t   is   t he  L m o del dev elo pm ent   f r a m ew o rk ?   W f o u n d   t h at  L STM   d ev e lo p m en ca n   b class if ied   i n to   two   d e v elo p m e n m o d els,  n am ely   d ev elo p m e n in   L STM   ce lls   a n d   L C   m o d el  d ev elo p m en t,  a s   s h o wn   in   Fig u r 7 .   L STM   c ell  d ev elo p m e n is   ca r r ied   o u b y   m o d if y i n g   th ar ch itectu r e,   weig h ts ,   o r   f u n ctio n s   o f   th L STM   ce ll.  L C   m o d el  d ev elo p m en is   ca r r ied   o u b y   co m b in in g   L STM   with   its elf   o r   co m b in in g   L STM   with   o th er   m et h o d s .   T h co m b i n atio n   o f   L STM   with   o th er   m eth o d s   ca n   b s er ial,   p ar allel,   o r   m ix ed .           Fig u r 7 .   C lass if icatio n   o f   L C   m o d el  d e v elo p m e n t       T h d e v elo p m e n o f   L STM   c ell  is   less   th an   L C   m o d el.   T h d e v elo p m e n o f   L STM   ce lls   aim s   to   o p tim ize  n etwo r k   m o d els  [ 9 ] [ 1 2 ]   a n d   h id d e n   lay er   o p tim i za tio n   with   ce r tain   alg o r ith m s ,   in clu d in g   p ar ticle   s war m   o p tim izatio n   ( PSO )   a n d   g en etic  alg o r ith m   [ 1 3 ] [ 1 7 ]   o r   m o d if y in g   n etwo r k   wei g h ts   [ 1 8 ] ,   [ 1 9 ] .   Fo r   ex am p le,   two   s ig m o id   f u n ctio n s   an d   th tan h   f u n ctio n   in   th L STM   ce ll  ar r ep lace d   with   s in u s o id al   f u n ctio n   to   in cr ea s ac c u r ac y   in   p r o b lem s   wh o s o u tp u i s   p er io d ic,   a n d   th e   u s o f   R ad ix - o f f s et  b in a r y   co d in g   ( OB C )   as  r ec u r r en co n n ec tio n   weig h at  ea ch   g a te  o f   th L STM   ce ll  to   in cr ea s th ex p o n en tial  g r o wth   o f   th e   m o d el   s ize.   L C   m o d el   d e v elo p m e n ca n   b cl ass if ied   in to   two   m o d els,  n am ely ,   a   co m b in atio n   o f   L STM   with   its elf   [ 2 0 ]   o r   co m b in atio n   o f   L STM   with   o t h er   m eth o d s .   Mo s L C   m o d el  d ev elo p m e n ts   ar a   co m b in atio n   o f   L STM   an d   o n o r   m o r o th er   m et h o d s   [ 2 1 ] [ 2 3 ] .   T h L C   m o d el  f o r m at  is   s er ial   [ 2 4 ] [ 2 7 ] p ar allel  [ 2 8 ] [ 3 4 ] ,   o r   m i x tu r [ 3 5 ] .   T h L C   m o d el  d ev elo p m en aim s   to   g et  b etter   m o d el  p er f o r m a n ce ,   b u t   th er ar an o m alies in   ce r tain   ca s es  [ 3 6 ] .   W f o u n d   th g en er al  L C   d ev elo p m en t a r c h itectu r as sh o wn   in   Fig u r 8 .   T h ar c h itectu r e   is   d iv id ed   in to   th r ee   s tag es:  d ata  p r ep a r atio n ,   tr ain in g   m o d el,   a n d   ev alu atio n   m o d el.   T h ese  th r ee   s tag es  ar r elate d   s er ially .   Data   p r ep ar atio n   co n s is ts   o f   d ata  co llectio n   an d   d ata   r ed u ctio n .   T h r ed u ce d   d ata  is   s av ed   as  a   d ataset  an d   r ea d y   to   b u s ed   f o r   th n ex p r o ce s s .   C o llectin g   d ata  ca n   b ch allen g i n g   d u to   d if f icu lt ies  in   f in d in g   s o u r ce s   an d   ex t r ac tin g   d ata,   as  well  as  d ea lin g   with   d iv er s f o r m s   an d   ty p es  o f   d ata.   T h tr ain in g   m o d el  c o n s is ts   o f   in p u f ea tu r es,  d iv id in g   tr ain in g   d ata  a n d   v alid atio n   d ata ,   an d   lear n in g   p r o ce s s es.  So m L C   m o d el  d ev elo p m en ts   ca r r y   o u p r ep r o ce s s in g   [ 3 7 ] ,   [ 3 8 ] ,   f ea tu r ex t r ac tio n   [ 3 9 ] [ 4 1 ]   o r   b o th .   Featu r en g in ee r in g   is   th p r o ce s s   o f   tr an s f o r m in g   r aw  d ata  in to   f o r m at  s u itab le  f o r   an aly s is .   T h is   in v o lv es  ex tr a ctin g   n ec ess ar y   f ea tu r es  u s in g   s p ec if ic  m eth o d s .   T h d e v elo p m en o f   th L C   m o d el  is   f u r th er   d em o n s tr ated   b y   th lear n in g   p r o ce s s   ar ch i tectu r e.   Op tim al  m o d el  p er f o r m an ce   is   o b tain ed   f r o m   r e p ea ted   tr ain in g   an d   v alid atio n ,   as  well  as  m o d if y in g   th p r o p o r tio n   o f   tr ain in g   d ata  an d   v alid atio n   d ata.   T r ain in g   a   m o d el   in v o l v es  f in d in g   th b est  h y p e r p ar a m eter s   f o r   o p tim al  p er f o r m an ce .   T h e v alu atio n   m o d el  aim s   to   m ea s u r t h p er f o r m a n ce   o f   th e   L C   m o d el.   T h e v alu atio n   m eth o d   f o r   m o d el   s h o u ld   b e   ap p r o p r iate  f o r   its   in p u t,  o u tp u t,  an d   task s   to   u n d e r s tan d   its   p er f o r m an ce .   C h o o s in g   b aselin m eth o d   f o r   co m p ar is o n   is   k e y   ch allen g e .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   r ev iew   o n   lo n g   s h o r t - term me mo r co mb in a tio n   d ev elo p me n t ( A h ma d   R iya d i)   4431       Fig u r 8 .   L C   d e v elo p m e n t f r a m ewo r k       3 . 2 . 2 .     RQ 2 :   ho is   da t a   us ed  in L m o del dev elo pm ent ?   W f o u n d   th at   th e   d ata   u s ed   f o r   d ev elo p in g   th e   L C   m o d el   ca n   b e   class if ied   in to   th r ee   ca teg o r ies,  n am ely   p u b lic  d atasets ,   o f f icial  d ata,   an d   ex p er im en tal  d ata .   Fig u r 9   s h o ws  th e   p r o p o r tio n s   o f   th e   th r ee   d ata   ca teg o r ies.  E x p er im e n tal  d ata  o cc u p ies  th h ig h est  p r o p o r t io n .   T h is   p r o p o r tio n   s h o ws  th at  m o s o f   th L C   m o d el  d ev elo p m en is   b ased   o n   r ea l - wo r ld   p r o b lem s   an d   lab o r ato r y   test s   [ 4 2 ] [ 4 5 ] .   Pu b li d ata  u s ed   f o r   L C   m o d el  d ev elo p m en i n clu d e   I E E E   b ea r in g   d ataset  [ 1 1 ] ,   th e   Dee p MI MO   d ataset  [ 4 6 ] ,   C - MA PS d ataset  [ 4 7 ] B SL  d ataset  [ 4 8 ] ,   p u b licly   a v ailab le  d ataset  f r o m   New   So u th   W ales  [ 4 9 ] ,   wea th e r   d atas et  in   Qu in lan d   [ 5 0 ] PHM2 0 1 0   to o l - wea r   d ataset  [ 5 1 ] ,   n ew  p lan d is ea s d ataset  [ 5 2 ] an d   I MD b   [ 5 3 ] .   T h h ig h   p r o p o r tio n   o f   o f f icial  d ata  u s ag in d icate s   t h at  th d ev elo p m en o f   th L C   m o d el  s o lv es  in s titu tio n al  b u s in ess   p r o b lem s .   Of f icial  d ata  u s ed   f o r   L C   m o d el  d ev elo p m en in clu d t h Natio n al  Ma r in Data   C en ter   [ 5 4 ] ,   e x p er im e n tal  d ata  f r o m   th e   Un iv er s ity   o f   C in cin n ati’ s   I n tellig en t   Ma in ten an ce   Sy s tem s   C en ter   [ 5 5 ] ,   air   p o llu tio n   d ata,   a n d   m eteo r o lo g y   d ata  f r o m   3 5   m o n ito r in g   s tatio n s   in   B eijin g   [ 5 6 ] ,   p r ice   o f   C h in a   R ea E s tate  I n d ex   [ 5 7 ] E p ilep s y   R esear ch   C en ter   at  B o n n   Un iv er s ity   in   Ger m an y   [ 5 8 ] an d   ac tu al  o p e r atio n   d ata   o f   Den m a r k s   DK1   r eg io n   in   th No r d ic  elec tr icity   m ar k et  [ 5 9 ] .   W e   al s o   f o u n d   t h a t h e   d a ta   u s e d   i n   L C   m o d e l   d e v el o p m e n t   c a n   b e   c la s s i f i e d   b as e d   o n   i t s   t y p e   as  s h o w n   i n   F i g u r e   1 0 .   T h e   n u m er i c a l   d a t a   t y p e   i s   t h e   m o s t   w i d e l y   u s e d ,   r e a c h i n g   1 4 %   [ 6 0 ] [ 6 2 ] .   M e a n w h i l e ,   t h s i g n a l   d at a   t y p e   [ 6 3 ]   is   2 0 % ,   a n d   t h e   i m a g d a t t y p e   [ 6 4 ]   is   1 4 % .   T e x t   a n d   m u l t i v a r i a t d a t a   t y p es   [ 6 5 ] [ 6 7 ]   e a c h   a c c o u n t   f o r   1 0 % .   T h e r e   a r e   o n l y   a   f e o t h e r   d a t t y p e s ,   i n cl u d i n g   v i d e o   [ 2 6 ] ,   s y m b o l s   [ 6 8 ] ,   [ 6 9 ] ,   a n d   s p e e c h   [ 7 0 ] .               Fig u r 9 .   T h d ata  s o u r ce   o f   L C   Fig u r 1 0 .   T h d ata  ty p o f   L C       3 . 2 . 3 .     RQ 3 :   ho is   prepro ce s s ing   in  L m o del dev elo pm ent ?   M o s t   o f   t h e   d a t a   ca n n o t   b e   a n a l y z e d   d i r e c t l y   i n   t h e   l e a r n i n g   p r o c e s s   o f   L C   m o d el   d e v e l o p m e n t .     W e   d is c o v e r e d   v a r i o u s   m e t h o d s   o f   p r e p r o c e s s i n g   d a t a ,   as   s h o w n   i n   F i g u r e   1 1 .   T h es e   m e t h o d s   i n c l u d e   Pe a r s o n   c o r r e l a t i o n   [ 4 1 ] ,   n o r m a l i za t i o n   [ 7 1 ] ,   i n t e r p o l a t i o n   [ 7 2 ] ,   l ab e l i n g   [ 7 3 ] ,   w a v e l et   [ 7 4 ] ,   wo r d 2 v e c   [ 7 5 ] a n d   c o n v e r t i n g ,   G l o V e   [ 7 6 ] .   T h e   n e e d   f o r   p r e p r o c e s s i n g   m e t h o d s   i s   d e t e r m i n e d   b a s e d   o n   th e   d a t a   t y p e ,   d a t Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  14 ,   No .   6 Dec em b er   20 25 4 4 2 7 - 4 4 4 1   4432   c l e a n i n g ,   a n d   a n a l y s is   m e t h o d   t o   b e   u s e d   [ 2 7 ] ,   [ 7 7 ] .   S o m e   L C   m o d e d e v e l o p m e n t s   u s e   m o r e   t h a n   o n p r e p r o c e s s i n g   m e t h o d   [ 7 8 ] .   N o r m a l i z a ti o n   i s   t h e   m o s t   wi d e l y   u s e d   m e t h o d   [ 7 9 ] .   S o m e   L C   m o d e l   d e v e l o p m e n t s   u s e   a   c o m b i n a t i o n   o f   n o r m a l i z a t i o n   a n d   o t h e r   m e t h o d s   [ 8 0 ] ,   [ 8 1 ] .   P r e p r o c e s s i n g   f o r   t e x t   d a t a   u s e s   G l o V   [ 2 9 ] ,   [ 7 6 ] ,   o r   w o r d 2 v e c   [ 8 2 ] ,   w h i l e   p r e p r o c es s i n g   f o r   s i g n a l   d a t a   u s es   w a v e l et s   [ 3 8 ] ,   [ 7 4 ] ,   o r   i n t e r p o l a t i o n   [ 8 3 ] ,   [ 8 4 ] .   P r e p r o c e s s i n g   i n   t h e   L C - s u p e r v i s e d   m o d e l   d e v e l o p m e n t   m o d e l   u s e s   d at a   l a b el i n g   [ 8 5 ] ,   [ 8 6 ] .     3 . 2 . 4 .     RQ 4 :   wha t   is   t he  lea r nin g   pro ce s s   i n L dev elo p m ent ?   W f o u n d   th at  L C   m o d el  d ev e lo p m en t is ca r r ied   o u t b y   co m b in in g   L STM   with   m o d u les,  alg o r ith m s ,   o r   o t h er   m eth o d s   to   im p r o v e   p er f o r m an ce   in   p r o b lem - s o l v in g .   Mo d u les  t h at  ar e   o f te n   u s ed   i n   L C   m o d el  d ev elo p m e n in clu d atten tio n   [ 2 1 ] ,   [ 2 9 ] ,   [ 3 5 ] ,   R e L [ 2 2 ] ,   [ 2 3 ] ,   p o o lin g   [ 2 4 ] ,   [ 3 0 ] S o f tMa x   [ 2 6 ] ,   [ 3 9 ] co n d itio n al  r a n d o m   f iel d   ( C R F )   [ 2 9 ] ,   d r o p o u [ 3 0 ] ,   [ 8 0 ] ,   f l atten   [ 3 1 ] ,   [ 5 2 ] ,   f u lly   co n n ec t ed   [ 4 7 ] ,   [ 5 9 ] ,   d en s e   [ 5 0 ] ,   [ 7 8 ] .   Me th o d s   th at  ar o f ten   co m b in ed   with   L STM   in clu d C NN  [ 2 1 ] ,   [ 2 4 ] ,   [ 2 8 ] ,   R NN  [ 6 9 ] t r an s f o r m er   [ 4 2 ] ,   [ 6 4 ] g ate d   r ec u r r en u n it  ( GR U ) ,   an d   L STM   its elf   [ 2 0 ] ,   [ 3 2 ] ,   [ 5 6 ] Bi L STM   an d   Stack ed B iLST ar ex am p le s   o f   LC   m eth o d s   th em s elv es  [ 8 7 ] .   M u lti - lay er   s eq u en tial  L S T an d   m u lti - h ea d   L STM   ar co m b in atio n s   o f   L STM   th em s elv es  in   s eq u en tial  [ 8 8 ] .   C NN  is   th m o s o f ten   u s ed   m eth o d   i n   L C   m o d els,  as sh o wn   in   Fig u r 1 2 .               Fig u r 1 1 .   T h m et h o d s   u s ed   i n   L C   p r ep r o ce s s in g   Fig u r 1 2 .   T h m et h o d   c o m b i n ed   with   L STM   in     L C   lear n in g       T h r ee   ty p es  o f   LC   ar s er ial  co m b in atio n ,   p ar allel  co m b in at io n ,   an d   m ix ed   c o m b in atio n .   MC - L STM   [ 2 7 ] ,   E R - L STM   [ 8 0 ] ,   C NN - L STM   [ 8 8 ] ,   a n d   B iLST M - So f tm ax   [ 8 9 ]   ar e   ex am p les  o f   th e   L C   s er ial  co m b in atio n s .   C NN - B iLST [ 2 9 ] ,   AC N - L STM   [ 3 0 ] ,   h y b r i d   1 DC NN - L STM   [ 3 1 ] ,   an d   C NN - L STM   [ 8 2 ]   a r ex am p les  o f   th e   L C   p ar allel  c o m b in atio n s .   R eu s ab le  L STM   n etwo r k   ( R L N)   [ 3 2 ] ,   Hy b r id   C NN - L STM   with   m u lti - lev el  atten tio n   f u s io n   [ 7 4 ] ,   d is tr ib u ted   e n s em b le  L STM   [ 7 5 ] ,   an d   E PKSL  [ 9 0 ]   ar ex am p les  o f   th L C   m ix ed   co m b in atio n s .     3 . 2 . 5 .     RQ 5 :   ho t o   o ptim ize   a nd   ev a lua t L m o del dev elo pm ent ?   So m L C   m o d el  d e v elo p m e n ts   u s o p tim izatio n   m eth o d s   to   im p r o v e   m o d el  p er f o r m an ce .   Fig u r 1 3   s h o ws  th p r o p o r tio n   o f   alg o r ith m s   d is co v er ed   f o r   o p tim izi n g   L C   m o d el  d ev elo p m e n t.  T h PS an d   Ad am   alg o r ith m s   ar th e   m o s o f ten   u s ed   f o r   t h is   p u r p o s e.   An   L C   m o d el  u s in g   PS ca n   p r o d u ce   g o o d   p er f o r m a n ce ,   as it a ch i e v ed   h ig h   F1 - s co r [ 9 1 ] .   Dev el o p in g   a n   L C   m o d e l u s in g   th Ad am   alg o r ith m   ca n   also   lead   to   g o o d   p er f o r m an ce ,   with   h ig h   F1 - s co r e,   ac cu r ac y ,   a n d   AUC  [ 7 0 ] ,   [ 8 9 ] ,   [ 9 2 ] .   All  L C   m o d el  d ev elo p m en g o es  th r o u g h   m o d el  e v alu atio n   cy cle.   Fig u r 1 4   s h o ws  th p r o p o r tio n   o f   e v alu atio n   m eth o d s   d is co v er ed   in   L C   m o d el   d ev el o p m en t.  T h m o s o f ten   ev al u atio n   m eth o d s   ar e   ac cu r ac y ,   r o o m ea n   s q u ar e d   er r o r   ( R MSE ) ,   an d   F1 - s co r e .   Sev er al  L C   m o d el  d ev elo p m e n ts   h av ac h iev ed   h ig h   ac c u r ac y ,   ap p r o ac h in g   9 9 [ 9 3 ] [ 9 5 ] ,   b u th e r ar e   s till   m o d els  with   ac cu r ac y   u n d er   7 2 [ 9 6 ] .   So m e   L C   m o d el  d ev elo p m en ts   h av ac h iev ed   r elativ ely   s m all  R MSE   [ 9 7 ] ,   [ 9 8 ] ,   b u th er ar s ti ll  m o d els  with   h ig h   R MSE   [ 9 9 ] .   Sev er al  L C   d ev elo p m en ts   h av ac h iev e d   h ig h   F1 - s co r es  [ 1 0 0 ] [ 1 0 2 ] ,   b u th er ar s till   m o d els   with   lo F1 - s co r es  [ 1 0 3 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   r ev iew   o n   lo n g   s h o r t - term me mo r co mb in a tio n   d ev elo p me n t ( A h ma d   R iya d i)   4433           Fig u r 1 3 .   Op tim izatio n   alg o r i th m s   in   L C   Fig u r 1 4 .   E v alu atio n   m eth o d   in   L C       3 . 2 . 6 .     RQ 6 :   wha t   t a s k s   do es L m o del dev elo pm ent   perf o rm ?   T h d ev elo p m en o f   th L C   m o d el  was  ca r r ied   o u to   co m p lete  ce r tain   task s   in   s o lv in g   p r o b lem s   in   th r ea w o r ld .   T h is   m o d el  h as  co m p leted   v ar io u s   task s .   Fiv m ain   task s   th at   ar e   o f te n   ca r r ie d   o u in   L C   m o d el  d e v elo p m e n in clu d r ec o g n itio n   [ 1 2 ] [ 2 6 ] [ 8 0 ] [ 8 5 ] [ 8 6 ] [ 1 0 0 ] ,   p r e d ictio n   [ 1 0 4 ] [ 1 0 6 ] ,   d etec tio n   [ 1 0 7 ] ,   [ 1 0 8 ] ,   f o r ec asti n g   [ 1 0 9 ] [ 1 1 4 ] ,   an d   class if icatio n   [ 1 1 5 ] [ 1 1 7 ]   as  s h o wn   in   T a b le  1 .   Oth e r   task s   p er f o r m ed   b y   L C   m o d el  d e v elo p m en i n   a   lim ited   s co p e   in clu d e   an aly s is ,   m o d elin g   [ 1 1 8 ] ,   o p tim izatio n   [ 1 1 9 ] ,   s en s in g ,   an d   d iag n o s is .   Pre d ictio n   is   th task   m o s t L C   m o d el  d e v elo p m e n t p er f o r m s .       T ab le  1 .   T h p r o p o r tio n   o f   L C   d ev elo p m en t ta s k s   No   Ta sk   P r o p o r t i o n   ( %)   1   P r e d i c t i o n   23   2   D e t e c t i o n   14   3   F o r e c a st i n g   14   4   C l a s si f i c a t i o n   12   5   R e c o g n i t i o n   8   6   V a r i o u o t h e r s   t a sk   29       3 . 2 . 7 .     RQ 7 :   wha t   pro blem s   do es t he  dev elo pm ent   o f   t he  L m o del so lv e?   Pro b lem s   in   th r ea wo r ld   ar n u m er o u s   an d   r a p id ly   d ev el o p in g .   Var io u s   d ev elo p m e n ts   h av b ee n   ca r r ied   o u to   s o l v th ese  p r o b lem s .   W f o u n d   th at  th d ev elo p m en o f   th L C   m o d el  h a s   p en etr ated   v ar io u s   r ea p r o b lem   ar ea s   in   th wo r ld ,   as  s h o wn   in   Fig u r 1 5 .   T h ese  p r o b lem   d o m ai n s   in clu d th en v ir o n m e n t,  m ec h an ical,   elec tr ical,   h ea lth ,   an d   f in an cial.   E n v ir o n m en tal  p r o b lem s   in clu d u r b an   wate r   [ 3 8 ] ,   u r b a n   f lo o d in g   [ 4 5 ] ,   wate r   p o llu tio n   [ 1 0 9 ] ,   d o m esti waste  g en er atio n   [ 1 1 4 ] an d   tr an s p o r tatio n   [ 1 2 0 ] .   Me ch an ical  p r o b lem s   in clu d s er v o   s y s tem s   [ 6 6 ] ,   m is s ile  m an eu v e r   tr a jecto r ies  [ 6 7 ] ,   air cr a f en g in es   [ 7 1 ] a n d   m ac h in e   cu tter h ea d s   [ 1 2 1 ] .   E n e r g y   p r o b lem s   in clu d e   s o lar   p o wer   [ 1 0 5 ]   an d   win d   p o wer   [ 1 2 2 ] I n d u s t r i a l   p r o b l e m s   i n c l u d e   c h e m i c a l   p r o c es s es   [ 1 8 ] ,   g a s   a n a l y s is   [ 9 4 ] a n d   c o m p l e x   p r o d u c t   d e s i g n   [ 1 1 8 ] .   H e a l t h   p r o b l e m s   i n c l u d e   d r u g   r e a c t i o n s   [ 1 9 ] ,   c a r d i o v a s cu l a r   i s s u e s   [ 8 8 ] ,   b r a i n   t u m o r s   [ 9 5 ] ,   f o o d   s a f e t y   [ 1 0 3 ] a n d   i n f l u e n z a   [ 1 2 3 ] .   Hu m an - s ty le  p r o b lem s   in clu d f ac ial  em o tio n s   [ 2 6 ] ,   s leep   s tag in g   [ 3 3 ] ,   g ait  p h ases   [ 8 6 ] a n d   d r iv i n g   s ty le  [ 1 1 5 ] .   Fin an cial  p r o b lem s   in clu d C h in a’ s   r ea estate  s to ck   tr en d   [ 5 7 ] ,   s to ck   p r ice  [ 9 8 ] an d   c r ed it  ca r d   f r au d   [ 1 2 4 ] .   So cial   m ed ia  p r o b lem s   in clu d tex [ 5 3 ] ,   s o cial  n etwo r k s   [ 7 8 ] an d   C h in ese  n ews  [ 8 2 ] Ag r icu ltu r al  p r o b lem s   in clu d e   p lan t d is ea s [ 5 2 ] ,   t o m ato   s ee d   cu ltiv ar s   [ 1 2 5 ] a n d   ag r icu lt u r al  p r o d u cts  [ 1 2 6 ] E lectr ical  p r o b lem s   in clu d e   elec tr ical  co n s u m p tio n   f o r   s h ip s   [ 2 1 ]   a n d   elec tr ical  lo a d   [ 4 9 ] .   Geo g r ap h y   p r o b lem s   i n clu d e   lith o lo g y   [ 1 6 ] ,   f i b er   o p tic  ca b le  [ 9 3 ] ,   g r o u n d   m o tio n   [ 1 2 7 ] ,   ac u te   m o u n tain   s ick n ess   [ 1 2 8 ] an d   f a u lt  lo ca tio n   [ 1 2 9 ] .   Net wo r k   p r o b lem s   in clu d e   I o T   en v ir o n m en [ 1 3 0 ]   a n d   clo u d   co m p u tin g   [ 1 3 1 ] .   Ma r itime   p r o b lem s   in clu d s h ip   m o tio n   [ 1 7 ]   an d   wav h e ig h [ 5 4 ] .   I m ag p r o b lem s   in clu d h y p e r s p ec tr al  im ag [ 6 4 ] ,   im ag ca p tio n   g en er atio n   [ 1 3 2 ] a n d   f u s ed   m u ltimo d ality   m e d ical  im ag [ 1 3 3 ] .   L a n g u a g e   p r o b lem s   in clu d b ab y   s ig n   l an g u ag [ 4 8 ]   an d   m u ltil in g u a h u m o r   a n d   ir o n y   [ 7 6 ] .   E lectr o m ed ical  p r o b lem s   in clu d e p ilep tic  E E s ig n a ls   [ 5 8 ] ,   an d   E E G   [ 1 3 4 ] .   O th er   p r o b lem s   i n clu d e   p ar ti al  d is ch ar g e   [ 2 5 ]   m u lti - d o m ain   [ 7 5 ] an d   p er m a f r o s t d eg r a d atio n   [ 1 3 5 ] .     3 . 2 . 8 .     RQ 8 :   wha t   is   t he  re ce nt  t re nd   in t he  dev elo pm ent   o f   L m o dels ?   W f o u n d   th at  th e   tr en d   o f   d ata  u s ed   i n   L C   m o d el  d e v e lo p m en is   g ettin g   clo s er   to   r ea l - wo r ld   p r o b lem s .   T h is   is   s h o wn   b y   th p r o p o r tio n   o f   d ata,   n am ely   6 4 co llected   f r o m   ex p e r im en tal  d ata  o r   o f f icial   d ata,   as  s h o wn   in   Fig u r 9 .   T h d ev elo p m en o f   th L C   m o d el  u s in g   o f f icial  d ata  s h o ws  th at  L C   m o d el  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  14 ,   No .   6 Dec em b er   20 25 4 4 2 7 - 4 4 4 1   4434   d ev elo p m e n is   n ee d ed   to   p r o v id s o lu tio n s   to   b u s in ess   p r o b lem s .   L C   m o d el  d ev elo p m en u s in g   p u b lic  d atasets   aim s   to   f in d   th b est  p er f o r m i n g .   T h tr e n d   o f   L C   m o d el  d ev elo p m en b ased   o n   r esear ch   p r o b lem   d o m ain s   s h o ws  th at  t h s co p e   o f   L C   m o d el  r esear ch   is   in cr e asin g ly   b r o ad ,   as  s h o wn   in   Fig u r 1 6 .   T h is   s h o ws   th at  all  ar ea s   o f   r esear ch   ar p o s s ib le  to   ca r r y   o u th r o u g h   th d ev elo p m en o f   L C   m o d e ls .   Me an wh ile,   th tr en d   o f   L C   m o d el  d ev elo p m en b ased   o n   th task s   s h o ws  th at  L C   d ev elo p m e n is   u s ed   to   s o lv p r ed ictio n ,   d etec tio n ,   f o r ec asti n g ,   class if icatio n ,   an d   r ec o g n itio n   task s .   W f o u n d   th at  t h tr e n d   o f   p r ep r o ce s s in g   in   L C   m o d el  d e v elo p m e n t is n o r m ali za tio n ,   as sh o wn   in   Fig u r 1 1 .   C NN  is   th m o s t tr en d in g   m et h o d   f o r   co m b in in g   with   L STM   in   th lear n in g   p r o ce s s ,   as  s h o wn   in   Fig u r 1 2 .   Me an wh ile,   th tr en d   o f   L C   m o d el  d ev el o p m en t   o n   test in g   r esu lts   s h o ws th at  L C   m o d el  p er f o r m an ce   is   s till   v ar ied .           Fig u r 1 5 .   T h p r o b lem   d o m ai n s   s o lv ed   b y   L C           Fig u r 1 6 .   L C   d ev elo p m en t c h allen g es       3 . 2 . 9 .     RQ 9 :   wha t   a re   t he  re ce nt  cha lleng es in L m o del dev elo pm ent ?   W f o u n d   th at   th e   ch allen g e s   o f   d ev elo p in g   an   L C   m o d e r elate d   t o   d ata  p r o b lem s   in clu d d ata   g r o wth ,   d ata  e x p an s io n ,   d ata   e x p lo r atio n ,   d ata   au g m en tatio n ,   d ata  m o d elin g ,   an d   d ata   ex tr a ctio n ,   as  s h o wn   in   Fig u r 1 6 .   Fu r t h er   d ata  g r o wth   s tu d ies  wer ca r r ied   o u to   in cr ea s th am o u n o f   d ata  [ 1 3 6 ] ,   [ 1 3 7 ]   T h g r o wth   o f   d ata  r eq u ir es  f u r th er   s tu d ies  o n   au g m en tatio n   [ 8 1 ]   o r   ex p lo r atio n   [ 1 0 2 ] F u r t h e r   s t u d i es   o n   d at a   e x p a n s i o n   w e r e   c a r r i e d   o u t   b y   e x p a n d i n g   t h e   s c o p e   a n d   r a n g e   o f   d a t a   [ 1 3 8 ] [ 1 4 0 ] .   F u r t h e r   s t u d i e s   o n   d a t m o d e l i n g   a n d   d a t a   e x t r a c ti o n   a r e   n e e d e d   t o   s i m p li f y   t h e   p r o c es s i n g   a n d   r e p r e s e n t a ti o n   o f   d a t a   [ 7 6 ] [ 1 1 7 ] [ 1 2 5 ] .   C h allen g es  in   L C   m o d el   d ev elo p m en r elate d   to   im p r o v in g   m o d el  p er f o r m a n ce   in cl u d e   in cr ea s in g   ac cu r ac y ,   en h an cin g   g en er a lizatio n   ab ilit y ,   co n d u ctin g   m eth o d   co m b i n atio n   tr ial s ,   an d   co m p ar in g   co m b in atio n   m eth o d s .   Fu r t h e r   r esear ch   r elate d   to   ac c u r ac y   in clu d es  in v o l v in g   u n ce r tain ty   th eo r y   [ 1 4 1 ] in cr ea s in g   d ata  f r o m   m u ltip le   s o u r ce s   [ 5 6 ] [ 1 2 8 ] ,   co m b in i n g   v ar io u s   m eth o d s   [ 3 9 ] [ 8 3 ] [ 8 4 ] [ 9 9 ] [ 1 2 4 ] Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   r ev iew   o n   lo n g   s h o r t - term me mo r co mb in a tio n   d ev elo p me n t ( A h ma d   R iya d i)   4435   an d   co m p ar in g   th em   [ 1 1 1 ] .   Ad d itio n al  s tu d ies  r elate d   to   g en er aliza tio n   in v o lv e   u s in g   m o r co m p lex   d ata   [ 1 8 ] ,   lar g er   d atasets   [ 9 5 ] ,   ad d itio n al  eq u i p m en [ 1 4 2 ] ,   a n d   in teg r atin g   id ea s   a n d   p ar a m eter s   in to   m o d els  [ 1 2 1 ] .   s ig n if ican t   is s u in   L C   m o d el  d ev elo p m en i s   ef f icien cy .   Fu r t h er   r esear c h   r elate d   to   m o d el   ef f icien cy   in clu d es  co m p u tat io n ,   r eso u r ce s ,   to o ls ,   an d   o p tim izatio n .   C o m p u tatio n al  ch allen g es  in clu d e   alg o r ith m s ,   ca lcu latio n s ,   a n d   t im co m p lex ity   [ 1 9 ] [ 8 8 ] [ 1 0 9 ] .   L ac k   o f   r eso u r ce s   an d   p o o r   to o q u ality   ar e   o n g o in g   is s u in   L C   m o d el  d ev elo p m en [ 8 5 ] [ 1 0 0 ] [ 1 3 3 ] [ 1 4 3 ] [ 1 4 4 ] .   Ho to p ics  r elate d   to   L C   m o d el  d ev elo p m e n o p tim izatio n   in clu d o p tim izatio n   tech n iq u e s ,   s tr u ctu r o p tim izatio n ,   al g o r ith m s ,   s ec u r ity ,   o v er f itti n g ,   an d   er r o r s   [ 2 3 ] [ 6 8 ] [ 6 9 ] [ 9 8 ] [ 1 1 2 ] [ 1 1 5 ] [ 1 1 8 ] [ 1 1 9 ] .   Fu r th er   r esear ch   o n   L C   m o d el   d ev elo p m e n ca n   b e   co n d u cte d   at  th e   im p lem e n tatio n   lev el.   Stu d y in g   m o d el  im p lem en tat io n   in   v ar io u s   f ield   is   f ascin atin g   ar ea   to   e x p l o r [ 1 1 ] [ 4 1 ] [ 8 7 ] [ 9 1 ] [ 9 7 ] [ 1 3 1 ] [ 1 4 5 ] [ 1 4 6 ] .   E x p a n d in g   t h s co p o f   im p lem en tatio n   is   also   ch all en g in g   s tu d y   [ 5 8 ] [ 9 2 ] [ 1 2 9 ] .   T h d ev el o p m en t   o f   t h r esu ltin g   L C   m o d el  is   n ev er - e n d in g   c h allen g e.   C h allen g es  r elate d   to   m o d el  d e v elo p m e n in clu d e   an aly s is   ex p an s io n ,   m o d e in teg r atio n ,   e m b ed d ed   m o d els,  an d   m o d e l   ex p lo r atio n .   An aly s is   ex p a n s io n   is   ca r r ie d   o u to   in cr ea s t h m o d el' s   s o lu tio n   ca p ab ilit ies  f o r   th e   p r o b lem s   b ein g   s o lv ed   [ 3 7 ] [ 7 5 ] [ 1 0 1 ] [ 1 1 3 ] [ 1 3 4 ] [ 1 4 7 ] [ 1 4 9 ] .   M o d el  in teg r atio n   an d   em b ed d e d   m o d els ar ca r r ied   o u r eg a r d in g   th u s o f   r eso u r ce s   o r   to o ls   to   m ak t h m o d el  ea s ier   [ 2 9 ] [ 3 4 ] [ 5 3 ] [ 7 4 ] [ 1 5 0 ] .   Fu r t h er   s tu d ies  o n   m o d el  ex p lo r atio n   in clu d d ata  ex p lo r atio n ,   tech n iq u es,  r eso u r ce s ,   an d   alg o r ith m s   s o   th at  th m o d el  p r o v i d es  m o r e   ad d e d   v alu [ 3 1 ] [ 7 8 ] [ 7 9 ] [ 9 7 ] [ 1 0 4 ] [ 1 0 5 ] [ 1 0 8 ] [ 1 2 7 ] [ 1 5 1 ] An o t h e r   i n te r es ti n g   ch all en g e   i n   L C   d e v el o p m e n t   is   p ar am ete r   ex p an s io n .   Pa r a m et er   e x p a n s i o n   ai m s   t o   i m p r o v t h m o d el  b y   co n s i d e r i n g   o t h e r   i n f lu e n ti al   f ac t o r s   t h at   h av e   n o t   b ee n   c o n s id e r ed   in   p r e v i o u s   m o d e ls   [ 4 0 ] [ 5 7 ] [ 7 1 ] [ 7 7 ] [ 9 0 ] [ 1 0 6 ] [ 1 0 7 ] [ 1 1 6 ] [ 1 2 2 ] [ 1 2 3 ] [ 1 2 6 ] [ 1 3 0 ] [ 1 4 9 ] [ 1 5 1 ] [ 1 5 3 ] .   T h e   d e v el o p m e n t   o f   t h L C   m o d el  als o   d e p e n d s   o n   th e   s p ec if ie d   r ese a r c h   t o p ic   o r   f iel d .   R ese ar c h   f i e ld s   t h a t   r e q u ir e   f u r t h e r   s t u d y   i n cl u d e   m u lti li n g u al  [ 8 2 ] ,   g ai r e c o g n i ti o n   [ 8 6 ] ,   m u lti - em o t io n   [ 9 6 ] ,   s e m a n t ics   [ 1 3 2 ] ,   a n d   f e at u r ex tr ac t i o n   [ 1 5 4 ] .     3 . 3 .     Dis cus s io n   T h is   r esear ch   s p ec if ically   co n d u cts  r ev iew  p ap er   th at  ex p l ain s   th d ev elo p m en o f   th L C   m eth o d .   T h p ap er s   s elec ted   f o r   th i s   r esear ch   wer f ilter ed   r ig o r o u s ly   to   e n s u r h ig h   q u a lity .   I p r o v id es  co m p r eh e n s iv d escr ip tio n   o f   th r ev iewe d   p ap er s ,   d em o n s tr atin g   th lev el   o f   q u ality   o f   th e   p a p er s   u s ed ,   wh ich   h as  n o b ee n   d o n in   p r ev io u s   r ev iews.  T h r ev iew  ap p lied   a n   SLR  m eth o d ,   wh ich   h as  n o b ee n   u s ed   in   an y   L STM   r ev iew.   T h S L R   m eth o d   g av a   clea r er   a n d   m o r e   f o c u s ed   r ev iew.   T ab l 2   s h o ws  th at  th is   s tu d y   ex p licitly   f in d s   co m p l ete  ag g r eg atio n   o f   L C   d ev elo p m en an d   o u tlin es  ch allen g es  f o r   f u r th er   r esear c h   o n   L C .   Ho wev er ,   th is   r esea r ch   h as  lim itatio n s .   T h r ev iew  s co p is   lim ited   to   th e   L C   m eth o d   o n ly .     T h r ev iew   in clu d es  p ap er s   p u b lis h ed   in   2 0 2 3   with   titl es  co n tain in g   "L STM o r   "L o n g   s h o r t - ter m   m em o r y ".   T h r e v iew  is   lim ited   to   n in e   r esear ch   q u esti o n s .   T o   en h an ce   th e   r ev iew,   ad d itio n al   r esear c h   q u esti o n s   ca n   b e   in clu d ed ,   a n d   m o r r ec e n t p ap er s   ca n   b co n s id er ed   d u to   t h r ap id   p ac o f   r esear ch   d ev e lo p m en ts .       T ab le  2 .   Ag g r eg atio n   o f   L C   d ev elo p m en t   R e se a r c h   q u e st i o n   A g g r e g a t i o n   M o d e l   d e v e l o p m e n t   f r a m e w o r k   D a t a   p r e p a r a t i o n ,   t r a i n i n g   mo d e l ,   a n d   e v a l u a t i o n   mo d e l   D a t a   so u r c e   E x p e r i m e n t a l   d a t a   a n d   p u b l i c   d a t a s e t   D a t a   t y p e   N u meri c ,   s i g n a l ,   i m a g e ,   a n d   t e x t   M e t h o d u se d   i n   p r e p r o c e ss i n g   N o r mal i z a t i o n   M e t h o d   c o m b i n e d   w i t h   LS TM   i n   l e a r n i n g   C N N ,   d e n se,   a t t e n t i o n ,   S o f t M a x ,   a n d   R e L u   O p t i mi z a t i o n   a l g o r i t h ms   P S O   a n d   A d a m   Ev a l u a t i o n   me t h o d   A c c u r a c y ,   R M S E,   a n d   F 1 - sc o r e   Ta sk   P r e d i c t i o n ,   d e t e c t i n g ,   f o r e c a s t i n g ,   a n d   c l a ssi f i c a t i o n     P r o b l e d o ma i n s   s o l v e d   A l l   d o mai n   R e c e n t   t r e n d   i n   t h e   d e v e l o p me n t   R e a l - w o r l d   p r o b l e ms   R e c e n t   c h a l l e n g e i n   t h e   d e v e l o p me n t   R e se a r c h   f i e l d ,   d a t a ,   m o d e l ,   p e r f o r m a n c e ,   a n d   i mp l e me n t a t i o n       4.   CO NCLU SI O N   T h is   SLR   is   b a s ed   o n   1 4 6   p a p er s   s elec ted   f r o m   Q1   o r   Q2 - in d ex ed   jo u r n als  in   co m p u ter   s cien ce   in   2 0 2 3 .   All  p ap er s   co n tain   "L STM o r   "L o n g   s h o r t - te r m   m e m o r y in   t h eir   titl e.   T h L C   m o d el  d ev el o p m en t   f r am ewo r k   in clu d es  d ata   p r e p ar atio n ,   p r e p r o ce s s in g ,   lear n in g ,   v alid atio n ,   an d   test in g ,   with   d ata   m ain ly   s o u r ce d   f r o m   ex p er im en tal   o r   o f f icial  s o u r c es.  L C   m o d els  ai m   to   ad d r ess   r ea l - wo r ld   p r o b l em s   ac r o s s   v ar i o u s   d o m ain s   s u ch   as  en v ir o n m en t ,   m ec h an ical,   en e r g y ,   n etwo r k ,   in d u s tr y ,   g eo g r ap h y ,   elec tr ical,   h ea lth ,   h u m a n   s ty le,   ag r icu ltu r e,   an d   s o cial  m ed ia.   C NN  is   p o p u la r   m et h o d   in   L C   m o d el   d ev elo p m en t,  an d   PS is   wid ely   u s ed   f o r   o p tim izatio n .   R esear ch   o n   L STM   ce ll  d e v elo p m e n is   lim ited .   Pre d ictio n ,   d ete ctio n ,   f o r ec asti n g ,   class if icatio n ,   an d   r ec o g n itio n   ar co m m o n   task s   in   L C   m o d el  d ev elo p m en t.  C o llab o r atio n   an d   in teg r atio n   o f   L STM   with   o th er   m eth o d s   ar tr en d s   in   L C   m o d el  d ev elo p m en t,  o f f er in g   s o l u tio n s   to   r ea l - wo r ld   ch allen g es.  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  14 ,   No .   6 Dec em b er   20 25 4 4 2 7 - 4 4 4 1   4436   Data   ex p an s io n ,   p e r f o r m an ce   en h an ce m e n t,  m o d el  c o m p a r is o n ,   r esear ch   f ield   e x p an s io n ,   a n d   im p lem en tatio n   ar c h al l en g e s   in   L C   m o d el  d ev elo p m en t   with   d iv er s p ar a m eter s   an d   d o m ain s .   T h is   r esear ch   ad d r ess es   n in r esear ch   q u esti o n s .   T h r ev ie h ig h lig h ts   th r a p id   g r o wt h   o f   L C   m o d els,  d em o n s tr atin g   th v er s atility   o f   L STM   in   s o lv in g   co m p lex   r ea l - wo r ld   p r o b lem s   ac r o s s   v ar io u s   f ield s .   Alth o u g h   L C   d ev elo p m e n is   in cr ea s in g ly   c o m p lex ,   it  p r o v id es  p r o m is in g   o p p o r tu n itie s   to   ad d r ess   ch allen g es  in   s o lv in g   r ea l - w o r ld   p r o b lem s .       F UNDING   I NF O R M A T I O N   T h is   r esear ch   was  f u n d ed   b y   th Fin al  Pro ject  R ec o g n itio n   Pro g r am   o f   Gad jah   Ma d a   Un iv er s ity   B atch   I ,   Fis ca l Y ea r   2 0 2 2 ,   as s tated   in   th Ass ig n m en t L etter   Nu m b er : 3 5 5 0 /UN1 . P.I I I /Dit - L it/P T . 0 1 . 0 5 /2 0 2 2   d ated   Ma y   2 0 ,   2 0 2 2 .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ah m ad   R iy ad i                               Nu r   R o k h m an                               L u k m an   He r y awa n                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au th o r s   co n f ir m   th at  th er e   is   n o   co n f lict  o f   in ter est ass o ciate d   with   th is   p u b licatio n .       DATA AV AI L AB I L I T Y   T h au th o r s   c o n f i r m   t h at  th d ata   s u p p o r ti n g   t h e   f i n d in g s   o f   t h is   s t u d y   a r e   a v a ila b l wit h i n   t h e   a r ti cle .       RE F E R E NC E S   [ 1 ]   S .   H o c h r e i t e r   a n d   J.   S c h m i d h u b e r ,   Lo n g   s h o r t - t e r m e m o r y ,   N e u r a l   C o m p u t a t i o n ,   v o l .   9 ,   n o .   8 ,   p p .   1 7 3 5 1 7 8 0 ,   1 9 9 7 ,     d o i :   1 0 . 1 1 6 2 / n e c o . 1 9 9 7 . 9 . 8 . 1 7 3 5 .   [ 2 ]   Y .   Y u ,   X .   S i ,   C .   H u ,   a n d   J.   Z h a n g ,   A   r e v i e w   o f   r e c u r r e n t   n e u r a l   n e t w o r k s :   LST M   c e l l s   a n d   n e t w o r k   a r c h i t e c t u r e s ,   N e u r a l   C o m p u t a t i o n ,   v o l .   3 1 ,   n o .   7 ,   p p .   1 2 3 5 1 2 7 0 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 6 2 / n e c o _ a _ 0 1 1 9 9 .   [ 3 ]   G .   V .   H o u d t ,   C .   M o s q u e r a ,   a n d   G .   N á p o l e s,  A   r e v i e w   o n   t h e   l o n g   sh o r t - t e r m e m o r y   mo d e l ,   Ar t i f i c i a l   I n t e l l i g e n c e   Re v i e w   v o l .   5 3 ,   n o .   8 ,   p p .   5 9 2 9 5 9 5 5 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s1 0 4 6 2 - 0 2 0 - 0 9 8 3 8 - 1.   [ 4 ]   S .   Ti w a r i   a n d   A .   K .   C h a t u r v e d i ,   A   s u r v e y   o n   LS TM - b a s e d   st o c k   m a r k e t   p r e d i c t i o n ,   I l k o g re t i m   O n l i n e   -   E l e m e n t a r y   E d u c a t i o n   O n l i n e ,   v o l .   2 0 ,   n o .   5 ,   p p .   1 6 7 1 1 6 7 7 ,   2 0 2 1 ,   d o i :   1 0 . 1 7 0 5 1 / i l k o n l i n e . 2 0 2 1 . 0 5 . 1 8 2 .   [ 5 ]   B .   L i n d e ma n n ,   B .   M a sc h l e r ,   N .   S a h l a b ,   a n d   M .   W e y r i c h ,   A   s u r v e y   o n   a n o ma l y   d e t e c t i o n   f o r   t e c h n i c a l   s y st e ms  u s i n g   LST M   n e t w o r k s,”   C o m p u t e rs  i n   I n d u st r y ,   v o l .   1 3 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . c o mp i n d . 2 0 2 1 . 1 0 3 4 9 8 .   [ 6 ]   M .   T e m p l i e r   a n d   G .   P a r é ,   A   f r a me w o r k   f o r   g u i d i n g   a n d   e v a l u a t i n g   l i t e r a t u r e   r e v i e w s,”   C o m m u n i c a t i o n o f   t h e   Ass o c i a t i o n   f o r   I n f o rm a t i o n   S y st e m s ,   v o l .   3 7 ,   2 0 1 5 ,   d o i :   1 0 . 1 7 7 0 5 / 1 C A I S . 0 3 7 0 6 .   [ 7 ]   S .   G .   P a u l   e t   a l . ,   C o m b a t i n g   C o v i d - 1 9   u s i n g   ma c h i n e   l e a r n i n g   a n d   d e e p   l e a r n i n g :   a p p l i c a t i o n s ,   c h a l l e n g e s,   a n d   f u t u r e   p e r s p e c t i v e s ,   Arr a y ,   v o l .   1 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . a r r a y . 2 0 2 2 . 1 0 0 2 7 1 .   [ 8 ]   R .   J i n d a l ,   R .   M a l h o t r a ,   a n d   A .   J a i n ,   Te c h n i q u e f o r   t e x t   c l a ssi f i c a t i o n :   l i t e r a t u r e   r e v i e w   a n d   c u r r e n t   t r e n d s,   W e b o l o g y ,   v o l .   1 2 ,   n o .   2 ,   2 0 1 5 .   [ 9 ]   L.   F e n g ,   P r e d i c t i n g   o u t p u t   r e s p o n se s   o f   n o n l i n e a r   d y n a m i c a l   s y st e ms  w i t h   p a r a me t r i z e d   i n p u t u si n g   LST M ,   I EEE  J o u r n a l   o n   Mu l t i sc a l e   a n d   Mu l t i p h y si c s C o m p u t a t i o n a l   T e c h n i q u e s ,   v o l .   8 ,   p p .   9 7 1 0 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / J M M C T . 2 0 2 3 . 3 2 4 2 0 4 4 .   [ 1 0 ]   M .   T.   K h a n ,   H .   E.   Y a n t i r ,   K .   N .   S a l a ma,   a n d   A .   M .   E l t a w i l ,   A r c h i t e c t u r a l   t r a d e - o f f   a n a l y s i f o r   a c c e l e r a t i n g   LST M   n e t w o r k   u si n g   R a d i x -   r   O B C   sc h e m e ,   I E EE  T ra n s a c t i o n o n   C i rc u i t a n d   S y s t e m s   I :   Re g u l a P a p e rs ,   v o l .   7 0 ,   n o .   1 ,   p p .   2 6 6 2 7 9 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / TC S I . 2 0 2 2 . 3 2 1 7 0 9 1 .   [ 1 1 ]   S .   X i a n g ,   J.   Z h o u ,   J.   L u o ,   F .   Li u ,   a n d   Y .   Q i n ,   C o c k t a i l   LST M   a n d   i t s   a p p l i c a t i o n   i n t o   m a c h i n e   r e m a i n i n g   u sef u l   l i f e   p r e d i c t i o n ,   I EEE/ A S M T r a n s a c t i o n o n   M e c h a t ro n i c s ,   v o l .   2 8 ,   n o .   5 ,   p p .   2 4 2 5 2 4 3 6 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / T M E C H . 2 0 2 3 . 3 2 4 4 2 8 2 .   [ 1 2 ]   H .   W u   e t   a l . ,   A   n o v e l   p e d a l   mu scu l o s k e l e t a l   r e s p o n s e   b a s e d   o n   d i f f e r e n t i a l   s p a t i o - t e mp o r a l   LS TM   f o r   h u ma n   a c t i v i t y   r e c o g n i t i o n ,   K n o w l e d g e - Ba s e d   S y st e m s ,   v o l .   2 6 1 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . k n o sy s. 2 0 2 2 . 1 1 0 1 8 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.