I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l.  15 ,   No .   4 ,  Dec em b er   20 26 ,   p p .   1 6 9 6 ~1 7 0 5   I SS N:  2252 - 8 7 7 6 ,  DOI :  1 0 . 1 1 5 9 1 /iji c t . v15 i 4 . pp 169 6 - 1 7 0 5          1696       J o ur na l ho m ep a g e :  h ttp : //ij ict. ia esco r e. co m   Unidirec tiona l an d bidirec tiona l L STM  f o r non linea r sy ntheti c  time seri es foreca sting       Nur  H a izum   Abd Ra hm a n 1 ,  H a ni Sy a hid a   Z ulk a f li 2   1 C e n t r e   f o r   M a t h e m a t i c a l   S c i e n c e s,   U n i v e r s i t i   M a l a y si a   P a h a n g   A l - S u l t a n   A b d u l l a h ,   Le b u h   P e r si a r a n   T u n   K h a l i l   Y a a k o b ,     G a mb a n g ,   M a l a y s i a   2 D e p a r t me n t   o f   M a t h e m a t i c s   a n d   S t a t i st i c s ,   F a c u l t y   o f   S c i e n c e ,   U n i v e r si t i   P u t r a   M a l a y s i a ,   S e r d a n g ,   M a l a y si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   7 ,   2 0 2 6   R ev is ed   J u l 2 4 ,   2 0 2 6   Acc ep ted   Au g   2 8 ,   2 0 2 6       De e p   lea rn in g   m o d e ls  a re   se n siti v e   to   a rc h it e c tu re   c h o ice   a n d   h y p e r p a ra m e ter  tu n in g .   Th is  st u d y   e v a lu a tes   th e   fo re c a stin g   p e rf o r m a n c e   o f  u n i d irec ti o n a l  lo n g   sh o rt - term   m e m o ry   (LS TM )  a n d   b i d irec ti o n a l  LS TM   (BiL S TM )  n e two rk s  u sin g   sy n th e ti c   n o n l in e a r  ti m e   se ries   d a ta.  S y n t h e ti c   d a ta  we re   u se d   t o   p ro v i d e   a   c o n tro ll e d   e x p e rime n tal  se tt i n g   in   wh ich   t h e   n o n li n e a r  d a ta - g e n e ra ti n g   p ro c e s s,  sa m p le  siz e ,   a n d   h y p e rp a ra m e ter  e ffe c ts   c o u ld   b e   sy ste m a ti c a ll y   e x a m in e d .   Th re sh o ld   a u to re g re ss iv e   (TAR)   a n d   se lf - e x c it in g   th re sh o ld   a u to re g re ss iv e   (S ET AR)  m o d e ls  we re   sim u late d   wit h   sa m p le  siz e s,  1 0 0 0   a n d   3 0 0 0 .   Ea c h   se ries   wa s  p a rti ti o n e d   i n to   tra in in g   a n d   tes ti n g   se ts  u sin g   a n   8 0 : 2 0   sp li t.   Bo t h   n e two rk s  we re   trai n e d   u sin g   g ri d   se a rc h   b y   v a r y in g   th e   n u m b e r  o f   h i d d e n   n e u ro n s   (3 2 ,   6 4 ,   1 2 8 )   a n d   trai n in g   e p o c h s  ( 2 0 ,   5 0 ,   1 0 0 ).   F o re c a st  a c c u ra c y   wa s  e v a lu a ted   u sin g   m e a n   sq u a re d   e rro r  (M S E)  a n d   m e a n   a b so l u te  e rro r  (M AE),   a v e ra g e d   a c ro ss   3 0   re p li c a ti o n s.  T h e   re su lt s  sh o w  t h a t  in c re a sin g   e p o c h s  a n d   h i d d e n   n e u r o n s   imp ro v e s  a c c u ra c y ,   b u t  th e   i m p ro v e m e n ts  d e c li n e   a t  h ig h e r  se tt in g s .   BiL S TM   a c h iev e s  l o we r  fo re c a stin g   e rr o rs  th a n   LS TM   fo r  b o t h   TAR  a n d   S ET AR  d a tas e ts,  a n d   t h e   Wi lco x o n   tes t  c o n firms   th a t   th e   d iffer e n c e s  a re   sta ti stica ll y   sig n ifi c a n t .   T h e   m a i n   c o n tri b u ti o n   o f   t h is  st u d y   is   a   c o n tro ll e d   e m p iri c a l  fra m e wo rk   th a t   li n k s  th e   a rc h it e c tu re ,   sa m p le  siz e ,   a n d   h y p e r p a ra m e ter  se tt in g s  to   n o n li n e a r  re g ime - sw it c h in g   fo re c a stin g   p e rfo rm a n c e .   Th e   fin d in g s  su g g e st  th a t  B iL S TM   is  p re fe ra b le  wh e n   h i g h e r   a c c u ra c y   is  re q u ired ,   w h il e   L S TM   re m a in s  a   p ra c ti c a l  a lt e rn a ti v e   fo r   sm o o th e r  n o n li n e a r  se ries   o r  re so u rc e - c o n stra in e d   a p p l ica ti o n s.   K ey w o r d s :   T h r esh o ld   a u to r eg r ess iv e  m o d el   Self - ex citin g   th r esh o l d   au to r eg r ess iv e  m o d el   T im e  s er ies   Hy p er p ar a m eter   tu n in g   Gr id   s ea r ch   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Nu r   Haiz u m   Ab d   R ah m an     C en tr e  f o r   Ma th em atica l Scie n ce s ,  Un iv er s iti Ma lay s ia  Pah an g   Al - Su ltan   Ab d u llah   L eb u h   Per s iar an   T u n   Kh alil Y aa k o b ,  Gam b an g ,   Ma lay s ia   E m ail: h aizu m @ u m p s a. ed u . m y       1.   I NT RO D UCT I O N   Acc u r ate  tim e  s er ies  f o r ec asti n g   is   cr u cial  f o r   d ec is io n - m ak in g   in   s ec to r s   s u ch   as  b an k in g ,   tr an s p o r tatio n ,   en er g y ,   an d   en v ir o n m e n tal  s cien ce ,   wh e r e  p r ed ictin g   f u tu r e   tr en d s   a n d   an o m alies  is   ess en tial   f o r   o p er atio n al  ef f icien cy   an d   r is k   m itig atio n   [ 1 ] - [ 3 ] .   T h e  i n cr ea s in g   co m p lex ity   o f   tem p o r al  co n n ec ti o n s   in   r ea l - wo r ld   d atasets   h as  em p h asis ed   th e  s h o r tco m i n g s   o f   co n v en tio n al  s tatis tical   m o d els,  s u ch   as   au to r eg r ess iv e  in teg r ated   m o v in g   av er a g e  ( AR I MA )   an d   ex p o n en tial  s m o o th in g .   T h ese  m o d els  o f ten   s tr u g g le   to   ca p tu r e  n o n lin ea r   p atter n s   an d   lo n g - r a n g e  c o r r elatio n s   in   c o m p lex   f o r ec asti n g   task s .   As  a  r esu lt,   th e   r esear ch   co m m u n ity   h as  tr an s itio n ed   to   d ee p   lear n i n g   tec h n iq u es,  p ar tic u lar ly   r ec u r r en t  n eu r al  n etwo r k s   ( R NNs),   to   ad d r ess   th ese  is s u e s   an d   ac h iev e  e n h an ce d   ac cu r a cy   in   tim e - s er ies f o r ec asti n g   [ 4 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Un id ir ec tio n a l a n d   b id ir ec tio n a l LS TM   fo r   n o n lin ea r   s yn th etic  time  s erie s   … ( N u r   Ha iz u m  A b d   R a h ma n )   1697   Am o n g   R NN  v ar ian ts ,   lo n g   s h o r t - ter m   m em o r y   ( L STM )   n et wo r k s   h av e  em e r g ed   as a   r o b u s t so lu tio n   f o r   m o d ellin g   s eq u en tial  d ata,   d u e  t o   th e   L STM   ch ar ac ter is t ic  o f   a   g ated   ar ch itectu r e   th at  f ac ilit ates  m em o r y   r eten tio n   a n d   s elec tiv e  ex clu s io n   o f   i n f o r m atio n   o v er   ex t en d ed   tim e   p er io d s   [ 5 ] .   L ST M  m o d els  ex ce l   at  ca p tu r in g   s h o r t - te r m   v ar iatio n s   an d   lo n g - ter m   d e p en d e n cies,  m ak in g   th e   L STM   h ig h ly   s u itab le  f o r   co m p licated   d ata  f o r ec asti n g   ap p licatio n s .   T wo   p r in cip al   L STM   ar ch itectu r es  h av e  g ain ed   p r o m i n en ce ,   wh ic h   ar e   u n i d ir ec tio n al   L STM ,   wh ich   p r o ce s s es  in p u t  s eq u en ce s   in   a   s in g le  f o r war d   d ir ec tio n ,     an d   b i d ir ec tio n al  L STM   ( B iLST M) ,   wh ich   a n aly s es  d ata  in   b o th   f o r war d   an d   b ac k w ar d   d ir ec tio n s   [ 6 ] .     T h is   b id ir ec tio n al  m ec h an is m   allo ws  B iLST M  m o d els  to   lev er ag e  co n tex tu al  in f o r m atio n   f r o m   b o th   p ast  an d   f u tu r e  s tates,  p o ten tially   en h a n cin g   f o r ec asti n g   p er f o r m an c e  in   ap p licatio n s   wh er e   co m p r eh en s iv e  s eq u e n ce   co n tex t is ess en tial.   I n   r ec e n t  y ea r s ,   th e  liter atu r e  o n   L STM - b ased   f o r ec asti n g   h as  r ap id ly   e v o lv e d   to   tack le  in cr ea s in g ly   co m p licated   tem p o r al  p atter n s   ac r o s s   s ev er al  ap p licatio n   ar ea s .   Simu latio n   s tu d ies  co n s is ten tl y   s h o w  th at   B iLST M  m o d els  o u tp er f o r m   u n id ir ec tio n al  m o d els  in   ca p t u r in g   in tr icate   tem p o r al  d e p e n d en cies,  esp ec ially   in   s h o r t -   an d   m ed iu m - ter m   f o r ec asti n g   co n tex ts   s u ch   as  tr af f ic  f lo w,   s to ck   m ar k et  p r e d ictio n ,     an d   h y d r o l o g ical  m o d ellin g .   T h e  b id ir ec tio n al   ar ch itectu r e   allo ws  th e  m o d el  to   an aly s e  in p u t  s eq u e n ce s   in   b o th   d ir ec tio n s ,   u tili s in g   in f o r m atio n   f r o m   b o th   p ast  an d   f u tu r e  s tates  to   im p r o v e  f o r ec ast  ac cu r ac y .     Mu lti - lay er   B iLST M  m o d els  h av e  d em o n s tr ated   co n s id er a b le  im p r o v em e n ts   in   f o r ec ast  ac cu r ac y   r elativ e  to   s tack ed   o r   h y b r id   Un i - L STM   m o d els,  p ar ticu lar ly   f o r   ex ten d ed   f o r ec ast h o r izo n s   [ 7 ] - [ 9 ] .   I n   co m p ar ativ e  a n aly s is ,   th e  p er f o r m a n ce   ev alu ati o n   r elies  o n   a  v a r iety   o f   er r o r   m etr ics,  s u ch   as  r o o t   m ea n   s q u ar ed   er r o r   ( R MSE ) ,   m ea n   ab s o lu te  er r o r   ( MA E ) ,   m ea n   ab s o lu te  p er ce n tag e  e r r o r   ( MA PE) ,   a n d   co ef f icien t  o f   d eter m in atio n   ( R 2 ) .   B esid es  th e  in f er en tial  s t atis tical  te s ts ,   s u ch   as  th e  W il co x o n   Sig n ed - R an k   T est,  is   also   u s ed   [ 1 0 ] .   B iLST M  m o d els,   wh ich   p r o d u ce   l o wer   er r o r   r ates  an d   g r ea ter   co r r elatio n   s co r es   ac r o s s   m an y   ap p licatio n s   an d   f o r ec ast  h o r izo n s ,   ar e  f r eq u en tly   f a v o u r ed   b y   em p ir ical  r esu lts .   T h ese  im p r o v em e n ts ,   h o wev er ,   co m e  at  th e   co s t  o f   lo n g e r   tr ai n in g   tim es  a n d   g r ea ter   co m p u t atio n al  co m p lex ity ,   p r o m p tin g   r esear ch e r s   to   ex p lo r e  h ar d war e  ac ce ler ati o n   an d   o p tim is atio n   tech n iq u es  to   r ed u ce   r eso u r ce   r eq u ir em e n ts .   W h ile  en s em b le  ap p r o ac h es  th at  in teg r ate  L STM ,   B iLST M,   an d   o th er   d e ep   lear n in g   m o d els  o f f er   p r o m is in g   av en u es  f o r   en h an ce d   r esil ien ce ,   ap p l y in g   cr o s s - v alid atio n ,   m u lti - h o r izo n   f o r ec asti n g ,   an d   d o m ain - s p ec if ic  m ea s u r es f u r t h er   im p r o v es th e  r eliab ilit y   o f   th ese  co m p ar ativ e  e v alu atio n s   [ 1 1 ] - [ 1 4 ] .   I n   ad d itio n ,   alth o u g h   B iLST M  m o d els  o f f er   clea r   b en ef its   in   ac cu r ac y   an d   ca p tu r in g   co n tex t,  th eir   p r ac tical  ap p licatio n   is   o f ten   lim ited   b y   co m p u tatio n al   tr ad e - o f f s .   R esear ch   in d icate s   th a t  B iLST M  m o d els  r eq u ir e  m o r e  t r ain in g   tim e  an d   co m p u tatio n al  r eso u r ce s   an d   m ay   c o n v e r g e  m o r e  s lo wly   th an   L STM   m o d els.  T h is   h as  s p ar k ed   in ter est  i n   o p tim is atio n   tech n iq u es,  s u ch   as  h y p er p ar am eter   tu n in g   an d   h ar d war e  ac ce le r atio n ,   to   b alan ce   p r ed i ctiv e  p er f o r m an ce   with   ef f ici en cy .   Ad d itio n ally ,   th e  in ter p r etab ilit y   o f   d ee p   lear n in g   m o d els r em ain s   a  s ig n if ican t c h allen g e,   with   atten tio n   m ec h a n is m s   an d   f ea tu r e  s el ec tio n   em er g in g   as  im p o r tan t  s tr ateg ies  f o r   im p r o v in g   tr a n s p ar en cy   an d   tr u s t.  T h e  liter atu r e  also   em p h asis es  th e  im p o r tan ce   o f   b etter   in teg r atin g   L STM   m o d els  with   co m p lem en tar y   m e th o d s ,   s u ch   as  au to r eg r ess iv e  in teg r ated   m o v in g   av er ag e  with   ex o g en o u s   v ar ia b le  ( AR I MA X)   an d   tr an s f o r m er - b ased   n etwo r k s ,   to   f u r th er   en h an ce   f o r ec asti n g   ac cu r ac y   an d   g e n er alis ab ilit y   [ 1 5 ] ,   [ 1 6 ] .   A  n o tab le  r esear ch   g ap   p e r s is ts   in   th e  r eliab le  ap p licatio n   o f   L STM   ar ch itectu r es  f o r   lo n g - ter m   f o r ec asti n g   h o r izo n s .   Alth o u g h   B iLST M  m o d els  p er f o r m   ex ce p tio n ally   well  i n   s h o r t -   an d   m ed i u m - ter m   f o r ec asts ,   th eir   p er f o r m a n ce   ten d s   to   d eter io r ate  o v e r   lo n g er   tim e  h o r izo n s ,   a n d   th e r e   ar e  n o   estab lis h ed   r ec o m m en d atio n s   f o r   o p tim i s in g   th ese  m o d els  in   lo n g - ter m   s ce n ar io s .   Mo r e  th o r o u g h   r esear c h   o n   ar ch itectu r al  tu n i n g ,   i n ter p r e tab ilit y ,   an d   m eth o d o lo g ical   r ig o u r   is   n ee d ed ,   ac c o r d in g   to   th e   liter atu r e ,   p ar ticu lar ly   in   u n d e r s tu d ied   f ield s   s u ch   as  f in an cial  r is k   ass es s m en t  an d   en v ir o n m e n tal  m o n ito r in g .   T o   ad d r ess   th e  is s u es   o f   s ca lab ilit y ,   tr an s p ar en c y ,   an d   lo n g - ter m   p r ed ictiv e  d ep en d ab ilit y ,   f u tu r e  r esear ch   aim s   to   b u ild   ef f ec tiv e  tr ai n in g   m eth o d o lo g ies,  im p r o v ed   h y b r id   s tr u ctu r es,  an d   s tan d a r d is ed   e v alu atio n   f r am ewo r k s   [ 9 ] ,   [ 1 7 ] ,   [ 1 8 ] .   W h ile  th e  s u p er io r ity   o f   ad v an ce d   L STM   an d   B iLST M  ar ch itectu r es  is   well  d o cu m en ted ,   d ir ec t,   h ea d - to - h ea d   c o m p a r is o n s   b e twee n   u n id ir ec tio n al  an d   Bi L STM   m o d els  o n   b o th   s im u la ted   an d   r ea l  s to ck   p r ice  d atasets   r em ain   lim ited .   R ec en t  s tu d ies  th at  p r o v id e  s u ch   co m p ar is o n s   u tili s e  s tan d ar d is ed   m etr ics,  s u ch   as  MA E ,   an d   r ep o r t  th at   B iLST M  m o d els  g en e r ally   ac h iev e  h ig h er   ac cu r ac y   [ 1 9 ] .   Ho wev er ,   lim ited   ex am in atio n   o f   h o w   th ese  p er f o r m an ce   d if f e r en ce s   d e p en d   j o in tly   o n   d ata  len g th   a n d   k ey   h y p er p ar am eter s .   I n   ad d itio n ,   alth o u g h   r ec en t  w o r k   h as  ex p lo r ed   g r id   s ea r ch   an d   a d ap tiv e  g r ad ien t - b a s ed   s tr ateg ies  f o r   h y p er p ar am eter   o p tim is atio n   in   d ee p   lear n in g   m o d els  [ 3 ] ,   [ 2 0 ] ,   s y s tem atic  ev alu atio n s   th at  lin k   th ese  ch o ices   to   n o n lin ea r   d ata - g en er atin g   m ec h an is m s   an d   v a r y in g   s am p le  s izes a r e  s till   in s u f f icien t.    T h is   s tu d y   in v esti g ated   th e  ef f ec ts   o f   m o d el  ar c h itectu r e,   s am p le  s ize,   an d   h y p er p a r am et er   s etti n g s   o n   th e   f o r ec asti n g   p er f o r m a n ce   o f   L STM   a n d   B iLST M  m o d els  f o r   n o n lin ea r   s y n th etic  tim e  s er ies.  W h ile   ea r lier   s tu d ies  h av e  ex p lo r e d   th e  p er f o r m an ce   o f   L ST M  an d   B iLST M  m o d els  in   v ar io u s   f o r ec asti n g   ap p licatio n s ,   th ey   h a v e  n o t  ex p licitly   ad d r ess ed   h o w  th ei r   p er f o r m an ce   d i f f er en ce s   ar e  in f lu en ce d   b y   co n tr o lled   n o n lin ea r   d ata - g en er atin g   p r o ce s s es,  d if f er en t   s am p le  s izes,  an d   k ey   h y p e r p ar am eter   s ettin g s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   4 ,  Dec em b er   20 26 :  169 6 - 1 7 0 5   1698   T h er ef o r e,   th is   s tu d y   aim s   to   d esig n   a  u n if ied   ex p er im en t al  f r am ewo r k   th at  co m b in es  n o n lin ea r   T AR   an d   SET AR   s im u latio n s   an d   co n d u ct  a  s y s tem atic  g r id   s ea r ch   o v er   h id d en   n e u r o n s   an d   ep o ch s   f o r   b o th   L STM   an d   B iLST M,   allo win g   u s   to   q u an tify   h o w  m o d el  ar ch itect u r e  an d   h y p er p a r am eter s   in ter ac t  with   d ata  len g th .   T h is   in teg r ated   ap p r o ac h   p r o v id es  p r ac tical,   ev id en ce - b ased   g u id elin es  f o r   s elec tin g   b o th   th e  m o d el  t y p e  an d   its   h y p er p ar am ete r s   in   tim e  s er ies f o r ec asti n g   ap p licatio n s .       2.   RE S E ARCH   M E T H O D   2 . 1 .     Unid irec t io na l LS T M   T h e   u n i d i r e cti o n al   L STM   a r c h it ec t u r e   a im s   to   s o l v e   t h e   v an is h i n g   g r a d i e n t   p r o b le m   o f t en   s e en   in   tr a d i ti o n al   R N Ns   [ 2 1 ] .   T h e   L STM   u n it   i n cl u d es   a   c ell   s tate ,   in p u t   g ate ,   o u t p u t   g a t e,   a n d   f o r g et   g ate ,     wh i ch   w o r k   to g et h e r   to   co n t r o l   t h e   f l o w   of   i n f o r m at io n .   T h e   c ell   s ta te   a cts   as   a   m e m o r y   t h at   ca r r i es   d at a   ac r o s s   tim e   s t e p s ,   w h il e   t h e   g a tes   m a n a g e   t h e   a d d it io n   a n d   r e m o v al   o f   i n f o r m ati o n .   T h e   f o r g e t   g a t e   d et e r m i n es   w h i c h   in f o r m at io n   s h o u l d   be   r e m o v ed   or   d is ca r d e d   f r o m   t h e   p r e v i o u s   c ell   s t ates .   It   e v a lu at es   t h e   c u r r e n t   i n p u t   alo n g s i d e   th e   o u t p u t   a n d   m em o r y   ce l l   s ta te   f r o m   t h e   p r e v i o u s   tim e   s te p   to   m a k e   t h is   d e cisi o n .   T h e   f o r g e t   g at e   was   n o t   p a r t   of   t h e   o r i g i n al   L STM   a r c h it ec t u r e   b u t   was   a d d e d   l ate r   to   all o w   th e   n et wo r k   to   r ese t   its   s tat e.     Nex t   g at e,   in p u t   g ate   d ec i d es   wh a t   n ew   in f o r m a ti o n   s h o u l d   be   r e tai n ed   a n d   a d d e d   to   t h e   n etw o r k ' s   ce ll   s t at es.     It   d e te r m in es   t h e   a cti v at io n   v a lu es   a n d   h el p s   s ele ct   th e   c a n d i d at e   v a lu es   t h a t   c o u l d   p o te n t ia lly   be   i n c o r p o r a te d   in t o   t h e   m em o r y   ce ll .   Fi n al ly ,   t h e   o u t p u t   g at e   ca l c u la tes   t h e   f in al   o u t p u t   of   t h e   L S T M   b l o c k   f o r   t h e   cu r r e n t   ite r at io n .   It   d o es   t h is   by   co m b in i n g   th e   c u r r e n t   i n p u t   an d   t h e   p r e v i o u s   u n it   o u t p u t   w it h   t h e   n ew ly   u p d ate d   c ell   v al u e.   T h is   d esi g n   e n a b l es   L S T Ms   to   r et ai n   r ele v an t   i n f o r m a tio n   o v e r   l o n g   s eq u e n ce s ,   m ak in g   t h e m   es p e cia ll y   ef f e cti v e   f o r   ti m e   s e r ies   f o r ec a s tin g   tas k s .   Fi g u r e   1   s h o ws   th e   a r c h it ec t u r e   of   t h e   L S T M .           Fig u r e   1.   T h e   ar ch itectu r e   of   u n id ir ec tio n al   L STM       In   th is   s tu d y ,   th e   L STM   m o d el   is   im p lem en ted   u s in g   a   s in g le   lay er   of   L STM   u n its ,   f o ll o wed   by   a   f u lly   co n n ec ted   la y er   th at   o u t p u ts   th e   f o r ec asted   v alu es.   T h e   m o d el   is   tr ain ed   u s in g   a   m ea n   s q u ar e d   er r o r   ( MS E)   lo s s   f u n ctio n ,   w h ich   q u an tifie s   th e   d if f er e n ce   b etwe en   th e   p r e d icted   an d   ac tu al   v alu es.   T h e   tr ain in g   p r o ce s s   in v o lv es   b ac k p r o p a g a tio n   th r o u g h   tim e   ( B PTT ) ,   w h er e   th e   g r ad ien ts   ar e   co m p u te d   an d   u p d ated   u s in g   an   o p tim is atio n   alg o r ith m ,   th e   Ad am   o p tim is er .     2 . 2 .     B idi re ct io na l LS T M   T h e   B iLST M   ar ch itectu r e   e x ten d s   th e   ca p ab ilit ies   of   th e   s tan d ar d   L STM   by   p r o ce s s in g   in p u t   s eq u en ce s   in   b o th   f o r war d   an d   b ac k war d   d ir ec tio n s   [ 2 2 ] .   T h is   d u al   p r o ce s s in g   en ab les   th e   m o d el   to   ca p tu r e   co n tex tu al   in f o r m atio n   f r o m   b o th   p ast   an d   f u tu r e   tim e   s tep s ,   wh ich   c an   be   esp ec ially   u s ef u l   in   tim e   s er ie s   f o r ec asti n g ,   wh e r e   f u t u r e   co n t ex t   m ay   o f f er   v alu ab le   in s ig h t s   in to   th e   cu r r en t   s tate.   T h e   B iLST M   co n s is ts   of   two   s ep ar ate   L STM   lay er s ,   w h er e   one   p r o ce s s es   th e   in p u t   s eq u en ce   f r o m   s tar t   to   f in is h   ( f o r war d   L STM ) ,   an d   an o th er   p r o ce s s es   it   f r o m   en d   to   s tar t   ( b ac k war d   L STM ) .   T h e   o u tp u ts   f r o m   b o th   lay e r s   ar e   th en   co n ca ten ated   to   m ain tain   tem p o r al   r elatio n s h ip s .   Fig u r e   2   illu s tr ates   th e   ar ch itectu r e   of   t h e   B iLST M.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Un id ir ec tio n a l a n d   b id ir ec tio n a l LS TM   fo r   n o n lin ea r   s yn th etic  time  s erie s   … ( N u r   Ha iz u m  A b d   R a h ma n )   1699       Fig u r e   2.   T h e   ar c h itectu r e   of   Bi L STM       Similar   to   th e   L STM   m o d el,   th e   B iLST M   is   tr ain ed   u s in g   a   MSE   lo s s   f u n ctio n   a n d   o p tim is ed   th r o u g h   b ac k p r o p ag atio n .   T h e   ar ch itectu r e   m ay   i n clu d e   ad d itio n al   lay er s ,   s u ch   as   d r o p o u t   lay er s ,   to   p r ev e n t   o v er f itti n g   an d   im p r o v e   g e n er alis atio n .   T h e   ch o ice   of   h y p er p ar am eter s   u s ed   in   th e   B iLST M   in   th is   p ap er   is   th e   s am e   as   th o s e   u s ed   in   th e   L STM   m o d el.     2 . 3 .     F o re ca s t   a cc ura c y   m ea s ure   Ma n y   m etr ics   ca n   be   u s ed   to   ass ess   th e   ac cu r ac y   of   p r ed i ctio n   m o d els.   MSE   is   o f te n   u tili s ed   in   s tu d ies   to   m ea s u r e   ac cu r ac y .   MSE   m ea s u r es   th e   d if f er en ce s   b etwe en   th e   ac tu al   v alu es   a n d   p r e d icted   v alu es.   MSE   m ea s u r es   th e   er r o r s ’   v a r iab ilit y .   Hen ce ,   th e   s m aller   t h e   MSE ,   th e   b etter   t h e   p r e d i ctio n   p er f o r m an ce .   On e   d r awb ac k   of   MSE   is   th at   it   is   s en s itiv e   to   d ata   tr an s f o r m atio n s   or   c h an g es   in   sc a le,   an d   it   p en alis es   ex tr em e   er r o r s .   T h er ef o r e,   a n o th er   m ea s u r e   u s ed   in   th is   s tu d y   is   th e   MA E .   MA E   m e asu r es   th e   av er a g e   m ag n itu d e   of   th e   e r r o r s   in   th e   p r ed icted   v al u es.   T h e   f o r m u la s   to   co m p u te   MSE   an d   MA E   a r e   as   ( 1 ) ,   ( 2 ) :      = 1 ∑ ( − ̂ ) 2 = 1   ( 1 )     = 1 ∑ | − ̂ | = 1   ( 2 )     wh er e     is   th e   ac tu al   v alu e   at   tim estep   ,   an d   ̂   is   th e   p r ed icted   v alu e   at   tim estep   .     2 . 4 .     Sim ula t i o n study   T wo   r eg im es - s witch in g   n o n - l in ea r   m o d els,   th e   th r esh o ld   au to r eg r ess iv e   ( T AR )   an d   s e lf - ex citin g   th r esh o ld   au to r eg r ess iv e   ( SE T AR )   m o d els,   ar e   u s ed   in   t h is   s im u latio n   s tu d y   to   g e n e r ate   non - lin ea r   tim e   s er ies   d ata.   T h ese   clas s ical   r e g im e - s witch in g   m o d els   ar e   wi d ely   u s ed   to   m o d el   f in an cial   s er ies   with   d if f er en t   d y n am ics   in   “lo w”   an d   “h i g h ”   r eg im es.   Sto ck   p r ices   o f ten   ex h ib it   n o n lin ea r   b e h av io u r ,   asy m m etr ic   ad ju s tm en t   an d   r e g im e,   w h ich   can   be   ca p tu r ed   by   allo win g   th e   au to r eg r ess iv e   p a r am eter s   to   c h an g e   wh en   a   th r esh o ld   is   cr o s s ed   [ 2 3 ] .     Sp ec if ically ,   th is   s tu d y   co n s id er   a   two - r eg im e   T AR ( 2 ;1 , 1 )   m o d el   as   ( 3 ) :     = { − 0 . 2   − 1 + , ∣ − 1 ∣ ≤ 1 , 1 . 0   − 1 + , ∣ − 1 ∣ > 1 ,   ( 3 )     an d   a  two - r eg im e  SET AR   ( 2 ;1 , 1 )   m o d el  as   ( 4 ) :     = { 0 . 19 + 0 . 92   − 1 + , ∣ − 1 ∣ ≤ 2 . 5 , 0 . 78 + 0 . 72   − 1 + , ∣ − 1 ∣ > 2 . 5 ,   ( 4 )     wh er e  ∼ ( 0 , 1 ) .   T h e  au to r eg r ess iv e  co ef f icien ts   ar e  ch o s en   in   th e  i n t er v al  [ − 1 , 1 ]   to   in d u ce   n o n lin ea r   b u t  s tatio n ar y   d y n am ics th at  r esem b le  s to ck   p r ice  b eh av i o u r   [ 2 3 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   4 ,  Dec em b er   20 26 :  169 6 - 1 7 0 5   1700   3.   RE SU L T S AN D  D I SCU SS I O N     E ac h   n o n - lin ea r   m o d el   s im u lated   th e   d ataset  with   two   d i f f er en t   s am p le  s izes,  1 0 0 0   a n d   3 0 0 0 ,   r esp ec tiv ely .   Fo r   th e  n etwo r k   h y p e r p ar am ete r s ,   h id d e n   n eu r o n s   an d   ep o ch s ,   th r ee   d if f er en t  n u m b er s   wer e   u s ed   f o r   ea ch   m o d el.   C o n s eq u en tly ,   th e  to tal  n u m b er   o f   co m b in atio n s   f o r   s im u lated   d ata  an d   h y p e r p ar am eter   co n f ig u r atio n s   is   1 8   f o r   b o th   t h e  L STM   a n d   B iLST M  m o d e ls .   T h e  T AR   an d   SET AR   s im u lated   s er ies  wer e   r ep licated   3 0   tim es  u s in g   in d ep en d en t  r a n d o m   d r aws  f r o m   th e  d ef au lt  p s eu d o - r an d o m   n u m b er   g e n er ato r   in   R ,   an d   th e   r e p o r ted   MSE   an d   MA E   ar e  av e r ag es  o v er   th ese  3 0   r e p licatio n s .   T h e   er r o r   ter m   is   ass u m ed   to   b e   in d ep en d en t  an d   id en tically   d is tr ib u ted   with   ( 0 , 1 ) .   T h e  d atasets   ar e  s p lit   at  8 0 :2 0 ,   with   8 0 %  u s ed   f o r   tr ain in g   an d   2 0 %  f o r   test in g .   Hen ce ,   th e   test in g   d atasets   f o r   ea c h   s am p le  s ize  will  b e  2 0 0   an d   6 0 0 .     T h e  tr ain in g   d ataset  is   u s ed   to   tr ain   an d   r u n   th r o u g h   L STM   an d   B iLST M  m o d els.  T h e  tr ain ed   m o d els  wer e  th en   u s ed   to   p r ed ict  s to ck   p r ices,  an d   th eir   p r ed ictio n   ac c u r ac y   was  ev alu ated .   T ab le  1   s u m m ar is es  th e   h y p er p a r am eter   v alu es u s ed   f o r   L STM   an d   B iLST M  in   th is   s tu d y .       T ab le   1.   Hy p er p ar a m eter   g r i d   s ea r ch   v alu es   of   L STM   a n d   B iLST M   H y p e r p a r a m e t e r s   V a l u e s   H i d d e n   n e u r o n   3 2 , 6 4 , 1 2 8   H i d d e n   l a y e r   1   O u t p u t   n e u r o n   1   Ep o c h   2 0 , 5 0 , 1 0 0   B a t c h   si z e   32   O p t i mi z e r   A d a p t i v e   m o me n t   e s t i m a t i o n   ( A d a m)   Lo ss  f u n c t i o n   M S E       Gr id   s ea r ch   was  s elec ted   f o r   h y p er p a r am eter   o p tim is atio n   b e ca u s e  th is   s tu d y   in v o lv ed   a  lim ited   an d   p r ed ef in e d   s et  o f   h y p er p ar a m eter   v alu es.  T h is   a p p r o ac h   al lo ws  ea ch   co m b i n atio n   o f   h i d d en   n eu r o n s   an d   ep o ch s   to   b e  e v alu ated   s y s te m atica lly   f o r   b o th   L STM   an d   B iLST M  m o d els.  T h e   m ai n   ad v a n tag e  o f   g r id   s ea r ch   in   th is   s tu d y   is   it s   tr an s p ar en cy   an d   r ep r o d u ci b ilit y ,   as  it  en ab les  a  f air   co m p ar is o n   o f   m o d e l   p er f o r m an ce   ac r o s s   th e  s am e  h y p er p ar am eter   s ettin g s .   Alth o u g h   m o r e  a d ap tiv e  m eth o d s ,   s u ch   as  B ay esian   o p tim izat io n   a n d   m etah eu r is tic  alg o r ith m s ,   m ay   b e   m o r e   ef f icien t   f o r   lar g er   a n d   m o r e  co m p le x   s ea r ch   s p ac es,  g r id   s ea r ch   an d   its   v ar ian ts   r em ain   r elev a n t  f o r   L STM   tu n in g   wh e n   th e  h y p er p ar am eter   s p ac e  is   s m all  an d   well - d ef in ed   [ 2 4 ] .   T h er ef o r e,   g r id   s ea r ch   is   ap p r o p r iate  in   th is   co n tr o lled   s im u latio n   s ettin g   b ec au s e  th e  s tu d y   aim s   to   e x a m in e  th e  ef f ec t  o f   ea c h   s elec ted   co n f i g u r atio n   o n   f o r ec asti n g   ac cu r ac y .   Data   tr an s f o r m atio n   was  p er f o r m ed   t o   en h an ce   t h e  lear n i n g   o f   th e  L STM   a n d   B iLST M  m o d els.   Min - m ax   n o r m alis atio n   was  c o n d u cte d   f ir s t  in   8 0 %  tr ain in g ,   en s u r in g   th e  d ata  r an g ed   f r o m   0   to   1 ,   a n d   t h e   s am e  s ca lin g   p ar am eter s   wer e  ap p lied   to   tr an s f o r m   th e  test   s et.   I n   ad d itio n ,   th e  L STM   an d   B iLST M  n eu r al   n etwo r k s   f o r   ea ch   h y p er p ar a m eter   co m b i n atio n   wer e  r ep li ca ted   to   ac co u n t  f o r   th e  s to c h asti c  n atu r e  o f   th e   n eu r al  n etwo r k   alg o r ith m .   T h e   av er ag e  MSE   an d   MA E   wer e  th en   co m p u ted   a n d   s h o wn   in   T ab les 2   an d   3 .         T ab le   2.   MSE   an d   MA E   of   L STM   an d   B iLST M   f o r   T AR   s im u lated   d ata   M o d e l   S a mp l e   s i z e   H i d d e n   n e u r o n s   M S E   M A E   Ep o c h s   Ep o c h s   20   50   1 0 0   20   50   1 0 0   LSTM   1 0 0 0   32   5 . 8 5 0 0   3 . 5 9 5 5   2 . 5 1 0 2   1 . 8 9 8 5   1 . 4 8 1 1   1 . 2 1 7 7   64   5 . 0 6 1 3   2 . 9 7 6 1   2 . 0 3 0 8   1 . 7 5 9 0   1 . 3 4 9 2   1 . 0 3 5 1   1 2 8   4 . 2 5 0 7   2 . 5 3 0 5   1 . 9 0 0 4   1 . 6 1 8 4   1 . 2 5 1 4   1 . 0 7 2 6   3 0 0 0   32   3 . 7 9 9 0   2 . 2 0 5 5   1 . 7 7 9 8   1 . 5 2 5 9   1 . 1 6 7 0   1 . 0 2 6 7   64   3 . 2 5 1 4   1 . 9 0 2 1   1 . 5 2 4 4   1 . 4 1 6 8   1 . 0 7 9 9   0 . 9 7 4 0   1 2 8   2 . 8 6 3 5   1 . 6 3 8 4   1 . 4 8 7 2   1 . 3 3 1 7   1 . 0 1 3 4   0 . 9 6 5 7   B i LST M   1 0 0 0   32   3 . 7 8 5 2   2 . 4 4 4 5   1 . 9 1 1 1   1 . 5 2 0 1   1 . 2 2 1 1   1 . 0 8 2 8   64   3 . 1 0 0 1   2 . 1 2 1 3   1 . 8 1 2 2   1 . 3 7 9 8   1 . 1 3 9 9   1 . 0 5 0 1   1 2 8   2 . 6 9 2 6   1 . 9 3 9 0   1 . 7 2 0 0   1 . 2 9 6 7   1 . 0 8 8 8   1 . 0 3 6 3   3 0 0 0   32   2 . 7 2 8 4   1 . 8 7 9 7   1 . 6 9 7 9   1 . 2 9 7 3   1 . 0 8 5 3   1 . 0 2 4 5   64   2 . 3 3 2 7   1 . 8 0 9 5   1 . 5 0 3 9   1 . 2 0 3 7   1 . 0 5 8 2   0 . 9 7 1 1   1 2 8   2 . 2 6 7 5   1 . 5 6 2 6   1 . 4 5 8 5   1 . 1 9 2 7   0 . 9 9 1 0   0 . 9 6 0 1       Fo r   th e   T AR   s im u latio n s   r esu l t  ( r ef er   to   T ab le   2 ) ,   th e   b est - p er f o r m in g   L STM   co n f ig u r atio n   f o r   b o t h   s am p le  s izes   is   th e  m o d el  with   1 2 8   h id d en   n eu r o n s   an d   1 0 0   ep o ch s ,   y ield in g   MSE   o f   1 . 9 0 0 4   an d   MA E   o f   1 . 0 7 2 6   f o r   = 1000   an d   MSE   o f   1 . 4 8 7 2   an d   MA E   o f   0 . 9 6 5 7   f o r  = 3000   as  s h o wn   in   Fig u r e  3 .   T h e   B iLST M  m o d el  s h o ws  th e  s am e  o p tim al  co n f ig u r atio n ,   with   s lig h tly   lo wer   er r o r s .   T h e  MSE   s h o wed   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Un id ir ec tio n a l a n d   b id ir ec tio n a l LS TM   fo r   n o n lin ea r   s yn th etic  time  s erie s   … ( N u r   Ha iz u m  A b d   R a h ma n )   1701   v alu e  o f   1 . 7 2 0 0   an d   MA E   o f   1 . 0 3 6 3   f o r   = 1000 ,   an d   MSE   o f   1 . 4 5 8 5   an d   MA E   o f   0 . 9 6 0 1   f o r   = 3000 .  Fig u r es  3 ( a)   a n d   3 ( b )   s h o w   th at  in cr ea s in g   th e  n u m b er   o f   h i d d en   n eu r o n s   an d   ep o c h s   g en e r ally   d ec r ea s es  th e   MSE   f o r   b o t h   ar ch itectu r es.           ( a)   ( b )     Fig u r e   3.   E f f ec t   of   h id d e n   n e u r o n s   an d   e p o ch s   on   ( a )   L STM   an d   ( b )   B iLST M   p er f o r m an ce     f o r   T AR - s im u lated   d ata       T ab le   3.   MSE   an d   MA E   of   L STM   an d   B iLST M   f o r   SET AR   s im u lated   d ata   M o d e l   S a mp l e   s i z e   H i d d e n   n e u r o n s   M S E   M A E   Ep o c h s   Ep o c h s   20   50   1 0 0   20   50   1 0 0   LSTM   1 0 0 0   32   2 . 0 3 1 7   1 . 3 5 5 4   1 . 0 6 9 3   1 . 1 2 7 9   0 . 9 2 3 3   0 . 8 2 5 6   64   1 . 8 2 4 1   1 . 2 0 5 0   1 . 0 4 9 8   1 . 0 6 9 3   0 . 8 7 2 7   0 . 8 2 3 1   1 2 8   1 . 6 3 3 1   1 . 1 3 6 9   1 . 0 4 9 2   1 . 0 1 5 0   0 . 8 5 0 4   0 . 8 2 2 7   3 0 0 0   32   1 . 2 8 9 7   1 . 0 6 8 5   1 . 0 5 0 5   0 . 9 0 8 4   0 . 8 2 8 7   0 . 8 2 2 4   64   1 . 1 5 2 6   1 . 0 6 7 2   1 . 0 4 9 6   0 . 8 5 9 6   0 . 8 2 8 5   0 . 8 2 2 2   1 2 8   1 . 1 1 6 2   1 . 0 6 5 9   1 . 0 4 8 5   0 . 8 4 5 9   0 . 8 2 8 3   0 . 8 2 1 8   B i LST M   1 0 0 0   32   1 . 4 5 2 9   1 . 1 7 0 2   1 . 0 6 4 0   0 . 9 5 8 1   0 . 8 6 0 9   0 . 8 2 3 3   64   1 . 3 2 9 4   1 . 1 3 0 7   1 . 0 4 8 5   0 . 9 1 7 7   0 . 8 4 8 6   0 . 8 1 8 8   1 2 8   1 . 2 6 6 5   1 . 1 0 7 6   1 . 0 4 8 0   0 . 8 9 7 3   0 . 8 4 0 3   0 . 8 1 8 6   3 0 0 0   32   1 . 1 6 8 8   1 . 0 6 4 8   1 . 0 5 0 3   0 . 8 6 5 3   0 . 8 2 7 7   0 . 8 2 2 3   64   1 . 1 3 4 8   1 . 0 6 4 6   1 . 0 4 7 4   0 . 8 5 2 7   0 . 8 2 7 4   0 . 8 2 0 4   1 2 8   1 . 1 0 3 7   1 . 0 6 2 2   1 . 0 4 4 1   0 . 8 4 1 6   0 . 8 2 6 4   0 . 8 1 9 9       A  s im ilar   p atter n   is   o b s er v e d   f o r   t h e  SET AR   s im u latio n s   ( T ab le   3 ) .   Fo r   b o th   s am p le  s izes,    th e  L STM   m o d el  with   1 2 8   h id d e n   n e u r o n s   an d   1 0 0   ep o ch s   ag ai n   g iv es  th e   lo west  er r o r s ,   wit h     MSE   =  1 . 0 4 9 2   a n d   MA E   =  0 . 8 2 2 7   f o r   = 1000 ,   an d   MSE   =   1 . 0 4 8 5   an d   MA E   =  0 . 8 2 1 8   f o r   = 3000 .    T h e  co r r esp o n d in g   B iLST M  co n f ig u r atio n   y ield s   s lig h tly   s m aller   er r o r s ,   with   MS E   =  1 . 0 4 8 0   an d     MA E   =  0 . 8 1 8 6   f o r   = 1000 ,   an d   MS E   =  1 . 0 4 4 1   a n d   MA E   =  0 . 8 1 9 9   f o r   = 3000   as  s h o wn   in   Fig u r e  4 .  Fig u r es  4 ( a)   an d   4 ( b )   co n f ir m   th at,   ac r o s s   b o th   T AR   an d   SET AR   m o d els,  MSE   an d   MA E   d ec r ea s e  as  th e  n u m b er   o f   h id d en   n e u r o n s   in c r ea s es  f r o m   3 2   to   6 4   to   1 2 8   a n d   as  t h e  n u m b e r   o f   ep o c h s   in cr ea s es  f r o m   2 0   t o   5 0   to   1 0 0 .   I n   a d d itio n ,   th e  lar g er   s am p le  s ize  ( = 3000 )   c o n s is ten tly   y ield s   lo wer   er r o r s   th an   = 1000 ,    an d   f o r   = 3000   th e  p er f o r m a n ce   d i f f er en ce s   b etwe en   n eig h b o u r in g   h y p e r p ar am eter   s ettin g s   b ec o m e   r elativ ely   s m all  f o r   b o th   L ST M  an d   B iLST M.   Acr o s s   b o th   T AR   an d   SET AR ,   in cr ea s in g   th e   s am p le   s ize   f r o m   = 100 0   to   = 3000   r ed u ce s   MSE   an d   MA E   f o r   b o th   ar ch itectu r es,   co n s is ten t   with   im p r o v ed   p a r am eter   esti m atio n   an d   r ed u ce d   g en er alis atio n   er r o r   u n d er   l ar g er   tr ain in g   s ets.   Ho wev er ,   th e   ex ten t   of   im p r o v em e n t   d ep en d s   on   th e     d ata - g en er atin g   p r o ce s s .   Fo r   T AR   s im u latio n ,   th e   b en ef its   s tr o n g ly   f r o m   in cr ea s ed   ca p ac ity   an d   tr ain in g   m o r e   n eu r o n s   an d   ep o ch s ,   an d   s h o ws   a   clea r er   ad v an tag e   f o r   B iLST M   esp ec ially   at   s m aller   s am p le   s ize.   In   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   4 ,  Dec em b er   20 26 :  169 6 - 1 7 0 5   1702   SET AR   s im u latio n ,   th e   r esu lts   ten d   to   co n v er g e   m o r e   q u ick ly   an d   f o r m   a   more   s tab l e   p atter n   with   f ew   ch an g es.   T h is   m ea n s   th at   o n ce   th e   n u m b er   of   e p o ch s   an d   n e u r o n s   r ea ch es   m o d er ate - to - h ig h   lev els,   d if f er en ce s   b etwe en   ar ch itect u r es   b ec o m e   less   s ig n if ican t,   in d icatin g   a   s m o o th e r ,   more   ef f icien t   p r o ce s s .     To   f u r th er   s u p p o r t   th is ,   a   W ilco x o n   s ig n ed - r an k   test   w as   co n d u cted   to   v er if y   th at   th e   B iLST M   m o d el   o u tp er f o r m ed   th e   L STM   m o d el   in   f o r ec asti n g   th e   tim e   s er ie s   d ata.   T h e   r esu lts ,   p r esen ted   in   T ab le   4,   in d icate   th at   B iLST M   s ig n if ica n tly   o u tp er f o r m s   L STM   f o r   b o th   T A R   an d   SET AR   s im u lated   d atasets   at   s am p le   s ize s   of   1 0 0 0   an d   3 0 0 0 .   All   - v alu es   ar e   b el o w   0 . 0 5 ,   co n f ir m in g   t h at   th e   d if f er e n ce s   in   f o r ec asti n g   er r o r s   b etwe en   L STM   an d   B iLST M   ar e   s tatis t ically   s ig n if ican t.           ( a)   ( b )     Fig u r e   4 .   E f f ec t   of   h id d e n   n e u r o n s   an d   e p o ch s   on   ( a )   L STM   an d   ( b )   B iLST M   p er f o r m an ce   f o r   SET AR - s im u lated   d ata       T ab le   4.   W ilco x o n   s ig n ed - r an k   test   r esu lts   b etwe en   L STM   an d   B iLST M   S a m p l e   s i z e   M o d e l   M e a su r e me n t   u s e d   - v a l u e   1 0 0 0   TA R   M S E   0 . 0 0 2 0   M A E   0 . 0 0 3 9   3 0 0 0   TA R   M S E   0 . 0 0 2 0   M A E   0 . 0 0 2 0   1 0 0 0   S ETA R   M S E   0 . 0 0 2 0   M A E   0 . 0 0 2 0   3 0 0 0   S ETA R   M S E   0 . 0 0 2 0   M A E   0 . 0 0 2 0       Fro m   a   tu n in g   p er s p ec tiv e,   two   p r ac tical   p atter n s   em er g e   w h er e   ep o c h s   f r o m   20   to   50,   an d   50   to   1 0 0   g en er ally   r ed u ce   er r o r ,   but   g a in s   f r o m   50   to   100   ep o ch s   ar e   s m aller   th an   f r o m   20   to   50   in   s ev er al   s ettin g s ,   s u g g esti n g   p o ten tial   o v er tr ain i n g   r is k   or   co n v er g e n ce   s atu r at io n .   On   th e   o th er   h an d ,   h id d e n   n eu r o n s   f r o m   32   to   64   a n d   64   to   128   im p r o v e   p er f o r m an ce   co n s is ten tly ,   with   th e   lar g est   g ai ns   o f ten   o cc u r r in g   wh e n   m o v in g   f r o m   32   to   6 4 ,   an d   s m aller   in cr em en tal   g ain s   f r o m   64   to   128 ,   p ar ticu lar ly   u n d er   = 3000 .   T h u s ,   th e   r esu lt s   in d icate   th at   B iLST M   is   m o s t   b en ef icial   wh en   th e   d ata   ar e   lim ited   an d   th e   n o n lin ea r   r eg im e - s witch in g   b eh av io u r   is   p r o n o u n ce d   T AR ,   wh ile   s tan d ar d   L STM   ca n   be   n e ar ly   as   ef f ec tiv e   f o r   SET AR - lik e   s er ies,   esp ec ially   at   lar g er   s am p le   s iz es   wh er e   er r o r   p latea u s   ar e   o b s er v ed .   T h is   f in d in g   is   co n s i s ten t   with   p r ev io u s   s tu d ies   r ep o r tin g   th at   B iLST M   can   o u tp er f o r m   s tan d ar d   L STM   in   tim e   s er ies   f o r ec asti n g   b ec au s e   it   lear n s   tem p o r al   in f o r m atio n   f r o m   b o th   f o r wa r d   a n d   b ac k war d   d ir e ctio n s   [ 4 ] ,   [ 6 ] ,   [ 25] .   Ho wev e r ,   th e   p r esen t   r esu lts   f u r th er   s h o w   th at   th is   ad v a n tag e   is   co n d itio n - d e p en d e n t,   wh er e   B iLST M   p r o v id es   clea r er   im p r o v em e n t   f o r   T AR   s im u lated   d ata   but   o n ly   m ar g i n al   im p r o v e m en t   f o r   s m o o th er   SET AR   s im u lated   d ata,   esp ec ially   wh e n   th e   s am p le   s ize   i s   lar g e   [ 2 6 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Un id ir ec tio n a l a n d   b id ir ec tio n a l LS TM   fo r   n o n lin ea r   s yn th etic  time  s erie s   … ( N u r   Ha iz u m  A b d   R a h ma n )   1703   4.   CO NCLU SI O N   T h is   r esear ch   co n d u cted   e x p e r im en tal   s tu d ies   on   th e   a p p lic atio n   of   m ac h in e   lear n in g   to   tim e   s er ies   d ata.   No n lin ea r   tim e   s er ies   d ata   wer e   g en er ated   f r o m   th e   T A R   an d   SET AR   m o d els   to   ca p tu r e   th e   n o n lin ea r ity   in   s to ck   p r ices.   Simu lated   n o n - lin ea r   tim e   s er ies   d ata   f r o m   each   m o d el   co n s is ted   of   two   s am p le   s izes,     1000   a n d   3 0 0 0 .   T h e   ex p er im e n t' s   r e s u lts   wer e   r ep o r ted ,   an d   th e   ac cu r ac y   an d   p er f o r m an c e   of   u n id ir ec tio n al   L STM s   an d   B iLST Ms   wer e   co m p ar ed   an d   a n aly s ed .   Gr id   s ea r ch   was   u s ed   to   tu n e   th e   h y p er p ar am eter s   of   L STM   an d   B iLST M   m o d els   to   o p tim is e   th e   n e u r al   n etwo r k ' s   p er f o r m an ce .   T h e   m ain   h y p er p ar am eter   tu n ed   in   th e   ex p er im e n t   is   th e   n u m b er   of   h id d en   n e u r o n s ,   with   v alu es   32,   6 4 ,   an d   128.   T h e   r esu l ts   of   th e   ex p er im e n t   s h o wed   th at   th e   MSE   a n d   M AE   v alu es   d ec r ea s e   as   th e   n u m b er   of   h id d en   n eu r o n s   in c r ea s es.   T h e   o p tim al   n u m b er   of   h id d en   n e u r o n s   is   128,   as   it   p r o v id es   th e   h i g h est   p r ed ictio n   ac cu r ac y .   Hid d e n   n e u r o n s   ar e   ar tific ial   n eu r o n s   th at   r ec eiv e   weig h te d   in p u ts   an d   g en er ate   an   o u t p u t   v ia   an   ac tiv atio n   f u n ctio n .   Alth o u g h   a   s m all   n u m b er   of   h id d en   n e u r o n s   m ay   im p r o v e   g en er alis atio n ,   it   m ay   ca u s e   th e   n eu r al   n etwo r k   to   lo s e   th e   ca p ac ity   to   s o lv e   th e   p r o b lem .   Hen ce ,   it   is   es s en tial   to   d eter m in e   th e   o p tim al   n u m b e r   of   h i d d en   n e u r o n s   by   a n aly s in g   d if f er en t   d atasets ,   as   th e   n etw o r k   ar ch itectu r e,   th e   d e g r ee   of   n o is e,   an d   th e   co m p lex ity   of   th e   f u n ctio n   s h o u ld   be   co n s id er ed .   In   th is   s tu d y ,   r esu lts   s h o wed   th at   a   h ig h er   n u m b er   of   h i d d en   n eu r o n s   ( 1 2 8 )   is   p r ef er r ed   f o r   f o r ec asti n g   s to ck   p r ice   tim e   s er ies   d ata,   as   it   ac h iev es   th e   h ig h est   p r ed ictio n   ac c u r ac y .   T h e   r esu lts   s h o wed   th at   s am p le   s ize   af f ec ted   th e   p er f o r m an ce   of   L STM   an d   B iLST M   m o d els.     B o th   m o d els   p er f o r m e d   b etter   at   f o r ec asti n g   s im u lated   d ata   with   a   3 0 0 0 - s am p le   s ize   th a n   with   a   1 0 0 0 - s am p le   s ize.   B iLST M   m o d els   ar e   n eu r al   n et wo r k s   th at   ar e   w ell   k n o wn   f o r   th eir   ab ilit y   to   lear n   lo n g - ter m   d ep en d e n cies   in   d ata.   Ad d itio n ally ,   th e   co m p ar is o n   b etwe en   th e   L STM   an d   B iLST M   m o d els   s h o wed   th at   th e   B iLST M   m o d el   ac h iev ed   h ig h er   p r ed ictio n   ac cu r ac y   a n d   lo wer   er r o r   v alu es   o v er all.   T h is   r esu l t   in d icate s   th at   lear n in g   tem p o r al   in f o r m atio n   f r o m   b o th   f o r war d   an d   b ac k war d   d ir ec tio n s   p o s itiv ely   af f ec ts   th e   p r ec is io n   of   tim e   s er ies   f o r ec asti n g .   E v en   t h o u g h   B iLST M   p r o v id es   m o r e   ac cu r ate   r esu lts ,   it   r eq u ir es   more   c o m p u tatio n al   p o wer .   T h er ef o r e,   in   s it u atio n s   wh er e   r eso u r ce s   ar e   lim ited   or   tim e   is   tig h t,   a   well - s u ited   u n i d ir ec tio n al   L STM   co u ld   be   a   b etter ,   m o r e   p r ac tical   ch o ice,   b alan cin g   p e r f o r m a n ce   an d   ef f icien cy .   Ho wev er ,   s in ce   th is   s tu d y   is   b ased   on   s y n th etic   T AR   an d   SET AR   d ata   with   s elec ted   h y p e r p a r am eter   s ettin g s ,   th e   f in d in g s   s h o u ld   be   in ter p r eted   as   e v id en ce   f r o m   a   co n tr o lled   s im u latio n   s ettin g   r ath er   th an   as   a   u n iv er s al   co n clu s io n   f o r   all   n o n lin ea r   f o r ec asti n g   p r o b lem s .   Fu tu r e   s tu d ies   m a y   ex te n d   t h is   wo r k   by   u s in g   r ea l - wo r ld   n o n lin ea r   tim e   s er ie s   d ata,   b r o ad er   h y p e r p ar a m eter   s p ac es,   m u lti - s tep   f o r ec asti n g   h o r izo n s ,   co m p u tatio n al   tim e   a n aly s is ,   an d   h y b r i d   m o d ellin g   ap p r o a ch es   to   p r o v i d e   a   m o r e   c o m p lete   ev alu atio n   of   f o r ec asti n g   ac cu r ac y   an d   m o d el   co m p lex ity .       ACK NO WL E DG M E N T S   W e  ar e  g r ate f u l  t o   th e   an o n y m o u s   r ev iewe r s   f o r   th eir   v alu ab le  f ee d b ac k .   W e  ap p r e ciate   th eir     in p u t a n d   s u p p o r t.       F UNDING   I NF O R M A T I O N   T h e  au t h o r s   wo u ld   lik e  to   th an k   th e   Min is tr y   o f   Hig h er   E d u ca tio n   f o r   p r o v id in g   f in a n cial     s u p p o r t  u n d er   th e  Fu n d am en tal  R esear ch   Gr an ts   Sch em e  -   E ar ly   C ar ee r   R esear ch   ( FR GS - E C )     No .   FR GS - E C /1 /2 0 2 4 /STG0 6 /UMPSA/0 2 /1   ( Un iv er s ity   r ef er en ce   R DU2 4 3 7 1 1 ) .         AUTHO R  CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Nu r   Haiz u m   Ab d   R ah m an   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓     ✓   ✓   Han i Sy ah id a  Z u lk i f li     ✓       ✓   ✓     ✓   ✓   ✓   ✓           C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   4 ,  Dec em b er   20 26 :  169 6 - 1 7 0 5   1704   CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h e  au th o r s   s tate  n o   co n f lict o f   in ter est.       DATA AV AI L AB I L I T Y   T h e  d ata  s u p p o r tin g   th e  f in d in g s   o f   th is   s tu d y   wer e  g en er ated   th r o u g h   s im u latio n   u s in g   th e   eq u atio n s   an d   s ettin g s   d escr ib ed   in   th e  p ap er .         RE F E R E NC E S   [ 1 ]   F .   H a m a mi   a n d   I .   A .   D a h l a n ,   “ U n i v a r i a t e   t i me   ser i e s   d a t a   f o r e c a s t i n g   o f   a i r   p o l l u t i o n   u si n g   LSTM   n e u r a l   n e t w o r k , ”     i n   I n t e rn a t i o n a l   C o n f e r e n c e   o n   A d v a n c e m e n t   i n   D a t a   S c i e n c e ,   E - l e a r n i n g   a n d   I n f o rm a t i o n   S y s t e m   ( I C AD EI S ) ,   O c t .   2 0 2 0 ,     p p .   5 5 – 5 9 ,   d o i :   1 0 . 1 1 0 9 / I C A D EI S 4 9 8 1 1 . 2 0 2 0 . 9 2 7 7 3 9 3 .   [ 2 ]   A .   I .   S u n n y ,   M .   M .   S .   M a sw o o d ,   a n d   A .   A l h a r b i ,   “ D e e p   l e a r n i n g - b a s e d   st o c k   p r i c e   p r e d i c t i o n   u si n g   LST M   a n d   bi - d i r e c t i o n a l   LSTM   m o d e l , ”   i n   I n t e r n a t i o n a l   C o n f e re n c e   o n   N o v e l   I n t e l l i g e n t   a n d   L e a d i n g   Em e rg i n g   S c i e n c e s  ( N I L ES ) ,   O c t .   2 0 2 0 ,   p p .   8 7 – 9 2 ,   d o i :   1 0 . 1 1 0 9 / N I LES5 0 9 4 4 . 2 0 2 0 . 9 2 5 7 9 5 0 .   [ 3 ]   I .   A .   I b r a h i m,   “ I mp r o v e d   g r i d   se a r c h   a l g o r i t h m   f o r   o p t i m a l   LST M   p e r f o r ma n c e :   a   c a se   st u d y   o n   a u s t r a l i a n   e l e c t r i c i t y   p r i c e   f o r e c a st i n g , ”   i n   2 0 2 4   I E EE  Po w e r  E n e r g y   S o c i e t y   G e n e r a l   Me e t i n g   ( PE S G M) ,  J u l .   2 0 2 4 ,   p p .   1 – 5 ,     d o i :   1 0 . 1 1 0 9 / P ESG M 5 1 9 9 4 . 2 0 2 4 . 1 0 6 8 8 8 4 9 .   [ 4 ]   R .   L.   A b d u l j a b b a r ,   H .   D i a ,   a n d   P . - W .   Tsa i ,   “ U n i d i r e c t i o n a l   a n d   b i d i r e c t i o n a l   LS TM   mo d e l s  f o r   s h o r t - t e r m  t r a f f i c   p r e d i c t i o n ,”  J o u rn a l   o f   Ad v a n c e d   T r a n s p o rt a t i o n ,   v o l .   2 0 2 1 ,   2 0 2 1 ,   p p .   1 – 1 6 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 1 / 5 5 8 9 0 7 5 .   [ 5 ]   S .   H o c h r e i t e r   a n d   J .   S c h m i d h u b e r ,   “ Lo n g   sh o r t - t e r m  m e m o r y , ”   N e u r a l   C o m p u t a t i o n ,   v o l .   9 ,   n o .   8 ,   p p .   1 7 3 5 – 1 7 8 0 ,   N o v .   1 9 9 7 ,   d o i :   1 0 . 1 1 6 2 / n e c o . 1 9 9 7 . 9 . 8 . 1 7 3 5 .   [ 6 ]   S .   S i a mi - N a mi n i ,   N .   T a v a k o l i ,   a n d   A .   S .   N a mi n ,   “ T h e   p e r f o r ma n c e   o f   LS TM   a n d   B i LST M   i n   f o r e c a st i n g   t i me   s e r i e s ,”    i n   2 0 1 9   I E EE   I n t e r n a t i o n a l   C o n f e re n c e   o n   Bi g   D a t a   ( Bi g   D a t a ) ,   L o s   A n g e l e s,   C A ,   U S A ,   2 0 1 9 ,   p p .   3 2 8 5 – 3 2 9 2 ,     d o i :   1 0 . 1 1 0 9 / B i g D a t a 4 7 0 9 0 . 2 0 1 9 . 9 0 0 5 9 9 7 .   [ 7 ]   P .   N .   H a i   e t   a l . ,   “ A n   e m p i r i c a l   r e se a r c h   o n   t h e   e f f e c t i v e n e ss  o f   d i f f e r e n t   LST M   a r c h i t e c t u r e s   o n   v i e t n a mese   st o c k   m a r k e t , ”     i n   A C M   I n t e r n a t i o n a l   C o n f e r e n c e   Pr o c e e d i n g   S e r i e s ,   A ss o c i a t i o n   f o r   C o m p u t i n g   M a c h i n e r y ,   2 0 2 0 ,   p p .   1 4 4 – 1 4 9 ,     d o i :   1 0 . 1 1 4 5 / 3 4 3 7 8 0 2 . 3 4 3 7 8 2 7 .   [ 8 ]   M .   P i r a n i ,   P .   Th a k k a r ,   P .   J i v r a n i ,   M .   H .   B o h a r a ,   a n d   D .   G a r g ,   “ A   c o m p a r a t i v e   a n a l y si s  o f   A R I M A ,   G R U ,   LST M   a n d   B i LST M   o n   f i n a n c i a l   t i me  ser i e s  f o r e c a st i n g , ”   i n   Pro c e e d i n g s  o f   t h e   I EE E  I n t e r n a t i o n a l   C o n f e r e n c e   o n   D i s t r i b u t e d   C o m p u t i n g   a n d   E l e c t r i c a l   C i rc u i t s  a n d   E l e c t r o n i c s  ( I C D C E C E) ,   A p r .   2 0 2 2 ,   p p .   1 - 6 ,   d o i :   1 0 . 1 1 0 9 / I C D C EC E5 3 9 0 8 . 2 0 2 2 . 9 7 9 3 2 1 3 .   [ 9 ]   A .   B h a mb u ,   “ S t o c k   mar k e t   p r e d i c t i o n   u s i n g   d e e p   l e a r n i n g   t e c h n i q u e s  f o r   s h o r t   a n d   l o n g   h o r i z o n , ”   i n   S o f t   C o m p u t i n g   f o r  P ro b l e m   S o l v i n g ,   M .   T h a k u r ,   S .   A g n i h o t r i ,   B .   S .   R a j p u r o h i t ,   M .   P a n t ,   K .   D e e p ,   a n d   A .   K .   N a g a r ,   E d s.   S i n g a p o r e :   S p r i n g e r ,   2 0 2 3 ,     p p .   1 2 1 – 1 3 5 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 9 8 1 - 19 - 6 5 2 5 - 8 _ 1 1 .     [ 1 0 ]   N .   H .   A .   R a h m a n ,   Q .   P .   Y i n ,   a n d   H .   S .   Zu l k a f l i ,   “ O p t i mi s i n g   LST M   a n d   B i LST M   m o d e l s  f o r   t i me  s e r i e s  f o r e c a s t i n g   t h r o u g h   h y p e r p a r a me t e r   t u n i n g ,”  J o u rn a l   o f   Q u a l i t y   M e a su r e m e n t   a n d   An a l y s i s ,   v o l .   2 1 ,   n o .   3 ,   p p .   1 9 1 – 2 0 5 ,   2 0 2 5 ,     d o i :   1 0 . 1 7 5 7 6 / j q m a . 2 1 0 3 . 2 0 2 5 . 1 2 .   [ 1 1 ]   M .   Jai n ,   T.   A l s k a i f ,   a n d   S .   D e v ,   “ A r e   d e e p   l e a r n i n g   mo d e l s  m o r e   e f f e c t i v e   a g a i n st   t r a d i t i o n a l   m o d e l s   f o r   l o a d   d e m a n d   fo r e c a st i ng ? , ”   i n   2 0 2 2   I n t e r n a t i o n a l   C o n f e re n c e   o n   S m a rt   E n e r g y   S y st e m s  a n d   T e c h n o l o g i e s   ( S E S T ) ,  Ei n d h o v e n ,   N e t h e r l a n d s,   2 0 2 2 ,   p p .   1 – 6 ,   d o i :   1 0 . 1 1 0 9 / S EST5 3 6 5 0 . 2 0 2 2 . 9 8 9 8 4 2 4 .   [ 1 2 ]   S .   M .   A l - S e l w i   e t   a l . ,   “ R N N - LSTM :   f r o m   a p p l i c a t i o n s  t o   mo d e l i n g   t e c h n i q u e s  a n d   b e y o n d — s y s t e mat i c   r e v i e w , ”     J o u rn a l   o f   K i n g   S a u d   U n i v e rsi t y   -   C o m p u t e r  a n d   I n f o rm a t i o n   S c i e n c e s ,  v o l .   3 6 ,   n o .   5 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . j k s u c i . 2 0 2 4 . 1 0 2 0 6 8 .   [ 1 3 ]   M .   R h i f ,   A .   B .   A b b e s ,   B .   M a r t i n e z ,   a n d   I .   R .   F a r a h ,   “ D e e p   l e a r n i n g   mo d e l s  p e r f o r ma n c e   f o r   N D V I   t i me  s e r i e s  p r e d i c t i o n :   a   c a s e   st u d y   o n   N o r t h   W e st   Tu n i s i a , ”   i n   2 0 2 0   M e d i t e rra n e a n   a n d   M i d d l e - E a st   G e o sc i e n c e   a n d   Re m o t e   S e n s i n g   S y m p o s i u m   ( M 2 G AR S S ) ,  2 0 2 0 ,   p p .   9 – 1 2 ,   d o i :   1 0 . 1 1 0 9 / M 2 G A R S S 4 7 1 4 3 . 2 0 2 0 . 9 1 0 5 1 4 9 .   [ 1 4 ]   F .   R .   A l h a r b i   a n d   D .   C s a l a ,   “ S h o r t - t e r m  so l a r   i r r a d i a n c e   f o r e c a s t i n g   m o d e l   b a se d   o n   b i d i r e c t i o n a l   l o n g   s h o r t - t e r m  mem o r y   d e e p   l e a r n i n g , ”   i n   2 0 2 1   I n t e rn a t i o n a l   C o n f e re n c e   o n   E l e c t r i c a l ,   C o m m u n i c a t i o n ,   a n d   C o m p u t e r E n g i n e e r i n g   ( I C EC C E) ,  2 0 2 1 ,   p p .   1 – 6 ,  d o i :   1 0 . 1 1 0 9 / I C E C C E 5 2 0 5 6 . 2 0 2 1 . 9 5 1 4 2 3 3 .   [ 1 5 ]   C .   C h e n ,   Y .   L i ,   K .   Z h o u ,   X .   C h e n ,   a n d   B .   Ta n ,   “ A i r   q u a l i t y   p r e d i c t i o n   mo d e l   u t i l i z i n g   Bi - LST M - M A , ”   J o u r n a l   o f   S a f e t y   a n d   En v i r o n m e n t , ,   v o l .   2 5 ,   n o .   8 ,   p p .   3 2 4 0 – 3 2 5 1 ,   2 0 2 5 ,   d o i :   1 0 . 1 3 6 3 7 / j . i ssn . 1 0 0 9 - 6 0 9 4 . 2 0 2 4 . 2 2 1 6 .   [ 1 6 ]   S .   O sma n ,   N .   S .   G h e r i y a n i ,   S .   S a l e m,   A .   K e s h l a f ,   a n d   J .   I b r a h i m ,   “ D u a l - LS TM   m o d e l   f o r   r e a l - t i me   t r a f f i c   p r e d i c t i o n   a n d   a n o ma l y   d e t e c t i o n   i n   I o T  e n v i r o n me n t , ”   i n   S t u d i e s  i n   C o m p u t a t i o n a l   I n t e l l i g e n c e ,   A .   O .   A l b a j i ,   E d . ,   S p r i n g e r   S c i e n c e   a n d   B u s i n e ss  M e d i a   D e u t s c h l a n d   G m b H ,   2 0 2 6 ,   p p .   7 5 1 – 7 6 6 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 032 - 0 0 2 3 2 - 7 _ 4 9 .   [ 1 7 ]   M .   T.   P a w i t r a ,   H .   F a k h r u r r o j a ,   a n d   L.   A b d u r r a h m a n ,   “ P r e d i c t i n g   st o c k   mar k e t   u si n g   C N N   a n d   B i LSTM   mo d e l ,”    i n   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m p u t e r,   C o n t r o l ,   I n f o rm a t i c s   a n d   i t s   Ap p l i c a t i o n s  ( I C 3 I N A) ,   2 0 2 4 ,   p p .   2 6 7 – 2 7 2 ,     d o i :   1 0 . 1 1 0 9 / I C 3 I N A 6 4 0 8 6 . 2 0 2 4 . 1 0 7 3 2 2 4 5 .   [ 1 8 ]   N .   I .   A .   K a d e r ,   U .   K .   Y u s o f ,   M .   N .   A .   K h a l i d ,   a n d   N .   R .   N .   H u s a i n ,   “ A   r e v i e w   o f   l o n g   s h o r t - t e r m   m e m o r y   a p p r o a c h   f o r   t i m e   s e r i e s  a n a l y s i s  a n d   f o r e c a s t i n g , ”   i n   L e c t u r e   N o t e s  i n   N e t w o r k s  a n d   S y s t e m s ,   M .   A .   A l - S h a r a f i ,   M .   A l - Em r a n ,   K .   S h a a l a n ,   a n d   M .   N .     Al - K a b i ,   E d s . ,   S p r i n g e r   S c i e n c e   a n d   B u si n e ss   M e d i a   D e u t s c h l a n d   G m b H ,   2 0 2 3 ,   p p .   1 2 – 2 1 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 031 - 20429 - 6_2.   [ 1 9 ]   N .   Q .   V i e t ,   N .   N .   Q u a n g ,   N .   K i n g ,   D .   T.   H u u ,   N .   D .   To a n ,   a n d   D .   N .   H .   T h a n h ,   “ A n   e x p l o r a t o r y   c o m p a r i s o n   o f   LST M   a n d   B i LST M   i n   st o c k   p r i c e   p r e d i c t i o n , ”   i n   I n v e n t i v e   C o m m u n i c a t i o n   a n d   C o m p u t a t i o n a l   T e c h n o l o g i e s ,   2 0 2 3 ,   p p .   5 1 3 – 5 2 4 ,     d o i :   1 0 . 1 0 0 7 / 9 7 8 - 9 8 1 - 99 - 5 1 6 6 - 6 _ 3 5 .     [ 2 0 ]   A .   E.   O u a r d i ,   B .   Er - R a h a ,   a n d   K .   T a t a n e ,   “ LS TM   a d a p t i v e   h y p e r p a r a m e t e r   t u n i n g   f o r   f i n a n c i a l   t i me  s e r i e s   f o r e c a st i n g   u si n g   c u s t o m   g r a d i e n t - b a se d   m e t h o d s :   a   c o m p a r a t i v e   st u d y   w i t h   B a y e si a n   o p t i m i z a t i o n , ”   J o u rn a l   o f   T h e o ret i c a l   a n d   Ap p l i e d   I n f o rm a t i o n   T e c h n o l o g y ,   v o l .   1 0 2 ,   n o .   2 4 ,   p p .   8 9 1 3 – 8 9 3 6 ,   2 0 2 4 .   [ 2 1 ]   M .   K r i c h e n   a n d   A .   M i h o u b ,   “ L o n g   sh o r t - t e r m  m e m o r y   n e t w o r k s :   a   c o mp r e h e n si v e   s u r v e y , ”   AI ,   v o l .   6 ,   p .   2 1 5 ,   S e p .   2 0 2 5 ,     d o i :   1 0 . 3 3 9 0 / a i 6 0 9 0 2 1 5 .   [ 2 2 ]   Ö .   Y i l d i r i m ,   “ A   n o v e l   w a v e l e t   se q u e n c e   b a se d   o n   d e e p   b i d i r e c t i o n a l   L S TM   n e t w o r k   m o d e l   f o r   EC G   si g n a l   c l a ss i f i c a t i o n ,”  C o m p u t e rs   i n   B i o l o g y   a n d   Me d i c i n e ,   v o l .   9 6 ,   p p .   1 8 9 – 2 0 2 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . c o mp b i o m e d . 2 0 1 8 . 0 3 . 0 1 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6         Un id ir ec tio n a l a n d   b id ir ec tio n a l LS TM   fo r   n o n lin ea r   s yn th etic  time  s erie s   … ( N u r   Ha iz u m  A b d   R a h ma n )   1705   [ 2 3 ]   E.   F ı r a t ,   “ S ETA R   ( S e l f - e x c i t i n g   t h r e s h o l d   a u t o r e g r e ssi v e )   n o n - l i n e a r   c u r r e n c y   m o d e l l i n g   i n   EU R / U S D ,   EU R / TR Y   a n d   U S D / TR Y   p a r i t i e s, ”   M a t h e m a t i c s   a n d   S t a t i st i c s ,   v o l .   5 ,   p p .   3 3 – 5 5 ,   Ja n .   2 0 1 7 ,   d o i :   1 0 . 1 3 1 8 9 / ms . 2 0 1 7 . 0 5 0 1 0 5 .   [ 2 4 ]   A .   Lo u ssa i e f ,   R .   K t a r i ,   a n d   Y .   H a d j   K a c e m ,   “ H G S - At - LST M :   a t t e n t i o n - b a s e d   l o n g   s h o r t - t e r m  m e m o r y   m o d e l   c o mb i n e d   w i t h   h a l v i n g   g r i d   se a r c h   o p t i mi z e r   f o r   h a r mf u l   a l g a l   b l o o m  f o r e c a st i n g , ”   I n t e r n a t i o n a l   J o u r n a l   o f   D a t a   S c i e n c e   a n d   An a l y t i c s ,   v o l .   2 0 ,   n o .   6 ,   p p .   5 4 5 7 – 5 4 8 3 ,   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s4 1 0 6 0 - 025 - 0 0 7 8 3 - 2.   [ 2 5 ]   Z.   C u i ,   R .   K e ,   Z.   P u ,   a n d   Y .   W a n g ,   “ S t a c k e d   b i d i r e c t i o n a l   a n d   u n i d i r e c t i o n a l   LST M   r e c u r r e n t   n e u r a l   n e t w o r k   f o r   f o r e c a st i n g   n e t w o r k - w i d e   t r a f f i c   s t a t e   w i t h   mi ss i n g   v a l u e s , ”  T r a n s p o rt a t i o n   R e se a rc h   Pa rt   C :   Em e rg i n g   T e c h n o l o g i e s ,   v o l .   1 1 8 ,   p .   1 0 2 6 7 4 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . t r c . 2 0 2 0 . 1 0 2 6 7 4 .   [ 2 6 ]   A .   Th o ma s,  M .   P e t r i d i s ,   S .   W a l t e r s,   S .   M .   G h e y t a ss i ,   a n d   R .   M o r g a n ,   “ O n   p r e d i c t i n g   t h e   o p t i mal   n u m b e r   o f   h i d d e n   n o d e s ,”    i n   I n t e rn a t i o n a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   S c i e n c e   a n d   C o m p u t a t i o n a l   I n t e l l i g e n c e   ( C S C I ) ,   2 0 1 5 ,   p p .   5 6 5 – 5 7 0 ,     d o i :   1 0 . 1 1 0 9 / C S C I . 2 0 1 5 . 3 3 .       B I O G RAP H I E S O F   AUTH O RS        Nur  H a izum   Abd   Ra h m a n           re c e iv e d   h e r  first  d e g re e   a n d   P h . D .   d e g re e   fro m   Un iv e rsiti   Tek n o l o g i  M a lay sia ,   i n   2 0 1 0   a n d   2 0 1 7 ,   re sp e c ti v e l y .   S h e   is   c u rre n tl y   a   se n io r   lec tu re r  a t  Un iv e rsiti   M a lay sia   P a h a n g   Al - S u l tan   A b d u ll a h ,   wit h   h e r  m a in   re se a rc h   i n tere sts   fo c u sin g   o n   sta ti stics ,   p a rt icu larl y   i n   ti m e   se ries   a n a ly sis.   P re v io u sly ,   sh e   wo rk e d   a s  a   se n i o r   lec tu re r  a t  Un iv e rsiti   P u tra  M a l a y sia .   S h e   h a s  a   to tal  o f  n i n e   y e a rs’  tea c h in g   e x p e rien c e .     He r  re se a rc h   p u b li c a ti o n s  a re   re g u larl y   p u b li s h e d   in   lea d i n g   j o u rn a ls,  a n d   sh e   is  a c ti v e l y   in v o lv e d   in   t h e   a c a d e m ic  c o m m u n it y ,   a tt e n d i n g   c o n fe re n c e s,  sy m p o si u m s,  a n d   se m in a rs.   Be y o n d   h e r  u n iv e rsit y   a c a d e m ic  re sp o n si b il it ies ,   s h e   h o l d s  a   li fe l o n g   m e m b e rsh i p   i n   I n stit u t   S tatisti k   M a lay sia   (IS M y )  a n d   c u rre n tl y   se rv e s  a s  a   c o u n c il   m e m b e r,   fu lfi l li n g   t h e   ro les   o f   Ho n o u ra ry   S e c re tary   fro m   2 0 2 2   to   2 0 2 4   a n d   fro m   2 0 2 4   to   2 0 2 6 .   S h e   c a n   b e   c o n tac ted   a t   e m a il :  h a izu m @u m p sa . e d u . m y .         H a n i  S y a h id a   Zu lk a fli           re c e iv e d   h e r  M a ste r  in   A p p l ied   S t a ti stics   a n d   B . S c   (Ho n s.)  i n   S tatisti c s  fro m   Un i v e rsiti   P u tra  M a lay sia   i n   y e a r  2 0 1 1   a n d   2 0 0 9 ,   re sp e c ti v e ly .     He r  P h . D .   d e g re e   fro m   He rio t - W a tt   Un iv e rsity .   S h e   h a s  b e e n   w o rk in g   a s  a   S e n io r  Lec t u re r  i n   th e   De p a rtme n t  o f  M a th e m a ti c s  a n d   S tatisti c s  a t  Un iv e rsiti   P u tra  M a lay s ia  si n c e   2 0 1 7 .   S h e   h a s   1 0   y e a rs  o f   tea c h in g   a n d   re se a rc h   e x p e rien c e   a t  v a rio u s   re p u te d   in st it u t io n s.  He r  re se a rc h   in tere sts  in c lu d e   a p p l ica ti o n s  o f   Ba y e sia n   n e two r k s ,   Ba y e sia n   m o d e li n g ,   a n d   i n fe re n c e   in   c h ro n ic  d ise a se s ,   su c h   a s d iab e tes .   S h e   c a n   b e   c o n tac ted   a t  e m a il :  h sy a h id a @u p m . e d u . m y .     Evaluation Warning : The document was created with Spire.PDF for Python.