I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia I n t e ll ig e n c e  ( I J - AI )   V ol .   14 , N o.   2 A pr il   2025 , pp.  1 067 ~ 1 076   I S S N 2252 - 8938 ,   D O I 10.11591/ ij a i. v 14 .i 2 .pp 1 067 - 1 076          1067     Jou r n al  h om e page ht tp : // ij ai . ia e s c or e .c om   S c h e d u l e - f r e e  op t i m i z at i on  of  t h e  t r a n sf or m e r s - b ase d  t i m e   se r i e s f o r e c as t i n g m od e l       K yr yl o Y e m e t s 1 M ic h al  G r e gu s 2   1 D e pa r t m e nt  of  A r t i f i c i a l  I nt e l l i ge nc e , L vi v P ol yt e c hni c  N a t i ona l  U ni ve r s i t y, L vi v, U kr a i ne   2 F a c ul t y of   M a na ge m e nt , C om e ni us   U ni ve r s i t y B r a t i s l a va B r a t i s l a va , S l ova k R e publ i c       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e J ul   27 2024   R e vi s e O c t   26 2024   A c c e pt e N ov   14 2024       The task of time series forecasting  is important for  many scientific, tec hnical,  and  applied  fields,  such  as  finance,  economics,  meteorology,  me dicine,  transporta tion,  and  telecommunic ations.  Existing  methods,  su ch  as  autoregress ive  models  and   moving   avera ge   models,  have   their  limit ations,  especiall y when wo rking wi th non - stationary and se asonal data. I n this work,  the  basic  architecture  of   transformers  was   modified  to  solve   time   series  forecasting  problems.  Addition ally,  state - of - the - art  optimizers   were   in vestigated  and  experimentally  compared,  including   AdamW,  sto chastic  gradient  descent  ( SGD ) and  new  methods   such  as  schedule - free   SG and  schedule - free   AdamW, to improve fo recasting accuracy and the efficiency of  the  training  procedure  for  the  transformer  architecture.  Modelin was  conducted  on  meteorol ogical  data  that   included   seasonal  tim serie s.  The  accuracy  evaluatio of  the  optimi zation  methods   stu died  in  this   wo rk  was  performed  using  range  of  different  performan ce  indicators.  The  results  showed  tha the  new  optimization  methods  significantly  improve  forecasting  accuracy compar ed to t he use of  traditi onal opt imizers .   K e y w o r d s :   A da G r a d   F or e c a s ti ng   R M S pr op   S c he dul e - F r e e  A da m W   S c he dul e - F r e e  S G D     T im e  s e r ie s   T r a ns f or m e r s   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   K yr yl o Y e m e ts   D e pa r tm e nt  of  A r ti f ic ia I nt e ll ig e nc e , L vi v P ol y te c hni c  N a ti ona U ni ve r s it y   K ni a z ia  R om a na   s tr ., 5, L vi v 79905, Ukr a in e   E m a il kyr yl o.v.ye m e ts @ lp nu.ua       1.   I N T R O D U C T I O N   T im e   s e r ie s   f or e c a s ti ng  is   a   r e le va nt   a nd  e xt r e m e ly   im por ta nt  t a s in   va r io us   s c ie nt if ic te c hni c a l,   a nd   a ppl ie f ie ld s   [ 1] T hi s   ta s a r is e s   in   th e   c ont e xt   of   di s c ip li n e s   s uc h   a s   f in a nc e e c onomi c s m e te or ol ogy,  m e di c in e tr a ns por ta ti on,  te le c om m uni c a ti ons a nd  m a ny  ot he r s w he r e   pr e di c ti ng  f ut ur e   va lu e s   of   s pe c if ic   va r ia bl e s   ba s e on  th e ir   hi s to r ic a da ta   is   ne c e s s a r [ 2] [ 3] T he   a c c ur a c of   s ol vi ng  th e   ti m e   s e r ie s   f or e c a s ti ng  pr obl e m   pl a ys   a im por ta nt   r ol e   a nd  h a s   a   di r e c im pa c on  th e   e f f ic ie nc a nd  e c onomi c   be ne f it   of   de c i s io ns   m a de P a r ti c ul a r ly   in   th e   f ie ld   of   m e te or ol ogy,  th e   a c c ur a c of   w e a th e r   f or e c a s ts   is   c r it ic a ll im por ta nt   f or   pr e di c ti ng  na tu r a di s a s te r s   a nd  pl a nni ng  a c ti vi ti e s   in   va r io us   s e c to r s   of   th e   e c onomy  [ 4] T hi s   ta s is   a in te gr a pa r of  e f f e c ti ve  r e s our c e  m a na ge m e nt  a nd s tr a te gi c  pl a nni ng.   T im e  s e r ie s  f or e c a s ti ng i s   a  c om pl e x t a s k due  t o t he  l a r ge  numb e r  of  f a c to r s  a f f e c ti ng da ta  va r ia bi li ty   a nd  th e ir   in te r r e la ti ons hi ps   [ 5] I pa r ti c ul a r s e a s ona f lu c tu a ti ons tr e nds r a ndom  de vi a ti ons a nd  ot he r   c om pone nt s   c a n   s ig ni f ic a nt ly   c om pl ic a te   th e   f or e c a s ti ng  pr oc e s s   [ 6] [ 8] O ne   of   th e   im por ta nt   ta s k s   is   to   a de qua te ly   a c c ount   f or   a ll   th e s e   f a c to r s   w he bui ld in a   ti m e   s e r ie s   f or e c a s ti ng  m ode [ 9] [ 10] I m pe r f e c ti on   of   da ta th e   pr e s e nc e   of   noi s e a nd  ga ps   in   th e   da ta   c a a ls o   r e duc e   th e   a c c ur a c of   f or e c a s ts   [ 11] [ 12]   I a ddi ti on,  th e   s pe e of   c ha nge s   in   th e   e nvi r onm e nt   or   m a r ke t   m a r e qui r e   c ons ta nt   upda ti ng  of   m ode ls   a nd   th e ir  a da pt a ti on t o ne w  c ondi ti ons   [ 13] , [ 14] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  2 A pr il   20 25 1 067 - 1 076   1068   A s   of   to da y,   th e r e   a r e   m a ny  m e th od s   f or   ti m e   s e r ie s   f or e c a s ti ng  [ 15] A m ong  th e m tr a di ti ona s ta ti s ti c a m e th od s   s houl b e   hi ghl ig ht e d,  s u c a s   a ut or e gr e s s i ve   m ode ls   [ 16] m ovi ng  a ve r a ge   m ode ls   [ 17] a nd  th e ir   c om bi na ti ons in   pa r ti c ul a r   a ut or e gr e s s iv e   in te gr a te m ovi ng  a ve r a ge   ( A R I M A )   [ 18] ,   a nd  ot he r   a r ti f ic ia ne ur a ne twor ks   ( A N N s )   [ 19] [ 22] S pe c if ic a ll y,  th e   la tt e r   m e th od  a s s um e s   a   li ne a r   r e la ti ons hi p   be twe e pa s a nd  f ut ur e   v a lu e s H o w e ve r w e a th e r   pa tt e r ns   of te e xhi bi non - li ne a r   be ha vi or s   due   to   th e   c om pl e in te r a c ti ons   be twe e va r io us   a tm os phe r ic   va r ia bl e s w h ic A R I M A   m ode ls   c a nnot   c a pt ur e   e f f e c ti ve ly   [ 23] I a ddi ti on,   A R I M A   m ode ls   c a be c om e   ove r ly   c om pl e a nd  c om put a ti ona ll in te ns iv e   w he de a li ng  w it m ul ti pl e   s e a s ona pa tt e r ns w hi c a r e   c om m on  in   w e a th e r   da ta I ge ne r a l,   th e s e   m e th ods   w or w e ll   f or   f or e c a s ti ng  s ta ti ona r pr oc e s s e s but   w e a th e r   da ta   o f te e xhi b it   s e a s ona li ty   a nd  tr e nds r e qui r in e xt e n s iv e     pr e - pr oc e s s in to   a c hi e ve   s ta ti on a r it y,  w hi c c a be   c ha ll e ngi n a nd  s om e ti m e s   in a de qua t e   [ 24] T ha t' s   w hy  th e s e  m e th ods  i m pos e  a  numbe r  of  l im it a ti ons  w he n f or e c a s ti ng  c om pl e x, non - s ta ti ona r y t im e  s e r ie s .   T he   r a pi de ve lo pm e nt   of   m a c hi ne   le a r ni ng  te c hnol ogi e s   ha s   le to   th e   e m e r ge nc e   of   ne w m or e   pow e r f ul  t im e  s e r ie s  f or e c a s ti ng me th ods , s uc h a s  ne ur a ne two r ks  [ 13] , gr a di e nt  boos ti ng  [ 25] , a nd e ns e m bl e   m e th ods   [ 26] [ 27 ] . I pa r ti c ul a r ,   r e c ur r e nt   ne ur a ne twor ks   ( R N N )   a nd  lo ng  s hor t - te r m   m e m or y ( L S T M )   ha ve   be c om e   popula r   f or   ti m e   s e r ie s   f or e c a s ti ng  du e   to   th e ir   a bi li ty   to   a c c ount   f or   de pe nde n c ie s   ove r   la r ge   ti m e   in te r va ls H ow e ve r th e ha ve   a   num be r   of   dr a w ba c ks .   S pe c if i c a ll y,  R N N s   of te f a c e   pr obl e m s   of   va ni s hi ng   or   e xpl odi ng  gr a di e nt s   dur in t r a in in g,  w hi c c om pl ic a te s   th e   tr a in in of   m ode ls   on  lo ng  ti m e   s e r ie s   [ 28] T hi s   le a ds   to   th e   m ode pot e nt ia ll lo s in in f or m a ti on  a bout   pr e vi ous   s ta te s   or   be c om in uns ta bl e T he   e f f e c ti ve ne s s   of   L S T M   s tr ongl de pe nds   on  th e   c hoi c e   of   hype r pa r a m e te r s   ( e .g.,  num be r   of   la ye r s m e m or c e ll   s iz e a nd  le a r ni ng  r a te s ) I nc or r e c c hoi c e   of   hype r pa r a m e te r s   c a le a to   poor   m ode pe r f o r m a nc e   [ 29] T ha t' s   w hy,   r e c e nt ly tr a ns f or m e r s   ha ve   be c om e   w id e ly   u s e d - m ode ls   th a w e r e   in it ia ll de ve lo pe f or   na tu r a la ngua g e   pr oc e s s in [ 30] T he a ll ow   a c c ount in f or   r e la ti ons hi ps   be twe e da ta   a di f f e r e nt   ti m e   s c a le s   a nd   pr ovi de   hi gh  f or e c a s a c c ur a c y.   T he   e m e r ge n c e   of   A N N   f or   de e le a r ni ng  b a s e d   on  th e   tr a ns f or m e r   a r c hi te c tu r e   ope ns   up  m a ny  ne w   pos s ib il it ie s   f or   s ol vi ng  va r io us   a ppl ie pr obl e m s A lt hough   th e   ba s ic   a r c hi te c tu r e   of   s uc A N N s   is   de s ig ne d   f or   na tu r a la ngua ge   pr oc e s s in [ 31] th e r e   a r e   m a ny   ot he r   t a s ks   w he r e   th is   a r c hi te c tu r e   c a de m on s tr a te   s ig ni f ic a nt   a dva nt a ge s   w h e a ppl ie d,   one   of   w hi c h   is   ti m e   s e r ie s   pr e di c ti on. T hi s   gi ve s   r is e   to   th e   f ir s ta s of   th is   s tu dy - m odi f yi ng  th e   ba s ic   a r c hi te c tu r e   of   tr a n s f or m e r s   [ 31]   to   be   a b le   to   s ol ve   ti m e   s e r ie s   f or e c a s ti ng   pr obl e m s T hi s   i s   e s pe c ia ll u s e f ul   w he w e   ha ve   a   huge   a m ount   of   c yc li c a da ta s uc a s   in   m e te or ol ogy.   T a ki ng  in to   a c c ount   th e   vol um e   of   tr a ns f or m e r - ba s e f or e c a s ti ng  m ode ls it   is   im por ta nt   not   onl y   to   ha ve   th e   c or r e c m ode a r c hi te c tu r e   but   a ls to   us e   th e   be s opt im iz e r   d ur in th e   tr a in in of   s uc a   m ode [ 32] ,   [ 33]   T he  m ode a r c hi te c tu r e  pl a ys  a   s ig ni f ic a nt  r ol e  a s  i d e te r m in e s   how  i nf or m a ti on i s  pr oc e s s e a nd r e pr e s e nt e d.   H ow e ve r e ve th e   be s a r c hi te c tu r e   m a not   a c hi e ve   th e   e xpe c te r e s ul ts   w it hout   pr ope r   tu ni ng  a nd   opt im iz a ti on. An optim iz e r  i s  a n  a lg or it hm  us e d t o  a dj us th e  w e ig ht s  of  a  n e ur a ne twor k t o m in im iz e  t he  l os s   f unc ti on  [ 32] T he   c hoi c e   of   opt im iz e r   c a h a ve   a   bi im pa c on   c onve r ge nc e   s pe e d,  tr a in in s ta bi li ty a nd  f in a m ode a c c ur a c y.   T he r e   a r e   m a ny  di f f e r e nt   opt im iz e r s e a c w it it s   ow a dva nt a ge s   a nd  di s a dv a nt a ge s F or   e xa m pl e ,   s to c ha s ti c   gr a di e nt   de s c e nt   ( S G D )   is   one   of   th e   s im pl e s a nd  m os f r e que nt ly   us e opt im iz e r s   [ 34] I is   e f f e c ti ve   f or   la r ge   da ta s e ts   but   c a s uf f e r   f r om   s lo w   c onve r ge nc e   a nd  ge s tu c in   lo c a m in im a A da pt iv e   m e th ods ,     s uc a s   A da m r oot   m e a s qua r e   pr opa ga ti on  ( R M S pr op) a nd  a da pt iv e   gr a di e nt   a lg or it hm   ( A da G r a d ) us e   di f f e r e nt   a ppr oa c he s   to   a dj us th e   le a r ni ng  r a te   of   e a c pa r a m e te r w hi c c a le a to   f a s te r   a nd  m or e   s ta bl e   c onve r ge nc e I pa r ti c ul a r R M S pr op  m a in ta in s   a a da pt iv e   le a r ni ng  r a te   th a c ha nge s   f or   e a c p a r a m e te r   ba s e d   on  th e   a ve r a ge   s qua r e   of   pr e vi ous   gr a di e nt s   [ 35 ] T hi s   he lp s   a voi th e   pr obl e m   o f   la r ge   or   s m a ll   le a r ni ng   r a te s ,   w hi c h c a n be  us e f ul  f or  m ode ls  w it h hi gh va r ia bi li ty  i n pa r a m e t e r  s c a le . R M S pr op ha s  s e ve r a dr a w ba c ks  t ha t   c a n a f f e c opt im iz a ti on e f f ic ie nc y. O n e  of  t he  m a in  pr obl e m s  i s   th e  bi a s  i n m om e nt   e s ti m a te s  due  t o t he  us e  of   e xpone nt ia s m oot hi ng  to   c a lc ul a te   th e   a ve r a ge   s qua r e   of   gr a di e nt s T hi s   bi a s   is   pa r ti c ul a r ly   not ic e a bl e   in   th e   e a r ly  s ta ge s  of  t r a in in g a nd c a n  ne ga ti ve ly  a f f e c th e  i ni ti a pha s e  of  opt im iz a ti on. Additi ona ll y, R M S pr op c a n   be   s e ns it iv e   to   in it ia c ondi ti ons m e a ni ng  in c or r e c w e ig ht   in it ia li z a ti on  c a le a to   c onve r ge nc e   pr obl e m s   a nd   ge tt in s tu c in   lo c a m in im a A not he r   im por ta nt   is s ue   is   th e   de pe nde nc e   on  ba t c s iz e .   A in a ppr opr ia te   ba tc h   s iz e   c a a f f e c th e   c a lc ul a ti on  of   t he   a ve r a ge   s qua r e   of   gr a di e nt s   a nd  ove r a ll   opt im iz a ti on  e f f ic ie nc y.     A da G r a m odi f ie s   th e   le a r ni ng  r a te   ba s e on  th e   f r e que nc o f   pa r a m e te r   upda te s a ll ow in r a r e ly   upda te d   pa r a m e te r s   to   ha ve   a   hi ghe r   le a r ni ng  r a te   [ 36] H ow e ve r ove r   ti m e th e   le a r ni ng  r a te   c a de c r e a s e   to   ve r s m a ll   va lu e s w hi c h   c a s lo w   dow le a r ni ng.  A da pt iv e   m om e nt   e s ti m a ti on  ( A da m )   is   one   of   th e   m os t   popula r   opt im iz e r s  t ha c om bi ne s  t he  a dva nt a ge s  of  bot h A da G r a d a nd R M S pr op. I us e s  bot h t he  f ir s m om e nt   ( m e a n   of  gr a di e nt s )  a nd t he  s e c ond mom e nt  ( m e a n of   s qua r e d gr a di e nt s )  t o dyna m ic a ll y a dj us th e  l e a r ni ng r a te   [ 37] T hi s  a ll ow s  f a s te r  r e a c hi ng of  t he  l os s  f unc ti on mi ni m um , e s pe c ia ll y i n t he  e a r ly  s ta g e s  of  t r a in in g. T h e  A da m   opt im iz e r   a ls ha s   it s   dr a w b a c ks   th a s houl b e   c on s id e r e d.  S im il a r   to   R M S pr op,  A da m   us e s   e xpon e nt ia s m oot hi ng  to   c a lc ul a t e   th e   f ir s a nd  s e c o nd  m om e nt s   of   gr a di e nt s w hi c c a le a to   bi a s e e s ti m a te s   in   th e   e a r ly   s ta ge s   of   tr a in in a nd  a f f e c opt im iz a ti on  s ta bi li ty A lt hough  A da m   w or ks   w e ll   on  m a ny  ta s ks it   m a y   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938         Sc he dul e - fr e e  opt imi z at io n of  t he   tr an s fo r m e r s - ba s e d t ime  s e r i e s  f or e c a s ti ng m ode ( K y r y lo  Y e m e ts )   1069   s how   poor   ge ne r a li z a ti on  on  te s da ta T hi s   is   be c a us e   a da pt iv e   m e th ods   c a ove r f it   to   tr a in in g   da ta e s pe c ia ll if   it   c ont a in s   noi s e A da m ' s   e xc e s s iv e   a da pt iv it c a le a to   u ns ta bl e   c onve r ge nc e   a nd  ge tt in s tu c in   lo c a m in im a w hi c is   e s pe c i a ll pr obl e m a ti c   f or   c om pl e or   ve r n oi s ta s k s A ddi ti ona ll y,  A da m   r e qui r e s   m or e   c om put a ti ona r e s our c e s  c om pa r e d t o s im pl e r  m e th ods  l ik e  S G D , w hi c h c a n be  a  pr obl e m  f o r  l a r ge   m ode ls  or   la r ge  da ta s e ts .   I n ge ne r a l,  t he  c hoi c e  of  opt im iz e r  de pe nds  on t he   s pe c if ic  t a s k,  m ode a r c hi te c tu r e , a nd da ta s e [ 30] ,   [ 38] A in c or r e c c hoi c e   c a n   le a d   to   pr ol onge d   tr a in in g,  in s t a bi li ty or   uns a ti s f a c to r r e s ul ts .   A s   a   r e s ul t,   s uc c e s s   in   ti m e   s e r ie s   f or e c a s ti ng  de p e nds   not   onl on  th e   m od e a r c hi te c tu r e   but   a ls on  th e   e f f e c ti ve   c hoi c e   of   opt im iz e r w hi c unde r s c or e s   th e   im por ta nc e   of   it s   us e   w h e c r e a ti ng  hi ghl e f f e c ti ve   f or e c a s ti ng  m ode ls   ba s e on   a r ti f ic ia ne ur a ne twor ks .   T he r e f or e th e   s e c ond  ta s k of   th is   s tu dy a r is e s ,   w hi c in vol ve s   th e  c or r e c s e le c ti on  of   a opt im iz e r   f or   th e   m odi f ie tr a ns f or m e r   m ode t ha w oul p r ovi de   th e   be s m ode pe r f or m a nc e   c ha r a c te r is ti c s  a c c or di ng t o us e r - s e le c te d c r it e r ia .   T ha is   w hy  th i s   w or a im s   to   m odi f th e   ba s i c   a r c hi te c tu r e   of   tr a ns f or m e r s   to   s ol ve   ti m e   s e r ie s   f or e c a s ti ng  pr obl e m s   a nd  to   s e le c t,   s tu dy,  a nd  e xpe r im e nt a ll a na ly z e   th e   la te s opt im iz a ti on  m e th ods   to   im pr ove   th e   e f f ic ie nc of   th e   m odi f ie ti m e   s e r ie s   f or e c a s ti ng  m ode in   m e te or ol ogy.   T he   m a in   c ont r ib ut io ns   of  t hi s  pa pe r  a r e  t he  f ol lo w in g:     W e  m odi f ie d t he  a r c hi te c tu r e  of  t he  t r a n s f or m e r  m ode by r e m o vi ng t he  t oke ni z e r  a nd  e m be ddi ng l a ye r , a s   w e ll   a s   r e pl a c in pos it io na e nc odi ng  w it s in us oi da po s it io na e nc odi ng  a nd  ba tc nor m a li z a ti on  w it la ye r   nor m a li z a ti on,  w hi c e na bl e e f f e c ti ve   s ol vi ng  of   ti m e   s e r i e s   f or e c a s ti ng  ta s ks   in   th e   c a s e   of   a na ly z in g   a  l a r ge  a m ount  of  da ta  w it h pr onounc e d s e a s ona li ty .     W e   s e le c te d,  s tu di e d,  a nd  c onduc te d   a e xpe r im e nt a c om p a r is o of   a   num be r   of   s ta te - of - th e - a r opt im iz e r s ,   e s pe c ia ll th e ir   s c he dul e - f r e e   ve r s io n s to   im pr ove   f or e c a s ti ng  a c c ur a c a nd  r e du c e   th e   s iz e   of   th e   m odi f ie tr a ns f or m e r   m ode a nd,  a c c or di ngl y,  it s   tr a in in ti m e   w he n   s ol vi ng  s e a s on a ti m e   s e r ie s   f or e c a s ti ng   pr obl e m s  i n t he  f ie ld  of  m e te or ol ogy.   T he   pa pe r   is   s tr uc tu r e a s   f ol lo w s s e c ti on  pr e s e nt s   th e   m odi f ic a ti on  of   th e   tr a ns f or m e r   m ode f o r   s ol vi ng  th e   ti m e   s e r ie s   f or e c a s ti ng  pr obl e m ,   it s   a r c hi te c tu r e   is   p r e s e nt e d,  a ll   c ha nge s   m a de   a nd  th e ir   a dva nt a ge s   a r e   e xpl a in e d.  T hi s   s e c ti on  a ls de s c r ib e s   th e   pr in c ip le s   of   ope r a ti on,  a dva nt a ge s a nd  di s a dva nt a g e s   of   a   num be r   of   s ta te - of - th e - a r opt im iz e r s   th a w e r e   us e d   in   pr a c ti c a r e s e a r c to   im pr ove   th e   e f f ic ie nc of   us in th e   m odi f ie tr a ns f or m e r   m ode l.   S e c ti on  pr ovi de s   a   de s c r ip ti on  of   th e   da ta s e u s e f or   m ode li ng,  in di c a to r s   of   th e   e f f e c ti ve ne s s   of   us in g   th e   tr a ns f or m e r   m ode l.   A l s o,  he r e m ode li ng  of   th e   w or of   a   num b e r   of   s tu di e d   opt im iz e r s  i s  c a r r ie d out a nd t he  r e s ul ts  of  t he ir  w or k a r e  s um m a r iz e d ba s e d on s e v e r a c r it e r ia . A  c om pa r is on  of   th e ir   w or is   p e r f or m e a nd  th e   c hoi c e   of   th e   b e s t   of   th e m   f or   pr a c ti c a im pl e m e nt a ti on  a nd  u s e   of   th e   m odi f ie tr a ns f or m e r   m ode f or   f or e c a s ti ng  s e a s on a ti m e   s e r ie s   in   th e   f ie ld   of   m e te or ol ogy  is   ju s ti f ie d.    S e c ti on 4 pr e s e nt s  c onc lu s io ns  on t he  obt a in e d r e s ul ts  a nd d e s c r ib e s  pr os pe c ts  f or  f ur th e r  r e s e a r c h.       2.   M E T H O D S   T hi s   s e c ti on  pr e s e nt s   a   m odi f ic a ti on  of   th e   tr a ns f or m e r   m ode f or   s ol vi ng  th e   ti m e   s e r ie s   f or e c a s ti ng  pr obl e m a s   w e ll   a s   th e   pr in c ip le s   of   ope r a ti on,  a dva nt a g e s , a nd   di s a dva nt a ge s   of   a   num be r   of   s ta te - of - th e - a r t   opt im iz e r s  f or  t hi s  m ode l.     2.1.  M od if ie d  ar c h it e c t u r e  of  t h e  t r an s f or m e r s  f o r  s ol vi n g t im e  s e r ie s   f or e c as t in g t as k s   T he   tr a n s f or m e r   a r c hi te c tu r e   ha s   be c om e   one   of   th e   m o s po pul a r   m e th ods   in   m a c hi ne   l e a r ni ng,  e s pe c ia ll in   na tu r a la ngu a ge   pr oc e s s in [ 31] T r a ns f or m e r s   a r e   us e in   ta s k s   s u c a s   t e xt   tr a ns la ti on,  que s ti on   a ns w e r in g,  a nd  s e nt im e nt   a na ly s i s due   to   th e ir   a bi li ty   to   e f f ic ie nt ly   pr oc e s s   lo ng  s e que nc e s   of   da ta   a nd  c a pt ur e   de pe nde nc ie s   be twe e di s ta nt   e le m e nt s T he   m a in   c om pone nt s  of   a   tr a ns f or m e r   a r e   th e   e nc ode r   a nd  de c ode r ,   w hi c h a ll ow  t he  m ode to  unde r s ta nd t he  c ont e xt   a nd s tr uc tu r e   of  i nput  da ta  [ 31] .   T r a ns f or m e r s   c a a ls be   e f f e c ti ve ly   a ppl ie to   ti m e   s e r ie s   f or e c a s ti ng.  T hi s   is   e s pe c ia ll us e f ul   w he a na ly z in m a ny  ti m e   s e r ie s   r e la te to   a   s in gl e   to pi c s uc a s   w e a th e r   c ondi ti ons .   I th e   c a s e   of   w e a th e r   f or e c a s ti ng, we  ha ve  v a r io us  va r ia bl e s   s uc a s   t e m pe r a tu r e , hu m id it y, a tm os phe r ic  pr e s s ur e , a nd  pr e c ip it a ti on,  w hi c h i nt e r a c w it e a c h  ot he r  a nd h a ve   c om pl e x t im e  d e pe nde nc ie s T r a ns f or m e r s  a ll ow  t he  m ode l  t o c a pt ur e   th e s e  de pe nd e nc ie s   a nd us e  t he m  f or  a c c ur a te  pr e di c ti on of  f ut ur e  va lu e s .   T he   s tr uc tu r e   a nd  m a in   c om pon e nt s   of   th e   m odi f ie tr a ns f or m e r   a r c hi te c tu r e   f or   th e   ti m e   s e r ie s   f or e c a s ti ng  ta s k,  in c lu di ng  th e   e nc ode r   a nd   de c ode r a r e   pr e s e n te in   F ig ur e   1.  I t' s   w or th   not in a   num be r   of   di f f e r e nc e s  f r om  t he  c la s s ic  t r a ns f or m e r  a r c hi te c tu r e  [ 31] :     R e m ova of   th e   to ke ni z e r I th e   c la s s ic   tr a ns f or m e r   a r c hi te c tu r e th e   to ke ni z e r   is   us e to   c onve r in put   da ta   in to  t oke ns . I n t he  a da pt e a r c hi te c tu r e , t hi s  c om pon e nt  w a s  r e m ove d, s im pl if yi ng t he  m ode a nd r e duc in it s  c om put a ti ona c om pl e xi ty .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  2 A pr il   20 25 1 067 - 1 076   1070     R e m ova of  t he  e m be ddi ng l a ye r . I n t he  c la s s ic   a r c hi te c tu r e , t he  e m be ddi ng l a ye r  i s  u s e d t c onve r to ke ns   in to   f ix e d - di m e ns io ve c to r s I th e   a da pt e d   a r c hi te c tu r e th i s   l a ye r   w a s   a ls o   r e m ove d,  f ur th e r   s im pl if yi ng  th e  m ode l.     S in us oi da pos it io na e nc odi ng.  I ns te a of   tr a di ti ona pos it io na e nc odi ng,  s in us oi da pos it io na e nc odi ng  w a s   us e d.  T hi s   e nc odi ng  h a s   no  le a r na bl e   pa r a m e te r s   a nd  is   s pe c if ic a ll de s ig n e to   be tt e r   r e f le c th e   c ha r a c te r is ti c s   of   ti m e   s e que nc e s I na tu r a ll gi ve s   m or e   w e ig ht   to   r e c e nt   e le m e nt s   a nd  a ll ow s   th e   m ode l   to   pr e s e r ve   th e   or de r   of   da ta   in   th e   ti m e   s e que nc e w hi c is   c r it ic a ll im por ta nt   w he a na ly z in ti m e   s e r ie s .     L a ye r   nor m a li z a ti on.  I th e   c la s s ic   a r c hi te c tu r e ba tc h   nor m a li z a ti on  is   of te u s e d,  w hi c nor m a li z e s   th e   out put s  of  pr e vi ous  l a y e r s  us in g  s ta ti s ti c s  f r om  t he   e nt ir e  ba tc of  da ta . H ow e ve r , f or  m ode l s  w or ki ng w it h   ti m e   s e r ie s th is   a ppr oa c m a not   be   th e   be s c hoi c e U s in la y e r   nor m a li z a ti on  in   th e   a da pt e a r c hi te c tu r e   e ns ur e s   tr a in in s ta bi li ty a s   th e   nor m a li z a ti on  o f   out put s   is   c a r r i e out   e xc lu s iv e ly   ba s e on  th e   di s tr ib ut io n   m om e nt s   of   a  s in gl e   la y e r   a nd  do e s   not   de pe nd   on  th e   ba tc h s iz e T hi s   m it ig a te s   pr obl e m s   a s s o c ia te w it h   a c c ount in g f or  pos s ib le  s e a s ona or  c yc li c a c om pone nt s  of  t im e  s e r ie s .           F ig ur e  1. T he  m odi f ie d a r c hi te c tu r e  of  t he  t r a ns f or m e r  m ode f o r  t im e  s e r ie s  f or e c a s ti ng       R e m ovi ng  th e   to ke ni z e r   a nd   e m be ddi ng  la ye r w hi c a r e   t ypi c a ll us e f or   na tu r a la ngua ge   pr oc e s s in g,  a ll ow s   s im pl if yi ng  th e   m ode a nd   r e duc in it s   c om put a ti ona c om pl e xi ty U s in s in u s oi da pos it io na e nc odi ng i n t he  a da pt e d  a r c hi te c tu r e  f or  t im e  s e r ie s  f or e c a s ti ng pr ovi de s  b e tt e r  r e pr e s e nt a ti on of  t he   da ta  s e que nc e  a nd pr e s e r va ti on of  t he ir  o r de r L a ye r  nor m a li z a t io n, i n t ur n,  pr ovi de s  gr e a te r  t r a in in g s ta bi li ty ,   r e ga r dl e s s   of   th e   ba t c s iz e w hi c is   e s p e c ia ll im por ta nt   w he w or ki ng  w it ti m e   s e r ie s A l th e s e   c ha nge s   m a ke  t he  a da pt e d t r a n s f or m e r  a r c hi te c tu r e  m or e  a da pt iv e  a nd r obus f or  a na ly z in g va r io us  dyna m ic  pr ope r ti e s   of   da ta im pr ovi ng  ove r a ll   a c c ur a c a nd  c om put a ti ona e f f ic ie nc y.  T hi s   a ll ow s   obt a in in m or e   a c c ur a te   f or e c a s ts   a nd  r e duc in c om put a ti ona c os t s w hi c is   im por ta nt   w he s ol vi ng  ti m e   s e r ie s   f or e c a s ti ng  pr obl e m s .     2.2.  Clas s ic al  an d  s t at e - of - t h e - ar t s  op t im iz e r s  f or  ar t i f ic ia n e u r al  n e t w or k s   A n i m por ta nt  c om pone nt  of  a  hi ghl y e f f e c ti ve  t im e  s e r ie s  f or e c a s ti ng mode ba s e d on tr a ns f or m e r s  i s   th e  opt im iz e r  i us e s . I n t hi s  pa pe r ,  t he  e f f e c ti ve ne s s  of  s e v e r a c la s s ic a l  a nd  c om pl e te ly  ne w  [ 31]  opt im iz a ti on  m e th ods   de ve lo pe in   2024  w a s   in ve s ti ga te d O ne   of   th e   c la s s ic a opt im iz e r s   us e dur in th e   tr a in in of   a r ti f ic ia ne ur a ne twor ks   is   th e   S G D   m e th od.  T hi s   m e th od  in v ol ve s   upda ti ng  th e   m ode pa r a m e te r s   ba s e on   th e   gr a di e nt s   of   th e   lo s s   f unc ti on  c onc e r ni ng  th e   m ode pa r a m e te r s   [ 34] I n   th e   S G D   m e th od,  pa r a m e te r   upda te s   a r e   c a r r ie out   f or   e a c in di vi dua s a m pl e   ( or   s m a ll   ba tc of   s a m pl e s )   f r om   th e   tr a in in da ta s e t.   T he   upda t e   f or m ul a  i n t hi s  c a s e  l ooks  l ik e  t hi s  [ 34] :     + 1 = ×  ( ( ) )   ( 1)     T he  S G D  m e th od ha s  s e ve r a im por ta nt  a dva nt a ge s  [ 34] F ir s tl y, i is  c ha r a c te r iz e d by high s pe e d, a s   pa r a m e te r   upda te s   a r e   c a r r ie out   a f te r   e a c s a m pl e   or   s m a ll   ba tc of   s a m pl e s T hi s   m a ke s   it   s ig ni f ic a nt ly   f a s te r   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938         Sc he dul e - fr e e  opt imi z at io n of  t he   tr an s fo r m e r s - ba s e d t ime  s e r i e s  f or e c a s ti ng m ode ( K y r y lo  Y e m e ts )   1071   th a c la s s ic a gr a di e nt   de s c e nt e s pe c ia ll f or   la r ge   da ta s e ts S e c ondl y,  th e   m e th od  is   m e m or e f f ic ie nt a s   it   r e qui r e s   le s s   m e m or y,  pr oc e s s in s m a ll   por ti ons   of   da ta   a a   ti m e H ow e ve r th e   m e th od  a ls ha s   c e r ta in   di s a dva nt a ge s   [ 34] F or   e xa m pl e pa r a m e t e r   upda te s   c a b e   ve r noi s y,  w hi c c a le a to   s ig ni f ic a nt   f lu c tu a ti ons   in   th e   lo s s   f unc ti on.  A ddi ti ona ll y,  c hoos in g   th e   c o r r e c le a r ni ng  r a te   is   c r it ic a ll im por ta nt T oo   hi gh or  t oo l ow  l e a r ni ng r a te  c a n l e a d t o c onve r ge nc e  pr obl e m s ,  c om pl ic a ti ng t he  m o de tr a in in g pr oc e s s .   A   ne w   v e r s io of   th is   m e th od  c a ll e s c he dul e - f r e e   S G D   [ 39] w hi c w a s   de ve lo pe d   in   2024,   a im s   to   r e m ove   th e s e   dr a w ba c ks O ne   of   th e   m a in   a dva nt a ge s   of   s c he dul e - f r e e   S G D   is   th a t   it   e li m in a te s   th e   ne e t o   a dj us th e   le a r ni ng  r a te I c la s s ic a S G D th is   pa r a m e te r   r e qui r e s   c a r e f ul   tu ni ng  a nd  m a r e qui r e   th e   us e   of   a ddi ti ona m e th ods s uc a s   le a r ni ng  r a te   s c he dul e r s to   dyn a m ic a ll c ha nge   th e   le a r ni ng  r a te   dur in th e   op ti m iz a ti on  pr oc e s s I s c he dul e - f r e e   S G D ,   th is   ne c e s s it di s a ppe a r s s im pl if yi ng  th e   m ode tu ni ng  p r oc e s s   a nd r e duc in g pr e pa r a ti on t im e . I n pa r ti c ul a r , i ts  i m pl e m e nt a ti on c a n be  de s c r ib e d a s  f ol lo w s   [ 39] :     = ( 1 ) +   ( 2)     + 1 = ×  ( ( , ) )   ( 3)     + 1 = ( 1 + 1 ) + + 1 + 1   ( 4)     O ne   of   th e   w id e ly   us e opt im iz a ti on  m e th ods   is   a da pt iv e   m om e nt   e s ti m a ti on  w it w e ig ht   de c a y   ( A da m W ) , w hi c h i s  a n i m pr ove d ve r s io n of  t he  popula r  A da m   opt im iz e r , de ve lo pe d t o s ol ve  pr obl e m s  r e la te d   to   w e ig ht   r e gul a r iz a ti on  in   ne ur a ne twor ks   [ 38] T he   m a in   id e a   of   A da m W   is   to   s e pa r a te   th e   pr oc e s s   of   w e ig ht   upda ti ng  a nd  r e gul a r iz a ti on,  w hi c a ll ow s   a voi di ng   s om e   of   t he   dr a w ba c ks   of   th e   or ig in a l   A da m   a lg or it h m   [ 40] L ik e   A da m A da m W   c om bi ne s   id e a s   f r om   A da G r a a nd  R M S pr op  m e th ods   f or   a da pt iv e   le a r ni ng  r a te   a dj us tm e nt   f or   e a c pa r a m e te r H ow e ve r unl ik e   A da m A d a m W   a ppl ie s   w e ig ht   r e gul a r iz a ti on  s e pa r a te ly   f r om   gr a di e nt  upda te s , pr ovi di ng be tt e r  c onve r ge nc e  a nd  e f f ic i e nc y.    A e a c it e r a ti on,  th e   A da m W   opt im iz e r   c a lc ul a te s   th e   gr a di e nt   to   m in im iz e   th e   f unc ti on.  T he   ps e udoc ode   f or   A da m W   i s   s how n   in   F ig ur e   2.  T he w e   up da te   th e   w e ig ht s   ta ki ng  in to   a c c ount   w e ig ht   r e gul a r iz a ti on [ 39] :     1  1   ( 5)     A f te r  t ha upda ti ng mom e nt um  of  f i r s a nd s e c ond or de r  [ 39] :     1 1 + ( 1 1 )   ( 6)     2 1 + ( 1 2 ) 2   ( 7)     A f te r  t hi s , bi a s - c or r e c te d m om e nt um s :     / ( 1 1 )   ( 8)     ̂ / ( 1 2 )   ( 9)     A nd w e  upda te  t he  w e ig ht s  a ga in  c on s id e r in g t he  m om e nt um s :     ̂ / ( ̂ + )   ( 10)     A da m W   ha s   s e ve r a im por ta nt   a dva nt a ge s F ir s tl y,  th a nks   to   t he   s e pa r a ti on  of   w e ig ht   upda te s   a nd   r e gul a r iz a ti on,  m or e   s ta bl e   a nd   f a s le a r ni ng  i s   e n s ur e d,  c ont r ib ut in to   be tt e r   c onve r ge nc e S e c ondl y,  e f f e c ti ve   w e ig ht   r e gul a r iz a ti on  oc c ur s   s e p a r a te ly w hi c a ll o w s   a voi di n pr obl e m s   a s s oc ia te d   w it e xc e s s iv e   w e ig ht   r e gul a r iz a ti on.  T hi r dl y,  li ke   A da m A d a m W   a ut om a ti c a ll a dj us ts   th e   le a r ni ng  r a te   f or   e a c pa r a m e te r m a ki ng  it  e f f e c ti ve  f or  di f f e r e nt  t ype s  of  t a s ks . H ow e ve r , A da m W  a ls ha s  di s a dva nt a ge s . F or  e xa m pl e , pr ope r  t uni ng  of   hype r pa r a m e te r s   c a b e   di f f ic ul t,   a s   w it ot he r   a da pt iv e   opt im iz e r s A ddi ti ona ll y,  A da m W   r e qui r e s   m or e   c om put a ti ona r e s our c e s  c om p a r e d t o s im pl e r  m e th ods  s uc a s   S G D .   T hi s   pr obl e m   of   A da m W s uc a s   hype r pa r a m e te r   tu ni ng,  is   s ol ve by  it s   s c he dul e - f r e e   m odi f ic a ti on,   a nd  th is   is   ho w   th e   m odi f ie s c he dul e - f r e e   ve r s io of   A da m W   lo oks I th is   v e r s io of   th e   opt im iz e r th e   c a lc ul a ti on  of   th e   s e c ond - or de r   m om e nt   is   r e pl a c e b a   c om bi n a ti on  of   in te r pol a ti ons   a nd  a ve r a ge s T he   a dde ve r s io n l ooks  l ik e  t hi s  [ 39] :     = × ( 1 , / )   ( 11)   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  2 A pr il   20 25 1 067 - 1 076   1072   + 1 = / ( ̂ + )   ( 12)     + 1 = 2     = 1 2   ( 13)     + 1 = ( 1 + 1 ) + + 1 + 1   ( 14)     T he s e   opt im iz e r s   de s c r ib e a bov e   w e r e   u s e in   th i s   w or to   c on duc e xpe r im e nt a s tu di e s   to   de te r m in e   th e   be s t   of  t he m  w he n s ol vi ng t he  t im e  s e r ie s  f or e c a s ti ng pr obl e m  ba s e d  on t he  m odi f ie d t r a ns f or m e r  m ode l.       3.   R E S U L T S  A N D  D I S C U S S I O N   T he  t r a ns f or m e r  m ode f or  t im e  s e r ie s  f or e c a s ti ng w it h di f f e r e n opt im iz e r s  w a s  t r a in e d on a  w e a th e r   da ta s e [ 41] . T hi s  da ta s e c ont a in s  3010 da il y t im e  s e r ie s  r e pr e s e nt in g c ha nge s  i n f our  w e a th e r  va r ia bl e s r a in ,   m in im um   te m pe r a tu r e m a xi m um   te m pe r a tu r e a nd  s ol a r   r a di a ti on,  m e a s ur e a m e te or ol ogi c a s ta ti ons   in   A us tr a li a T hi s   da ta s e t,   pr ovi de d   by  th e   A us tr a li a B ur e a of   M e te or ol ogy  ( B oM ) in c lu d e s   c ur r e nt   w e a th e r   da ta   f or   s pe c if ic   s ta ti ons da il f or e c a s ts   f or   a ll   A us tr a li a f or e c a s lo c a ti ons a gr ic ul tu r a bul le ti ns   w it h   s um m a r iz e w e a th e r   obs e r va ti on s   f or   e a c s ta te   or   te r r it or y,  a nd  s a te ll it e   im a ge s   in   G e oT I F F   f or m a t.   T he   da ta s e is   a va il a bl e   in   X M L   a nd  J S O N   f or m a ts   a nd  c a b e   a c c e s s e th r ough  a a nonymou s   F T P   s e r ve r T he   da ta s e is   w e ll - s tr uc tu r e a nd  of f e r s   f e a tu r e s   f or   a ut om a ti c   r e tr ie va a nd  pa r s in of   da ta   in to   or de r e da ta f r a m e s .   T he  da ta  ha s  a ppl ic a ti ons   in  a gr ic ul tu r e , m a ppi ng r e ne w a bl e  e ne r gy pote nt ia l,  a nd pla nni ng f o r  m uni c ip a li ti e s   r e ga r di ng e xt r e m e  w e a th e r  e ve nt s  a nd i nf r a s tr uc tu r e  ne e d s .   E xpe r im e nt a l   s tu di e s   on  t he   e f f e c ti v e ne s s   of   di f f e r e nt   opt im i z e r s   w e r e   pe r f or m e by  r unni ng   th e   m ode l   a nd  th e  c or r e s pon di ng  opt im iz e r   w it di f f e r e nt   c o nt e x le ngt hs . I w a s  a   m ul ti pl e   of   th e  s e a s o na li t of   th e   d a ta   in   th e   da t a s e t,   w hi c h   e s s e nt i a ll r e pr e s e nt s   o ne   m ont h.  T h us ,   th e   tr a n s f or m e r   m ode l   w a s   tr a in e on  l e ngt hs   of   30,  6 0,   a nd   90   d a y s .   T he   e v a lu a ti on   of   th e   m od e l' s   p e r f or m a n c e   w a s   b a s e d   on   th e   f ol l ow in g   in di c a to r s   [ 27] [ 34] :     M e a a b s ol ut e   e r r or  ( M A E ):      = 1   = 1 |    |   ( 15)       M e a n s qu a r e  e r r or  ( M S E ):      = 1   = 1 (    ) 2   ( 16)       R oot  m e a n s qua r e  e r r or  ( R M S E ):      = 1   = 1 (    ) 2   ( 17)       S ym m e tr ic  m e a n a bs ol ut e  pe r c e nt a ge   e r r or  ( S М А P Е ) :      = 1   = 1 | | ( | | + | | ) / 2   ( 18)       M e a n a b s ol ut e  s c a le d e r r or  ( М А S Е ) :      = 1   = 1 | | | |   ( 19)     W e   a ls us e th e   num be r   of   tr a in a bl e   m ode pa r a m e te r s e xpr e s s e in   th ous a nds w hi c c a s how   how   m a ny  r e s our c e s   w e   w il ne e d   f or   it s   tr a in in a nd  w ha th e   d e la w il be   w he n   e xe c ut e d   in   a   pr oduc ti on  e nvi r onm e nt T he   r e s ul t s   of   th e   e xpe r im e nt s   b a s e d   on  a ll   th e   a bove   pe r f or m a nc e   in di c a to r s   a r e   pr e s e nt e in   T a bl e  1. T he  obt a in e d r e s ul ts  s ho w  t ha th e  S G D  opt im iz e r  gi v e s  t he  w or s r e s ul ts . F or  e xa m pl e , f or  a  c ont e xt   le ngt of   60  da ys th e   M A S E   va lu e   is   4.34,   w hi c is   s ig ni f ic a nt ly   w or s e   c om pa r e to   ot he r   opt im iz e r s U s in th e   s c he dul e - f r e e   S G D   opt im iz e r   im pr ove s   th e s e   in di c a to r s r e duc in M A S E   to   1.116  f or   th e   s a m e   c ont e xt   le ngt h,  w hi c is   a im pr ove m e nt   of   a ppr oxi m a te ly   74% T he   A d a m W   opt im iz e r   s how s   b e tt e r   r e s ul ts   c om pa r e d   to   s c he dul e - f r e e   S G D w it a   M A S E   va lu e   of   0.954  f o r   a   60 - d a c ont e xt   le ngt h,  w hi c is   a im pr ove m e nt   of   14% H ow e ve r th e   b e s r e s ul ts   a r e   de m ons tr a te d   by  th e   s c he du le - f r e e   A da m W   opt im iz e r w he r e   f or   a   60 - da y   c ont e xt   le ngt h,  M A S E   is   0.987,  w hi c is   s li ght ly   w or s e   th a A da m W but   ove r a ll   s ho w s   s ta bl e   r e s ul ts   f or   a ll   c ont e xt   le ngt hs T hu s f r om   th e   poi nt   of   vi e w   of   s ta bi li ty   a nd  o ve r a ll   e f f ic ie nc y,  s c he dul e - f r e e   A da m W   is   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938         Sc he dul e - fr e e  opt imi z at io n of  t he   tr an s fo r m e r s - ba s e d t ime  s e r i e s  f or e c a s ti ng m ode ( K y r y lo  Y e m e ts )   1073   be s c hoi c e   a m ong  a ll   te s te opt im iz e r s H o w e ve r if   w e   c ons id e r   th e   r e s ul ts   in   te r m s   of   S M A P E th e   s c he dul e - f r e e   S G D   opt im iz e r   de m ons tr a te s   th e   be s pe r f or m a nc e F or   e x a m pl e f or   a   30 - da c ont e xt   le ngt h,   S M A P E   is   0.651,  w hi c is   be tt e r   th a n   a ll   ot he r   opt im iz e r s F or   60 - da y a nd   90 - da c ont e xt   l e ngt hs S M A P E   a ls r e m a in s   lo w e r  t ha n ot he r  opt im iz e r s , m a ki ng  s c he dul e - f r e e   S G D  t he  be s c hoi c e  f or  t he  S M A P E  m e tr ic .       T a bl e  1. E f f ic ie nc y e s ti m a te s  of  t he  t r a ns f or m e r  m ode in  s ol vi ng t he  t im e  s e r ie s  f or e c a s ti ng pr obl e m  us in di f f e r e nt  opt im iz e r s  s tu di e d i n t he  w or k   C ont e xt  l e ngt h   M A S E   S M A P E   M A E   M S E   R M S E   M ode l  s i z e   S c he dul e - f r e e  A da m W  opt i m i z e r   30   0.94   0.691   2.041   17.606   2.832   80359   60   0.987   0.691   2.154   18.781   2.963   82279   90   0.931   0.686   2.046   17.83   2.836   84199   A da m W  opt i m i z e r   30   1.206   0.666   2.295   19.248   3.056   80359   60   0.954   0.703   2.071   17.955   2.87   82279   90   1.063   0.7   2.307   20.074   3.148   84199   S c he dul e - f r e e  S G D  opt i m i z e r   30   1.122   0.651   2.556   20.486   3.203   80359   60   1.116   0.658   2.574   20.222   3.238   82279   90   1.184   0.652   2.621   20.669   3.296   84199   S G D  opt i m i z e r   30   1.236   0.724   2.655   21.834   3.489   80359   60   4.34   1.378   7.704   107.351   8.632   82279   90   1.573   0.703   2.792   23.33   3.593   84199       F ig ur e   s how s   a   c om pa r a ti ve   gr a ph  of   opt im iz e r s   w it di f f e r e nt   c ont e xt   s iz e s r e la ti ve   to   two  ke m e tr ic s M A S E   a nd  S M A P E T he   s iz e   of   e a c poi nt   c or r e s ponds   to   th e   num be r   of   m ode pa r a m e te r s T he   c lo s e r   th e   poi nt   is   to   th e   or ig in   of   th e   c oor di na te   s ys te m th e   be tt e r   it   is   s ui te f or   m ode tr a in in g.  A s   c a be   s e e f r om   th e   gr a ph,   th e   s c he dul e - f r e e   ve r s io ns   of  S G D   a nd  A d a m W   pe r f or m e th e   be s t.   D e pe ndi ng  on   w hi c h   m e tr ic   is   pr io r it iz e d,  th e r e   w il be   di f f e r e nt  r e s ul ts F or   M A S E i t' s   s c he dul e - f r e e   A da m W a nd  f or   S M A P E it ' s   s c he dul e - f r e e   S G D I th e   f ut ur e w e   c a in ve s ti ga te   how   s c he dul e - f r e e   opt im iz e r s   a f f e c th e   c onf id e nc e   in te r va of  t im e  s e r ie s  m ode pr e di c ti ons .           F ig ur e  2. G r a ph w it h c om pa r is on of  opt im iz e r s  by S M A P E  a nd M A S E  m e tr ic s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  2 A pr il   20 25 1 067 - 1 076   1074   F ut ur e   r e s e a r c w il a ddr e s s   s e ve r a ke a r e a s   to   e nha nc e   th e   a c c ur a c a nd  a ppl ic a bi li ty   of   f or e c a s ti ng   m ode ls F ir s tl y,  w hi le   c ur r e nt   s tu di e s   ha ve   ut il iz e a   s in gl e   da t a s e t,   f ut ur e   w or w il e xpa nd  th is   r e s e a r c to   in c lu de   m ul ti pl e   da ta s e ts a ll ow in f or   m or e   r obus a nd  ge ne r a li z a bl e   f in di ngs A ddi ti ona ll y,  th e   im pa c o f   c onf id e nc e   in te r va m a gni tu de   on  f or e c a s ti ng  a c c ur a c h a s   n ot   ye be e e xpl or e a s   a   di s ti nc p a r a m e te r in ve s ti ga ti ng  th is   a s pe c c oul pr ovi de   va lu a bl e   in s ig ht s R e s e a r c w il a ls f oc us   on  id e nt if yi ng  th e   m os e f f e c ti ve   opt im iz e r s   f or   im pr ovi ng  f or e c a s pe r f or m a nc e A not he r   pr om is in a ve nue   f or   f ut ur e   r e s e a r c is   th e   de ve lo pm e nt   of   tr a ns f or m e r - ba s e e ns e m bl e   m ode ls w hi c c oul s ig ni f ic a nt ly   e nha nc e   f or e c a s a c c ur a c a c r os s  va r io us   a ppl i c a ti on a r e a s   [ 42] .       4.   C O N C L U S I O N   T im e   s e r ie s   f or e c a s ti ng  is   e xt r e m e ly   im por ta nt   in   va r io us   s c ie nt if ic te c hni c a l,   a nd  a ppl ie f ie ld s   s uc a s   f in a nc e ,   e c onomi c s m e te or ol ogy,  m e di c in e ,   tr a ns por ta ti on,  a nd  te le c om m uni c a ti ons .   T hi s   ta s h e lp s   pr e di c t   f ut ur e   va lu e s   of   va r ia bl e s   ba s e on  th e ir   hi s to r ic a da ta w hi c ha s   a   di r e c im pa c on  th e   e f f ic ie nc a nd   e c onomi c   be ne f it   of   de c is io ns   m a de I m e t e or ol ogy,  th e   a c c ur a c of   w e a th e r   f or e c a s ts   is  c r it ic a ll im por ta nt   f or   pr e di c ti ng  na tu r a di s a s te r s   a nd  pl a nni ng  a c ti vi ti e s   in   va r io us   s e c to r s   of   t he   e c onomy.  I th is   pa pe r th e   ba s ic   a r c hi te c tu r e   of   tr a ns f or m e r s   w a s   m odi f ie to   s ol ve   ti m e   s e r ie s   f or e c a s ti ng  pr obl e m s T he   r e m ova of   th e   to ke ni z e r   a nd  e m be ddi ng  la ye r a s   w e ll   a s   th e   r e pl a c e m e nt   of   pos it io na e nc odi ng  w it s in us oi da pos it io na l   e nc odi n a nd   ba tc nor m a li z a ti on   w it la ye r   nor m a li z a ti on,  pr ovi de th e   a bi li ty   to   w or w it da ta   w it pr onounc e s e a s ona li ty S ta te - of - th e - a r opt im iz e r s e s pe c ia ll th e ir   s c he dul e - f r e e   ve r s io ns w e r e   s tu di e a nd   e xpe r im e nt a ll c om pa r e to   im pr ove   f or e c a s ti ng  a c c ur a c a nd  r e duc e   th e   s iz e   of   th e   tr a ns f or m e r   m ode a nd  it s   tr a in in ti m e M ode li ng w a s   c onduc te d   by  u s in th e   m odi f ie t r a ns f or m e r   a r c hi te c tu r e   ba s e on   a   l a r ge   s e of   m e te or ol ogi c a da ta w hi c in c lu de s   va r io us   va r ia bl e s   s uc a s   te m pe r a tu r e hum id it y,  a t m os phe r ic   pr e s s ur e ,   a nd  pr e c ip it a ti on.  T he   d a ta   w a s   pr e - pr oc e s s e to   r e m ove   noi s e  a nd  ga ps . T he   m ode w a s   tr a in e on  hi s to r ic a da ta   w it di f f e r e nt   c ont e xt   w in dow   s iz e s   a nd  f or   e a c opt im iz e r a f te r   w hi c te s ti ng  w a s   c onduc te on   ne w   da ta  t o e va lu a te  t he  a c c ur a c y of  f or e c a s ts . T h e  r e s ul ts  of  di f f e r e nt  opt im iz e r s  w e r e  c om pa r e d ba s e d on c r it e r ia   s uc a s   S M A P E M A S E M A E M S E a nd  R M S E T h e   r e s ul ts   s how e d   th a th e   m odi f ie s c he dul e - f r e e   opt im iz e r s   s ig ni f ic a nt ly   im pr ove th e   a c c ur a c y   of   s e a s ona l   t im e   s e r ie s   f or e c a s ti ng  c om pa r e to   c la s s ic a m e th ods . T he  m os r e le va nt  a r e  bot s c he dul e - f r e e   S G D  a nd  s c he dul e - f r e e   A da m W . A s  a  r e s ul of  c om pa r in g   opt im iz e r s , s c he dul e - f r e e  A da m W  pr ove d t o be  t he  be s t.   A s   c a n  be  s e e n f r om  t he  r e s ul t s  i n t he  t a bl e , w it h t hi s   opt im iz e r ,   th e   m ode s how s   th e   be s t   m e tr ic s   w it h   th e   s m a ll e s c o nt e xt w hi c a l s m a ke s   th e   m ode s m a ll e r   a nd  th us  f a s te r  bot h dur in g t r a in in g a nd i nf e r e nc e       A C K N O WL E D G E M E N T S   T he   a ut hor s   th a nk  D r I va I z oni f or   hi s   in va lu a bl e   gui da nc e   a nd  r e c om m e nda ti ons w hi c s ig ni f ic a nt ly   e nha nc e th e   pr e s e nt a ti on  of   th is   r e s e a r c h P r of M ic ha G r e gus   w a s   s uppor te by  th e   S lo va k   R e s e a r c h   a nd  D e ve lo pm e nt   A ge nc unde r   th e   c ont r a c N o.  A P V V   19 - 0581 T hi s   w or is   f unde by  th e   E ur ope a U ni on’ s   H or iz on  E ur ope   r e s e a r c a nd  in nova ti on  pr ogr a m   unde r   gr a nt   a gr e e m e nt   N o   101138678,  pr oj e c Z E B A I   ( I nnova ti ve   m e th odol ogi e s   f or   th e   de s ig of   Z e r o - E m is s io a nd  c os t - e f f e c ti ve   B ui ld in gs   e nha nc e d by Ar ti f ic i a I nt e ll ig e nc e ) .       R E F E R E N C E S   [ 1]   M G e ur t s G E P B ox,  a nd  G M J e nki ns T i m e   s e r i e s   a na l y s i s :   f or e c a s t i ng  a nd  c ont r ol ,”   J our nal   of   M ar k e t i ng  R e s e ar c h   vol . 14, no. 2, M a y 1977, doi :  10.2307/ 3150485.   [ 2]   R T ka c he nko,  A i nt e gr a l   s of t w a r e   s ol ut i on  of   t he   s gt m   ne ur a l - l i ke   s t r uc t ur e s   i m pl e m e nt a t i on  f or   s ol vi ng   di f f e r e nt   da t a   m i ni ng   t a s ks ,”  i L e c t u r e  N ot e s  i n C om put at i onal  I nt e l l i ge nc e  and D e c i s i on M ak i ng , v ol . 77, 2022, pp. 696 713 , doi :  10.1007/ 978 - 3 - 030 - 82014 - 5_48.   [ 3]   M H a vr yl i uk,  R K a m i ns kyy,  K Y e m e t s a nd  T L i s ovyc h,  I nt e r a c t i ve   i nf or m a t i on  s ys t e m   f or   a ut om a t e i de nt i f i c a t i on  of   ope r a t o r   pe r s onne l   by  s c hul t e   t a bl e s   b a s e on   i ndi vi dua l   t i m e   s e r i e s ,   i A dv anc e s   i A r t i f i c i al   Sy s t e m s   f o r   L ogi s t i c s   E ngi ne e r i ng  I I I   vol . 180, 2023, pp. 372 381 , doi :  10.1007/ 978 - 3 - 031 - 36115 - 9_34.   [ 4]   S . R a ks ha , J . S . G r a c e l i ne , J . A nba r a s i , M . P r a s a nna , a nd S . K a m a l e s hkum a r , “ W e a t he r  f or e c a s t i ng f r a m e w or k f or  t i m e  s e r i e s  da t a   us i ng  i nt e l l i ge nt   l e a r ni ng  m ode l s ,   i 2021  5t h   I nt e r nat i onal   C onf e r e nc e   on  E l e c t r i c al E l e c t r oni c s ,   C om m uni c at i on,  C om put e r   T e c hnol ogi e s   and  O pt i m i z at i on  T e c hni que s   ( I C E E C C O T ) I E E E D e c 2021,  pp.  783 787 doi 10.1109/ I C E E C C O T 52851.2021.9707971.   [ 5]   W S ul a nda r i S S uba na r S S uha r t ono,  H U t a m i M H L e e ,   a nd  P C .   R od r i gue s S S A - ba s e hybr i f or e c a s t i ng  m od e l s   a n d   a ppl i c a t i ons ,”   B ul l e t i of   E l e c t r i c al   E ngi ne e r i ng  and  I nf or m at i c s vol .   9,  no.  5,  pp.  2178 2188,  O c t 2020,  doi :   10.11591/ e e i .v9i 5.1950.   [ 6]   D . K . S i ngh a nd  N . R a w a t , “ M a c hi ne  l e a r ni ng f or  w e a t he r  f or e c a s t i ng:  xgboo s t  vs   s vm  vs  r a ndom  f or e s t  i n pr e di c t i ng t e m pe r a t ur f or   vi s a kha pa t na m ,”   I nt e r nat i onal   J our nal   of   I nt e l l i ge nt   Sy s t e m s   and  A ppl i c at i ons vol 15,  no.  5,  pp.  57 69,  O c t 2023,  doi :   10.5815/ i j i s a .2023.05.05.     Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938         Sc he dul e - fr e e  opt imi z at io n of  t he   tr an s fo r m e r s - ba s e d t ime  s e r i e s  f or e c a s ti ng m ode ( K y r y lo  Y e m e ts )   1075   [ 7]   D U hr yn  e t   al . M ode l l i ng  of   a i nt e l l i ge nt   ge og r a phi c   i nf or m a t i on  s ys t e m   f or   popul a t i on  m i gr a t i on   f or e c a s t i ng,”   I nt e r nat i onal   J our nal  of  M ode r n E duc at i on and C om put e r  Sc i e nc e , vol . 15, no. 4, pp. 69 79,  A ug. 2023, doi :  10.5815/ i j m e c s .2023.04.06.   [ 8]   О K or ys t i n,  S N a t a l i i a a nd   O M i t i na R i s f or e c a s t i ng  of   da t a   c onf i de n t i a l i t br e a c us i ng  l i ne a r   r e gr e s s i on  a l gor i t hm ,”   I nt e r nat i onal   J our nal   of   C om put e r   N e t w or k   and  I nf or m at i on  Se c ur i t y vol 14,  no.  4,   pp.  1 13,  A ug.  2022,   doi :   10.5815/ i j c ni s .2022.04.01.   [ 9]   H D a l ka ni M M oj a r a d,  a nd  H A r f a e i ni a M ode l l i ng  e l e c t r i c i t c ons um pt i on  f or e c a s t i ng  us i ng  t he   m a r kov  pr oc e s s   a nd  hybr i d   f e a t ur e s   s e l e c t i on,”   I nt e r nat i onal   J our nal   of   I nt e l l i ge nt   Sy s t e m s   and  A ppl i c at i ons vol 13,  no.  5,  pp.  14 23,  O c t 2021,   doi :   10.5815/ i j i s a .2021.05.02.   [ 10]   P B A ngon,  I .   S a l e hi n,  M M R K ha n,  a nd  S .   M onda l C r opl a nd  m a ppi ng  e xpa ns i on  f or   pr oduc t i on  f or e c a s t :   r a i nf a l l ,   r e l a t i v hum i di t a nd  t e m pe r a t ur e   e s t i m a t i on,”   I nt e r nat i onal   J our nal   of   E ngi ne e r i ng  a nd  M anuf ac t ur i ng vol 11,   no.  5,   pp.  25 40,   O c t .   2021, doi :   10.5815/ i j e m .2021.05.03.   [ 11]   O M ul e s a ,   F G e c he A B a t yuk,  a nd   V B uc hok,   D e ve l opm e nt   of   c om bi ne i nf or m a t i on  t e c hnol ogy  f or   t i m e   s e r i e s   pr e di c t i on,”   i A dv anc e s  i n I nt e l l i ge nt  Sy s t e m s  and  C om put i ng , 2018, pp. 361 373 , doi :  10.1007/ 978 - 3 - 319 - 70581 - 1_26.   [ 12]   M R A Y udi a nt o,  T A gus t i n,  R M J a m e s F I .   R a hm a A R a hi m a nd  E .   U t a m i R a i nf a l l   f or e c a s t i ng  t r e c om m e nd  c r ops   va r i e t i e s   us i ng  m ovi ng   a ve r a ge   a nd  na i ve   ba ye s   m e t hods ,   I nt e r nat i onal   J ou r nal   of   M ode r n   E duc at i on  and  C om put e r   S c i e nc e   vol . 13, no. 3, pp. 23 33, J un. 2021, doi :  10.5815/ i j m e c s .2021.03.03.   [ 13]   A C a s ol a r o,  V C a pone G I a nnuz z o,  a nd  F .   C a m a s t r a D e e l e a r ni ng  f or   t i m e   s e r i e s   f or e c a s t i ng:   a dva nc e s   a nd  ope pr obl e m s , ”  I nf or m at i on , vol . 14, no. 11, N ov. 2023, doi :  10.3390/ i nf o14110598.   [ 14]   K a s l i ono, S upr a pt o, a nd  F . M a khr us , “ P oi nt  b a s e d  f or e c a s t i ng m ode l  of  ve hi c l e  que ue  w i t h  e xt r e m e  l e a r ni ng m a c hi ne  m e t hod  a n d   c or r e l a t i on  a na l ys i s ,”   I nt e r nat i onal   J our nal   of   I nt e l l i ge nt   Sy s t e m s   and   A ppl i c at i ons vol 13,  no.  3,   pp.  11 22,  J un.  2021,  doi :   10.5815/ i j i s a .2021.03.02.   [ 15]   Z . L i u, Z . Z hu, J . G a o, a nd C . X u, “ F or e c a s t  m e t hods  f or  t i m e  s e r i e s  da t a :  a   s ur ve y,”   I E E E   A c c e s s , vol . 9, pp. 91896 91912, 2021 ,   doi :  10.1109/ A C C E S S .2021.3091162.   [ 16]   H H e r m a ns a h,  D R os a di A A bdur a khm a n,  a nd  H U t a m i A ut om a t i c   t i m e   s e r i e s   f or e c a s t i ng  us i ng  nonl i ne a r   a ut or e gr e s s i ve   ne ur a l   ne t w or m ode l   w i t e xoge nous   i nput ,”   B ul l e t i o f   E l e c t r i c al   E ngi ne e r i ng  and  I nf or m at i c s vol 10,  no.  5,  pp.  2836 2844,  O c t . 2021, doi :  10.11591/ e e i .v10i 5.2862.   [ 17]   D M K ha i r i na R K ha i r unni s a H .   R H a t t a a nd  S M a ha r a ni C om pa r i s on   of   t he   t r e nd  m om e nt   a nd  doubl e   m ovi ng  a v e r a ge   m e t hods   f or   f or e c a s t i ng  t he   num be r   of   de ngue   he m or r ha gi c   f e ve r   pa t i e nt s ,”   B ul l e t i of   E l e c t r i c al   E ngi ne e r i ng  and  I nf or m at i c s   vol . 10, no. 2, pp. 978 987, A pr . 2021, doi :  10.11591/ e e i .v10i 2.2711.   [ 18]   D . G . T a s l i m   a nd I M . M ur w a nt a r a ,  “ C om pa r a t i ve  a na l ys i s  of  a r i m a   a nd l s t m  f or  pr e di c t i ng f l uc t ua t i ng t i m e  s e r i e s  da t a ,”   B ul l e t i n   of  E l e c t r i c al  E ngi ne e r i ng and I nf or m at i c s , vol . 13, no. 3, pp. 1943 1951, J un. 2024, doi :  10.11591/ e e i .v13i 3.6034.   [ 19]   Z H u,  Y V   B odya n s ki y,  N .   Y K ul i s hov a a nd   O K .   T ys hc he nko,   A   m ul t i di m e ns i ona l   e xt e nde d   ne o - f uz z ne ur on   f or   f a c i a l   e xpr e s s i on  r e c ogni t i on,”   I nt e r nat i onal   J our nal   of   I nt e l l i ge nt   Sy s t e m s   and  A pp l i c at i ons vol 9,  no.  9,   pp.  29 36,  S e p.  2017,  doi :   10.5815/ i j i s a .2017.09.04.   [ 20]   Z H u,  I A T e r e ykovs ki L O T e r e ykovs ka a nd  V V   P ogor e l ov,  D e t e r m i na t i on  of   s t r uc t ur a l   pa r a m e t e r s   of   m ul t i l a ye r   pe r c e p t r on  de s i gne t e s t i m a t e   pa r a m e t e r s   of   t e c hni c a l   s y s t e m s ,”   I nt e r nat i onal   J our nal   of  I nt e l l i ge nt   Sy s t e m s   and   A ppl i c at i ons vol 9,  no.   10,   pp. 57 62, O c t . 2017, doi :  10.5815/ i j i s a .2017.10.07.   [ 21]   Z . H u, Y . K hokhl a c hova , V .  S ydor e nk, a nd I . O pi r s kyy,  M e t hod f or  opt i m i z a t i on of  i nf or m a t i on s e c ur i t y s ys t e m s  be ha vi or  unde r   c ondi t i ons  of  i nf l ue nc e s ,   I nt e r nat i onal   J our nal  of  I nt e l l i ge nt  Sy s t e m s  and A pp l i c at i ons , vol . 9,  no. 12,  pp. 46 58,  D e c . 2017,  doi :   10.5815/ i j i s a .2017.12.05.   [ 22]   D S a l i na s V F l unke r t J G a s t ha us a nd  T J a nus c how s ki D e e pA R :   pr oba bi l i s t i c   f or e c a s t i ng  w i t a ut or e gr e s s i ve   r e c ur r e nt   ne t w or ks ,”   I nt e r nat i onal  J our nal  of  F or e c a s t i ng , vol . 36, no. 3, pp. 1181 1191, J ul . 2020, doi :  10.1016/ j .i j f or e c a s t .2019.07.001.   [ 23]   V I K ont opoul ou,  A D P a na gopoul os I K a kkos a nd  G K M a t s opoul os A   r e vi e w   of   a r i m a   vs m a c hi ne   l e a r ni ng  a ppr oa c he s   f or  t i m e  s e r i e s  f or e c a s t i ng i n da t a  dr i ve n ne t w or ks ,”   F ut ur e  I nt e r ne t , vol . 15, no . 8, J ul . 2023, doi :  10.3390/ f i 15080255.   [ 24]   S C he n,  R L i n,  a nd   W Z e ng,  S hor t - t e r m   l oa f or e c a s t i ng  m e t hod  ba s e on   A R I M A   a nd  L S T M ,”   i n   2022  I E E E   22nd  I nt e r nat i onal   C onf e r e nc e  on C om m uni c at i on T e c hnol ogy  ( I C C T ) , I E E E , N ov. 2022, pp. 1913 1917 , doi :  10.1109/ I C C T 56141.2022.10073051.   [ 25]   N . H . A M a l e k, W .  F . W . Y a a c ob, Y B . W a h,  S . A . M d  N a s i r , N . S ha a da n,  a n d S . W . I ndr a t no, “ C om pa r i s on of  e n s e m bl e  hybr i d   s a m pl i ng  w i t ba ggi ng   a nd  boo s t i ng  m a c hi ne   l e a r ni ng  a ppr oa c h   f or   i m ba l a nc e d   da t a ,”   I ndone s i an   J our nal   of   E l e c t r i c al   E ngi ne e r i ng   and C om put e r  Sc i e n c e , vol . 29, no. 1, pp. 598 608, J a n. 2022, doi :  10.11591/ i j e e c s .v29.i 1.pp598 - 608.   [ 26]   L .   A . O r t e ga , R . C a ba ña s , a nd A . R . M a s e go s a , “ D i ve r s i t y a nd ge ne r a l i z a t i on i n ne ur a l  ne t w or k e ns e m bl e s ,”  i P r oc e e di ngs  of  T he   25t h I nt e r nat i onal  C onf e r e nc e  on A r t i f i c i al  I nt e l l i ge nc e  and St at i s t i c s , 2022, pp . 11720 11743.   [ 27]   A J a dha v,  S K S ha ndi l ya I I z oni n,  a nd  R M uz yk a M ul t i - s t e dyn a m i c   e ns e m bl e   s e l e c t i on  t e s t i m a t e   s of t w a r e   e f f or t ,”   A ppl i e A r t i f i c i al  I nt e l l i ge nc e , vol . 38, no. 1, D e c . 2024, doi :  10.1080/ 08839514.2024.2351718.   [ 28]   N N i ke nt a r i   a nd  H . - L W e i M ul t i - t a s l e a r ni ng  us i ng  non - l i ne a r   a ut or e gr e s s i ve   m ode l s   a nd  r e c ur r e nt   ne ur a l   ne t w or ks   f or   t i de   l e ve l  f or e c a s t i ng,”   I nt e r nat i onal  J our nal  of  E l e c t r i c al  and  C om put e r  E ngi ne e r i ng ( I J E C E ) , vol . 14, no. 1, pp. 960 970, F e b. 2024,   doi :  10.11591/ i j e c e .v14i 1.pp960 - 970.   [ 29]   A M une e r R F A l i A A l m a ght ha w i S M T a i b,  A A l gha m di a nd  E A A G ha l e b,  S hor t   t e r m   r e s i de nt i a l   l oa f or e c a s t i ng   us i ng l ong s hor t - t e r m  m e m or y r e c ur r e nt  ne ur a l  ne t w or k,”   I nt e r nat i onal  J our nal  of  E l e c t r i c al  and C o m put e r  E ngi ne e r i ng ( I J E C E ) vol . 12, no. 5, pp. 5589 5599, O c t . 2022, doi :  10.11591/ i j e c e .v12i 5.pp5589 - 5599.   [ 30]   A B a r l yba ye a nd  B M a t ka r i m ov,  D e ve l opm e nt   of   s ys t e m   f or   ge ne r a t i ng  que s t i ons a ns w e r s di s t r a c t or s   us i ng  t r a ns f or m e r s ,”   I nt e r nat i onal   J our nal   of   E l e c t r i c al   and   C om put e r   E ngi ne e r i ng  ( I J E C E ) vol 14,  no.  2,   pp.  1851 1863,   A pr 2024,  doi :   10.11591/ i j e c e .v14i 2.pp1851 - 1863.   [ 31]   A . V a s w a ni   e t  al . , “ A t t e nt i on i s   a l l  you ne e d,”   A dv anc e s  i n N e u r al  I nf or m at i on P r oc e s s i ng Sy s t e m s , vol . 1, 2017.   [ 32]   C G a ngul i S K S ha ndi l ya M N e hr e y,  a nd  M H a vr yl i uk,  A da pt i ve   a r t i f i c i a l   be e   c ol ony  a l gor i t hm   f or   na t ur e - i ns pi r e c ybe r   de f e ns e ,”   Sy s t e m s , vol . 11, no. 1, J a n. 2023, doi :  10.3390/ s ys t e m s 11010027.   [ 33]   M H a vr yl i uk,  N H ovdys h,  Y T ol s t ya k,  V .   C hopya kb,   a nd  N .   K us t r a I nve s t i ga t i on  of   pnn  opt i m i z a t i on  m e t hod s   t i m pr ove   c l a s s i f i c a t i on pe r f or m a nc e  i n t r a ns pl a nt a t i on m e di c i ne ,”  i C E U R  W or k s hop P r oc e e di ngs , 2023, pp. 338 345.   [ 34]   I I z oni n,  R T ka c he nko,  R H ol ove n,  K Y e m e t s M H a vr yl i uk,  a nd  S K S ha ndi l ya S G D - ba s e c a s c a de   s c he m e   f or   hi ghe r   de gr e e s   w i e ne r   pol ynom i a l   a ppr oxi m a t i on   of   l a r ge   bi om e di c a l   da t a s e t s ,”   M ac hi ne   L e ar ni ng  and  K now l e dge   E x t r ac t i on vol 4,     no. 4, pp. 1088 1106, N ov. 2022, doi :  10.3390/ m a ke 4040055.   [ 35]   J H ua ng,  R M S P r op,”   C or ne l l   U ni v e r s i t y A c c e s s e d:   S e p.  13,  2024.  [ O nl i ne ] A va i l a bl e :   ht t ps : / / opt i m i z a t i on.c be .c or ne l l .e du/ i nde x.php? t i t l e =R M S P r op   [ 36]   J D uc hi E H a z a n,  a nd  Y S i nge r A da pt i ve   s ubgr a di e nt   m e t hods   f or   onl i ne   l e a r ni ng  a nd  s t oc ha s t i c   opt i m i z a t i on,”   J our nal   of   M ac hi ne  L e ar ni ng R e s e ar c h , vol . 12, no. 61, pp. 2121 2159, 2011.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol 14 , N o.  2 A pr il   20 25 1 067 - 1 076   1076   [ 37]   D . P . K i ngm a  a nd J . B a , “ A da m :  a  m e t hod f or  s t oc ha s t i c  opt i m i z a t i on,”   a r X i v - C om put e r  Sc i e n c e pp. 1 - 15,  2014.   [ 38]   N . X i a o, X . H u, X . L i u,  a nd K . - C . T oh, “ A da m - f a m i l y m e t hods  f or  nons m oot h opt i m i z a t i on w i t h c onve r ge nc e  gua r a nt e e s ,”   ar X i v - M at he m at i c s pp. 1 - 53,  2023.   [ 39]   A D e f a z i o,  X .   A Y a ng,   H . M e ht a K .   M i s hc he nko,  A .   K ha l e d,   a nd  A .   C ut kos k y,  T he   r oa l e s s  s c he dul e d,”   i 38t h C onf e r e n c e   o n   N e ur al  I nf or m at i on P r oc e s s i ng Sy s t e m s  ( N e ur I P S 2024) , 2024.    [ 40]   P yT or c h,  A da m W :   i m pl e m e nt s   a da m w   a l gor i t hm ,”   P y T or c C ont r i but or s A c c e s s e d:   J ul 13,  2024.  [ O nl i ne ] A va i l a bl e :   ht t ps : / / pyt or c h.or g/ doc s / s t a bl e / ge ne r a t e d/ t or c h.opt i m .A da m W .ht m l   [ 41]   A H   S pa r ks M P a dgha m H .   P a r s ona ge a nd  K P e m bl e t on,   B om r a ng:   f e t c A us t r a l i a gove r nm e nt   bur e a of   m e t e or ol ogy   da t a   i n r ,”   T he  J our nal  of  O pe n Sour c e  Sof t w a r e , vol . 2, no. 17, S e p. 2017, doi :  10.2 1105/ j os s .00411.   [ 42]   I I z oni n,  R M uz yka R T ka c he nko,  I D r onyuk,  K Y e m e t s a nd  S . - A M i t oul i s A   m e t hod  f or   r e duc i ng  t r a i ni ng   t i m e   of   ML - ba s e d   c a s c a de   s c he m e  f or  l a r ge - vol um e  da t a  a na l ys i s ,”   Se n s or s , vol . 24, no. 15, J ul . 2 024, doi :  10.3390/ s 24154762.       B I O G R A P H I E S  O F  A U T H O R S       Kyrylo  Yemets           is  Ph .D.   student  at  the  Department   of  Artificial  Intelligence  of   Lviv  Polytechnic  National  University,   Ukraine,  and   machine  learnin engineer.  He  receive d   an  M . Sc .   degree  in  computer  science   from  the  National  Te chnic al  University  " Kharkiv  Polytec hnic  Institute " Ukrai ne  in  2021.   His  resea rch  intere sts   incl ude  time  serie s,  natura l   language  processing transforme rs,  and  ensemble   methods  where  he   is   the  author/co - author  of   over 10 researc h public ations.  He can be co ntacted at  email:  kyrylo .v.yemet s@ lpnu.ua .         Prof.  Michal  Greguš           is  Professor  of  the  Faculty  of  Management,  Comenius   University  Bratislava,  Bratislava,  Slovak  Republic.  He  finished  his   university  studies  with  summa  cumlaude  and  obtained  his  Ph . D .   degree  in  the  fi eld  of  math ematical  analysis  at  the  Faculty   of  Mathem atics  and   Physics  at   Comenius   Univer sity  in   Bratisla va.   He  has  been   working   previously  in  the  field  of  functional  analysis  and  its   applications.  At  present,  his  research  interests  are  in  manageme nt  information   systems,  in   modelling  of  ec onomic  processe and  i n   business analytics. He can be conta cted at email:  michal.gre gus @ fm.uniba.sk .     Evaluation Warning : The document was created with Spire.PDF for Python.