I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   3 ,   J u n 2 0 2 6 ,   p p .   2761 ~ 2 7 7 3   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 3 . p p 2 7 6 1 - 2 7 7 3           2761     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Effec ts of spa rse  da tas ets on time  i nterva l - a wa re sel f - a tt e ntion  sequentia l r ecom menda tion mo del s       Weish a n O o i,  L ee   Yeng   O ng ,   M eng - Chew  L eo w   F a c u l t y   o f   I n f o r ma t i o n   S c i e n c e   a n d   T e c h n o l o g y ,   M u l t i me d i a   U n i v e r s i t y ,   M e l a k a ,   M a l a y si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   3 0 ,   2 0 2 4   R ev is ed   Ma r   1 9 ,   2 0 2 6   Acc ep ted   Ap r   2 2 ,   2 0 2 6       Re c o m m e n d a ti o n   m o d e ls  se r v e   a c ru c ial  fil ters   in   m a n a g in g   in fo rm a ti o n ,   y e th e y   fa c e   a   fe c ru c ial  c h a ll e n g e s ,   su c h   a c a p tu rin g   u se r - it e m   in tera c ti o n   b e h a v io rs   in   s p a rse   d a tas e ts.  Da ta  sp a rsity   re fe rs  to   a n   issu e   wh e re   th e re   is  a   lac k   o i n tera c ti o n o m issin g   v a lu e s   in   t h e   re c o m m e n d a ti o n   d a tas e t.   sp a rse   d a tas e with   a   m a ss iv e   n u m b e o m issin g   v a lu e a n d   in tera c ti o n lea d to   m o re   d y n a m ic   u se b e h a v i o rs ,   w h ich   su ffe rs   a   p o o re c o m m e n d a ti o n   q u a li t y .   Th e   se lf - a tt e n ti o n   m e c h a n i sm   fro m   Tran sfo rm e c a n   a ll e v iate   t h e   e ffe c ts  o d a ta  s p a rsity   i n   d a tas e ts  b y   a ss ig n in g   we ig h ts  t o   i tem o i n tera c ti o n   b e h a v io rs .   Th is   a ll o ws   th e   m o d e to   c a p t u re   th e   u se d e p e n d e n c ies   in   c o m p l e x   u se b e h a v i o r ,   w h ich   is  b e n e ficia fo r   sp a rse   d a tas e ts  with   p a tt e r n t h a a re   n o t   imm e d iate ly   a p p a r e n t.   T h i s   a p p ro a c h   h a s h o w n   i ts  c a p a b i li ty   t o   h a n d le  larg e   a n d   sp a rse   d a tas e ts,  a se e n   in   ti m e   in terv a l - a wa re   se lf - a tt e n ti o n   se q u e n ti a re c o m m e n d a ti o n   m o d e l   (Ti S ASRec ).   It   u ti li z e d   th e   s e lf - a tt e n ti o n   m e c h a n ism ,   c o n si d e rin g   t h e   ti m e sta m p   a n d   a b s o lu te  p o siti o n o i tem to   e stim a te  t h e   h ig h e a tt e n ti o n   we ig h ts  to   sh o th e   imp o rtan c e   o re c e n it e m s.  Th u s,  t h is  stu d y   a ims   to   in v e stig a te   th e   e ffe c ts  o f   sp a rse   d a tas e ts  b y   c o m p a ri n g   t h e   p e rf o r m a n c e   o f   Ti S ASRec   m o d e wit h   se lf - a tt e n ti o n   b a se d   se q u e n ti a re c o m m e n d a ti o n   m o d e (S ASRec ) ,   wh ich   e x c l u d e s   ti m e   in terv a l - a wa re n e ss .   K ey w o r d s :   SASR ec   Seq u en tial r ec o m m e n d atio n   Sp ar s d ataset   T ao b ao   T iSAS R ec   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   L ee   Yen g   On g   Facu lty   o f   I n f o r m atio n   Scien c an d   T ec h n o lo g y ,   M u ltime d ia  Un iv er s ity   Ay er   Ker o h   L am R o ad ,   7 5 4 5 0   Me lak a,   Ma lay s ia   E m ail: ly o n g @ m m u . e d u . m y       1.   I NT RO D UCT I O N   T h p r o d u ct  r ec o m m en d atio n   is   co n s id er ed   well - k n o wn   tech n iq u f o r   b o n d in g   cu s to m er s   an d   p r o d u cts  b y   d eliv er in g   in s ig h t f u s u g g esti o n s   [ 1 ] .   Mo d er n   r ec o m m en d atio n   m o d els  s tan d   as  o n o f   th m o s o r d in ar y   ap p licatio n s   in   th b ig   d ata  d o m ain   [ 2 ]   as  it  c o u ld   p e r f o r m   p r e d ictio n s   o n   u s er s   p r ef er e n ce s     b y   r etr ie v in g   v ar io u s   v o l u m e s   o f   d ata   f o r   p u r ch ase  h is to r y ,   click   t h r o u g h   r ate  ( C T R ) ,   r atin g s ,   o r   o n lin e   r ev iews  [ 3 ] .   Dee p   lea r n in g   h as  b ee n   co n tr ib u tin g   to   r ec o m m en d atio n   m o d els  as  it  h a s   th ca p ab ilit y   of   h an d lin g   s eq u en tial  d ata  s u c h   as  u s er s   b r o wsi n g   o r   p u r ch ase  h is to r y ,   w h ich   ca n   ca p tu r th e   tem p o r al   d y n am ics an d   ev o lu tio n   o f   u s e r s   p r ef er e n ce s   an d   in te r ests   [ 4 ]   Alth o u g h   r ec en r ec o m m en d atio n   m o d els  ar a b le  to   r et u r n   r e m ar k ab le  r ec o m m e n d at io n s ,   th er ex is ts   cr u cial  ch allen g in   ca p tu r in g   u s er - item   in ter ac t io n   b e h av io r s   i n   s p ar s d atasets .   Data   s p ar s ity   co m m o n l y   h a p p en s   in   lar g e - s ca le  d ata,   wh er m an y   ex p e cted   v alu es,  s u ch   as  r atin g s   o r   in ter ac tio n s ,   ar e   m is s in g   o r   u n av ailab le  in   th d ataset.   T h is   is   p ar ticu lar ly   p r o b lem atic  f o r   co llab o r ativ f il ter in g   alg o r ith m s ,   wh ich   r ely   o n   t h ese  r atin g s   to   u n co v e r   b en ef icial  r elatio n s h ip s   am o n g   u s er s   an d   item s   [ 5 ]   a n d   th is   is   also   f u r th er   m en tio n ed   in   th r e ce n s tu d ies  [ 6 ]   wh er c o llab o r ativ f ilter in g   alg o r ith m s   ass u m all  p ast  in ter ac tio n s   ar eq u ally   im p o r tan an d   th is   ass u m p tio n   o f ten   f ails   in   r ea l - wo r ld   s ce n ar io s ,   as  th u s er   in ten t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   3 ,   J u n 2 0 2 6 :   2 7 6 1 - 2 7 7 3   2762   ca n   s h if a n d   s h o r t - ter m   b eh a v io r s   m atter   m o r e   th an   s tatic  lo n g - ter m   r atin g s .   Fu r th er m o r e,   s p ar s d ataset   with   m ass iv n u m b e r   o f   m i s s in g   v alu es  an d   in te r ac tio n s   l ea d s   to   m o r e   d y n am ic   u s er   b e h av io r .   Hen ce ,   th r ec o m m en d atio n   m o d els  ca n n o id e n tify   t h ese  r elatio n s h i p s   wh en   d atasets   ar s p ar s e,   r esu ltin g   i n   lo wer   ac cu r ac y   an d   s u b o p tim al  r ec o m m en d atio n   lis ts   [ 7 ] .   Nex t,  th co llab o r ativ r ec o m m en d atio n   m o d el  o u g h to   ca p tu r th u s er   b eh a v io r s   f r o m   th e     u s er - item   in ter ac tio n s   to   p er f o r m   r ec o m m e n d atio n s .   I n   u s er   b eh a v io r ,   it  ca n   b e   id en tifie d   as  lo n g - ter m   an d   s h o r t - ter m   u s er   b e h av io r   [ 8 ] .   I n   lo n g - ter m   u s er   b eh av i o r ,   it  r ef er s   to   a   u s er s   co n s is ten in ter est  o v er   an   ex ten d ed   p er i o d   a n d   r ef lects   as  th e   g en er al   p r e f er en ce s .   Fo r   s h o r t - ter m   b e h av io r ,   it   r ef lects  th e   u s er s   im m ed iate  o r   r ec en i n ter ests ,   wh ich   wer e   in f lu en ce d   b y   te m p o r al  n ee d s   o r   s p ec if ic  cir c u m s tan ce s   at  g iv en   tim e.   Ho wev er ,   th u s er   b e h a v io r s   ar d y n a m ic ,   an d   it  te n d   to   ch a n g e   o v er   tim [ 9 ] .   T h is   ev en tu ally   r ed u ce s   th ca p ab ilit y   o f   co llab o r ativ r ec o m m en d atio n   m o d els  to   ca p tu r th e   lo n g - ter m   d ep en d en c ies  f r o m   u s er - ite m   in ter ac tio n s   f o r   m o d ellin g   o u th u s er   b eh a v io r s   T h er ef o r e,   th e   s eq u en tial  r ec o m m en d atio n   ( SR )   m o d el  is   em p lo y e d   f o r   ca p tu r in g   th e   lo n g - te r m   d ep en d e n cies  to   p r o v i d in s i g h ts   f o r   th u s er   b e h av io r s   in   u s er - item   i n ter ac tio n s .   T h is   o f ten   o cc u r s   in     e - co m m er ce   c o n tex wh er t h u s er   b eh av i o r   in   u s er - ite m   in ter ac tio n s   u s u ally   h ap p e n s   s u cc ess iv ely   in   a   s eq u en ce ,   r at h er   t h an   in   an   is o lated   m an n e r   [ 1 0 ] .   SR   is   co m m o n ly   r ef er r e d   to   s eq u en ce - a war co m m e n d atio n   wh er it  r ec eiv es  s eq u en tially   o r d er e d   u s er   in ter ac ti o n s   as  in p u co m p ar ed   t o   tr ad itio n al  u s er - item   r atin g   m atr ix .   I also   ca p tu r es  c o m p lex   u s er   p r ef er en ce s   f r o m   u s e r s   ch r o n o lo g ical  b eh av io r   a n d   p r ed icts   th e   n ex t   m o s lik ely   item   f o r   r ec o m m en d atio n   [ 1 1 ] .   I n   SR ,   th ite m s   in   th u s er - item   in ter ac ti o n s   ar co n s id er e d   co r r elate d   to   ea c h   o th e r .   T h is   i s   b ec au s th ch o ice  o f   th n e x t item   d ep en d s   o n   th p r ev i o u s   item s ,   as it in f er s   th u s er s   s elec tio n   b ased   o n   th eir   p r io r   s elec tio n s .   T h f o ll o win g   item   o f   s eq u en ce   is   p r ed icted   b ased   o n   th h is to r ical  elem en ts   f r o m   th u s er - item   in ter ac tio n   s eq u en ce   [ 1 2 ] .   I n   o r d er   to   ca p tu r e   th u s er   b eh av io r   f r o m   u s er - item   in ter ac tio n   s e q u en ce s ,   v a r io u s   SR   ap p r o ac h es  in clu d r ec u r r e n n e u r al   n etwo r k s   ( R NN) ,   co n v o l u tio n al  n eu r al  n etwo r k s   ( C NN) ,   s elf - atten tio n m eta  tr an s itio n al  lear n in g   ( Me taT L ) tem p o r al  g r ap h   tr an s f o r m er   ( T GT ) ,   a n d   g r ap h   n eu r al  n etwo r k s   m o d els   ha v b ee n   in tr o d u ce d   [ 1 2 ] [ 1 8 ]   I n   SR ,   tr ad itio n al  m o d els  lik R NN s   h av an   is s u o f   v a n is h in g   g r ad ien wh ich   lead s   to   lo wer   p er f o r m an ce   an d   r elativ ely   lo n g e r   tr ai n in g   tim b ec a u s o f   its   n atu r e   wh ile  c ap tu r in g   lo n g - ter m   d ep en d e n cies.  T h em p lo y m e n o f   s elf - atten tio n   m ec h an is m   h elp s   in   m o d elin g   lo n g - ter m   d ep en d en cies  b y   ca p tu r in g   co n n ec tio n s   b etwe e n   an y   p air s   o f   item s   r e g ar d les s   o f   th eir   d is tan ce   in   t h u s er - item   s eq u en ce .   I n   ad d itio n ,   it  also   ass ig n s   atten tio n   weig h ts   to   m ea s u r e   th im p o r tan ce   o f   d if f er en t   item s   to   h ig h lig h th eir   r elev an cy   an d   ca r r y   o u t   r ec o m m en d atio n s .   Fro m   th e   p r e v io u s   wo r k s   [ 1 2 ] [ 1 8 ] ,   r ec o m m en d atio n s   ar m o s tly   ca r r ied   o u b y   en co d in g   u s er s   p ast  item   in ter ac tio n s   in to   a   v ec to r   with   lef t - to - r ig h s eq u en tial  m o d el  b ased   o n   th is   h id d en   r e p r esen tatio n .   I n   s o m wo r k s ,   it  em p lo y s   an   atten tio n   m ec h an is m   to   p r io r itize  in f lu en tial   u s er - item   in ter ac tio n s   b y   wei g h in g   d if f e r en item s .   B y   r ef e r r in g   to   ea ch   u s er - item   in ter a ctio n   s eq u en ce ,   th e   atten tio n   m ec h a n is m   is   ab le  to   ca p tu r e   th u s er   b eh av i o r   f o r   th tr ain in g   m o d el.   Alth o u g h   s o m ap p r o ac h es  in clu d an   atten tio n   m ec h an is m ,   th ey   ar n o tim e - in ter v al  a war e.   I n   SR ,   as  th in ter ac ted   item s   ar ar r an g ed   in   s eq u en ce ,   th tim in ter v als  b etwe en   in ter ac tio n s   ar ig n o r ed ,   wh ic h   is   cr u cial  f o r   ca p tu r in g   th u s er   p r ef er en ce s .   SR   m o d els  th at   lack   c o n s id er atio n   o f   tim e   in ter v als   h av e   less   in s ig h a b o u u s er   b eh av io r lead in g   to   lo wer   p er f o r m a n ce   o f   r ec o m m en d atio n s ,   p ar ticu la r ly   in   s p ar s d ataset.   I n   th is   s tu d y ,   th im p lem en ta tio n   o f   tim e   in ter v al - awa r e   s e lf - atten tio n   s eq u en tial  r ec o m m en d atio n   m o d el  ( T iSAS R ec )   aim s   to   c ap tu r th e   tem p o r al  d e p en d e n cies  in   u s er - item   i n ter ac tio n s   f o r   d atasets   with   d if f er en t le v els o f   s p ar s ity .   T iSAS R ec   em p lo y s   tim in ter v al - awa r b y   co n s id er in g   th tim in ter v als b etwe en   ea ch   item   t h at  ar e   n o eq u ally   s p ac ed   in   tim e.   T h is   in d ica tes  th at  th r ec o m m e n d atio n   p er f o r m an ce   v ar ies   b ased   o n   th e   v alu es  o f   tim g ap s .   T h is   d if f er s   f r o m   o th e r   s elf - atten tio n - b ased   SR   m o d els ,   s u ch   as  SASR ec ,   wh ich   ex clu d es  tim in ter v al - awa r en ess .   B y   u tili zin g   th ti m in ter v als  b etwe en   ea ch   ite m ,   th s elf - atten tio n   m ec h an is m   in   T iSAS R ec   in co r p o r ates  th e   ab s o lu te   item   p o s itio n s .   T h is   allo ws  T iSAS R ec   to   ass ig n   d if f e r en t   atten tio n   weig h ts   b ased   o n   ite m s   ab s o lu te  p o s itio n   an d   r el ativ tim in ter v als,  ef f ec tiv el y   m ap p in g   o u th e   im p o r tan ce   o f   d if f er e n item s   in   v ar y i n g   tim estam p s   an d   ca p tu r in g   th tem p o r al  u s er   p r ef er en ce s   in   d atasets .   I n   th is   wo r k ,   t h p er f o r m a n ce   co m p ar is o n   o f   T iSAS R ec   an d   SASR ec   is   in v esti g ated   to   s h o wca s th ef f ec ts   o f   d i f f er en t   p ar a m eter   v alu es  o f   r ec o m m en d atio n   m o d els  o n   d atasets   with   v ar y in g   lev els  o f   s p ar s ity ,   wh ic h   is   n o ex p licitly   d is cu s s ed   in   th ex is tin g   wo r k s .   T h er a r two   m ain   co n tr ib u tio n s   in   th is   s tu d y .   Firstl y ,   th ap p licatio n   o f   T iSAS R ec   an d   SAS R ec   m o d els   ac r o s s   d atasets   w ith   d if f er en lev els   o f   s p ar s ity ,   wh ich   ar Mo v ieL en s - 1 a n d   T a o b ao   d atasets .   Seco n d ly ,   a   co m p a r ativ an aly s is   o f   th p er f o r m an ce   o f   d if f er en t   p ar am eter   v al u es in   b o th   T iSAS R ec   an d   SASR ec   m o d els ac r o s s   two   d atasets .     T h s tr u ctu r e   o f   th is   p ap er   i s   as  f o llo ws Sectio n   2   d is cu s s es  th d ev elo p m en o f   SR   an d   th e   ap p licatio n s   o f   co n tr asti v lear n in g ,   wh ile  s ec t io n   3   ex p lain s   th m eth o d o lo g y   u s ed   in   th is   s tu d y .   I n   s ec tio n   4 ,   th ex p er im en tal  r esu lts   f r o m   b o th   m o d els  a r c o m p ar e d   ac r o s s   two   d atasets   with   d if f er en lev els  o f   s p ar s ity .   L astl y ,   th ef f ec t o f   s p ar s d at asets   o n   tim in ter v al - awa r s elf - atten tio n   SR   m o d els  is   co n clu d ed   in   s ec tio n   5 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E ffects o f sp a r s d a ta s ets o n   time  in terva l - a w a r s elf - a tten ti o n   s eq u en tia l   …  ( Weis h a n   Oo i )   2763   2.   L I T E R AT U RE   R E VI E W   T h is s u o f   d ata  s p a r s ity   in   r ec o m m en d atio n   s y s tem s   o cc u r s   wh en   th e r is   in s u f f icien i n ter ac tio n   d ata  av ailab le  to   ac cu r ately   d e ter m in u s er   s im ilar ities   an d   p r ef er en ce s .   Hig h   s p ar s ity   o f   th d ataset  m ak es  it   d if f icu lt  to   p r ed ict  u s er   p r ef er en ce s   d u e   to   th e   lack   o f   r eliab le  p atter n s   f r o m   d y n a m ic  u s er   b eh av i o r C o n s eq u en tly ,   th is   r esu lts   in   p o o r   p er f o r m an ce   o f   r ec o m m en d atio n   ac cu r ac y   an d   ef f icie n cy .   Fo r   in s tan ce ,   Mo v ieL en s - 1 an d   Netf lix   h av s p ar s ity   r ates  o f   9 5 . 1 6 an d   9 8 . 8 2 % ,   r esp ec tiv ely   [ 1 9 ] ,   wh ile  th e     e - co m m er ce   d ataset  n am ely   T ao b ao   h as  s p ar s ity   r ate  o f   9 9 . 8 5 %,  m ak in g   it  ch al len g in g   to   r etr iev e   s eq u en tial  p atter n s   lik lo n g - ter m   d ep en d en cies  f r o m   th d ataset  [ 2 0 ] .   Alth o u g h   in cr e asin g   th s ca le  o f   d atasets   an d   th eir   s p ar s ity   lev el  en h an ce s   d ata  av ailab ilit y   an d   p r o v id es  m o r d ata  p o in ts   f o r   id en tify i n g   u s er   p r ef er en ce s ,   s p a r s d atasets   al s o   r eq u ir e   m o r c o m p u tatio n al  r eso u r ce s   to   p e r f o r m   r ec o m m en d atio n s .   SR   p er f o r m s   r ec o m m en d atio n s   b ased   o n   s eq u en tial  o r d e r   o f   u s er   in ter ac tio n s ,   h av e   em p lo y ed   v ar io u s   ap p r o ac h es,  in clu d in g   R NN,   C NN,   Me taT L ,   T G T ,   an d   g r ap h   n eu r al  n etwo r k s .   T h GR U4 R ec +   m o d el  ap p lied   with   R NN  [ 1 4 ]   an d   th C aser   m o d el  u s ed   C NN  [ 1 5 ]   ac h iev ed   th NDCG @ 1 0   v alu es  o f   0 . 5 5 1 3   an d   0 . 5 5 3 8 ,   r esp ec ti v ely ,   o n   Mo v ieL en s - 1 d a taset,  in d icatin g   th eir   ca p ab ilit ies  in   r an k in g   r ec o m m en d atio n   item s .   B o th   o f   th em   r ef er r e d   to   a n   ea r ly   at tem p in   SR   s tu d ies  an d   u s ed   i f o r   co m p ar is o n   i n   th f u r th er   s tu d y   [ 2 1 ] .   Ho we v er ,   b o th   m o d els  s tr u g g le   to   ca p tu r e   t h c o r u s er   p r ef er e n ce s   f r o m   lo n g - ter m   d ep en d e n cies  in   s p ar s d atas et,   wh ich   p r o v e n   th at  d ata  s p ar s ity   ca n   af f ec r ec o m m en d atio n   q u ality .   T h e   ch allen g es  o f   co ld - s tar u s er s   with   m in im al  in ter ac tio n s   in   SR   [ 1 8 ]   is   ex p er im en ted   o n   th r ee   d atasets   f r o m   Am az o n   E lectr o n ics,  Mo v ie,   an d   B o o k .   T h r esu lts   s h o th HR @ 1   v alu es  o f   0 . 2 2 4 ,   0 . 2 5 8 ,   a n d   0 . 4 2 0   f o r   ea ch   d ataset,   r esp ec tiv el y .   T o   im p r o v e   o v e r co m e   th is   ch alle n g e,   SR   m o d el  m a y   u tili ze   a d d itio n al  u s er   o r   item   in f o r m atio n   f o r   c o ld - s tar u s er s .   An o th er   m o d el  n am ed   s eq u en tial  r ec o m m en d atio n   with   g r ap h   n e u r al   n etwo r k s   ( SUR GE )   [ 2 2 ]   in te g r ates  d if f er en t y p es  o f   u s er   p r ef er e n ce s   in to   clu s ter s ,   f o r m in g   d en s in ter es t   g r ap h s .   T h is   h elp s   d is tin g u is h   co r in ter ests   f r o m   n o is y   b e h av io r s .   I ac h iev e d   NDCG@ 2   v alu es  o f   0 . 3 6 2 5   an d   0 . 9 4 9 5   f o r   th T a o b ao   an d   Ku aish o u   d atasets ,   r esp ec tiv ely .   Ho wev er ,   its   n ar r o f o c u s   o n   NDCG @ 2   to   s h o th to p   two   r ec o m m en d atio n s   m ay   n o t   f u lly   r ef lect  its   p er f o r m an ce   in   r an k in g   b r o ad er   s et  o f   r ele v an t   item s ,   wh er ea s   NDCG @ 1 0   wo u ld   p r o v id e   m o r co m p r eh e n s iv ev alu atio n   o f   th r ec o m m en d atio n   q u ality .     On   th o th er   h an d ,   th s elf - at ten tio n   m ec h a n is m   in   s elf - atten tio n   b ased   s eq u e n tial  r ec o m m en d atio n   m o d el   ( SASR ec )   ca n   ca p tu r e   th e n tire   u s er   s eq u e n ce   wi th o u r ec u r r e n o r   c o n v o lu tio n al  o p e r atio n s   a n d   ad ap tiv ely   ass ig n   weig h ts   to   p r ev io u s   item s   f o r   p r ed ictio n s .   T h s elf - atten tio n   c o m p o n en tak es  u s er - item   in ter ac tio n   s eq u en ce s   as  in p u t ,   with   ea ch   item   r ep r esen ted   b y   an   em b ed d in g .   Po s itio n al  en co d in g   is   ad d ed   to   ca p tu r t h o r d er   o f   in ter ac tio n s .   T h e   s elf - atten tio n   co m p o n en co m p u tes  th e   r elatio n s h ip   b etwe en   all  p air s   o f   item s   in   th s eq u en ce s   with   t h q u e r y   ( Q) ,   k e y   ( K) ,   an d   v alu ( V)   v ec t o r s   f o r   ea ch   ite m .   T h ese  v ec to r s   ar e   th en   u s ed   to   ca lcu late  th atte n tio n   s co r es,  wh ich   ar ass ig n ed   to   ea ch   item   to   weig h   its   co n tr ib u tio n   in   th e   s eq u en ce s   f o r   n ex item   p r ed i ctio n .   T h SASR ec   h as  s h o w n   its   ca p a b ilit y   to   ca p tu r lo n g - ter m   d ep e n d en cies  with   h ig h   ef f icie n cy   a n d   s ca lab ilit y   o n   s p ar s d atasets ,   ac h iev in g   an   NDCG@ 1 0   v alu e   o f   0 . 5 9 0 5   o n   th e   Mo v ieL en s - 1 d ataset  [ 1 6 ] .   T h SASR ec   m o d el  is   o f ten   r ef er r ed   as  th b aselin m o d el  in   atten tio n - b ased   SR   r esear ch .   T h is   is   b ec a u s i was  o n o f   th p io n ee r   s elf - atten tio n   ar c h itectu r es  f o r   SR   an d   it  is   also   u s ed   f o r   co m p ar is o n   i n   r ec en t stu d i es a s   well  [ 2 3 ] .   T h T GT   f r am ewo r k   [ 1 7 ]   wh i ch   aim s   to   a d d r ess   th ch allen g o f   m o d ellin g   th e   tim e - ev o lv in g   u s er   p r ef er en ce s ,   p ar ticu lar ly   o n   m u lti - b eh av io r   in ter ac tio n s   in   S R   s y s tem s .   T h T GT   m o d el  ac h iev ed   NDCG@ 1 0   v alu es  o f   0 . 2 6 3   an d   0 . 3 3 0   o n   T ao b ao - d ata  an d   t h I J C AI   C o n test   d ataset,   r esp ec tiv ely ,   an d   HR @ 1 0   v alu es  o f   0 . 4 5 2   an d   0 . 5 1 9   o n   th e   s am d atasets .   T h T GT   m o d el  h as  d em o n s tr ated   its   ab ilit y   to   d y n am ically   f u s an d   ex tr ac u s er s   ac tiv ated   c o r in ter ests   f r o m   n o is y   u s er   b e h av io r   s eq u en ce s   b y   ap p ly in g   th s elf - atten tio n   m ec h an is m .   Ho wev er ,   m o s o f   th SR   m o d els  o n ly   r etr ie v th o r d er s   o f   u s er - item   in ter ac tio n s ,   wh ich   is   in s u f f icien f o r   ca p tu r i n g   f u lly   d y n a m ic  u s er   b e h av io r .   T h is   in co m p lete  u n d er s tan d in g   o f   th c o r u s er   p r ef er en ce s   lead s   to   p o o r   r ec o m m en d atio n   q u ality .     C o m p ar ed   to   SASR ec ,   T iSAS R ec   [ 2 3 ]   i n tr o d u ce s   tim in ter v al  em b ed d in g s   to   ca p tu r th e   tem p o r al   g ap s   b etwe en   ea c h   u s er - item   in ter ac tio n   in   th s eq u e n ce s ,   wh ich   ar e   th en   u s ed   in   t h co m p u tatio n s   o f   atten tio n   s co r es,  p r o v i d in g   m o r n u an ce d   u n d er s tan d i n g   o f   u s er   b eh a v io r .   T h is   en h an c es  th d is tr ib u tio n   o f   atten tio n   s co r es  f r o m   th q u e r y ,   k ey ,   an d   v alu ( QKV )   co m p o n e n ts   in   th s elf - atten tio n   m ec h an is m s .   T h co m p ar ativ e   s tu d ies  b etwe en   SASR ec   an d   T iSAS R ec   o n   m u ltip le  h ig h l y   s p ar s d atasets   [ 2 1 ] ,   [ 2 4 ] .   T h ey   ar e   m ain ly   f o cu s ed   o n   NDCG@ 1 0   a n d   HR @ 1 0   v alu es  with o u f u r th er   ex p lo r in g   th e   ef f ec ts   o f   o th er   m o d el  p ar am eter s .   Hen ce ,   f u r th e r   in v esti g atio n s   ar n ee d ed   to   f in d   o u th ef f ec ts   o f   m o d el  p ar am eter s ,   s u ch   as  atten tio n   b lo ck ,   d r o p o u t r ates ,   a n d   t i m e   i n t e r v a l   a c r o s s   d i f f e r en t   s p a r s e   d at a s e ts .   S e v e r a l   p r i o r   s t u d ie s   r e p o r t e d   e x p e r i m e n t a c o n f i g u r a t i o n s   a n d   t r a i n i n g   e f f i ci e n c y   u n d e r   d i f f e r e n c o m p u t a t i o n a l   s e tt i n g s ,   a l t h o u g h   t r a i n i n g   ti m e   w as   n o c o n s is t e n tl y   d o c u m e n t e d   a c r o s s   a l w o r k s .   S p ec i f i c al l y ,   t h e   r e s ea r c h   i n   [ 1 4 ] [ 1 8 ]   d i d   n o t   e x p l i ci t l y   r e p o r t r a i n i n g   t i m e ,   d es p i te   t h e   s t u d ie s   f r o m   [ 1 8 ]   i n c l u d e d   t h e x p e r i m e n t a l   e v al u a t i o n s   i n v o l v i n g   t h e   S ASR e c   m o d e l .   I n   c o n t r a s t ,   i n   t h e   s t u d i es   f r o m   [ 1 5 ]   d i d   p r o v i d e d   d e t a i l e d   t r a i n i n g   d u r a t i o n   u s i n g   a   4 - c o r e   I n t e l   i 7   C P U   w i t h   3 2   G B   R AM ,   r e p o r t i n g   a p p r o x im a t e l y   o n e   h o u r   f o r   t h e   M o v i e L e n s   d a t as e t ,   t w o   h o u r s   f o r   t h e   G o w al l a   a n d   F o u r s q u a r e   d a t a s et s   a n d   o n e   h o u r   f o r   t h e   T m a l l   d at as e t .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   3 ,   J u n 2 0 2 6 :   2 7 6 1 - 2 7 7 3   2764   N e x t ,   s t u d y   f r o m   [ 1 6 ]   h a s   c o n d u c t e d   e x p e r i m e n t s   c o m p a r i n g   SR   m o d el s   a n d   r e p o r t e d   p e r - ep o c h   t r a i n i n g   t i m es ,   w h e r e   SA SR e c   r e q u i r e d   o n l y   1 . 7   s e c o n d s   p e r   e p o c h ,   c o m p a r e d   t o   1 9 . 1   s e c o n d s   f o r   C as e r   an d   3 0 . 7   s e c o n d s   f o r   G R U 4 R e c+ .   F u r t h e r m o r e ,   S AS R ec   c o n v e r g e d   t o   o p t i m a l   p e r f o r m a n c e   w i t h i n   a p p r o x i m a t e ly   3 5 0   s e c o n d s   o n   t h e   M o v i e L e n s - 1 M   d a t as e t .   X i a   et   a l .   [ 1 7 ]   c o n d u c t e d   e x p e r i m e n t s   u s i n g   a n   N V I D I A   T I T A R T X   GP U   a n d   an   X e o n   W - 2 1 3 3   C P U ;   w h i l e   S AS R ec   w as   e v a l u at e d   o n   t h e   T ao b a o   d a t a s e t   b u t   T i SA SR e c   w as   n o t   t es t e d ,   a n d   t h p r o p o s e d   m o d e l   r e q u i r e d   a p p r o x i m a t e l y   3 2 . 0   s ec o n d s   p e r   e p o c h .   C h a n g   e t   a l .   [ 22 ]   h a s   r e p o r te d   t h a t   t h e   S UR G E   m o d e l   c o n v e r g e d   o n   t h e   T a o b a o   d a t a s et   i n   1 8 . 7 4   m i n u t e s   wh e n   t r a i n e d   o n   a n   N V I D I A   T es l a   V 1 0 0   GP U   w i t h     3 2   G B   m e m o r y .   S i m i l a r l y ,   L i   et   a l .   [ 2 5 ]   w as   t r a i n e d   a n d   e v al u a t e d   u s i n g   a   s i n g l e   T e s la   V 1 0 0   G P U ,   a l t h o u g h   t h t o t a l   t r a i n i n g   t i m w as   n o e x p l i c i tl y   s t a te d .   Ul t i m at e l y ,   m o s o f   s t u d i e s   a r e   t es t e d   w i t h   t h e   M o v i e L e n s   d a t as et  a l o n g   w i t h   t h SA SR e c   m o d e i n   t h e   s t u d i es   o f   SR ,   y et   t h e r e   h a s   n o t   b e e n   a   s t u d y   f o r   t h e   t r a i n i n g   ti m e   t a k en   a c r o s s   d i f f e r e n t   p a r a m e t e r s   o f   S A SR e c   a n d   T i SA SR e c   u n d e r   a n   e x t r e m e l y   s p a r s e   d a t as e t   o f   th e   T a o b a o   d a t a s e t .       3.   M E T H O D   T h is   s tu d y   im p lem e n ted   t h co m p ar is o n   b etwe en   S ASR ec   an d   T iSAS R ec   m o d els  with     Mo v ieL en s - 1 d ataset  an d   T ao b ao   u s er - b e h av io r   d ataset s .   C o m p ar ed   to   SASR ec   m o d el,   th e   T iSAS R e c   m o d el  m a p s   o u t   th e   ab s o lu te   p o s itio n s   an d   r elativ tim i n ter v als  o f   ea ch   item   in d ex   f r o m   th e   u s er - item   in ter ac tio n s   to   em p h asize  th e   im p o r tan ce   an d   c o r r elatio n s   b etwe en   item s .   T h is   h elp s   t h atten tio n   b lo ck s   ca lcu late  atten tio n   weig h ts   b ased   o n   th ese  em b ed d in g s   an d   co m p u te  th u s er s   p r ef e r en ce   s co r es  f o r   ea ch   item .   T h u s ,   th T iSAS R ec   m o d el  d is ce r n s   th v ar y in g   im p ac ( n o is es)  o f   p ast  in te r ac tio n s   o n   f u t u r e   in ter ac tio n s ,   r eg ar d less   o f   th s p ar s ity   o f   th u s er - item   i n ter a ctio n   s eq u en ce s .     T h f ir s e x p er im e n is   ca r r ied   o u b y   ap p ly i n g   b o th   SASR ec   an d   T iSAS R ec   m o d els   in     Mo v ieL en s - 1 d ataset  an d   T ao b ao   u s er - b eh a v io r   d ataset ,   r esp ec tiv ely   with   d ef a u lt  m o d el  p ar am eter s   to   co m p ar th eir   p er f o r m an ce s   in   s p ar s d atasets .   T h en ,   f u r th er   ex p er im e n ts   ar ca r r ied   o u to   p er f o r m   co m p ar ativ an aly s is   o n   th p er f o r m an ce   o f   b o th   m o d els  with   d if f er en p ar am eter   v alu es.  B o th   m o d els  ar tr ain ed   an d   r u n   in   th en v ir o n m en o f   NVI DI GeFo r ce   GT 1 0 8 0 .   T h d escr ip tio n s   o f   th d atasets   ar s u m m ar ized   in   T a b le  1   an d   el ab o r ated   as f o llo ws:     Mo v ieL en s   [ 2 6 ] a   d ataset  co l lecte d   b y   Gr o u p L en s   wh ic h   c o n tain s   1 , 0 0 0 , 2 0 9   an o n y m o u s   r atin g s   ( 1 ~5 )   o f   ap p r o x im ately   3 , 9 0 0   m o v ies  m ad b y   6 , 0 4 0   Mo v ieL e n s   u s er s   in   th y ea r   2 0 0 0 .   T h u s er - item   in ter ac tio n   r ec o r d s   ar e   s to r ed   in   r atin g s . d at’ ,   wh e r it   co n s is ts   o f   m o v ie   r atin g s   with   f o u r   d if f e r en t   lab els o f   User I D’ ,   M o v ieI D’   R atin g ,   an d   T im estam p .     T ao b ao   [ 2 7 ] a   d ataset  co llected   an d   o f f er e d   f r o m   Alib a b f o r   a n   o n lin s h o p p in g   p l atf o r m ,   wh ic h   co n tain s   1 0 0 , 1 5 0 , 8 0 7   an o n y m o u s   in ter ac tio n s   f r o m   9 8 7 , 9 9 4   u s er s   f o r   4 , 1 6 2 , 0 2 4   item s   with   9 , 4 3 9   ca teg o r ies.  T h u s er - item   in t er ac tio n   r ec o r d s   ar s to r ed   i n   User B eh av io r . csv ,   wh e r e   it  co n s is ts   o f     u s er   b eh av io r   d ata  with   f iv d if f er en lab els  o f   User   I D I tem   I D C ateg o r y   I D B eh av io r   t ype ’,   an d   ' T im estam p ' .       T ab le  1 .   Statis tics   o f   T ao b ao   u s er - b eh av io r   d ataset   D a t a s e t s   N u mb e r o f   u n i q u e   u ser   N u mb e r o f   u n i q u e   i t e m   To t a l   i n t e r a c t i o n s   D a t a   sp a r si t y   r a t e   ( %)   D a t a   d e n s i t y   r a t e   ( %)   A v e r a g e   seq u e n c e   l e n g t h   Ta o b a o   u s e r - b e h a v i o r   9 8 7 , 9 9 4   4 , 1 6 2 , 0 2 4   1 0 0 , 1 5 0 , 8 0 7   9 9 . 8 5   0 . 1 5   5 . 5 0   M o v i e L e n s - 1M   6 , 0 4 0   3 , 4 1 6   9 9 9 , 6 1 1   9 5 . 1 6   4 . 8 4   1 6 3 . 5       Data s et  s p ar s ity   r ef er s   to   th p r o p o r tio n   o f   m is s in g   o r   u n a v ailab le  in ter ac tio n s   b etwe en   u s er s   an d   item s   o v er   tim e.   A   s p ar s d at aset  h as  lar g n u m b e r   o f   u n o b s er v ed   in ter ac tio n s   r elativ to   th e   p o s s ib le  to tal   in ter ac tio n s ,   m ea n in g   th at   u s e r s   in ter ac with   o n ly   a   s m all  f r ac tio n   o f   th a v ailab le  item s .   C o n v er s ely ,   d en s d ataset  h as  m o r in ter ac tio n s   an d   f ewe r   g ap s ,   in d icatin g   h ig h er   c o v er a g o f   th p o ten t ial  u s er - item   p air s .   T h r elatio n s h ip   b etwe en   s p ar s ity   an d   d en s ity   is   in v er s as t h d en s ity   in cr ea s es,  th s p ar s ity   d ec r ea s es.    T h T ao b ao   u s er - b e h av io r   d a taset  h as  h ig h er   d ata  s p a r s ity   r ate   co m p a r ed   to   t h Mo v i eL en s - 1 d ataset  d esp ite  h o ld in g   lar g e r   n u m b er s   o f   u n iq u u s er s   an d   item s .   I n   g en er al,   d ataset  with   h ig h er   d e n s ity   h o ld s   m o r u s er - item   in te r ac tio n   h is to r y   an d   v ice  v er s a.   T h is   lead s   to   b etter   tr ain in g   f o r   m ac h in lear n in g   m o d els,  as  it  h as  m o r d ata   to   lear n   p atter n s   f r o m .   R ich er   c o n ten h el p s   th r ec o m m en d atio n   m o d el  ca p tu r e   u s er   p r ef er en ce s   m o r ef f ec tiv ely ,   r esu ltin g   in   im p r o v ed   p er f o r m a n ce   an d   m o r ac cu r at r ec o m m en d atio n s .   I n   co n tr ast,  s p ar s d ataset  ca n   lead   to   u n d er f itti n g   o r   less   r eliab le  r ec o m m en d atio n s ,   as  th m o d el  h as   lim ited   d ata  to   g en e r alize   u s er   p r ef er e n ce s   o r   in f er   p atter n s .     B ased   o n   T ab le   1 ,   b o t h   d atas ets  ar s h o wn   to   h av d if f er e n len g th s   o f   u s er - item   in te r ac tio n   len g t h   f o r   ea c h   u s er .   T h e   d atasets   with   lo n g e r   av e r ag s eq u en ce   l en g th   h av r elativ ely   r ic h er   i n ter ac tio n   d ata  an d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E ffects o f sp a r s d a ta s ets o n   time  in terva l - a w a r s elf - a tten ti o n   s eq u en tia l   …  ( Weis h a n   Oo i )   2765   p o ten tial  to   r etu r n   b etter   v alu es  in   ter m s   o f   p er f o r m an ce   m etr ics.  T h  (  _   [ ] )   _   is   r ef er r ed   as  th to tal  n u m b er   o f   in ter ac tio n s   ac r o s s   all  u s er s   wh ile  th |  _   |   is   th to tal  n u m b er   o f   u s er s   in   th e   tr ain in g   s et.   T h e   eq u atio n   o f   ca lcu latio n s   o n   a v er ag e   s eq u en ce   len g th   o f   a   u s er   in   d ataset  is   d ef in ed   in   ( 1 ) .               =    (  _ [ ] ) _ |  _ |           ( 1 )     3 . 1 .     Da t a   pre - pro ce s s ing ,   pa dd ing ,   a nd   t ra in - t est - v a lid a t io n sp lit   T h d ata   p r e - p r o ce s s in g   s tep s   ar co n d u cte d   b ased   o n   [ 1 6 ]   an d   [ 2 3 ] ,   wh ic h   in clu d d ata  clea n in g ,   d ata  f ilter in g   with   f iv c o r u s er   in ter ac tio n s ,   a n d   a r r an g em e n ts   b ased   o n   tim estam p s .   T h p r o ce s s   o f   f ilter in g   o u at  least  f iv e   co r e   u s er   in te r ac tio n s   f r o m   ea ch   u s er   is   to   e n s u r th at  t h tr ain in g ,   test in g   an d   v alid atio n   d ata  ar s u f f icien t.  U p o n   f ilter in g   o n   5   co r u s er   in ter ac tio n s ,   ea ch   u s er   is   p r e - p r o ce s s ed   with   p ad d in g   with   n u m b er   o f   2 0 0   a n d   1 0   r esp ec tiv ely   f o r   M o v ieL en s - 1 a n d   T ao b ao   d ataset.   Pad d in g   is   a   tech n iq u t h at  is   wid ely   ap p lied   in   SR   m o d els  to   h an d le  th s eq u en ce s   o f   d if f er en len g th s .   Fo r   SR ,   ea ch   u s er   h as  d if f er en t   len g th s   o f   u s er - item   in ter ac tio n s ,   wh er it  r eq u ir es  f ix ed   len g th   o f   u s er - item   in ter ac ti o n   s ets  f o r   ef f ec tiv tr ain in g   o f   th e   SR   m o d el.   Pad d in g   ad d s   s o m e   d u m m y   item s   at  th en d   o f   ea c h   u s er s   item   in ter ac tio n   s eq u en ce s   u n til  it  r ea c h es  th s am len g th   as  th lo n g est  s eq u en ce .   Fo r   ex am p le,   w h en   th e   u s er - item   in ter ac tio n   s eq u e n ce   o f   ( 1 , 2 , , 15 , 16 )   h as  m ax im u m   in ter ac tio n   u n til  16 ,   th p a d d in g   tech n i q u is   ap p lied   to   ex p an d   th u s er - ite m   in ter ac tio n   s eq u en ce   u n til  50   to   f u lf il th m ax im u m   len g th   o f   SASR ec   th at  i s   f ix ed   to   5 0   in   d ef a u lt.  I n   SASR ec ,   it  h an d les  v a r iab le - len g t h   s eq u en ce s   b y   f illi n g   u p   d u m m y   d ata   with   v alu e   0 .   I n   th is   way ,   th m o d el  ca n   p r o ce s s   th s eq u en ce s   in   b atc h es.    I n   SASR e an d   T iSA Sr ec ,   e v er y   u s e r - it em   s e q u e n ce   is   s p l it   in to   t r ai n i n g ,   tes ti n g   a n d   v al i d at io n   s ets .   Fo r   t r ai n i n g   s et ,   it   h o l d s   t h wh o le   u s e r - ite m   i n t er ac ti o n   s e q u e n c o f   ea c h   u s e r   b u ex cl u d i n g   t h e   tw o   l at est   ite m s   a t th en d   o f   t h e   s e q u e n c i n p u t.   O n   th o t h er   h a n d ,   test in g   s et  is   r e tr ie v e d   f r o m   t h e   la t est  i n t e r ac te d   ite m   o f   ea ch   u s e r ,   wh ile   t h s ec o n d   m o s t   r e ce n t   i n t er ac te d   it em s   ar tr ea t e d   as   v ali d ati o n   s et .   T h e   v al id ati o n   s et   is   u s e d   t o   v e r i f y   th e   t r ai n i n g   p e r f o r m a n c e   wit h   2 0   e p o c h s .   Up o n   r u n n in g   t h e   las t   e p o c h ,   t h e   m o d el   is   v e r i f ie d   wit h   t h t esti n g   s et .   F in all y ,   t h p e r f o r m a n c es  o f   b o t h   m o d els   a r e   e v a lu ate d   wit h   NDCG   a n d   h it  r ate   m et r ics .     3 . 2 .     M o del im plem ent a t io n   B o th   m o d els  ar e   im p lem en te d   to   c o m p ar e   th eir   p er f o r m a n ce   o n   two   d atasets   with   th m ax im u m   len g th   o f   s eq u e n ce   2 0 0   a n d   1 0   f o r   Mo v ieL e n s - 1 an d   T a o b ao   d ataset  r esp ec tiv ely .   T h m o d el  p ar am eter s   an d   h y p er p a r am eter s   o f   SASR ec   an d   T iSAS R ec   ar co n f ig u r ed   to   d ef au lt  v alu es  in   th f ir s co m p ar is o n .   T h en ,   b o t h   m o d els  ar in v est ig ated   with   d if f er en co m b in atio n s   o f   p ar am eter s   f o r   b o th   d atasets .   T h k ey   p ar am eter s   in   th SASR ec   m o d el  in clu d e:  h id d en _ u n its ,   n u m _ b l o ck s ,   n u m _ h ea d s ,   a n d   d r o p o u t_ r ate’ .   T h k ey   p ar am eter s   in   T iSAS R ec   ar s im ilar   w ith   SA SR ec   m o d el  with   an   ad d iti o n al  p ar am eter   o f   tim e_ s p an   to   in d icate   d if f er en v alu es  o f   tim e - i n ter v al .   T h d ef au lt  p ar am eter   v al u es  ar s tated   as:  h id d en _ u n its   = 5 0 ,   n u m _ b lo c k s   = 2 ,   n u m _ h ea d s   = 1 ,   d r o p o u t_ r ate   = 0 . 2 an d   tim e_ s p a n   = 2 5 6 .     3. 3 .     E v a lua t i o n m et rics   T o   ev alu ate  th p er f o r m a n ce   o f   th m o d els  with   ex is tin g   wo r k s ,   th is   s tu d y   f o cu s es  o n   im p lem en tin g   n o r m alize d   d is co u n ted   cu m u lativ g ain   ( NDCG@ 1 0 )   an d   h it  r ate  ( HR @ 1 0 )   ev alu atio n   m etr ics  [ 1 0 ] .   T h     in   ( 2 )   is   d ef i n ed   v alu o f   cu to f f   p o in w h ile  ev alu atin g   th r an k i n g   q u ality .   Fo r   ex am p le,   th c u to f f   p o in t   in   th is   s tu d y   f o r   b o th   d atasets   ar e   1 0 ,   wh ich   o n ly   l o o k s   at  t h to p   1 0   item s   f o r   r ec o m m e n d atio n .   NDCG  is   in d icate d   as  a   p o s itio n - awa r m etr ic,   wh ic h   m ea s u r es  th p er f o r m an ce   o f   a   r ec o m m en d atio n   m o d el   b y   co n s id er in g   th e   r an k in g s   o f   i tem s   an d   ass ig n in g   s co r es  to   th h ig h e r   r an k s   o f   item s .   C o n tr ar y   to   NDCG,  ( HR @ 1 0 )   f o cu s es  m o r o n   th p r esen ce   o f   th c o r r ec item   in   th to p   1 0   lis t,  wh ich   is   d e d u ce d   in   ( 3 ) .    @   r ef er s   to   th e   n u m b er   o f   h its   f o r   th e   u s er     an d   #I ( )   d en o tes  th n u m b er   o f   in te r ac tio n s   o f   u s er   .   T o   p r ev en s ev er co m p u tatio n   b u r d e n   o n   all  u s er - item   p air s ,   th s tu d y   u s es  1 0 0   r an d o m ly   ch o s en   n eg ativ e   s am p les an d   m ix es with   th g r o u n d - tr u th   item s   ( p o s itiv s am p les)  to   r an k   th ese  item s   f o r   ea ch   u s er   u      @ = 2 1 ( + 1 )     = 1   ( 2 )      @ = 1 | |   #ℎ  @ # ( ) | | = 1   ( 3 )     B o th    @   an d    @   v alu es   r an g e   f r o m   0   to   1 .   T h e   h ig h er   v alu e   o f   N DC an d   HR   in d icate s   b etter   r ec o m m e n d atio n   q u alit y .   NDCG@ k   an d   HR @ k   v al u es   th at  eq u al  to   1   in   th e   ca s o f   id ea r a n k in g ,   wh er all  th e   item s   ar p er f e ctly   in clu d e d   in   th to p - k   lis t   an d   ar e   s o r te d   b y   r ele v an ce .   On   th e   o th er   h a n d ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   3 ,   J u n 2 0 2 6 :   2 7 6 1 - 2 7 7 3   2766    @   an d    @   v alu th at  eq u al  0   in d icate s   th at  th er ar n o   r elev an t   item s   in clu d ed   in   th e   to p - k   li s t.  T h er ef o r e,   th h ig h e r   th v alu es  o f    @   an d    @ ,   th m o r r elev a n item s   ar in clu d ed   in   th to p - k   lis t a n d   s o r ted   b y   r elev an c y .         4.   E XP E R I M E N T A L   RE SUL T S AN A NALY SI S   T h ex p er im en ts   ar co n d u ct ed   with   SAS R ec   an d   T iSA S R ec   m o d els  o n   two   s p ar s d a tasets .   T h e   ex p er im en tal  r esu lts   h av r ec o r d ed   th s co r i n g   i n   NDCG@ 1 0   an d   HR @ 1 0   alo n g   with   th eir   tr ain i n g   tim e.   T h ex p er im e n tal  r esu lts   ar s h o wn   in   T ab les   2   to   5   to   in v esti g ate  th ef f ec ts   o f   v ar y i n g   v alu es  o f   m o d el   p ar am eter s   o n   d if f er e n t sp ar s ity   o f   d atasets .       4 . 1 .     E f f ec t s   o f   m o del pa ra met er s   o t he  lo wer   s pa rsity   da t a s et   T ab les  2   a n d   3   d e p ict  th e   co m p ar is o n   o f   SASR ec   an d   T i SASR ec   m o d els  with   v ar y in g   p ar am eter   v alu es  an d   th tr ain in g   tim f o r   p r o ce s s in g   t h Mo v ieL e n s - 1 d ataset.   E ac h   ex p er im en t u s es  d if f er en v alu es  f o r   atten tio n   b lo c k s   an d   d r o p o u r ates,  in   o r d er   to   co m p ar e   with   th d ef a u lt  p ar am eter s   ( atten tio n   b lo ck s   = 2 ,   d r o p o u r ate   = 0 . 2 ) .   T h p er f o r m an ce   m etr ics  NDCG@ 1 0   a n d   R @ 1 0   ar u s ed   to   ass ess   t h p er f o r m an ce   o f   d if f er en p ar am eter   c o n f ig u r at io n s ,   with   ch an g es c o m p ar e d   t o   th d ef a u lt p ar am ete r s   r ef lec ted   as p er ce n tag es.       T ab le  2 .   NDCG@ 1 0   an d   tr ain in g   tim co m p ar is o n   o f   SASR ec   an d   T iSAS R ec   in   Mo v ieL e n s - 1 d ataset   D a t a s e t   M o d e l   p a r a me t e r s   S A S R e c   Ti S A S R e c   N D C G @ 10   C h a n g e s   ( %)   Tr a i n i n g   t i me   N D C G @ 10   C h a n g e s   ( %)   Tr a i n i n g   t i me   M o v i e L e n s - 1M   A t t e n t i o n   b l o c k   =2   D r o p o u t   r a t e   = 0 . 2 1   0 . 5 8 7 1   -   0   h   2 3   3 5   s   0 . 6 0 3 0   -   3   h   5 7   4   s   A t t e n t i o n   b l o c k   = 4   D r o p o u t   r a t e   = 0 . 2   0 . 5 9 7 7   + 1 . 8 0   0   h   5 5   2   s   0 . 6 0 9 1 2   + 1 . 0 1   1 7   h   2 6   m   5 6   s   A t t e n t i o n   b l o c k   = 8   D r o p o u t   r a t e   = 0 . 2   0 . 5 9 8 1   + 1 . 8 7   1   h   2 9   2 9 s   0 . 5 9 6 5   - 1 . 0 8   2 3   h   2 8   m   5   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 3   0 . 5 8 5 4   - 0 . 2 9   0   h   3 7   3 1   s   0 . 5 9 9 7   - 0 . 5 5   4   h   3 2   3 3   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 4   0 . 5 7 8 6 3   - 1 . 4 5   0   h   4 3   4 8   s   0 . 5 9 8 7   - 0 . 7 1   4   h   3 2   2 5   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 2   Ti me - s p a n   = 1 , 0 2 4   -   -   -   0 . 6 0 2 8   - 0 . 0 3   3   h   5 0   3 9   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 2   Ti me - s p a n   = 2 , 0 4 8   -   -   -   0 . 6 0 2 3   -- 0 . 1 2   3   h   4 6   1   s   * N o t e :     1 D e f a u l t   p a r a me t e r   v a l u e s ( a d d i t i o n a l   t i m e - sp a n   p a r a me t e r   v a l u e   i 2 5 6   f o r   Ti S A S R e c   2 I n d i c a t e s a s   t h e   h i g h e s t   p e r f o r ma n c e   v a l u e   i n   t h e   d a t a s e t   3 I n d i c a t e s a s   t h e   l o w e st   p e r f o r ma n c e   v a l u e   i n   t h e   d a t a s e t       T ab le  3 .   HR @ 1 0   an d   tr ai n in g   tim co m p ar is o n   o f   SASR ec   an d   T iSAS R ec   in   Mo v ieL en s - 1 d ataset   D a t a s e t   M o d e l   p a r a me t e rs   S A S R e c   Ti S A S R e c   H R @ 1 0   C h a n g e s   ( %)   Tr a i n i n g   t i me   H R @ 1 0   C h a n g e s   ( %)   Tr a i n i n g   t i m e   M o v i e L e n s - 1M   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 2 1   0 . 8 2 1 4   -   0   h   2 3   3 5   s   0 . 8 2 6 3   -   3   h   5 7   4   s   A t t e n t i o n   b l o c k   = 4   D r o p o u t   r a t e   = 0 . 2   0 . 8 2 5 7   + 0 . 5 2   0   h   5 5   2   s   0 . 8 3 0 8 2   + 0 . 5 5   17   h   2 6   m   5 6   s   A t t e n t i o n   b l o c k   = 8   D r o p o u t   r a t e   = 0 . 2   0 . 8 2 2 7   + 0 . 1 6   1   h   2 9   2 9   s   0 . 8 2 2 4   - 0 . 4 7   23   h   2 8   m   5   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 3   0 . 8 2 1 7   + 0 . 0 4   0   h   3 7   3 1   s   0 . 8 2 3 3   - 0 . 3 6   4   h   3 2   3 3   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 4   0 . 8 1 6 6 3   - 0 . 5 9   0   h   4 3   4 8   s   0 . 8 2 4 2   - 0 . 2 5   4   h   3 2   2 5   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 2   Ti me - s p a n   = 1 , 0 2 4   -   -   -   0 . 8 2 3 7   - 0 . 3 1   3   h   5 0   3 9   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 2   Ti me - s p a n   = 2 , 0 4 8   -   -   -   0 . 8 2 6 3   -   3   h   4 6   1   s   * N o t e :     1 D e f a u l t   p a r a me t e r   v a l u e s ( a d d t i o n a l   t i me - s p a n   p a r a m e t e r   v a l u e   i s   2 5 6   f o r   T i S A S R e c )   2 I n d i c a t e s a s   t h e   h i g h e s t   p e r f o r ma n c e   v a l u e   i n   t h e   d a t a s e t   3 I n d i c a t e s a s   t h e   l o w e st   p e r f o r ma n c e   v a l u e   i n   t h e   d a t a s e t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E ffects o f sp a r s d a ta s ets o n   time  in terva l - a w a r s elf - a tten ti o n   s eq u en tia l   …  ( Weis h a n   Oo i )   2767   T iSAS R ec   m o d el  ac h iev es  th h ig h est  v alu es  o f   NDCG @ 1 0   an d   HR @ 1 0   in   Mo v ieL en s - 1 d ataset   with   0 . 6 0 9 1   a n d   0 . 8 3 0 8 ,   r esp e ctiv ely   f o r   th co n f i g u r atio n s   o f   4   atten tio n   b lo ck s   an d   0 . 2   d r o p o u r ate.   On   th o th er   h a n d ,   SASR ec   m o d el  e x h ib its   th lo west  v alu es  o f   NDCG @ 1 0   an d   HR @ 1 0   with   0 . 5 7 8 6   an d   0 . 8 1 6 6   r esp ec tiv ely   f o r   th c o n f i g u r a tio n s   o f   2   atten tio n   b lo ck s   a n d   0 . 4   d r o p o u r ate.   Alth o u g h   T iSAS R ec   h as  a   g en er ally   l o n g e r   tr ain i n g   tim e   co m p ar ed   to   SASR ec   f o r   Mo v ieL en s - 1 M,   it  is   wo r th   n o tin g   th at  th T iSAS R ec   p r o v id es  m o r ac cu r ate  r ec o m m en d atio n   r a n k in g   with   h ig h er   NDCG @ 1 0   an d   HR @ 1 0   v alu es  co m p ar ed   to   SASR ec .   r ec o m m en d atio n   m o d el  th at  d eliv er s   s u p er io r   r ec o m m e n d atio n   q u ality   ca n   lead   to   b etter   cu s to m er   s atis f ac tio n .     B o th   SASR ec   an d   T iSAS R e m o d els  ar test ed   with   d if f er en n u m b er s   o f   atten tio n   b lo ck s   to   in v esti g ate  th ef f ec ts   o n   th eir   r ec o m m e n d atio n   p er f o r m an ce .   I n   th M o v ieL en s - 1 M   d ataset,   T iSAS R ec   p er f o r m ed   b est  with   th ese  m o d if icatio n s .   Atten tio n   b lo ck s   co n s is o f   s elf - atten tio n   la y er s   th at  h elp   p r eser v e   s eq u en ce   o r d er   an d   im p r o v tr ain in g .   Ad d in g   m o r atten ti o n   b lo c k s   in cr ea s es  th m o d e ls '   co m p lex ity   an d   tr ain in g   tim f o r   d ee p er   r ep r esen tatio n   lear n in g .   Fo r   SASR ec ,   in cr ea s in g   atten tio n   b lo ck s   f r o m   2   t o   8   im p r o v e d   NDCG@ 1 0   f r o m   0 . 5 8 7 1   to   0 . 5 9 8 1   ( 1 . 8 7 im p r o v em e n t) .   Ho wev e r ,   HR @ 1 0   d ec r ea s ed   f r o m   0 . 5 2 to   0 . 1 6 wh en   in cr ea s in g   f r o m   4   to   8   atte n tio n   b lo c k s .   T h is   m ea n s   th at   wh ile  m o r atten tio n   b lo ck s   im p r o v t h r an k in g   o f   r elev a n item s ,   th ey   m ay   also   r esu lt in   m is s in g   s o m item s   in   th t o p   1 0   lis t.  I n   d e n s er   d atasets   lik Mo v ieL en s - 1 M,   i n cr ea s in g   atten tio n   b lo ck s   h el p s   ac cu r ately   r an k   r elev an t ite m s   b u t m ay   n ar r o w   th s co p o f   th t o p   1 0   r ec o m m en d atio n s ,   f o cu s in g   o n   f e h ig h ly   r an k e d   item s   r ath er   t h an   b r o a d er   r a n g e.   T h is   ca n   m ak th e   m o d el  less   ef f ec tiv at  id en tif y in g   m o r r elev an t item s .   NDCG @ 1 0   o f   T iSAS R ec   s l ig h tly   in cr ea s ed   f r o m   0 . 6 0 3 0   to   0 . 6 0 9 1   wh en   th atten tio n   b l o ck s   wer e   in cr ea s ed   to   4 ,   b u d r o p p ed   b y   1 . 0 8 to   0 . 5 9 6 5   wh e n   in cr ea s ed   to   8 .   As  t h m o d el   co m p le x ity   in cr ea s ed   with   m o r atten tio n   b lo c k s ,   th tr ain in g   tim also   in c r ea s ed ,   b u with o u s ig n if ica n p er f o r m an ce   g ain s .   T h is   s u g g ests   th at  8   atten tio n   b lo ck s   ar ex ce s s iv f o r   th is   d atas et,   wh ich   h as  s p ar s ity   o f   9 5 . 1 6 %,  an d   m ay   lead   to   p o o r   g en e r aliza tio n .   Desp ite  u s in g   th s am n u m b e r   o f   atten tio n   b lo ck s ,   T iSA SR ec   co n s is ten tly   o u tp er f o r m ed   SASR ec   in   NDCG @ 1 0   an d   HR @ 1 0 .   T h is   is   b ec au s T iSA SR ec   in co r p o r ates  tim in ter v al  in f o r m atio n   in to   its   s elf - atten tio n   m ec h an is m ,   ca p tu r in g   tem p o r al  d y n am ics  an d   ev o lv in g   u s er   p r ef er en ce s   m o r ef f ec tiv ely .   T h is   tem p o r al  awa r en ess   allo ws  T iSAS R e to   p r o v id e   b etter   r ec o m m e n d atio n s .   Ho wev er ,   T iSAS R ec   g en er ally   r eq u ir es  m o r e   tr ain in g   tim e   d u to   th ad d e d   c o m p lex ity   o f   p r o ce s s in g   b o th   item   s eq u en ce s   an d   tem p o r al  in f o r m atio n .   I n c r ea s in g   th e   tim e - s p an   v alu e   f o r   th e   T iSAS R ec   m o d el  in   th e   Mo v ieL en s - 1 M   d ataset  s lig h tly   wo r s en e d   th e   NDCG@ 1 0   p er f o r m a n ce .   T h e   NDCG@ 1 0   v alu d r o p p ed   f r o m   0 . 6 0 3 0   to   0 . 6 0 2 8   an d   0 . 6 0 2 3   f o r   tim e - s p an   v alu es  o f   1 , 0 2 4   an d   2 , 0 4 8 ,   r esp ec tiv ely .   Fo r   HR @ 1 0 ,   th v alu d r o p p ed   f r o m   0 . 8 2 6 3   t o   0 . 8 2 3 7   at   tim e   s p an   o f   1 , 0 2 4   b u r em ain ed   th e   s am at  2 , 0 4 8 .   T h is   in d icate s   th at   in cr ea s in g   th tim e   s p an   in   th e   d en s er   Mo v ieL en s - 1 d ataset  d o es  n o t   im p r o v NDCG@ 1 0   p er f o r m a n ce   d u to   ad d e d   n o is in   th tr ai n in g   d ata.   As  th e   tim s p an   in cr ea s es,  ea r lier   in ter ac tio n s   th at  a r e   less   r elev an to   th cu r r en t   r ec o m m en d atio n   task   ar i n clu d ed ,   tu r n in g   in to   n o is as  u s er   p r ef er e n ce s   ch an g o v er   tim e.   T h is   p r ev en ts   th m o d el  f r o m   ac c u r ately   p r ed ictin g   t h n e x t r elev an t item .   Fo r   SASR ec ,   th d r o p o u r ate  h elp s   p r ev en o v e r f itti n g   b y   r a n d o m ly   s ettin g   f r ac tio n   o f   th in p u to   ze r o   d u r i n g   tr ain in g .   W h ile  HR @ 1 0   s lig h tly   im p r o v es  b y   0 . 0 4 at  d r o p o u r ate  o f   0 . 3 ,   in cr ea s in g   th e   d r o p o u r ate  g en er ally   h as  m in im al  p o s itiv im p ac o n   N DC G @ 1 0   an d   HR @ 1 0 .   At  d r o p o u r ate  o f   0 . 4 ,   NDCG @ 1 0   an d   HR @ 1 0   d r o p   to   0 . 5 7 8 6   an d   0 . 8 1 6 6 ,   r esp ec tiv ely ,   in d icatin g   wo r s r ec o m m en d atio n   q u ality   an d   less   ef f ec tiv t o p - 1 0   it em   in clu s io n .   As  th d r o p o u r ate  in c r ea s es,  SASR ec 's   p er f o r m an ce   s to p s   im p r o v in g ,   lea d in g   to   u n d e r f it tin g   an d   an   in ab ilit y   to   lear n   m ea n in g f u p atter n s   f r o m   th e   d ata.   Fo r   T iSAS R ec ,   in cr ea s in g   th e   d r o p o u r ate  d o es  n o im p r o v NDCG@ 1 0   a n d   HR @ 1 0   v al u es.  h ig h er   d r o p o u r ate  ca u s es  T iSAS R ec   to   lo s to o   m u c h   in f o r m atio n   d u r i n g   tr ain i n g ,   im p air in g   its   ab ilit y   to   ca p tu r co m p lex   p atter n s   an d   in ter ac tio n s ,   an d   u ltima tely   f ai lin g   to   r an k   r elev a n t item s   ef f ec tiv ely .       4 . 2 .     E f f ec t s   o f   m o del pa ra met er s   o n hig her  s pa rsity   da t a s et   Similar   to   th p r ev i o u s   s ec tio n ,   T ab le s   4   a n d   5   d ep ict  th c o m p ar is o n   o f   b o th   m o d els  with   v ar y in g   v alu es  o f   m o d el  p ar am eter s   an d   th tr ain in g   tim f o r   p r o c e s s in g   th T ao b ao   d ataset.   T h e   d ef au lt  p ar am eter s   f o r   atten tio n   b lo c k s ,   d r o p o u r ate  an d   tim s p an   r em ain   th s am as  in   th p r e v io u s   s ec tio n .   SASR ec   m o d el  ac h iev es  th h ig h est  v alu o f   NDCG @ 1 0   an d   HR @ 1 0   wi th   2   atten tio n   b lo c k s   an d   0 . 3   d r o p o u r ate.   I n   co n tr ast,  th T iSAS R ec   m o d el  h as  th lo west  ND C G @ 1 0   an d   HR @ 1 0   with   8   atten tio n   b lo ck s   an d   a     0 . 2   d r o p o u r ate.   T h is   s h o ws  th at  SASR ec   p r o v id es  m o r a cc u r ate  r ec o m m en d atio n s   o n   th h ig h er   s p ar s ity   T ao b ao   d ataset.     I n   co n tr ast  to   M o v ieL en s - 1 M   d ataset,   SASR ec   s h o ws  b etter   p er f o r m a n ce   with   c h an g es  i n   atten tio n   b lo ck s   in s tead   o f   T iSAS R ec .   I n cr ea s in g   th e   atten tio n   b l o ck s   in   SASR ec   o n   t h T a o b ao   d ataset  led   to   s ig n if ican im p r o v em en ts ,   esp ec ially   with   4   atten tio n   b l o ck s ,   s h o win g   9 . 0 5 in cr e m en in   NDCG @ 1 0   an d   1 1 . 2 3 in   HR @ 1 0 .   W ith   4   at ten tio n   b lo ck s   an d   0 . 2   d r o p o u r ate,   SASR ec   ac h iev ed   N DC G @ 1 0   o f   0 . 2 5 0 6   an d   HR @ 1 0   o f   0 . 3 8 2 3 .   Ho w ev er ,   p er f o r m a n ce   d r o p p ed   t o   0 . 2 2 0 7   an d   0 . 3 4 4 2   w h en   t h atten tio n   b lo ck s   in cr ea s ed   to   8 .   Desp ite  th in c r ea s ed   co m p lex ity   an d   tr ain in g   tim e,   SASR ec ' s   p er f o r m an c s lig h tly   d ec r ea s ed   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   3 ,   J u n 2 0 2 6 :   2 7 6 1 - 2 7 7 3   2768   af ter   4   atten tio n   b l o ck s   d u e   t o   o v e r f itti n g   o n   th e   h ig h e r   s p ar s ity   d ataset.   T h T ao b ao   d a taset,  b ein g   s p ar s er   th an   Mo v ieL en s - 1 M ,   h as  lo wer   d en s ity ,   lead in g   to   m o r m is s in g   u s er - item   in ter ac tio n s   an d   in ef f icien t   tr ain in g .   T h u s ,   th tim e   in ter v al - awa r in f o r m atio n   u s ed   b y   T iSAS R ec   is   less   ef f ec tiv in   h ig h er   s p ar s ity   d atasets ,   r ed u cin g   its   ad v a n tag es o v er   SASR ec .       T ab le  4 .   NDCG@ 1 0   an d   t r ain in g   tim co m p ar is o n   o f   SASR ec   an d   T iSAS R ec   in   T ao b ao   d ataset   D a t a s e t   M o d e l   p a r a me t e r s   S A S R e c   Ti S A S R e c   N D C G @ 1 0   C h a n g e s   ( %)   Tr a i n i n g   t i me   N D C G @ 1 0   C h a n g e s   ( %)   Tr a i n i n g   t i me   Ta o b a o   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 2 1   0 . 2 2 9 8   -   3   h   5 7   4   s   0 . 2 3 4 6   -   4   h   2 8   4 3   s   A t t e n t i o n   b l o c k   = 4   D r o p o u t   r a t e   = 0 . 2   0 . 2 5 0 6   + 9 . 0 5   10   h   2 9   m   4 2   s   0 . 2 3 5 9   + 0 . 5 5   1   h   3 9   2 3   s   A t t e n t i o n   b l o c k   = 8   D r o p o u t   r a t e   = 0 . 2   0 . 2 2 0 7   - 3 . 9 6   9   h   3 7   6   s   0 . 2 2 0 3 3   - 6 . 0 9   4   h   3 9   3 5   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 3   0 . 2 6 4 6 2   + 1 5 . 1 4   4   h   12   2 6   s   0 . 2 6 2 0   + 1 1 . 6 8   1   h   1 8   3 3   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 4   0 . 2 6 2 3   + 1 4 . 1 4   5   h   1 3   3 3   s   0 . 2 5 6 1   + 9 . 1 7   3   h   39   5   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 2   Ti me - s p a n   = 1 0 2 4   -   -   -   0 . 2 5 2 7   + 7 . 7 2 %   3   h   1 3   2 5   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 2   Ti me - s p a n   = 2 0 4 8   -   -   -   0 . 2 5 3 9   + 7 . 8 1 %   3   h   3 0   3 5   s   * N o t e :     1 D e f a u l t   p a r a me t e r   v a l u e s ( a d d i t i o n a l   t i m e - sp a n   p a r a me t e r   v a l u e   i 2 5 6   f o r   Ti S A S R e c )   2 I n d i c a t e s a s   t h e   h i g h e s t   p e r f o r ma n c e   v a l u e   i n   t h e   d a t a s e t   3 I n d i c a t e s a s   t h e   l o w e st   p e r f o r ma n c e   v a l u e   i n   t h e   d a t a s e t       T ab le  5 .   HR @ 1 0   an d   tr ai n in g   tim co m p ar is o n   o f   SASR ec   an d   T iSAS R ec   in   T ao b ao   d atas et   D a t a s e t   M o d e l   p a r a me t e r s   S A S R e c   Ti S A S R e c   H R @ 1 0   C h a n g e s   ( %)   Tr a i n i n g   t i me   H R @ 1 0   C h a n g e s   ( %)   Tr a i n i n g   t i me   Ta o b a o   A t t e n t i o n   b l o c k   =2   D r o p o u t   r a t e   = 0 . 2 1   0 . 3 4 3 7   -   3   h   5 7   4   s   0 . 3 4 0 7   -   4   h   2 8   4 3   s   A t t e n t i o n   b l o c k   = 4   D r o p o u t   r a t e   = 0 . 2   0 . 3 8 2 3   + 1 1 . 2 3   1 0   h   2 9   m   4 2   s   0 . 3 4 5 8   + 1 . 5 0   1   h   3 9   2 3   s   A t t e n t i o n   b l o c k   = 8   D r o p o u t   r a t e   = 0 . 2   0 . 3 4 4 2   + 0 . 2 5   9   h   3 7   6   s   0 . 3 3 1 5 3   - 2 . 7 0   4   h   3 9   3 5   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 3   0 . 3 9 4 7 2   + 1 4 . 8 5   4   h   1 2   2 6   s   0 . 3 7 5 2   + 1 0 . 1 4   1   h   1 8   3 3   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 4   0 . 3 8 8 2   + 1 2 . 9 5   5   h   1 3   3 3   s   0 . 3 7 5 5   + 1 0 . 2 1   3   h   3 9   5   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 2   Ti me - s p a n   = 1 0 2 4   -   -   -   0 . 3 5 6 5   + 4 . 6 4   3   h   1 3   2 5   s   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 2   Ti me - s p a n   = 2 0 4 8   -   -   -   0 . 3 6 0 1   + 5 . 7 0   3   h   3 0   3 5   s   * N o t e :     1 D e f a u l t   p a r a me t e r   v a l u e s ( a d d i t i o n a l   t i m e - sp a n   p a r a me t e r   v a l u e   i 2 5 6   f o r   Ti S A S R e c )   2 I n d i c a t e s a s   t h e   h i g h e s t   p e r f o r ma n c e   v a l u e   i n   t h e   d a t a s e t   3 I n d i c a t e s a s   t h e   l o w e st   p e r f o r ma n c e   v a l u e   i n   t h e   d a t a s e t       NDCG @ 1 0   o f   SASR ec   im p r o v ed   b y   1 5 . 1 4 % f r o m   0 . 2 2 9 8   to   0 . 2 6 4 6   wh e n   th d r o p o u t r ate  in cr ea s ed   f r o m   0 . 2   to   0 . 3 .   Dr o p o u r ate  h elp s   p r ev en o v er f itti n g   an d   im p r o v g en er aliza tio n ,   wh ic h   is   wh y   SASR ec   s h o wed   s u ch   im p r o v em e n o n   th s p a r s T ao b ao   d ataset.   C o m p ar ed   to   th e   Mo v ieL en s - 1 d ataset,   SASR ec   h ad   m o r s ig n if ican im p r o v e m en ts   with   d if f er en d r o p o u t   r ate  o n   T ao b ao .   h ig h   s p a r s ity   o f   9 9 . 8 5 in   T ao b ao   in d icate s   f ewe r   in ter a ctio n s   p er   u s er ,   w h ich   in c r ea s es  d ata  co m p lex ity   f o r   r ec o m m en d atio n   m o d els.  T h is   co m p lex ity   ar is es  f r o m   s h o r ter   u s er - item   s eq u en ce s   a n d   n o is s en s itiv ity ,   m ak in g   it   h ar d   f o r   m o d els  to   id en tify   u s er   p r ef e r en ce s .   Mo d els  s tr u g g le  with   p atter n   r ec o g n itio n   d u to   lim ited   d ata  an d   in cr ea s ed   n o is as   r an d o m   i n ter ac tio n s   m ay   b m is in ter p r eted   as  s ig n if ican p atter n s .   As  r esu lt,  m o d els  m ay   lear n   n o is e   p atter n s   in s tead   o f   tr u p r e f er e n ce s ,   r ed u cin g   th eir   r ec o m m e n d atio n   p er f o r m an ce .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E ffects o f sp a r s d a ta s ets o n   time  in terva l - a w a r s elf - a tten ti o n   s eq u en tia l   …  ( Weis h a n   Oo i )   2769   SASR ec   h as  s im p ler   ar c h itectu r with o u tim i n ter v al - aw ar em b e d d in g s   co m p ar ed   to   T iSAS R ec .   I n cr ea s in g   d r o p o u r ates  in   S ASR ec   h elp s   b y   r an d o m ly   d r o p p in g   n eu r o n s   d u r in g   tr ain i n g ,   lead in g   to   b etter   g en er aliza tio n ,   an d   im p r o v ed   r an k in g   ac c u r ac y .   Fo r   ex am p le,   with   tu n ed   m o d el  p ar am eter s   o f   2   atten tio n   b lo ck s   an d   0 . 3   d r o p o u r ates  f o r   SASR ec ,   it  ac h iev ed   0 . 2 6 4 6   f o r   th NDCG@ 1 0   s co r in g   o n   T ao b a o ,   s lig h tly   h ig h er   th an   T iSAS R ec s   b est  NDCG @ 1 0   s co r in g   o f   0 . 2 5 3 9 .   T h is   in d icate s   th at  in   an   ex tr em ely   s p ar s s ettin g   lik T ao b ao   d ataset,   in co r p o r atin g   tim in ter v als  is   y et  t o   y ield   a   lar g ac c u r ac y   g ai n   o v e r   th s im p ler   SASR ec .   Ho wev er ,   h ig h er   d r o p o u r ates  r e q u ir m o r ep o ch s   to   co n v er g e,   ex te n d in g   tr ain in g   tim es.  T h e   tr ain in g   tim o f   SASR ec   in cr ea s ed   f o r   ap p r o x im ately   3 2 . 2 6 f r o m   1 4 , 2 2 4   s   at  0 . 2   d r o p o u r ate  to   1 8 ,   8 1 3   at  0 . 4   d r o p o u r ate  b y   r ef er r in g   t o   T ab le  6 .   C o n v e r s ely ,   T iSAS R ec 's  tr ain in g   tim d ec r ea s ed   f o r   ap p r o x im ately   7 0 . 7 7 f r o m   1 6 , 1 2 3   s   to   4 , 7 1 3   s   wh e n   th e   d r o p o u r ate  in c r ea s ed   to   0 . 3 ,   h itti n g   s wee s p o t   f o r   h ig h er   s p ar s ity   d ataset,   w h er it  ef f ec tiv ely   r e g u lar ized   th m o d el,   allo win g   it  to   co n v er g m o r q u ick l y   b y   p r e v en tin g   o v e r f itti n g   wit h o u s ev er ely   im p ac tin g   its   ca p ac ity   to   lear n   f r o m   th s p a r s d ata.   Ho wev er ,   f u r th er   in cr em en t   o f   d r o p o u t   r ate  to   0 . 4   led   to   lo n g er   tr ai n in g   tim es  d u e   to   u n d er f itti n g   an d   o p tim izatio n   d if f icu lties ,   wh ich   p r o lo n g ed   th tr ain in g   p r o ce s s   as  th m o d el  s tr u g g led   t o   ca p t u r t h lim ited   p atter n s   av ailab le  in   th s p ar s d atase t.  T h er ef o r e,   n o tab le  d i f f er en ce   was  o b s er v ed   i n   tr ain in g   ef f icien cy   wh er e   T iSAS R ec   o f ten   co n v er g e d   f aster   with   th ex i s ten ce   o f   t h tim e - s p an   in ter v al.   I n   s ev er al  co n f ig u r atio n s ,   T iSAS R ec s   tr ain in g   tim was  s ig n if ican tly   s h o r ter   th an   SASR ec s   o n   th s am d ata.   Fo r   in s tan ce ,     th SASR ec   with   4   s elf - atten tio n   b lo c k s   o v er   3 7 , 7 8 2   s   to   tr ain   o n   T a o b ao ,   wh er ea s   T iSAS R ec   f in is h ed   in   ab o u 5 , 9 6 3   s   with   th s am n u m b er   o f   b lo ck s   p lu s   with   t h e   tim e - s p an   o f   2 5 6 .   Ho wev e r ,   f u r th er   i n cr em en t   o f   d r o p o u r ate  to   0 . 4   led   to   lo n g er   tr ain in g   tim es  d u e   to   u n d er f itti n g   an d   o p tim i za tio n   d if f icu lties ,     wh ich   p r o lo n g ed   t h tr ain in g   p r o ce s s   as  th m o d el  s tr u g g le d   to   ca p tu r e   th lim ited   p atter n s   av ailab le  in   th e   s p ar s d ataset.       T ab le  6 .   T r ai n in g   tim c o m p ar is o n   tab le  b etwe en   SASR ec   an d   T iSAS R ec   f o r   T ao b ao   d atase t   D a t a s e t   M o d e l   p a r a me t e r s   S A S R e c   t r a i n i n g   t i m e   Ti S A S R e c   t r a i n i n g   t i m e   Ta o b a o   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 2   Ti me - s p a n   = 2 5 6   ( N o t   a p p l i c a b l e   f o r   S A S R e c )   3   h   5 7   4   s   ( 1 4 , 2 2 4   s)   4   h   2 8   4 3   s ( 1 6 , 1 2 3   s)   A t t e n t i o n   b l o c k   = 4   D r o p o u t   r a t e   = 0 . 2   Ti me - s p a n   = 2 5 6   ( N o t   a p p l i c a b l e   f o r   S A S R e c )   10   h   2 9   m   4 2   s (3 7 , 7 8 2   s)   1   h   3 9   2 3   s ( 5 , 9 6 3   s)   A t t e n t i o n   b l o c k   = 8   D r o p o u t   r a t e   = 0 . 2   Ti me - s p a n   = 2 5 6   ( N o t   a p p l i c a b l e   f o r   S A S R e c )   9   h   3 7   6   s   ( 3 4 , 6 2 6   s)   4   h   3 9   3 5   s ( 1 6 , 7 7 5   s)   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 3   Ti me - s p a n   = 2 5 6   ( N o t   a p p l i c a b l e   f o r   S A S R e c )   4   h   1 2   2 6   s ( 1 5 , 1 4 6   s)   1   h   1 8   3 3   s ( 4 , 7 1 3   s)   A t t e n t i o n   b l o c k   = 2   D r o p o u t   r a t e   = 0 . 4   Ti me - s p a n   = 2 5 6   ( N o t   a p p l i c a b l e   f o r   S A S R e c )   5   h   1 3   3 3   s ( 1 8 , 8 1 3   s)   3   h   3 9   5   s   ( 1 3 , 1 4 5   s)       B ased   o n   th p er f o r m a n ce   o f   T iSAS R ec   in   T ao b ao   d ataset,   in cr ea s in g   th tim e - s p an   v alu e   im p r o v es   NDCG @ 1 0   an d   HR @ 1 0 .   W ith   tim e,   s p an   o f   1 , 0 2 4 ,   ND C G @ 1 0   an d   HR @ 1 0   in cr ea s ed   f r o m   0 . 2 3 4 6   an d   0 . 3 4 0 7   to   0 . 2 5 2 7   an d   0 . 3 5 6 5 .   W ith   tim e,   s p an   o f   2 , 0 4 8 ,   t h ey   f u r t h er   in cr ea s ed   to   0 . 2 5 3 9   an d   0 . 3 6 0 1 .   T h e   h ig h er   tim e - s p a n   v alu ca p tu r es  lo n g - ter m   d ep en d en cies  an d   ass ig n s   m o r ac cu r ate  atten tio n   weig h ts   b ased   o n   tem p o r al  d is tan ce ,   wh ich   i s   esp ec ially   ef f ec tiv f o r   s p ar s d ataset.   Ho wev er ,   th tr a in in g   tim s lig h tly   in cr ea s ed   b y   a b o u t   1 7   m in u tes  wh en   th e   tim e - s p an   v alu e   is   r aised   f r o m   1 , 0 2 4   to   2 , 0 4 8 .   T h is   is   b ec au s th e   in cr em en t o f   th m ax im u m   r a n g o f   tim in ter v als b etwe en   u s er - item   in ter ac tio n s   r eq u ir es   b r o ad er   atten tio n   s co p in   th s p ar s d ataset  an d   m o r e   co m p le x   ca lcu latio n s   f o r   atten tio n   weig h ts ,   as  it  in tr o d u ce s   m o r d is tan item s   in to   s in g le  u s er - item   in ter ac tio n   v ec to r .   C o n tr ar y   to   Mo v ieL en s - 1 M ,   th lack   o f   tr ain in g   d ata  in   h ig h er   s p ar s ity   d ataset  lik T ao b ao   lim its   th e   p er f o r m a n ce   o f   th e   r ec o m m en d atio n   m o d el   d u e   to   th e   s h o r te r   len g th   o f   u s er - item   in ter ac tio n s .   As  th tim e - s p an   v alu in cr ea s es,  m o r d ata  ca n   b i n clu d ed   f o r   tr ain in g   T iSAS R ec ,   allo win g   it  to   lear n   co r p atter n s   th at  r e p r esen u s er   p r ef er e n ce s   in   s p ar s d at asets ,   wh ich   is   les s   lik ely   to   b m is d ir ec ted   in   d en s er   d atasets .   B a s ed   o n   th ex p er im en tal  r esu lts ,   T iSAS R ec   h as  g en er ally   lo wer   tr ain in g   tim co m p ar e d   to   th r esu lts   f r o m   SAS R e m o d el.   Ho wev er ,   th o v er a ll  tr ain in g   tim f o r   T iSAS R ec   is   s h o r ter   th an   SASR ec   ac r o s s   d if f er en p ar am et er   co n f ig u r atio n s ,   m a k in g   T iS ASR ec   s u itab le  f o r   h ig h er   s p ar s ity   d ataset  with   less er   p r o ce s s in g   tim d esp ite  its   s lig h tly   lo wer   ac cu r ac y   f r o m   th r esu lt.   I n   T iSAS R ec ,   i in tr o d u ce d   th tim e - s p an   in ter v al  as  o n o f   th attem p ts   o n   im p r o v em en o f   atten tio n   ef f icien cy .   Similar ly   in   s tu d ies  o f   [ 2 4 ] [ 2 5 ] ,   th ey   b o th   im p lem en d is tin ct  s tr ateg ies  o f   s p ar s   cr o s s - atten tio n   m ec h a n is m s   an d   lev er a g e   cr o s s - atten tio n   to   in co r p o r ate  c o n tex tu al   attr ib u tes ,   r esp ec tiv ely   to   im p r o v atten tio n   ef f icien cy   i n   s p ar s d atasets .   Gen er ally ,   it  s er v es  as  an   en r ich in g   ap p r o ac h   o n   th s p ar s e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 5 ,   No .   3 ,   J u n 2 0 2 6 :   2 7 6 1 - 2 7 7 3   2770   in ter ac tio n   d ata  with   au x iliar y   s ig n als.  T h u s ,   it  ca n   ac h iev f aster   tr ain in g   an d   m ain tain   r el ativ ely   r em ar k a b le  p er f o r m an ce   ev e n   in   h ig h ly   s p ar s en v ir o n m en ts ,   esp ec ially   in   ex tr em ely   s p ar s d atasets   with   s p ar s ity   r ate  m o r th an   9 5 an d   s h o r ter   av er ag s eq u e n ce   len g th .   T h i s   s u g g ests   b etter   tr ain in g   ef f i cien cy   b y   r etain i n g   lo wer   v alu e   o f   atten tio n   b lo c k s   an d   co n s id er in g   o th er   co n t ex tu al  v ar ia b les  th at  h elp   in   i m p r o v i n g   atten ti o n   ef f icien cy   wh e n   tr ain in g   with   an   ex tr em ely   s p a r s d ataset  in s tead   o f   test in g   with   m o r e   atten tio n   b lo c k s .     4 . 3 .     At t ent io weig ht  dis t rib utio n o n bo t h m o dels   in T a o ba o   da t a s et   T h v alu es  o f   NDCG@ 1 0   an d   HR @ 1 0   g r ad u ally   im p r o v e   as  th v alu o f   tim e - s p an   m o d el  p ar am eter s   in cr ea s es.  T ab le s   2 - s h o w   th at  b o th   SASR ec   an d   T iSAS R ec   m o d el  h ad   s ig n if i ca n t im p r o v em en ts   in   p er f o r m an ce   ev alu atio n   m etr ics  f o r   T ao b ao   d ataset.   Ho wev er ,   th v alu es  o f   NDCG@ 1 0   an d   HR @ 1 0   in   T iSAS R ec   ar r elativ ely   lo we r   th an   th v alu es  o f   NDCG@ 1 0   an d   HR @ 1 0   in   SASR ec   f o r   T ao b ao   d ataset.   T h is   is   f u r th er   an aly s ed   in   Fi g u r 1 ,   wh ich   illu s tr ates  th atten tio n   weig h d is tr ib u tio n   m ap   o f   th last   1 0     u s e r - i t e m   s e q u e n c e s   i n   b o t h   m o d e l s .   I n   F i g u r e s   1 ( a )   a n d   ( b ) ,   t h e   x - a x i s   r e p r e s e n t s   t h e   p o s i t i o n   o f   i t e m s   i n   s e q u e n c e ,   a n d   e a c h   p o i n t   o n   t h e   y - a x i s   c o r r e s p o n d s   t o   a   s p e ci f i c   t i m e   s t e p   i n   s e q u e n c e   o f   u s e r - i t e m   i n t e r ac t i o n s .   T h n u m b e r s   o f   s tar ted   f r o m   0   to   9   wh ich   s tatin g   f r o m   th e   m o s r ec en to   th o ld est  ite m   p o s itio n .   On   th o th er   h an d ,   th y - ax is   r ep r esen ts   th tim e - s tep s   at  w h ich   th m o d el  m ak es  r ec o m m en d atio n s ,   wh er 0   in d icate s   as  th f ir s item   a n d   9   r ef e r s   as  th e   last   item   to   b e   r ec o m m en d ed   in   a   tim e - s tep .   I n   Fig u r 1 ( a) ,   th e   p ar am eter   s ettin g s   o f   th SA SR ec   atten tio n   weig h d is tr ib u tio n   m a p   ar c o n f i g u r ed   with   d ef a u lt  p ar am eter   v alu es  ( atten tio n   b lo ck s   =2 ,   d r o p o u r ate  =0 . 2 )   wh ile  Fig u r 1 ( b )   is   co n f i g u r e d   with   att en tio n   b lo c k s   =2 ,   d r o p o u t r ate  = 0 . 2   an d   tim e - s p an   =2 5 6 f o r   th T iSAS R ec   m o d el.         ( a)       ( b )     Fig u r 1 Atten tio n   weig h t d is tr ib u tio n   m a p   in   l ast 1 0   u s er - item   s eq u en ce   of   ( a)   SASR ec   at ten tio n   h ea tm ap   o n   T ao b ao   an d   ( b )   T iSAS R ec   atten tio n   h ea tm ap   o n   T a o b ao     Evaluation Warning : The document was created with Spire.PDF for Python.