I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 ,   p p .   1518 ~ 1 5 3 0   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 1 6 i 3 . pp 1 5 1 8 - 1 5 3 0           1518       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   surv ey  of r etrie v a l alg o rithms in ad a nd conten recom menda tion  sy stems       Yu Zh a o 1 ,   F a ng   L iu 2 ,   Yua Yua n 3 ,   Yif a n Da ng 4   1 R o t ma n   S c h o o l   o f   M a n a g e me n t ,   U n i v e r si t y   o f   T o r o n t o ,   To r o n t o ,   C a n a d a   2 Y a l e   S c h o o l   o f   M a n a g e me n t ,   Y a l e   U n i v e r s i t y ,   N e w   H a v e n ,   U n i t e d   S t a t e o f   A meri c a   3 S c h o o l   o f   E n g i n e e r i n g   a n d   S c i e n c e ,   S t e v e n s I n st i t u t e   o f   Te c h n o l o g y ,   H o b o k e n ,   U n i t e d   S t a t e o f   A meri c a   4 R o b e r t   H .   S mi t h   S c h o o l   o f   B u si n e ss ,   U n i v e r si t y   o f   M a r y l a n d ,   C o l l e g e   P a r k ,   U n i t e d   S t a t e s   o f   A m e r i c a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   1 1 ,   2 0 2 6   R ev is ed   Ma r   2 8 ,   2 0 2 6   Acc ep ted   Ap r   2 7 ,   2 0 2 6       Th is  p a p e p re se n ts  a   s u rv e y   o re tri e v a a l g o ri th m u se d   i n   a d v e rti si n g   re c o m m e n d a ti o n   a n d   o rg a n ic  c o n ten re c o m m e n d a ti o n   sy ste m s.  M o d e r n   d ig it a p latfo rm re ly   o n   re tri e v a l - b a se d   m o d e ls  t o   e fficie n tl y   m a tch   u se rs  with   re lev a n a d v e rti se m e n ts  o p e rso n a li z e d   c o n te n t.   Th is  su r v e y   re v iew k e y   tec h n i q u e i n c lu d in g   in v e rt e d   in d e x   m e th o d s,  c o ll a b o ra ti v e   fil terin g ,   c o n ten t - b a se d   fil teri n g ,   h y b ri d   re c o m m e n d a ti o n   m o d e ls,  a n d   t h e   t wo - to we n e u ra n e tw o rk   a rc h i tec tu re   wi d e ly   u se d   i n   larg e - sc a le  re c o m m e n d a ti o n   sy ste m s.  Th e   p a p e c o m p a re th e   o b jec ti v e s,  d a ta  u ti li z a ti o n   stra teg ies ,   a n d   e v a lu a ti o n   m e tri c o a d   targ e ti n g   a n d   o r g a n ic  re tri e v a sy ste m s.   P ra c ti c a l   c h a ll e n g e su c h   a c o l d - sta rt  p ro b lem s,  d a ta  q u a li ty ,   sc a lab il it y ,   a n d   p riv a c y   c o n sid e ra ti o n a re   a lso   d isc u ss e d .   Th is   su r v e y   f u rth e r   h i g h li g h ts  t h e   g ro wi n g   c o n n e c ti o n   b e twe e n   in d u strial  re c o m m e n d a ti o n   p ip e li n e a n d   e m e rg in g   re tri e v a m e c h a n ism u se d   i n   larg e   lan g u a g e   m o d e ( LL M )   sy st e m s.  Th is   su rv e y   p r o v i d e in si g h ts  i n to   t h e   d e sig n   p ri n c ip les   o m o d e r n   re tri e v a sy ste m a n d   o u tl in e f u tu re   re se a rc h   d irec ti o n a t h e   in ters e c ti o n   o f   re c o m m e n d a ti o n   s y ste m s a n d   LL M .   K ey w o r d s :   Ad   tar g etin g   I n d u s tr ial  r ec o m m en d atio n   s y s tem s   I n f o r m atio n   r etr ie v al   L ar g lan g u ag m o d els   R ec o m m en d atio n   s y s tem s   R etr iev al  alg o r ith m s   T wo - to wer   n e u r al  n etwo r k   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Fan g   L iu   Yale   Sch o o l o f   Ma n a g em en t,   Yale   Un iv er s ity   New   Hav en ,   C T ,   Un ited   States   o f   Am er ica   E m ail: f an g liu 4 3 5 @ g m ail. co m       1.   I NT RO D UCT I O N   W ith   th r ap id   g r o wth   o f   d ig ital  p latf o r m s ,   d eliv er in g   p er s o n alize d   co n ten an d   ad v er tis em en ts   h as  b ec o m ess en tial  f o r   im p r o v i n g   u s er   en g ag em e n an d   p latf o r m   r ev en u e.   R etr iev al   alg o r i th m s   p lay   ce n tr al  r o le  in   r ec o m m en d atio n   s y s tem s   b y   m atch in g   u s er s   with   r elev an ad v er tis em en ts   an d   o r g a n ic  co n ten [ 1 ] [ 2 ] Ad   tar g etin g   f o cu s es  o n   m a x i m izin g   en g a g em en a n d   co n v er s io n   r ates  th r o u g h   p er s o n ali ze d   ad v er tis em en ts   b ased   o n   u s er   p r o f iles   an d   b eh av io r al  d ata,   wh er ea s   o r g a n ic  r etr iev al  s y s tem s   aim   to   im p r o v u s er   ex p er ien ce   b y   r ec o m m en d i n g   co n ten t a lig n ed   with   u s er s   in ter ests   an d   p r ef er en ce s .   I n   r ec en y ea r s ,   r ec o m m en d atio n   s y s tem s   h av ev o lv ed   f r o m   tr ad itio n al  in f o r m atio n   r etr iev al   tech n iq u es  to   d ee p   lear n in g b ased   r etr iev al  a r ch itectu r es u s ed   in   lar g e - s ca le  in d u s tr ial  p la tf o r m s   [ 3 ] [ 4 ] ,   with   ad d itio n al  r ec e n s u r v ey s   [ 5 ] .   Var io u s   r ec o m m en d atio n   ap p r o ac h es  h av e   b ee n   d e v elo p e d   t o   im p r o v e   ac cu r ac y   an d   s ca lab ilit y ,   in clu d in g   c o n ten t - b ased   f ilter in g ,   c o llab o r ativ e   f ilter in g ,   an d   h y b r id   r ec o m m en d atio n   m eth o d s   [ 6 ] [ 7 ] .   M o r r ec en tl y ,   n eu r al  r etr ie v al  ar ch itectu r e s   s u ch   as  th two - to wer   m o d el  h av b ee n   wid ely   ad o p ted   in   i n d u s tr ial  r ec o m m en d atio n   p i p elin es  d u to   th eir   ef f ec tiv en ess   in   lar g e - s ca le  ca n d id ate  g en e r atio n   an d   r ep r esen tatio n   lear n i n g .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   s u r ve o f retr ieva l a lg o r ith ms in   a d   a n d   co n ten t reco mme n d a tio n   s ystems   ( Yu   Zh a o )   1519   T h is   p ap er   s u r v ey s   r et r iev al  alg o r ith m s   u s ed   i n   ad v er tis in g   an d   o r g an ic  r ec o m m en d atio n   s y s tem s ,   co v er in g   r ep r esen tativ a p p r o ac h es su ch   as c o n ten t - b ased   f ilter in g ,   co llab o r ativ f ilter in g ,   h y b r id   m o d els,  an d   n eu r al  r etr iev al  ar c h itectu r es  in clu d in g   th two - t o wer   m o d el.   Pra ctica ch allen g es  s u ch   as  co ld   s tar t,  s ca lab ilit y ,   d ata  q u ality ,   an d   p r iv ac y   co n ce r n s   ar also   d is cu s s ed .   Un lik m an y   ex is tin g   s u r v ey s   th at  b r o ad ly   r ev iew  r ec o m m en d atio n   alg o r ith m s ,   th is   p ap er   f o cu s es  s p ec if ically   o n   r etr iev al - s tag alg o r ith m s   in   m o d e r n   in d u s tr ial  r ec o m m e n d atio n   p ip e lin es.  T h s u r v e y   ex am in es  r etr iev al   tech n iq u es  u s ed   i n   b o th   ad v er tis in g   an d   o r g an ic   r ec o m m en d atio n   s y s t em s   an d   h ig h lig h ts   h o ca n d id ate  g en er atio n   o p e r ates  in   lar g e - s ca le  p latf o r m s .   I also   d is cu s s es  p o ten tial  co n n ec tio n s   b etwe en   r etr iev al - b ased   r ec o m m en d atio n   s y s tem s   an d   lar g la n g u a g e   m o d el  ( L L M ) en h an ce d   r etr i ev al  ar ch itectu r es.   Alth o u g h   th is   s u r v e y   d o es  n o ex p lo r th is   t o p ic  i n   d ep th ,   t h r etr ie v al  m ec h an is m s   d is cu s s ed   h er e   s h ar co n ce p t u al  s im ilar ities   with   r etr iev al - au g m e n ted   g e n er atio n   ( R AG)   f r am ewo r k s   u s ed   in   LLM  [ 8 ] [ 1 3 ] wh er r etr iev al   s er v es  as  an   in ter m ed iate  s tep   to   id en tify   r ele v an in f o r m atio n   p r io r   t o   d o wn s tr ea m   g en e r atio n   o r   r an k in g ,   th er eb y   im p r o v in g   r elev an ce ,   co n te x tu al  g r o u n d in g ,   an d   o v er all  s y s tem   p er f o r m an ce .   I n   R AG   s y s tem s ,   r elev an in f o r m atio n   is   f ir s r etr ie v ed   f r o m   e x ter n al  k n o wled g s o u r ce s   an d   t h e n   in co r p o r ated   i n to   lan g u ag m o d els  to   im p r o v th q u ality   an d   f ac tu al  g r o u n d in g   o f   g en e r ated   r esp o n s es.  Similar ly ,   r ec o m m en d atio n   s y s tem s   r ely   o n   r etr iev al  alg o r ith m s   to   id en tify   r elev an t u s er   an d   item   r e p r esen tatio n s   b ef o r e   d o wn s tr ea m   r an k in g   o r   p r ed ic tio n   task s .   Ov er all,   th is   s u r v ey   p r o v id es  s tr u ctu r ed   o v er v iew  o f   r etr ie v al  alg o r ith m s   with   p ar ticu la r   f o cu s   o n   in d u s tr ial  d ep lo y m en s ce n ar io s .   B y   an aly zin g   b o th   tr ad i tio n al  r etr iev al  tech n i q u es  a n d   m o d er n   n eu r al   ar ch itectu r es,  th e   p a p er   h ig h lig h ts   k ey   d esig n   p r in ci p les  an d   s y s tem   c h allen g es  in   lar g e - s ca le  in d u s tr ial   r ec o m m en d atio n   p i p elin es.   T h e   r e m a i n d e r   o f   t h is   p a p e r   i s   o r g a n i z e d   a s   f o ll o ws .   S ec t i o n   2   i n t r o d u c e s   m a j o r   a d   ta r g e t i n g   te c h n i q u e s   a n d   i n d e x i n g   s t r at e g i es .   S e c ti o n   3   r e v i e ws   r e t r i e v a l   a r c h i t e ct u r e s   u s e d   i n   r e c o m m e n d a ti o n   s y s t e m s ,   i n cl u d i n g   t h t w o - t o w e r   m o d el .   S e c ti o n   4   co m p a r e s   a d v e r t is i n g   r e c o m m en d a t i o n   a n d   o r g a n i c   r et r i e v a p i p e l i n e s .   S ec t i o n   5   d i s c u s s es   e v a l u a ti o n   m e t r i cs   a n d   e x p e r i m e n t a t i o n   f r a m e w o r k s ,   f o l l o w e d   b y   t h e   c o n c l u s i o n   i n   s e c ti o n   6 .   I n   th is   s u r v ey ,   r ep r esen tativ e   r etr iev al  alg o r ith m s   u s ed   i n   a d v er tis in g   an d   c o n ten r ec o m m en d atio n   s y s tem s   ar r ev iewe d .   R elev an s tu d ies  wer id en tifie d   t h r o u g h   m ajo r   ac ad e m ic  d atab ases   s u ch   as  I E E E   Xp lo r e,   AC Dig ital  L ib r ar y ,   an d   Go o g le  Sch o la r ,   f o c u s in g   o n   p u b licatio n s   f r o m   2 0 1 5   to   2 0 2 4 .   Selectio n   cr iter ia  in clu d ed   r elev a n ce   to   r etr iev al - s tag r ec o m m en d atio n   s y s tem s ,   citatio n   im p ac t,  an d   in d u s tr ial   ap p licab ilit y .   Stu d ies  wer s elec ted   b ased   o n   th eir   in f l u en ce   in   b o th   ac a d em ic  r esear ch   an d   in d u s tr ial  p r ac tice.   T h e   r ev iewe d   m eth o d s   ar e   ca teg o r ized   in to   tr ad itio n al  r etr iev al  tec h n iq u es   a n d   n eu r al  r etr iev al   ar ch itectu r es,  an d   ea c h   m eth o d   is   an aly ze d   in   ter m s   o f   its   m ec h an is m ,   s ca lab ilit y ,   in d u s tr i al  ap p licab ilit y ,   an d   u s ag s ce n ar io s   in   m o d er n   r ec o m m en d atio n   p ip elin es.   T h m ain   co n tr ib u tio n s   o f   th is   p ap er   a r s u m m ar ized   as f o ll o ws:   a.   T h is   p ap er   p r o v id es  f o c u s ed   s u r v ey   o n   r etr iev al - s tag al g o r ith m s   in   m o d er n   r ec o m m e n d atio n   s y s tem s ,   wh ich   ar less   em p h asized   in   ex is tin g   liter atu r e.   b.   I p r esen ts   co m p ar ativ e   an a ly s is   b etwe en   ad   tar g etin g   s y s tem s   an d   o r g a n ic  r ec o m m en d atio n   s y s tem s   f r o m   u n if ied   r etr iev al  p e r s p ec tiv e.   c.   I t a n aly ze s   tr ad e - o f f s   am o n g   d if f er en t r etr iev al   ap p r o ac h es i n   in d u s tr ial  d e p lo y m e n t scen ar io s .   d.   I t   d i s c u s s es   e m e r g i n g   c o n n e c tio n s   b e t w e e n   r e c o m m e n d a ti o n   r e t r i e v a l   a n d   L L M - b as e d   r e t r i e v a l   f r a m e w o r k s .       2.   AD  T ARG E T I NG   M O D E L S   Ad   ta r g eti n g   is   wi d e ly   u s e d   i n   m o d er n   d i g i tal   m ar k eti n g   t o   d e li v e r   p e r s o n ali ze d   ad v er t i s em e n ts   t o   s p e ci f ic  a u d ie n c es  a n d   m a x i m iz e n g a g e m e n t   a n d   c o n v er s io n   r at es.  On c o m m o n   t ec h n i q u is   t h u s o f   in v e r t ed   in d e x es,   w h i c h   e f f ici e n tl y   m at ch   u s er   p r o f i les   w it h   r ele v a n t   ad v er tis e m e n ts   in   la r g e - s ca l e   i n f o r m ati o n   r et r i ev al  s y s t em s   [ 1 4 ] [ 1 6 ] .   S ev er al  t a r g eti n g   s t r a te g ies   a r co m m o n l y   u s e d ,   i n cl u d i n g   d e m o g r a p h ic   ta r g et in g ,   r et ar g eti n g ,   k e y w o r d   ta r g et in g ,   b e h a v i o r al   ta r g et in g ,   a n d   c o n t ex t u al  ta r g et in g   [ 1 7 ] [ 1 8 ] .     2 . 1   I nv er t ed  ind ex   Ad   tar g etin g   co m m o n ly   lev e r ag es  in v er ted   in d e x es  to   im p r o v th ef f icien cy   an d   ac cu r ac y   o f   d eliv er in g   p er s o n alize d   ad v e r tis em en ts   [ 1 4 ] .   An   in v e r ted   i n d ex   is   a   d ata  s tr u ctu r th at  m ap s   item s   ( s u ch   as   ad v er tis em en ts )   to   ass o ciate d   k ey wo r d s   o r   attr i b u tes,  en a b lin g   f ast  s ea r ch   a n d   r etr iev al.   As  illu s tr ated   i n   Fig u r e   1 ,   th i n v er ted   in d e x   li n k s   k ey wo r d s   to   co r r esp o n d i n g   item s ,   allo win g   th s y s tem   to   q u ick l y   r etr ie v r elev an ad v e r tis em en ts   b ased   o n   u s er   q u er ies  o r   p r o f ile  attr i b u tes.   I n   ad   tar g etin g   s y s tem s ,   th in v er ted   in d ex   ty p ically   o p e r ates  th r o u g h   s ev er al  s tag es.  First,  an   in d ex   is   c o n s tr u cted   f r o m   a v ailab le  ad v er tis em en ts ,   wh er ea ch   ad v er tis em en is   r ep r es en ted   b y   s et  o f   k ey wo r d s   o r   attr ib u tes  d escr ib in g   its   co n ten a n d   tar g et   au d ien ce .   Nex t,  u s er s   ar e   p r o f iled   b ased   o n   th eir   o n lin e   ac ti v ities ,   s u ch   as  s ea r c h   q u er ies,   b r o wsi n g   h is to r y ,   s o cial  m ed ia  in ter ac tio n s ,   an d   p u r ch ase  b eh a v io r .   E ac h   u s er   p r o f ile  is   r ep r esen ted   b y   s et  o f   k ey wo r d s   o r   attr ib u tes r ef lectin g   th u s er s   in ter ests   an d   p r ef er e n ce s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   1 5 1 8 - 1 5 3 0   1520   Fin ally ,   wh en   u s er   in ter ac ts   with   p latf o r m ,   th e   s y s tem   r etr iev es  th u s er   p r o f ile   an d   m atch es  it   ag ain s th in v er ted   in d ex .   B y   lo ca tin g   k e y wo r d s   ass o ciate d   with   th u s er ,   th s y s tem   ca n   ef f icien tly   r etr iev e   ad v er tis em en ts   with   m atch in g   o r   r elate d   attr i b u tes.  T h is   m e ch an is m   en ab les  ef f icien r ea l - tim ad   tar g etin g   b y   allo win g   p latf o r m s   to   q u ick ly   r etr iev ad v e r tis em en ts   th at  m atch   u s er s   in ter ests   e v en   in   lar g e - s ca le   d atasets .           Fig u r 1 .   I n v er te d   in d e x   s tr u ct u r f o r   ad v e r tis em en t r etr iev al       2 . 2 .     De m o g r a ph ic   Dem o g r ap h ic  tar g etin g   d eliv e r s   ad v er tis em en ts   to   u s er s   b as ed   o n   d em o g r ap h ic  attr ib u tes s u ch   as  ag an d   g en d er .   Fo r   ex am p le,   to y s   ar p r im ar ily   m ar k eted   to   c h ild r en ,   ed u ca tio n al  r eso u r ce s   to   teen ag er s ,   an d   r etir em en o r   f in a n cial  p lan n i n g   s er v ices  to   o ld er   u s er s .   Dem o g r ap h ic  in f o r m atio n   is   ty p ically   o b tain ed   f r o m   u s er   r eg is tr atio n   d ata,   p r o f ile  in f o r m atio n ,   o r   in f er r e d   f r o m   b eh av io r al   s ig n als  s u ch   as  b r o wsi n g   h is to r y   an d   co n ten co n s u m p tio n   p atter n s .   T h ese  attr ib u tes  ar th en   in co r p o r ated   in t o   th ad v e r tis em en in d ex in g   p r o ce s s ,   wh er ad v e r tis em en ts   ar ass o ciate d   with   d e m o g r a p h ic - r el ated   k ey wo r d s   o r   attr ib u tes.   Du r in g   th e   r etr iev a l   p r o ce s s ,   th s y s tem   c o m p ar es  u s er   d em o g r ap h ic  ch a r ac ter is tics   with   th in d ex ed   a d v er tis em en ts .   B y   m atch in g   u s er   attr ib u tes  with   r elev an d em o g r ap h ic  ca teg o r i es,  th ad v er tis in g   s y s tem   ca n   ef f icien tly   r etr iev e   ad v er tis em en ts   th at  ar m o r l ik ely   to   b r elev an t to   th u s er   [ 1 7 ] [ 1 8 ] .     2 . 3 .     Re - t a rg e t ing     R etar g etin g ,   also   k n o wn   as  r em ar k etin g ,   f o cu s es  o n   u s er s   wh o   h av p r ev i o u s ly   in ter ac ted   with   a   web s ite  o r   ap p licatio n   b u h a v n o co m p leted   d esire d   a ctio n ,   s u ch   as  m ak in g   p u r c h ase.   T h is   tech n iq u aim s   to   r e - en g a g p o ten tial  cu s to m er s   b y   r em in d in g   th e m   o f   p r o d u cts  o r   s er v ices  th ey   h av e   p r ev i o u s ly   v iewe d .   As  illu s tr ated   in   Fig u r e   2 ,   th e   r etar g etin g   p r o ce s s   g en er ally   in v o lv es  co llectin g   u s er   in ter ac tio n   d ata,   tr ac k in g   b r o wsi n g   b eh av i o r ,   an d   d eliv e r in g   ta r g eted   a d v e r tis em en ts   o n   ex ter n al  p latf o r m s   s u ch   as  s o cial   m ed ia  o r   s ea r ch   en g in es to   en co u r ag u s er s   to   r etu r n   an d   co m p lete  th d esire d   ac tio n .           Fig u r e   2 .   R etar g etin g   wo r k f lo in   d ig ital a d v er tis in g   s y s tem s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   s u r ve o f retr ieva l a lg o r ith ms in   a d   a n d   co n ten t reco mme n d a tio n   s ystems   ( Yu   Zh a o )   1521   I n   p r ac tice,   r eta r g etin g   s y s tem s   r ely   o n   s ev e r al  s tag es  o f   d at p r o ce s s in g .   First,  u s er   in ter a ctio n   d ata   is   co llected   th r o u g h   co o k ies,  tr ac k in g   p ix els,  an d   o th er   tr ac k in g   tech n o l o g ies.  T h is   in f o r m atio n   m ay   in clu d e   v is ited   p ag es,  v iewe d   p r o d u ct s ,   an d   u s er   ac tio n s   o n   t h p latf o r m .   Ne x t,  ad v er tis em en ts   ar e   in d ex e d   ac co r d in g   to   th s p ec if ic  ac tio n s   p er f o r m ed   b y   u s er s .   Fo r   in s tan ce ,   p r o d u ct  lef in   s h o p p in g   ca r m ay   tr ig g er   ad v er tis em en ts   ass o ciate d   with   th at  p r o d u ct   ca teg o r y   o r   r el ated   item s .   Fin ally ,   wh en   th e   u s er   r etu r n s   to   th web s ite  o r   co n tin u es  b r o wsi n g   o th er   p latf o r m s ,   t h s y s tem   m atch es  th u s er s   p r ev io u s   in ter ac tio n s   with   r elev an ad v er tis em en ts ,   in cr e asin g   th lik elih o o d   th at  th e   u s er   will  r etu r n   an d   co m p lete  t h tr an s ac tio n   [ 1 7 ] [ 1 8 ] .     2 . 4 .     K ey wo rd  t a r g et ing   Key wo r d   tar g eti n g   d eliv e r s   ad v er tis em en ts   b ased   o n   k ey w o r d s   th at  u s er s   en ter   i n   s ea r ch   q u er ies  o r   th at  ap p ea r   in   th co n ten th ey   ar cu r r en tly   v iewin g .   B y   an aly zin g   th ese  tex tu al  s ig n als,  ad v er tis in g   s y s tem s   ca n   m atch   u s er   i n ten t w ith   r el ev an t a d v e r tis em en ts .   R ec en s tu d ies  s u g g est  th at  L L Ms  ca n   f u r th er   en h an ce   k e y wo r d   tar g etin g   b y   ex p an d in g   an d   r ef in in g   k ey wo r d   s ets.  Mo d els  s u c h   as   GPT - [ 1 0 ]   a n d   o th er   tr an s f o r m er - b ased   ar ch itectu r es  [ 9 ] [ 1 9 ]   ar ca p ab le   o f   g en er atin g   r elate d   k ey wo r d   v ar iatio n s   th at  ca p tu r d if f e r en way s   u s er s   ex p r ess   th eir   s ea r ch   in ten t.  Fo r   ex am p le,   k e y wo r d   s u ch   as  “r u n n i n g   s h o es”  m ay   b ex p an d ed   i n to   r elate d   p h r ases   in clu d in g   “a th leti c   f o o twea r , ”  “jo g g in g   s n ea k er s , ”  o r   “m ar ath o n   tr ain e r s . ”  Su ch   s em an tic  ex p an s io n   in cr ea s es  th lik elih o o d   o f   m atch in g   r elev a n t q u er ies an d   im p r o v es a d v er tis em en t r elev a n ce .   I n   p r ac tice,   k ey wo r d s   ar e   ty p ically   co llected   f r o m   s ea r c h   q u er ies,  web p ag c o n ten t,   an d   u s er - g en er ated   te x s u ch   as  co m m e n ts   o r   r ev iews.  Ad v er tis em en ts   ar in d ex e d   u s in g   t h ese  k ey wo r d s   s o   th ey   ca n   b ef f icien tly   r etr iev ed   wh e n   r elate d   q u er ies  o cc u r .   W h en   u s er s   s ea r ch   f o r   o r   in ter ac wit h   r elev an co n ten t ,   th s y s tem   co m p ar es  th ass o ciate d   k ey wo r d s   with   in d ex e d   ad v er tis em en ts   an d   r etr iev es  ad s   th at  m atch   th u s er s   cu r r en t c o n tex o r   s ea r c h   in ten t.     2 . 5 .     B eha v io r a t a rg et ing   B eh av io r al  tar g etin g   is   wid e ly   u s ed   tech n iq u i n   ad v e r tis em en r ec o m m e n d atio n   s y s tem s .   I r elie s   o n   a n aly zin g   u s er s   o n lin e   ac tiv ities   in   o r d er   t o   d eliv er   ad v e r tis em en ts   th at  r e f lect  th eir   in ter ests   an d   p r ef er en ce s .   User   b eh av i o r al  d ata  co llected   f r o m   b r o wsi n g   h is to r y ,   s ea r ch   q u er ies,  s o cial  m ed ia  in ter ac tio n s ,   an d   p u r ch ase  b eh a v io r   ar a g g r eg ated   o v er   tim to   b u ild   u s er   p r o f iles   th at  ca p tu r l o n g - ter m   in ter ests   an d   en g ag em e n t p atter n s .   Ad v er tis em en ts   ar th e n   in d ex ed   ac co r d in g   to   b eh a v io r al   p atter n s .   Fo r   ex am p le,   ad v e r tis em en ts   r elate d   to   o u td o o r   eq u ip m en t   m ay   b ass o ciate d   with   b eh av io r al  in d icato r s   s u ch   as  h i k in g ,   ca m p i n g ,   o r   ad v en tu r e - r elate d   s ea r ch es.  D u r in g   t h r etr iev al   p r o ce s s ,   th s y s tem   an aly ze s   u s er   b e h av io r   an d   m atch es  it   with   ad v er tis em en ts   th at  co r r e s p o n d   to   th ese  o b s er v ed   i n ter e s ts .   Fo r   in s tan ce ,   u s er s   wh o   f r eq u en tly   s ea r ch   f o r   h ik in g   g ea r   m ay   b p r esen ted   with   ad v er tis em en ts   f o r   o u td o o r   eq u i p m en [ 1 7 ] [ 1 8 ] .     2 . 6 .     Co nte x t ua t a rg et ing   C o n tex tu al  tar g etin g   d eliv e r s   ad v er tis em en ts   b ased   o n   th e   co n ten t   o f   th we b p ag e   th at   u s er   is   cu r r en tly   v iewin g .   I n s tead   o f   r ely in g   p r i m ar ily   o n   u s er   p r o f iles ,   th is   ap p r o ac h   an aly z es  th s u r r o u n d i n g   co n ten t to   d eter m in wh ic h   ad v er tis em en ts   ar m o s t r elev an t   in   g iv e n   co n te x t.   C o n tex tu al  in f o r m atio n   is   ty p ically   ex tr ac ted   f r o m   web p a g tex t,  im a g es,  an d   m etad at a.   Natu r al  lan g u ag p r o ce s s in g   ( NL P)  a n d   co n ten an aly s is   tech n iq u e s   ar co m m o n ly   u s ed   to   u n d e r s tan d   th s em an tic   m ea n in g   o f   th p ag an d   id en t if y   r elev an t t o p ics  [ 1 9 ] [ 2 0 ] .   Ad v er tis em en ts   ar i n d ex e d   with   k ey wo r d s   th at   co r r esp o n d   to   s p ec if ic  c o n tex tu al   th em es.  Fo r   ex am p le,   a d v er tis em en ts   f o r   g y m   m e m b er s h ip s   o r   s p o r ts wea r   m ay   b ass o ciate d   with   k ey wo r d s   r elate d   to   f itn ess ,   h ea lth ,   an d   ex er cise.   W h en   u s er   v is its   web p ag e,   th s y s tem   an al y ze s   th e   p ag c o n ten a n d   r etr iev es a d v er tis em en ts   th at  m atch   th d etec ted   c o n tex [ 1 8 ] .       3.   R E T RIE V AL   S Y ST E M S   R ec o m m en d atio n   s y s tem s   h a v b ee n   wid ely   s tu d ied   i n   th e   liter atu r [ 1 ] [ 2 0 ] .   Ad   tar g eti n g   f o c u s es  o n   d eliv er in g   p e r s o n alize d   ad v er tis em en ts   to   u s er s   b ased   o n   th eir   p r o f iles   an d   b e h av io r s ,   a im in g   to   m ax i m ize  en g ag em e n an d   co n v er s io n   r ates.  I n   co n tr ast,  o r g an ic  r etr iev al  em p h asizes  im p r o v in g   u s er   ex p er ien ce   b y   r ec o m m en d in g   c o n ten t o r   p r o d u cts th at  alig n   with   u s er s   p r ef er en ce s   with o u t d i r ec t m o n e tar y   in f lu e n ce .     3 . 1 .     O rg a nic  re t riev a l   Or g an ic  r etr iev al,   also   k n o w n   as  o r g an ic   r ec o m m en d atio n ,   aim s   t o   e n h an ce   u s er   ex p er ien ce   b y   p r o v id i n g   p er s o n alize d   co n te n o r   p r o d u ct  s u g g esti o n s   b ased   o n   u s er   p r ef er en ce s   an d   b eh av io r .   T h ese  s y s tem s   an aly ze   h is to r ical  in ter ac tio n s   to   id en tify   item s   th at  ar m o s t r elev an t to   ea ch   u s er .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   1 5 1 8 - 1 5 3 0   1522   Or g an ic  r etr iev al  s y s tem s   ar wid ely   u s ed   in   d o m ain s   s u ch   as  e - co m m er ce ,   s tr ea m in g   p lat f o r m s ,   an d   s o cial  m ed ia  [ 1 ] [ 2 0 ] .   L ar g e - s ca le  in d u s tr ial  s y s tem s   s u ch   as  Yo u T u b e   r ely   h ea v ily   o n   n eu r al  r et r iev al  ar ch itectu r es  f o r   ca n d id ate  g en er atio n   [ 2 1 ] .   Fo r   ex am p le,   Netf lix   r ec o m m en d s   m o v ie s   b ased   o n   u s er s   v iewin g   h is to r y ,   w h ile  Sp o tify s   Dis co v er   W ee k ly   in tr o d u ce s   n ew  m u s ic  ac co r d in g   to   lis ten in g   b e h av io r .   Desp ite  th eir   s u cc es s ,   o r g an ic  r etr iev al  s y s tem s   f ac s ev er al   ch allen g es,  in clu d in g   d ata  s p ar s ity ,   th co ld   s tar p r o b lem ,   an d   m ain t ain in g   r ec o m m e n d atio n   d i v er s ity   [ 2 2 ] .   Data   s p ar s ity   o cc u r s   wh en   in ter ac tio n   d ata  is   lim ited ,   wh ile  th e   c o ld   s tar p r o b lem   ar is es  wh en   n ew  u s er s   o r   item s   lack   h is to r ical  r ec o r d s .   Ma in tain in g   d iv e r s ity   is   also   im p o r tan t to   p r e v en t r ec o m m e n d atio n s   f r o m   b ec o m in g   o v er l y   n ar r o w.   T r ad itio n al  o r g a n ic  r etr iev al  m eth o d s   in clu d co n te n t - b as ed   f ilter in g ,   co llab o r ati v f ilter in g ,   an d   h y b r id   a p p r o ac h es.  C o n ten t - b ased   f ilter in g   r ec o m m en d s   item s   with   s im ilar   ch ar ac ter is t ics   to   th o s p r ev io u s ly   p r ef er r e d   b y   th u s er .   C o llab o r ativ f ilter in g   id en tifie s   p atte r n s   am o n g   u s er s   with   s im ilar   p r ef er en ce s   an d   h as  ev o lv ed   in to   n e u r al  co llab o r ativ f ilter in g   ar ch itectu r es  f o r   lar g e - s ca le  s y s tem s   [ 7 ] [ 2 3 ] .   Ma n y   m o d er n   p latf o r m s   co m b i n b o th   a p p r o ac h es  to   im p r o v r ec o m m e n d atio n   ac cu r ac y   an d   r o b u s tn ess .   T o   p r o v id a   clea r er   o v er v iew  o f   d if f er e n r ec o m m en d atio n   ap p r o ac h es ,   T ab le  1   s u m m ar izes  th k ey   ch ar ac ter is tics ,   ad v an tag es,  an d   lim itatio n s   o f   s ev er al  co m m o n ly   u s ed   r etr iev al  m eth o d s .   As  s h o wn   in   T ab le  1 ,   n eu r al   r etr iev al  m eth o d s   p r o v id b ett er   s ca lab ilit y   b u t r eq u ir lar g e - s ca le  tr ain in g   d ata.       T ab le  1 .   C o m p a r is o n   o f   m ajo r   r ec o m m en d atio n   r etr iev al  ap p r o ac h es   M e t h o d   K e y   I d e a   S t r e n g t h   Li mi t a t i o n   C o n t e n t - b a se d   f i l t e r i n g   R e c o mm e n d i t e ms w i t h   s i mi l a r   a t t r i b u t e s   S i mp l e   a n d   i n t e r p r e t a b l e   Li mi t e d   d i s c o v e r y   o f   n e w   i n t e r e s t s   C o l l a b o r a t i v e   f i l t e r i n g   U ses  b e h a v i o r   o f   si m i l a r   u s e r s   C a p t u r e i m p l i c i t   p r e f e r e n c e s   C o l d   st a r t   a n d   s p a r s i t y   i ssu e s   H y b r i d   met h o d s   C o m b i n e s m u l t i p l e   r e c o m me n d a t i o n   s t r a t e g i e s   I mp r o v e s   a c c u r a c y   a n d   r o b u st n e s s   H i g h e r   s y st e c o mp l e x i t y   N e u r a l   r e t r i e v a l   ( t w o - t o w e r )   Le a r n u ser/ i t e e mb e d d i n g s f o r   si mi l a r i t y   se a r c h   S c a l a b l e   f o r   l a r g e   s y st e ms   R e q u i r e l a r g e   t r a i n i n g   d a t a se t s       3 . 2 .     T wo - t o wer   net wo rk  f o re t riev a l   T h two - to wer   m o d el,   also   k n o wn   as  th e   d u al - to wer   m o d e l,  is   d ee p   lear n i n g   a r ch itectu r wid ely   u s ed   in   r ec o m m e n d atio n   s y s t em s   f o r   co n ten r etr iev al  [ 3 ] [ 4 ] [ 2 1 ] [ 2 4 ] [ 2 5 ] .   I ex te n d s   tr ad itio n al  m atr ix   f ac to r izatio n   a p p r o ac h es  [ 6 ]   b y   lear n i n g   em b ed d in g   r e p r e s en tatio n s   f o r   u s er s   an d   ite m s   th r o u g h   n e u r al  n etwo r k s   T h ar ch itectu r c o n s is ts   o f   two   in d ep en d en n e u r al  n etwo r k s u s er   to wer   an d   an   item   to wer .   T h e   u s er   to wer   en co d es  u s er   f ea tu r es  s u ch   as  d em o g r ap h ic  attr i b u tes,  b r o wsi n g   h is to r y ,   an d   p ast  in ter ac tio n s   in to   laten r e p r esen tatio n .   T h e   item   to wer   en co d es  item   f ea t u r e s   s u ch   as  m etad ata,   tex tu al   d e s cr ip tio n s ,   o r   v is u al   co n ten in to   item   em b e d d in g s .   B o th   r ep r esen tatio n s   ar p r o jecte d   in to   s h a r ed   laten s p a ce   wh er s im ilar ity   b etwe en   u s er s   an d   item s   ca n   b co m p u te d .   L et    d en o te  th in p u f ea tu r es  o f   u s er   an d     d en o te  th in p u f ea tu r es  o f   an   item .   T h u s er   to wer   m ap s   th u s er   f ea tu r es  in to   laten r ep r esen tatio n     th r o u g h   n eu r al  m ap p i n g   f u n ctio n   ( ) ,   wh ile  th item   to wer   m ap s   item   f ea tu r es in to   an   em b ed d in g   v ec to r     th r o u g h   an o th e r   n eu r al  f u n ctio n   ( ) :     = ( )     = ( )     T h r elev an ce   b etwe en   u s er s   an d   item s   is   ty p ically   m ea s u r ed   u s in g   s im ilar ity   f u n ctio n s   s u ch   as  th d o p r o d u ct:     ( , ) =         o r   co s in s im ilar ity     ( , ) =   | | u | |   | | v | |     As  illu s tr ated   in   Fig u r e   3 ,   th is   ar ch itectu r allo ws  u s er   an d   i tem   r ep r esen tatio n s   to   b lear n ed   in d e p en d e n tly   wh ile  en ab lin g   ef f icien t la r g e - s ca le  r etr iev al.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   s u r ve o f retr ieva l a lg o r ith ms in   a d   a n d   co n ten t reco mme n d a tio n   s ystems   ( Yu   Zh a o )   1523       Fig u r 3 .   Ar c h itectu r o f   th t wo - to wer   n eu r al  r etr iev al  m o d el       3 . 3 .     T ra ini ng   a nd   infe re nce   T r ain in g   t h two - to wer   m o d el  in v o lv es  lear n in g   e m b ed d in g s   th at  ca p tu r co m p atib ilit y   b etwe en   u s er s   an d   item s .   Du r in g   tr ain i n g ,   u s er item   p air s   ar s am p led   f r o m   h is to r ical  in ter ac tio n   d ata.   Po s itiv p air s   r ep r esen o b s er v ed   in ter ac tio n s ,   wh ile  n eg ativ s am p les   r ep r esen n o n - in ter ac tio n s .   T h is   s tr ateg y   en ab les  th m o d el  to   d is tin g u is h   r elev a n item s   f r o m   ir r ele v an o n es.  N eg ativ s am p lin g   tec h n iq u es  ar o f ten   ap p lied   to   ad d r ess   th im b alan ce   b etwe en   p o s itiv an d   n eg ativ e x am p les  [ 1 1 ] ,   [ 2 6 ] .   T h m o d el  is   ty p ically   o p tim ized   u s in g   lo s s   f u n ctio n s   s u ch   as  cr o s s - en tr o p y   lo s s   [ 2 3 ] [ 2 7 ] [ 2 8 ]   o r   p air wis r an k in g   lo s s ,   w h ich   ar c o m m o n ly   u s ed   i n   im p licit  f ee d b ac k   r ec o m m en d atio n   s y s tem s .   Mo d el  p ar am eter s   ar u p d ated   th r o u g h   g r a d ien t - b ased   o p tim izatio n   alg o r ith m s   s u ch   as  s to ch asti g r ad ien d escen t   ( SGD)   o r   Ad am .   Du r in g   i n f er en ce ,   th e   tr ain e d   m o d el   g en e r ates  em b e d d in g   v ec to r s   f o r   u s er s   an d   item s .   T h e   u s er   to wer   p r o d u ce s   v ec to r   r ep r esen tatio n   f o r   g iv e n   u s er ,   wh ile  th item   to wer   g en er at es  em b ed d in g s   f o r   ca n d id ate  item s .   T h e   s im ilar ity   b etwe en   u s er   an d   item   v ec to r s   is   th en   co m p u ted   u s in g   s im ilar ity   m etr ics  s u ch   as  d o p r o d u cts   o r   co s in s im ilar ity .   T h s y s tem   r etr iev es  th to p - item s   with   th h ig h est  s im ilar ity   s co r es   an d   r ec o m m en d s   th em   to   th u s er .   I n   lar g e - s ca le  in d u s tr ial  s y s tem s ,   th is   r etr iev al  p r o ce s s   is   o f ten   ac ce ler ated   u s in g   ef f icien in d ex in g   tech n iq u es  s u ch   as  ap p r o x im ate  n ea r est  n eig h b o r   ( ANN)   s ea r ch   an d   d is tr ib u ted   r etr iev al  in f r astru ctu r e   [ 3 ] [ 1 6 ] .   T h o v er all  r etr iev al  p r o ce d u r o f   two - to wer   r ec o m m en d atio n   s y s tem   ca n   b s u m m ar ized   as   f o llo ws.  First,  th u s er   to wer   en co d es  u s er   f ea t u r es  to   g e n er ate  u s er   em b e d d in g   v ec to r .   Seco n d ,   th item   to wer   p r o d u ce s   em b ed d in g   r e p r esen tatio n s   f o r   ca n d id ate   item s ,   wh ich   a r o f ten   p r ec o m p u ted   an d   s to r ed   in   a n   in d ex in g   s tr u ctu r e .   T h ir d ,   a   s im ilar ity   f u n ctio n   s u ch   as  d o t   p r o d u ct  o r   c o s in s im ilar ity   is   u s ed   to   m ea s u r t h r elev an ce   b etwe en   th u s er   e m b ed d in g   an d   item   em b e d d in g s .   Fin ally ,   th s y s tem   r etr iev es  th to p - item s   with   th h ig h est s im ilar ity   s co r es a n d   r etu r n s   th em   as r ec o m m en d atio n   ca n d id ates.     3 . 4 .     Cha lleng es  a nd   ex t ens io ns   Mo d er n   r e co m m e n d atio n   s y s tem s   em p lo y   v a r iety   o f   r etr iev al  m o d els  b ey o n d   t h two - to wer   ar ch itectu r e.   Den s v ec to r   r et r iev al  m eth o d s   ar wid ely   ad o p ted   in   lar g e - s ca le  s y s tem s   [ 1 6 ] ,   wh er u s er   an d   item   r ep r esen tatio n s   ar lear n ed   in   s h ar ed   em b ed d i n g   s p ac an d   ef f icien n ea r est - n eig h b o r   s ea r ch   is   u s ed   f o r   ca n d id ate  g e n er atio n .     I n   ad d itio n ,   g r ap h   n e u r al  n et wo r k   ( GNN) b ased   m o d els  h av b ee n   in tr o d u ce d   to   ca p tu r co m p lex   u s er item   r elatio n s h ip s   th r o u g h   in ter ac tio n   g r ap h s   [ 2 9 ] [ 3 1 ] .   R ep r esen tativ ex ten s io n s   in clu d s o cial  r ec o m m en d atio n   m o d els  [ 3 2 ]   an d   lig h tweig h g r ap h   c o n v o lu tio n   ap p r o ac h es  s u ch   as  L ig h tGC [ 3 3 ] ,   wh ile  s u r v ey   s tu d ies p r o v id b r o ad e r   o v er v iews o f   th is   r esear ch   ar ea   [ 3 4 ] [ 3 6 ] .   Kn o wled g g r a p h b ased   r ec o m m en d atio n   m eth o d s   f u r th er   en h an ce   r etr ie v al  b y   in c o r p o r ati n g   s tr u ctu r ed   r elatio n al  in f o r m at io n   b etwe en   u s er s   an d   item s ,   im p r o v in g   b o th   ac cu r ac y   a n d   ex p lain a b ilit y   in   co m p lex   r ec o m m en d atio n   s ce n ar io s   [ 3 7 ] [ 3 9 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   1 5 1 8 - 1 5 3 0   1524   Mu ltimo d al  r etr ie v al  ap p r o a ch es  f u r th er   e n h an ce   r ec o m m en d atio n   p er f o r m a n ce   b y   in teg r atin g   in f o r m atio n   f r o m   m u ltip le  m o d alities   s u ch   as  tex t,   im a g es,  an d   au d i o   [ 2 2 ] ,   [ 4 0 ] .   k ey   ch allen g e   in   r ec o m m en d atio n   s y s tem s   is   th co ld   s tar p r o b lem   [ 4 1 ] [ 4 3 ] ,   wh e r n ew  u s er s   o r   ite m s   lack   s u f f icien in ter ac tio n   d ata.   T o   ad d r ess   th is   is s u e,   s ev er al  s tr ateg ies  h av b ee n   ex p lo r e d ,   in clu d i n g   tr an s f er   lear n in g ,   wh ich   lev er a g es  k n o wled g f r o m   lar g e - s ca le  d atasets ,   an d   s y n th etic  d ata   g en e r atio n ,   wh ic h   au g m en ts   s p ar s in ter ac tio n   d ata.   Fed er ated   le ar n in g   h as  also   b ee n   p r o p o s ed   to   en ab le  co llab o r ativ m o d el  tr ain in g   ac r o s s   d is tr ib u ted   d ata  s o u r ce s   wh ile  p r eser v in g   u s er   p r iv a cy   [ 4 4 ] .   An o th er   im p o r tan f ac to r   af f ec tin g   s y s tem   p er f o r m an ce   i s   d ata  q u ality   [ 4 2 ] .   R ec o m m en d atio n   ef f ec tiv en ess   r elies  h ea v ily   o n   r eliab le  i n ter ac tio n   d ata,   an d   n o is y   o r   s p ar s e   d atasets   ca n   s i g n if ican tly   d eg r a d m o d el  p er f o r m a n ce .   R ec en wo r k   h as  p r o p o s ed   s ev er al  e x ten s io n s   to   en h an ce   t h tr a d itio n al  two - to wer   ar ch itectu r e.   Mu lti - task   lear n in g   allo ws  th m o d el  to   jo in tly   o p tim ize  m u ltip le  o b jectiv es  s u ch   as  cl ick - th r o u g h   r ate   p r e d ictio n   an d   u s er   en g ag em e n t   [ 2 6 ] ,   [ 4 5 ] .   T h th r ee - t o wer   ar c h itectu r f u r th er   e x ten d s   th i s   d esig n   b y   i n tr o d u cin g   a n   ad d itio n al  n etwo r k   to   m o d el  co n tex tu al  in f o r m atio n ,   in cl u d in g   tem p o r al  s ig n als,   lo ca tio n   d ata,   a n d   cr o s s - f ea tu r in ter ac tio n s   [ 4 6 ] ,   [ 4 7 ] .   As  illu s tr ated   in   Fig u r e   4 ,   t h th r ee - t o wer   ar c h itectu r e   p r o ce s s es  u s er   f ea tu r es,  item   f ea tu r es,  an d   co n tex tu al  f ea tu r es th r o u g h   s e p ar ate  n eu r al  to wer s   b ef o r c o m b in in g   th em   in   s h ar ed   r e p r esen tatio n   lay er   f o r   f in al  p r ed ictio n .   T h is   d esig n   en ab les  th m o d el  to   ca p tu r r ich er   in ter ac tio n s   an d   im p r o v r ec o m m en d atio n   p er f o r m an ce   in   c o m p lex   s ce n a r io s .   R ec en s tu d ies  h av also   ex p lo r ed   in teg r atin g   L L Ms  in t o   r ec o m m e n d atio n   p ip elin es  [ 1 1 ] [ 1 3 ] L L Ms  ca n   g en er ate   s y n th eti in ter ac tio n   d ata   an d   en h an ce   s em an tic  r e p r esen tatio n s   o f   tex t u al  f ea tu r es,  h elp in g   allev iate  co ld   s tar is s u es  an d   im p r o v in g   th r o b u s tn ess   o f   r ec o m m en d atio n   s y s tem s .   I n   ad d itio n ,   L L Ms  ca n   b u s ed   to   en r i ch   u s er ,   item ,   an d   c o n tex tu al  r ep r esen tatio n s ,   co m p lem en tin g   m u lti - to we r   ar ch itectu r es a n d   im p r o v in g   r e co m m en d atio n   p er f o r m a n ce   in   s p ar s an d   co m p lex   d ata  s ce n ar io s .           Fig u r 4 .   Ar c h itectu r o f   th t h r ee - to wer   n eu r al  r ec o m m en d atio n   m o d el       4.   CO M P ARI NG   AD  T ARG E T I NG   AND  O RG AN I R E T RI E VA L   Fro m   s y s tem   d esig n   p er s p ec tiv e,   b o th   p a r ad ig m s   s h ar s im ilar   r etr iev al  m ec h an is m s   b u d iv er g in   o p tim izatio n   o b jectiv es  an d   e v alu atio n   cr iter ia.   Mo d e r n   ad v er tis in g   s y s tem s   o f ten   r ely   o n   lar g e - s ca le  click   p r ed ictio n   m o d els  [ 4 5 ] .   At  f u n d am e n tal  lev el,   ad   tar g etin g   an d   o r g an ic  r ec o m m en d atio n   r etr iev al  s h ar a   s im ilar   o b jectiv e:  m atch i n g   u s er   in ten t   with   r elev a n co n ten t .   Ad v er tis in g   s y s tem s   an aly ze   u s er   b eh av io r   a n d   d em o g r a p h ic   in f o r m atio n   to   p r ed ict  wh ic h   a d v er tis em en ts   ar e   m o s lik ely   to   g en e r ate  en g ag em e n t,  wh ile   s ea r ch   en g in es  a n d   r ec o m m e n d atio n   s y s tem s   an aly ze   q u er ies,  in ter ac tio n   h is to r ies,  an d   co n ten f ea tu r es  to   id en tify   r elev an item s .   I n   b o t h   ca s es,  m ac h in lear n in g   an d   lar g e - s ca le  d ata  p r o ce s s in g   p l ay   ce n tr al  r o le  in   im p r o v in g   th e   ac cu r ac y   o f   co n ten d eliv er y .   T h is   m et h o d o lo g ical   s im ilar ity   h ig h lig h ts   th in cr ea s in g   co n v er g en ce   b etwe en   tar g eted   ad v er tis in g   tech n o lo g ies an d   co n ten t r etr iev al  s y s tem s   [ 1 ] ,   [ 2 0 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   s u r ve o f retr ieva l a lg o r ith ms in   a d   a n d   co n ten t reco mme n d a tio n   s ystems   ( Yu   Zh a o )   1525   I n d ex - b ased   a d   tar g etin g   is   co n ce p tu ally   s im ilar   to   t h i n v er ted   in d ex   wid ely   u s ed   i n   o r g an ic   in f o r m atio n   r etr iev al  [ 1 5 ] .   B o th   ap p r o ac h es  r ely   o n   s tr u c tu r ed   in d ex i n g   m ec h a n is m s   to   ef f icien tly   m atch   u s er s   with   r elev an t c o n ten t.  I n   ad v er tis in g   s y s tem s ,   u s er   p r o f iles   ar ca teg o r ized   b ased   o n   b eh av io r al  p atter n s ,   in ter ests ,   an d   d em o g r a p h ic  attr ib u tes,  allo win g   ad v er tis er s   to   id en tif y   p o ten tial  au d i en ce s   f o r   s p ec if ic   ca m p aig n s .   I n   o r g an ic  r etr iev al  s y s tem s ,   in v er ted   in d ices  m ap   k ey wo r d s   o r   f ea tu r es  to   d o cu m e n ts   o r   item s ,   en ab lin g   s ea r ch   en g in es to   r ap id ly   r etr iev r ele v an t r esu lts   in   r esp o n s to   u s er   q u er ies.   T ar g etin g   s tr ateg ies  in   a d v er tis in g   also   r esem b le   r etr iev a m ec h an is m s   u s ed   in   o r g an ic  s ea r ch   s y s tem s .   I n ter est - b ased   tar g etin g   d is p lay s   ad v er tis em en ts   to   u s er s   ac co r d in g   t o   th eir   in f er r ed   in ter ests   an d   b r o wsi n g   b eh a v io r s ,   wh ich   p ar allels  r ec o m m en d atio n   s y s tem s   th at  r etr iev co n ten alig n ed   with   u s er   p r ef er en ce s .   Key w o r d   tar g etin g   f o c u s es  o n   s p ec if ic  wo r d s   o r   p h r ases   an d   f u n ctio n s   s im ilar ly   to   tr ad itio n a l   s ea r ch   r etr iev al,   wh er e   u s er   q u er ies  ar m atc h ed   a g ain s in d ex ed   co n ten t   co n tain i n g   r elev an ter m s .   Desp ite  th ese  s im ilar itie s ,   th two   s y s tem s   d if f er   in   th eir   o p tim iz atio n   g o als,  d ata  u s ag e,   an d   ev alu atio n   m etr ics.     T ab le  2   s u m m ar izes  th k ey   d if f er en ce s   b etwe en   ad   tar g etin g   s y s tem s   an d   o r g an ic  r etr iev al  s y s tem s   in   ter m s   o f   o b jectiv es,  d ata  s o u r ce s ,   o p tim izatio n   tar g ets,  an d   e v alu atio n   m etr ics.  T h ese  d if f e r en ce s   ar f u r th e r   r ef lecte d   in   th eir   d ata  u s ag e   an d   ev alu atio n   s tr ateg ies.  Ad   tar g etin g   r elies  h ea v ily   o n   d em o g r ap h ic  an d   b eh av io r al  d ata  f o r   p r ec is ta r g etin g ,   wh ile  o r g an ic  r etr iev al  em p h asizes  h is to r ical  in ter ac tio n s   to   im p r o v r elev an ce   an d   lo n g - ter m   e n g ag em en t.  I n   ad d itio n ,   ad   s y s tem s   o f ten   r aise  g r ea ter   p r iv a cy   co n ce r n s   d u t o   ex ten s iv u s er   p r o f ilin g   [ 1 7 ] ,   [ 1 8 ] .       T ab le  2 .   C o m p a r is o n   o f   ad   tar g etin g   an d   o r g an ic  r etr iev al  s y s tem s   A sp e c t   A d   T a r g e t i n g   S y st e ms   O r g a n i c   R e t r i e v a l   S y s t e ms   O b j e c t i v e   M a x i m i z e   a d v e r t i si n g   r e v e n u e   a n d   c o n v e r si o n   r a t e s   I mp r o v e   u s e r   sa t i sf a c t i o n   a n d   e n g a g e men t   P r i mary   d a t a   s o u r c e   U ser d e mo g r a p h i c s ,   b r o w s i n g   h i s t o r y ,   b e h a v i o r a l   t r a c k i n g   H i st o r i c a l   i n t e r a c t i o n s ,   p r e f e r e n c e s,   a n d   c o n su mp t i o n   p a t t e r n s   O p t i mi z a t i o n   t a r g e t   C l i c k - t h r o u g h   r a t e   ( C T R ) ,   c o n v e r si o n   r a t e ,   a d v e r t i si n g   R O I   R e l e v a n c e ,   d i v e r s i t y ,   l o n g - t e r m u ser  e n g a g e m e n t   Ev a l u a t i o n   me t r i c s   C o s t   p e r   c l i c k   ( C P C ) ,   C T R ,   c o n v e r si o n   r a t e ,   r e v e n u e   D A U / M A U ,   r e t e n t i o n   r a t e ,   u ser  e n g a g e m e n t   met r i c s   B u s i n e ss r o l e   D i r e c t   m o n e t i z a t i o n   t h r o u g h   a d v e r t i si n g   I n d i r e c t   r e v e n u e   t h r o u g h   u ser   r e t e n t i o n   a n d   p l a t f o r m   g r o w t h   P r i v a c y   c o n c e r n s   H i g h   d u e   t o   e x t e n s i v e   u ser  p r o f i l i n g   M o d e r a t e ,   p r i m a r i l y   f o c u se d   o n   i n t e r a c t i o n   d a t a   Ty p i c a l   i n d u s t r i a l   e x a mp l e s   G o o g l e   A d s,  F a c e b o o k   A d s,   p r o g r a m mat i c   a d v e r t i si n g   N e t f l i x   r e c o mm e n d a t i o n s,  Y o u Tu b e   r e c o m me n d a t i o n s,   S p o t i f y   p l a y l i st s       As  s h o wn   in   T ab le  2 ,   alth o u g h   ad   tar g etin g   a n d   o r g an ic  r et r iev al  s y s tem s   s h ar s im ilar   u n d er ly in g   r etr iev al  m ec h an is m s ,   th ey   d if f er   s ig n if ican tly   in   th eir   o b ject iv es,  d ata  u s ag e,   an d   ev alu atio n   m etr ics,  lead in g   to   d if f e r en o p tim izatio n   s tr at eg ies  in   r ea l - wo r ld   s y s tem s .   k ey   i n s ig h is   th at  alth o u g h   ad   tar g etin g   an d   o r g an ic  r et r iev al  s y s tem s   s h ar s im ilar   r etr iev al  m ec h an is m s ,   th eir   o p tim izatio n   o b jectiv es  lead   to   f u n d am e n tally   d if f er en s y s te m   d esig n s .   Ad   s y s tem s   p r io r it ize  s h o r t - ter m   r ev en u m etr ic s   s u ch   as  C T R   an d   co n v er s io n   r ate,   wh ile  o r g an i s y s tem s   em p h asize  lo n g - ter m   u s er   en g a g em en t,  d i v er s ity ,   an d   r eten tio n .   T h is   d if f er en ce   s ig n if ica n tly   in f lu en ce s   h o r etr iev al  m o d els  ar tr ain ed ,   tu n e d ,   an d   d ep l o y ed   in   r ea l - wo r ld   s y s tem s .       5.   M E T RI CS A ND  E XP E RI M E NT AT I O N   5 . 1 .     M et rics   E v alu atio n   m etr ics  an d   u s er   ex p er im en ts   ar wid ely   u s ed   to   ass es s   r ec o m m en d atio n   s y s tem   p er f o r m an ce   [ 2 1 ] ,   [ 2 6 ] .   I n   la r g e - s ca le  r ec o m m en d atio n   a n d   ad v er tis in g   s y s tem s ,   co m m o n ly   u s ed   m etr ics  in clu d click - th r o u g h   r ate  ( C T R ) ,   ar ea   u n d e r   th r ec eiv e r   o p er atin g   c h ar ac ter is tic  cu r v e   ( AUC),   p r ec is io n ,   an d   r ec all  [ 2 6 ] ,   [ 4 5 ] .   C T R   m ea s u r es th p r o p o r ti o n   o f   im p r e s s io n s   th at  r esu lt in   u s er   click s   an d   is   wid ely   u s ed   in   ad v er tis in g   s y s tem s .   Pre ci s io n   an d   r ec all  ev alu ate  th r elev an ce   o f   r ec o m m e n d ed   item s ,   wh ile  A UC   r ef lects th m o d el’ s   ab ilit y   to   co r r ec tly   r a n k   p o s itiv in ter ac tio n s   h ig h er   t h an   n e g ativ o n es .   T h ese  m etr ics ar e   ty p ically   u s ed   in   o f f lin e v alu atio n   b ef o r m o d els ar d ep l o y ed   to   o n lin s y s tem s   [ 2 6 ] ,   [ 4 5 ] .   C o n ten r ec o m m e n d atio n   s y s tem s   p r im ar ily   f o c u s   o n   m e tr ics  th at  r ef lect  u s er   en g a g e m en an d   r eten tio n   [ 2 1 ] ,   [ 4 8 ] ,   [ 4 9 ] ,   s u c h   as  m o n th l y   ac tiv u s er s   ( M AU) ,   d aily   ac tiv u s er s   ( DAU ) ,   an d   u s er   r eten tio n   r ates  [ 2 1 ] .   T h ese  s y s tem s   aim   to   in c r ea s u s er   e n g ag e m en an d   r ete n tio n   t h r o u g h   p er s o n a lized   co n ten t.   T h e   u ltima te  g o al  is   to   in cr ea s e   u s er   lo y alty   an d   s atis f ac tio n ,   lea d in g   t o   s u s tain ed   g r o wth   in   u s er   b ase  a n d   ac tiv ity   lev els.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 J u n e   20 2 6 :   1 5 1 8 - 1 5 3 0   1526   I n   ad d itio n   to   th ese  h ig h - lev el   m etr ics,  m o r g r an u lar   m etr i cs  lik click s ,   lik es,  an d   f o llo ws  ar al s o   cr u cial.   T h ese  m etr ics  ar p ar ticu lar ly   s en s itiv to   alg o r ith m ic  u p d ates  an d   p r o v id im m ed iate  f ee d b ac k   o n   u s er   en g a g em en t   with   t h r ec o m m en d e d   c o n ten t.   T h e y   a r e   clo s ely   m o n ito r e d   t o   g au g e   t h ef f ec tiv en ess   o f   th r ec o m m en d atio n   alg o r it h m s   an d   to   m ak tim ely   ad ju s tm en ts   th at  ca n   f u r th er   en h a n c u s er   in ter ac tio n   an d   s atis f ac tio n .   I n   co n tr ast,  ad   s y s tem s   o p er ate  with in   th r ee - p ar ty   ec o s y s tem   in v o lv in g   a d v er tis er s ,   th p latf o r m ,   an d   u s er s .   E ac h   p ar ty   h as  d is tin ct  in ter ests   an d   m etr ics  f o r   s u cc ess .   Ad v er tis er s   ar p r im ar ily   co n ce r n e d   with   m etr ics  s u ch   as  co s p er   click   ( C PC )   an d   co n v er s io n   r ates  [ 1 7 ] ,   [ 1 8 ] ,   [ 4 5 ] ,   [ 4 8 ] ,   wh ich   in d icate   th e   ef f ec tiv en ess   an d   ef f icien cy   o f   th eir   a d   s p en d .   T h p latf o r m ,   o n   th o th er   h an d ,   m ea s u r es  r ev en u e   g en e r ated   f r o m   a d   p lace m en ts ,   aim in g   t o   m ax im ize   o v e r all  p r o f itab ilit y .   User s   in ter ests   lie  in   th e   r elev an ce   a n d   n o n - in tr u s iv en ess   o f   th e   ad s   th ey   en co u n ter h i g h   r ele v an ce   c an   en h a n ce   u s er   ex p e r ien ce ,   wh ile  ir r elev an o r   ex ce s s iv ad s   ca n   d etr ac f r o m   it.  B alan cin g   th ese  th r ee   s ets  o f   in ter ests   i s   cr u cial  f o r   th s u cc ess   o f   ad   s y s tem s .     5 . 2 .     Co ntr o lled  ex perim ent a t io n f ra m ew o rk   T o   ev alu ate  an d   o p tim ize   b o th   co n ten r ec o m m en d a tio n   an d   ad   s y s tem s ,   co n tr o lled   A/B   ex p er im en tatio n   f r am ew o r k s   [ 2 6 ] ,   [ 3 4 ] ,   [ 4 5 ]   a r co m m o n l y   u s ed .   I n   th is   s etu p ,   u s er s   ar r an d o m ly   d iv i d ed   in to   co n tr o l   an d   tr ea tm en t   g r o u p s .   T h e   co n tr o l   g r o u p   co n tin u es  to   e x p er ien ce   th e   s y s tem   as  u s u al,   wh ile   th tr ea tm en t g r o u p   is   ex p o s ed   to   n ew  f ea tu r o r   ch an g b ein g   test ed .   B y   co m p ar in g   th b eh av io r   an d   o u tco m es  o f   th ese  two   g r o u p s ,   th im p a ct  o f   t h n ew   f ea tu r e   ca n   b a cc u r ately   ass ess ed .   As  illu s tr ated   in   Fig u r e   5 ,   th e   A/B   test in g   wo r k f lo i n v o l v es  s p litt in g   u s er s   in to   ex p er i m en tal  g r o u p s ,   co llectin g   b e h av io r al  d ata,   an d   an aly zin g   th e   r esu lts   to   g u id s y s tem   im p r o v em en ts   [ 2 7 ] .           Fig u r 5 .   A/B   ex p er im e n tatio n   wo r k f lo w       Ho wev er ,   A/B   ex p er im en ts   in   th ese  s y s tem s   co m wi th   u n iq u ch allen g es.  Fo r   u s er   ex p e r im en ts   in   co n ten r ec o m m en d atio n ,   th e r is   r is k   o f   tr a f f ic  s tealin g ,   wh er t h tr ea tm en g r o u p   m ay   in ad v er ten tl y   attr ac u s er s   wh o   wo u ld   o th er wis b elo n g   to   th e   co n tr o g r o u p .   T h is   ca n   s k ew  th r esu lts ,   m ak in g   it  d if f icu lt   to   m ea s u r th tr u ef f ec o f   th ex p er im en t.  Me tr ics  s u c h   as  click s ,   lik es,  an d   f o llo ws  ar p ar ticu lar ly   s en s itiv to   alg o r ith m ic  u p d a tes  an d   n ee d   to   b cl o s ely   m o n ito r ed   d u r in g   th ese  e x p er i m en ts   to   ass ess   th e   im m ed iate  im p ac t o n   u s er   en g ag em en [ 2 6 ] .   W h en   ex p e r im en tin g   with   c o n ten cr ea to r s   o r   ad v e r tis er s ,   it’s  ess en tial  to   s ep ar ate  u s er s   an d   cr ea to r s   to   av o id   “g h o s ex p e r im en ta tio n ”  d if f e r en ce s .   T h is   m ea n s   en s u r in g   th at  u s er s   an d   c o n ten cr ea t o r s   ( o r   ad v er tis er s )   d o   n o c r o s s - co n t am in ate  th co n tr o a n d   tr ea t m en g r o u p s .   Fo r   in s tan ce ,   if   an   ex p er im e n is   r u n   with   s u b s et  o f   co n ten t   cr ea to r s ,   th au d ien ce   f o r   t h ese  cr ea t o r s   s h o u ld   b e v en ly   d is tr ib u t ed   b etwe en   c o n tr o an d   tr ea tm en g r o u p s   to   en s u r ac cu r ate  m ea s u r em e n t o f   t h e   ex p er im en t s   im p ac t.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         A   s u r ve o f retr ieva l a lg o r ith ms in   a d   a n d   co n ten t reco mme n d a tio n   s ystems   ( Yu   Zh a o )   1527   Fo r   ad   ex p er im en ts ,   it  is   also   cr itical  to   en s u r th at  b o th   th tr ea tm en an d   co n tr o g r o u p s   h av th s am b u d g et.   T h is   h elp s   to   m ain tain   f air   co m p ar is o n   b etwe en   th two   g r o u p s   an d   en s u r es  th at  an y   d if f er en ce s   in   p er f o r m an ce   ca n   b attr ib u te d   to   ex p er im en tal   ch an g es r ath e r   th an   b u d g et  d i s cr ep an cies.       6.   CO NCLU SI O N   R etr iev al  alg o r ith m s   p lay   ce n tr al  r o le  in   m o d er n   ad v er tis in g   an d   c o n ten r ec o m m en d atio n   s y s tem s   b y   e n ab lin g   ef f icien t   m atch i n g   b etwe en   u s er s   a n d   r elev an item s .   T h is   s u r v ey   r ev ie wed   r ep r esen tativ r etr iev al  ap p r o ac h es  u s ed   in   b o th   ad v er tis in g   r ec o m m en d atio n   an d   o r g a n ic  co n ten r ec o m m en d atio n   s y s tem s ,   in clu d in g   tr a d itio n al  r etr iev al   tech n iq u es  an d   n eu r al  r etr ie v al  ar ch itectu r es  s u ch   as  th e   two - to wer   m o d el.   T h ese  m eth o d s   f o r m   th e   f o u n d atio n   o f   lar g e - s ca le  r ec o m m e n d atio n   p ip elin es  b y   e n ab lin g   ef f icien ca n d id ate   g en er atio n .   Desp ite  s ig n if ican p r o g r ess ,   s ev er al  ch allen g es  r em ai n   in   r ea l - wo r ld   s y s tem s ,   in clu d in g   d ata   s p ar s ity ,   co ld   s tar is s u es,  d at q u ality ,   an d   p r iv ac y   co n ce r n s .   Pra ctica s o lu tio n s   s u ch   as  tr an s f er   lear n in g ,   s y n th etic  d ata  g en er atio n ,   a n d   f ed e r ated   lear n in g   h av b ee n   ex p l o r ed   to   m itig ate  th ese  lim itatio n s .   I n   ad d itio n ,   i n f r astru ctu r s ca lab i lity   is   k ey   co n s id er atio n   in   i n d u s tr ial  d ep l o y m en ts ,   wh er tech n iq u es  s u ch   as  ap p r o x im ate  n ea r est  n eig h b o r   s ea r ch ,   d is tr ib u ted   r etr ie v al  p ip elin es,  an d   h ar d wa r e   ac ce ler atio n   ( e. g . GPU/TPU - b ased   s y s tem s )   ar wid ely   ad o p te d   to   s u p p o r t e f f i cien t la r g e - s ca le  r etr iev al.   L o o k in g   f o r war d ,   r etr ie v al  al g o r ith m s   ar e   ex p ec ted   to   co n tin u e v o lv in g   alo n g s id ad v an ce s   in   m ac h in lear n in g   an d   lar g e - s ca le  co m p u tin g .   E m e r g in g   r esear ch   d ir ec tio n s   in clu d d ee p er   i n teg r atio n   b etwe en   r etr iev al  ar ch itectu r e s   an d   LLM s ,   as  well  a s   im p r o v ed   s y s tem   d esig n s   th at  b alan ce   p er s o n aliza tio n ,   s ca lab ilit y ,   an d   p r iv ac y .   O v er all,   r etr iev al - b ased   ar ch itectu r is   ex p ec ted   to   r em ain   f u n d am en tal  co m p o n en t   o f   m o d e r n   r ec o m m en d atio n   s y s tem s .   R ec en ad v an ce s   in   n eu r al  r an k in g   an d   d en s r etr ie v al  f u r th er   h ig h lig h t   th r ap id   ev o lu tio n   o f   r etr iev a ar ch itectu r es,  e m p h asizin g   t h im p o r tan ce   o f   s ca lab le  s em an tic  m atch in g   an d   ef f icien r e p r esen tatio n   lea r n in g   i n   m o d er n   in f o r m atio n   s y s tem s T h ese  tr e n d s   s u g g est  th at   f u tu r r ec o m m en d atio n   s y s tem s   will  in cr ea s in g ly   r ely   o n   u n if ie d   r etr iev al  a r ch itectu r es  th at   in teg r ate  s em an tic   u n d er s tan d i n g ,   s ca lab ilit y ,   an d   r ea l - tim d ec is io n - m a k in g .   T h is   wo r k   p r o v id es  p r ac tical  r ef er en ce   f o r   b o th   ac ad em ic  r esear ch   a n d   in d u s tr ial  d ep lo y m e n t o f   r etr iev al - b a s ed   r ec o m m en d atio n   s y s tem s .       F UNDING   I NF O R M A T I O   T h is   r esear ch   r ec eiv ed   n o   e x te r n al  f u n d in g .       AUTHO CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Yu   Z h ao                               Fan g   L iu                               Yu an   Yu an                               Yif an   Dan g                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T   Data   av ailab ilit y   is   n o ap p li ca b le  to   th is   p ap er   as  n o   n e d ata  wer cr ea ted   o r   an aly ze d   in   th is   s tu d y .     Evaluation Warning : The document was created with Spire.PDF for Python.