I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   1 Feb r u ar y   2 0 2 6 ,   p p .   237 ~ 246   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 1 . p p 2 3 7 - 2 4 6           237     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Rea l - time  int el lig ent  v irt ua l as sis tant bas ed on  retr i e v a a ug mented gener a tion       I   K et ut  Resik a   Art ha na 1 ,   Ni  P utu  No v it a   P us pa   Dew i 1 ,   G ede  Arna   J ud Sa s k a ra 2 ,     I   M a de  Ardw i P ra dn y a na 2 ,   L uh   I nd ra y a ni 3   1 P r o g r a m St u d y   o f   C o mp u t e r   S c i e n c e ,   F a c u l t y   o f   En g i n e e r i n g   a n d   V o c a t i o n a l ,   U n i v e r si t a s P e n d i d i k a n   G a n e s h a ,   S i n g a r a j a ,   I n d o n e si a   2 P r o g r a m St u d y   o f   I n f o r m a t i o n   S y st e ms,  F a c u l t y   o f   E n g i n e e r i n g   a n d   V o c a t i o n a l ,   U n i v e r s i t a s Pe n d i d i k a n   G a n e sh a ,   S i n g a r a j a ,   I n d o n e si a   3 P r o g r a m St u d y   o f   En g l i s h   L a n g u a g e   Ed u c a t i o n ,   F a c u l t y   o f   La n g u a g e   a n d   A r t s,  U n i v e r si t a s   P e n d i d i k a n   G a n e s h a ,   S i n g a r a j a ,   I n d o n e s ia       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  2 8 ,   2 0 2 4   R ev is ed   Dec   2 4 ,   2 0 2 5   Acc ep ted   J an   1 0 ,   2 0 2 6       Im p ro v i n g   u se e x p e rien c e   i n   a c c e s sin g   i n fo rm a ti o n   o n   o r g a n iza ti o n a l   we b sites   re m a in a   c h a ll e n g e .   Us e rs  o ften   fa c e   c o m p lex   n a v i g a ti o n   a n d   m u l ti - ste p   se a rc h e th a slo i n fo rm a ti o n   re tri e v a l .   T h is  stu d y   in tr o d u c e th e   re a l - ti m e   in telli g e n v irt u a a ss istan t   (RIVA ),   wh ich   in teg ra tes   larg e   lan g u a g e   m o d e ls   (LL M s)  wi th   th e   re tri e v a l - a u g m e n ted   g e n e ra ti o n   (RAG fra m e wo rk   to   s u p p o rt   re a l - ti m e   i n tera c ti o n   with   we b site   c o n ten t.   T h e   sy ste m   wa imp lem e n ted   o n   th e   Un i v e rsitas   P e n d id i k a n   G a n e sh a   (Un d i k sh a we b site  u sin g   a   Wo r d P re ss   c o n ten t   m a n a g e m e n sy ste m   ( C M S )   a n d   d e v e lo p e d   fo ll o wi n g   th e   d e sig n   sc ien c e   re s e a rc h   (DSR)  a p p r o a c h ,   wh ich   in c lu d e six   sta g e s:  p ro b lem   id e n ti fica ti o n ,   so lu ti o n   o b jec ti v e s,  d e sig n   a n d   d e v e lo p m e n t,   d e m o n stra ti o n ,   e v a lu a ti o n ,   a n d   c o m m u n ica ti o n .   T h e   re tri e v a l - a u g m e n te d   g e n e ra ti o n   a ss e ss m e n ( RA G AS )   e v a lu a ti o n   i n d ica ted   th a t   c o m b i n e d   m o d e o tex t - e m b e d d in g - a d a - 0 0 2   a n d   s e m a n ti c   c h u n k in g   y iel d e d   t h e   b e st  re su lt s,  with   c o n tex p re c isio n = 0 . 8 3 ,   c o n tex re c a ll = 0 . 9 0 ,   re sp o n se   re le v a n c y = 0 . 9 1 ,   fa it h fu l n e ss = 0 . 8 3 ,   a n d   a n sw e c o rre c tn e ss = 0 . 8 5 .   Us e e x p e rien c e   q u e stio n n a ire   (UEQ)  tes ti n g   p e rf o rm e d   we ll ,   p a rti c u larly   in   t h e   n o v e lt y   a n d   stim u l a ti o n   d ime n sio n s.  T h e se   re su lt d e m o n stra te  th a RIVA   c a n   p ro v id e   u se rs  with   a c c e ss   to   re lev a n a n d   e n g a g i n g   i n fo rm a ti o n .   As   a   re su lt ,   fu t u re   re se a rc h   will   fo c u o n   imp ro v in g   re tri e v a a n d   d e v e lo p in g   a d a p t iv e   se m a n ti c   c h u n k in g   f o stru c t u re d   a n d   c o m p lex   d a ta.   K ey w o r d s :   Desig n   s cien ce   r esear ch   L ar g lan g u ag m o d els   R I VA   R etr i e v al - a u g m e n te d   g e n e r at io n   R AGAS   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   I   Ketu t Res ik Ar th an a   Pro g r a m   St u d y   o f   C o m p u t er   Sc ien ce ,   Fa cu lt y   o f   E n g i n ee r i n g   a n d   V o ca t io n al,   U n i v er s i tas   Pe n d i d i k a n   Ga n esh a   Ud ay an Stre et,   Sin g ar aja,   B u lelen g ,   B ali,   I n d o n esia   E m ail: r esik a@ u n d ik s h a. ac . id       1.   I NT RO D UCT I O N   Or g an izatio n al  web s ites   ar a   p r im ar y   ch a n n el  f o r   in f o r m a tio n   ac ce s s h o wev er ,   u s er s   o f ten   f ac e   d if f icu lties   d u to   m an u al  s ea r ch es,  co m p lex   n av ig atio n ,   an d   u n in t u itiv in ter f ac es,  wh ich   r ed u ce   u s er   s atis f ac tio n   an d   s er v ice  ef f ec tiv en ess .   T o   ad d r ess   th g r o win g   d em an d   f o r   f ast  an d   ac cu r ate   in f o r m atio n   ac ce s s ,   a r tific ial  in tellig en ce   ( AI ) ,   p a r ticu lar ly   AI   b ased   v ir tu al  ass is tan ts ,   h as   em er g ed   as  p r o m is in g   s o lu tio n   to   s im p lify   in f o r m ati o n   r etr ie v al  an d   en h a n ce   u s er   e x p er ien ce .   I n   th is   co n tex t,  lar g lan g u ag e   m o d els  ( L L M)   as   g en er ativ AI   h as  ch a n g ed   th way   p eo p le  in ter ac with   in f o r m atio n   s y s tem s .   L L Ms  r esear ch   an d   p r ac tical   ap p licatio n   co n tin u o u s ly   ad v a n ce ,   g en e r atin g   v ar io u s   tech n o lo g ical  in n o v atio n s   [ 1 ] ,   [ 2 ] .   A s   o n o f   t h p o p u lar   LLM - b ased   ap p licatio n s ,   C h atGPT   h as a ttra cted   g lo b al  atten tio n   d u to   its   ab ilit y   to   m an ag lan g u ag e - r elate d   task s   in   co n v e r s atio n   [ 3 ]   a n d   en h an ce   p r o d u ctiv ity   in   r esear ch   an d   ac ad em ia   [ 4 ] ,   [ 5 ] .   L ar g tex d atasets   ar e   u s ed   to   tr ain   L L Ms,  en ab lin g   th em   to   g en e r ate  co h er en t   an d   co n tex t u ally   r ele v an r esp o n s es  [ 6 ] .   L L Ms  h a v e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  16 ,   No .   1 Feb r u ar y   2 0 2 6 :   237 - 2 4 6   238   b ee n   wid ely   ap p lied   i n   v ar io u s   f ield s   an d   d o m ain s ,   wh ich   in clu d ed u ca tio n   [ 7 ] ,   h ea lth ca r [ 8 ] [ 1 0 ] ,   s o f twar d ev elo p m e n [ 1 1 ] ,   [ 1 2 ] ,   a n d   in d u s tr y   [ 1 3 ] .   L L Ms  ex is ten c also   cr ea tes  o p p o r tu n ities   f o r   o r g an izatio n s   t o   im p lem en th em   as  v ir tu al  a s s is tan ts ,   im p r o v in g   in f o r m at io n   s er v ices  b y   r ec eiv in g   an d   f o llo win g   u p   o n   cu s to m er   f ee d b ac k   to   im p r o v e   s er v ice  q u ality   an d   u s er   e x p er ien ce   [ 1 4 ] ,   [ 1 5 ] .   L L Ms  s till   f ac lim itatio n s   wh en   in te g r ated   in to   o r g a n izatio n al  web s ites   alth o u g h   th ey   h av m a d e   r ap id   p r o g r ess .   Alth o u g h   tr ain ed   u s in g   lar g e   d atasets ,   th eir   k n o wled g s tay s   s tatic  an d   o f te n   f ails   to   ca p tu r t h e   s p ec if ic  co n tex o f   an   o r g an iza tio n ,   n ec ess i tatin g   ex ten s iv r e tr ain in g   [ 1 6 ] .   A d d itio n ally ,   L L Ms  f ac ch allen g es  lik h allu cin atio n s   [ 1 7 ] ,   f alsi f icatio n   [ 1 8 ] ,   a n d   ir r atio n al  r esp o n s es  in   ce r tain   co n tex ts   [ 1 9 ] .   T h r etr iev al - au g m en ted   g en er atio n   ( R AG)   ap p r o ac h   h as  em er g e d   as  p r o m is in g   s o lu tio n   to   ad d r ess in g   th ese  is s u es.  R AG   allo ws  L L Ms  to   ac ce s s   an d   i n teg r ate  r ea l - tim in f o r m atio n   f r o m   ex te r n al  s o u r ce s ,   r esu lt in g   in   co n te x tu ally   r elev an an d   u p - to - d ate  r esp o n s es  [ 6 ] .   C o m b in in g   L L Ms  with   R AG  as s is t s   in   o v er co m in g   th lim itatio n s   o f   s tatic  k n o wled g e   an d   ex p a n d s   th eir   r o le   as  in tellig en t   ass is ta n ts   in   o r g an izatio n al   en v ir o n m en ts .   R AG  r esear ch   is   co n s tan tly   ev o l v in g ,   h ig h lig h tin g   its   e v o lu tio n   th r o u g h   t h r ee   p a r ad ig m s n a iv R AG,   ad v an ce d   R AG,   an d   m o d u lar   R AG  [ 2 0 ] .   Naiv R AG  im p lem en ts   s im p le  r etr iev e - an d - r ea d   p r o ce s s ,   wh ile  a d v an ce d   R AG  in tr o d u ce s   q u er y   r ewr itin g   an d   co n te x o p tim izatio n .   L astl y ,   m o d u lar   R AG  co n n ec ts   r et r iev al,   m em o r y ,   a n d   g en er atio n   f o r   d o m ain - s p ec if i r ea s o n in g .   T h is   ev o lu tio n   in d icate s   s h if in   R AG  f r o m   s tatic  d ata  r etr iev al  m o d el  to   an   ad a p tiv f r am ew o r k   th at  s u p p o r ts   co m p lex   d ec i s io n - m ak in g .   I ts   ef f ec tiv en ess   h as  b ee n   v alid ated   in   v ar io u s   f ield s ,   in clu d i n g   au to n o m o u s   v eh icle  s y s tem s   th at  in teg r ate  R AG  an d   L L Ms  f o r   ac cu r ate  r ea l - tim e   in f o r m atio n   d eliv er y   [ 2 1 ] .   R etr iev al - au g m e n ted   g en er atio n   a s s es s m en ( R AGAS)   f r am ewo r k   g en er ally   u s ed   to   ev alu ate  p er f o r m a n ce   [ 2 2 ] ,   m e asu r in g   th e   q u ality   o f   in f o r m at io n   r etr ie v al  an d   g e n er atio n   th r o u g h   m etr ics  s u c h   as c o n tex t p r ec is io n ,   c o n tex r ec all,   f aith f u ln ess ,   an d   a n s wer   r elev an ce .   T ab le  1   d is p lay s   co m p ar is o n   b etwe en   ex is tin g   R AG - b ased   s y s tem s   an d   f r am ewo r k s ,   b y   h i g h lig h tin g   th r ea l - tim e   in tellig en v ir t u al  ass is tan ( R I VA)   u n iq u e   co n tr i b u tio n s   i n   r ea l - tim s y n ch r o n izatio n   an d   em p ir ical  ev alu atio n .   Mo s o f   th p r ev io u s   s tu d ies  f o cu s ed   o n   d o m ain - s p ec if ic  o r   g en er al  f r am ewo r k s ,   lik e   L an g C h ain   a n d   C h atGPT   Plu g in s ,   wh ich   h av e   n o y et   ad d r ess ed   r ea l - tim in teg r atio n   with   o r g a n iza tio n al  web s ites ,   p ar ticu lar ly   i n   ed u ca tio n al  en v ir o n m e n ts .   T h is   s tu d y   in tr o d u ce s   R I VA,   wh ich   is   b u ilt b ased   o n   L L an d   R AG  in teg r ati o n   t o   ad d r e s s   th ese  g ap s .   R I VA  in teg r ates  W o r d Pre s s   co n ten m a n ag e m en s y s tem   ( C MS)   s y n ch r o n izatio n ,   u s er   ex p er ie n ce   q u esti o n n air ( UE Q) - b ase d   u s er   e x p er ie n ce   ev al u atio n ,   an d   lo ca l   lan g u ag ad ap tatio n   f o r   I n d o n esian   u s er s .   As  an   ex am p le,   ca s s tu d y   co n d u cted   at  Un iv er s itas   P en d id ik an   Gan esh a   ( Un d ik s h a)   s h o ws  th at  th e   co m b in atio n   o f   L L an d   R AG  c an   f ac ilit ate  ac cu r ate,   u p - to - d a te,   an d   u s er - f r ie n d ly   ac ce s s   to   o r g an izatio n al  in f o r m atio n .       T ab le  1 .   B en ch m a r k in g   R AG - b ased   s y s tem s   an d   f r am ewo r k s   S y st e m/ p a p e r   F o c u s/ d o ma i n   C o n t r i b u t i o n   R A G   a n d   LL M   i n t e g r a t i o n   [ 2 3 ]   G e n e r a l   R A G - LL M   c o n c e p t s   P r o v i d e a n   o v e r v i e w   o f   i n t e g r a t i n g   R A G   w i t h   LL M a c r o ss  d o m a i n s,   h i g h l i g h t i n g   c o r e   a r c h i t e c t u r a l   p r i n c i p l e s   Ef f i c i e n t   b i o me d i c a l   q u e st i o n - a n sw e r i n g   (QA)  v i a   R A G   [ 2 4 ]   B i o me d i c a l     P r o p o ses  a   r e p r o d u c i b l e   a n d   e f f i c i e n t   R A G   f r a mew o r k   f o r   b i o me d i c a l   q u e st i o n   a n sw e r i n g   O p e n - so u r c e   LLM + R A G   [ 2 5 ]   O p e n - so u r c e   i n t e g r a t i o n   D e mo n st r a t e s h o w   o p e n - so u r c e   LL M c a n   b e   i n t e g r a t e d   w i t h   R A G   p i p e l i n e f o r   f l e x i b l e   a p p l i c a t i o n s   La n g C h a i n   [ 2 6 ]   G e n e r a l - p u r p o s e   p i p e l i n e s   A   w i d e l y   u se d   o p e n - so u r c e   f r a m e w o r k   p r o v i d i n g   mo d u l a r   t o o l f o r   R A G ,   memo r y ,   a n d   a g e n t - b a se d   a p p l i c a t i o n s wit h   i n t e g r a t i o n   t o   v a r i o u d a t a b a s e s   C h a t G P p l u g i n [ 2 7 ]   G e n e r a l - p u r p o s e   a ssi s t a n t s   A   p l u g i n   s y st e c o n n e c t i n g   C h a t G P w i t h   e x t e r n a l   A P I s,  a l l o w i n g   r e a l - t i me   d a t a   r e t r i e v a l   w i t h i n   t h e   O p e n A I   e c o s y st e m   R I V A   ( t h i s w o r k )   Ed u c a t i o n a l   w e b si t e   C M S   I n t r o d u c e a   d o m a i n - sp e c i f i c   R A G   a ss i st a n t   w i t h   r e a l - t i me  i n t e g r a t i o n ,   e v a l u a t i o n   u si n g   U EQ ,   a n d   l o c a l   l a n g u a g e   a d a p t a t i o n   f o r   I n d o n e s i a n   h i g h e r   e d u c a t i o n       2.   M E T H O D   T h is   s tu d y   u tili ze d   th d esig n   s cien ce   r esear ch   ( DSR )   ap p r o ac h ,   f o cu s in g   o n   c r ea tin g   in n o v ativ e   ar tifa cts  s u ch   as  s y s tem s ,   m o d els,  o r   m eth o d s   th at  ca n   b em p ir ically   v e r if ied .   T h e   DSR   f r a m ewo r k   co m p r is ed   s ix   m ain   s tag es:  p r o b lem   i d en tific atio n ,   s o lu tio n   o b ject iv es,  d esig n   an d   d ev el o p m e n t,  d em o n s tr atio n ,   ev alu atio n ,   a n d   co m m u n icatio n .     2 . 1 .     P r o blem   identif ica t io n   T h p r im ar y   is s u with   o r g a n izatio n al  web s ites   is   th eir   t r ad itio n al  s ea r ch   s y s tem s   an d   co m p lex   n av ig atio n ,   wh ich   o f ten   m ak e s   it  d if f icu lt  f o r   u s er s   to   f in d   r elev an in f o r m atio n .   As  r esu lt,  L L p r o v id es  a   s o lu tio n   th r o u g h   n atu r al  lan g u ag e - b ased   in te r ac tio n   with o u th n ee d   to   m an u ally   n av ig ate  th in ter f ac e.   Ho wev er ,   in teg r atin g   L L with   o r g an izatio n al  web s ites   p o s es  ch allen g es,  esp ec iall y   in   m ain tain in g   s y n ch r o n izatio n   to   k ee p   in f o r m atio n   u p - to - d ate  an d   r elev an t   to   th o r g an izatio n al  co n tex t.  T h er ef o r e,   t h is   s tu d y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R ea l - time  in tellig en t v ir tu a l a s s is ta n t b a s ed   o n   r etri ev a l a u g men ted   g en era tio n   ( I   K etu t R e s ika   A r th a n a )   239   u tili ze d   R AG  to   in teg r ate  th e   L L with   th e   o r g an izatio n al   d atab ase.   Ho wev er ,   R AG  s ea r ch   r esu lts   wer e   n o alwa y s   r elev an to   th co n tex t ,   n ec ess itatin g   co m p ar is o n   o f   v ar io u s   ch u n k in g   an d   e m b ed d in g   tech n i q u es  to   d eter m in th o p tim al  co n f ig u r atio n   f o r   g en e r atin g   ac c u r ate  an d   co n tex tu al  r esp o n s es.     2 . 2 .     O bje c t iv o f   a   s o lutio n   T h i s   s tu d y   a im ed   to   en h an ce   t h ab il ity   o f   L L M - b a s ed   s y s te m s   to   p r o v id e   r e lev an an d   c o n tex tu a lly   r el ev an an s w er s   o n   o r g an iz a tio n al  web s it es .   T h R AG  a p p r o ac h   wa s   ap p li ed   to   co n n ec th L L wi th   o r g an i za tio n a d at ab a s es ,   en s u r in g   t h at  th g en er at ed   in f o r m at io n   r e m a in ed   u p   to   d a te.   T h s tu d y 's  p r i m ar y   f o cu s   wa s   to   d e ter m in th m o s ef f e ct iv co m b in a tio n   o f   ch u n k in g   an d   em b e d d in g   f o r   p r o d u cin g   an   ac cu r a te   in f o r m at io n   r et r i ev a p r o ce s s ,   s e r v in g   a s   b a s i s   f o r   d ev e l o p in g   r e s p o n s iv e   an d   co n t ex tu al ly   in t el lig en s e ar ch   s y s te m .     2 . 3 .     Desig n a nd   d ev elo pm en t   T h s tu d y   em p lo y e d   s y s tem   d esig n   co m p r is in g   two   in ter r elate d   ar c h itectu r es.  First,  th e   im p lem en tatio n   a r ch itectu r ( Fig u r 1 )   r ep r esen ted   th R I V s y s tem   d ep lo y m e n o n   th o r g an izatio n al  web s ite  as  an   L L M - b ased   in f o r m atio n   r etr iev al  s o lu tio n ,   with   th o v e r all  p r o ce s s   in teg r atio n   b etwe en   th o r g an izatio n al   web s ite  an d   R I VA  ( Fig u r 2 ) .   Seco n d ,   th ex p e r im en tal  ar ch itectu r ( Fig u r 3 )   was  d ev elo p ed   to   ev alu ate   v ar io u s   co m b in atio n s   o f   c h u n k in g   an d   em b e d d in g   tech n i q u es,   id en tify in g   th m o s ef f ec tiv e   co n f ig u r a tio n   p r io r   to   im p lem en tatio n   in   th m ain   s y s tem .   T h ese  two   ar ch itectu r es  wer iter ativ an d   co m p lem en tar y ,   wh er th e   ex p er im en tal  ar ch itectu r e s   r esu lts   wer u s ed   to   r ef in th im p lem en tatio n   ar ch itectu r e,   en s u r in g   th at  th f in al   s y s tem   p r o v id ed   m o r e   ac cu r at e,   r elev an t,  a n d   co n tex tu ally   a p p r o p r iate  r esp o n s es.           Fig u r 1 .   Ar c h itectu r o f   R I VA           Fig u r 2 .   Pro ce s s   in teg r atio n   o r g an izatio n   web   to   R I VA       2. 3 . 1 Desig a rc hite ct ure  imp lem ent a t io ( RIVA)   As s h o wn   in   Fig u r 1 ,   th R I VA  ar ch itectu r in teg r ated   r ea l - tim web   s y n ch r o n izatio n   m o d u le  an d   R AG  p ip elin th at  p r o ce s s es  u s er   q u e r ies  th r o u g h   th e   r etr i ev al  an d   g en er atio n   s tag es.  T h is   f ig u r p r esen ts   a   h ig h - lev el  s y s tem   ar ch itectu r th at  s h o ws  h o u s er   q u er i es  ar p r o ce s s ed   th r o u g h   co m b in atio n   o f   web   in teg r atio n   m o d u les  an d   R AG  co m p o n en ts ,   allo win g   f o r   r ea l - tim in f o r m atio n   r etr iev al   f r o m   u p d ated   we b s ite  s o u r ce s   v ia  L L v ir tu al  ass is tan ts .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  16 ,   No .   1 Feb r u ar y   2 0 2 6 :   237 - 2 4 6   240   i)   Mo d u le  web   i n teg r atio n v ar io u s   web s ite  an d   R AG  in teg r atio n   m ec h a n is m s   wer ex am in e d   to   d eter m in e   an   ef f icien a n d   s ec u r s o lu tio n .   W eb   s cr ap in g   o f f er s   im p le m en tatio n   s im p licity   an d   d ata   f lex ib ilit y   b u t   in v o lv es  leg al  co n ce r n s   an d   v u ln er ab ilit y   to   ch an g es  in   web s ite  s tr u ctu r e,   wh i le  b u ilt  in   API s   p r o v id e   g r ea ter   s tab ilit y   with   lim ited   ac ce s s   to   co n ten t.   Acc o r d i n g ly ,   th is   s tu d y   em p l o y ed   c u s to m   API   to   m ain tain   f u ll  co n tr o o v e r   d ata   f lo an d   en s u r s ec u r ity   th r o u g h   to k e n - b ased   au th e n ticatio n .   As  s h o wn   in   Fi g u r 2 ,   c o n ten u p d ates  ac tiv ate  web h o o k s   th at  s y n ch r o n i ze   d ata  to   R I VA  f o r   s to r a g e,   s eg m en tatio n ,   an d   v ec to r   in d e x in g ,   s u p p o r tin g   ac cu r ate  an d   r eliab le  r ea l tim in f o r m atio n   r etr ie v al.   ii)   Mo d u le  r e tr ie v al   a u g m en te d   g e n e r a ti o n t h e   R AG   m o d u le  s er v ed   as  t h c o r c o m p o n e n o f   R I VA,   d es ig n e d   to   e n r ic h   u s e r   q u e r i es  a n d   g en er ate   ac c u r ate ,   c o n te x t u al ,   a n d   r elia b l r es p o n s es  b y   in te g r ati n g   f ac tu al   a n d   r e al  t im k n o wle d g e   f r o m   e x ter n al  s o u r ce s ,   t h er eb y   e n h a n cin g   L L ca p a b i liti es  w h i le   m iti g ati n g   t h e   lim i tat io n s   o f   s tat ica ll y   t r ai n e d   m o d els   a n d   r e d u ci n g   h a ll u ci n ati o n s .   I n   th is   s t u d y ,   t h R AG  p i p el in b eg an   wit h   d o c u m en ch u n k i n g   a n d   em b e d d i n g ,   w h e r e   l o n g   o r   u n s tr u ct u r e d   te x ts   we r e   s e g m e n t e d   in to   c o h e r e n t   u n its   b ase d   o n   n a tu r al   la n g u a g b o u n d a r i es   a n d   tr an s f o r m ed   i n t o   n u m e r ic al   r e p r ese n t ati o n s   u s i n g   la n g u ag e   m o d els,   e n a b l in g   s e m a n ti s i m ila r it y   r e c o g n i ti o n   b e y o n d   s u r f ac e   le v el  w o r d   m at c h i n g .   T h es e m b e d d i n g s   wer s to r e d   i n   v ec t o r   d a ta b as t o   s u p p o r f ast   a n d   ac c u r ate   s im il ar it y   s ea r c h ,   w it h   F ac eb o o k   AI   s i m il ar it y   s ea r c h   ( FA I SS )   s ele cte d   f o r   it s   s ca la b il it y ,   h i g h   p e r f o r m a n c e,   a n d   s u it ab ili ty   f o r   r ea l   ti m e   r et r ie v a in   a   u n i v e r s it y   we b s it co n t e x t.   I n f o r m a ti o n   r et r i ev al   e m p lo y ed   a   h y b r id   s t r a te g y   t h a co m b i n e d   v ec t o r   b as e d   s em a n t ic  s ea r c h   an d   B M 2 5   l ex i ca r et r ie v al  t o   b a la n c c o n te x t u al  r el e v a n c a n d   k e y w o r d   p r e cisi o n ,   f o ll o we d   b y   r e f i n em en u s i n g   th e   B A AI   B G E   R er a n k er   la r g m o d el   t o   s el ec th e   m o s t   r e le v a n t   p ass ag es.   Fin all y ,   th r e f i n e d   c o n t ex t w a s   p r o ce s s ed   b y   t h GPT  4 o   m o d el   d u r i n g   t h g e n e r ati o n   s ta g e   to   s y n t h esi ze   f l u e n t ,   f a ct u al l y   co n s is te n t ,   an d   u s e r   al ig n ed   r es p o n s es,   e n s u r in g   r e lia b l in f o r m ati o n   d e li v e r y .       2 . 3 . 2 .   Desig n a rc hite ct ure  ex perim ent   T h is   s tag m ain ly   f o cu s ed   o n   test in g   co m b i n atio n s   o f   v a r io u s   ch u n k in g   s tr ateg ies  an d   e m b ed d in g   m o d els  to   d is co v er   th e   m o s ef f ec tiv s ettin g s   f o r   g en e r atin g   r elev a n co n tex an d   ac cu r ate  r esp o n s es.  T h e   d ev elo p m e n p r o ce s s   co m p r is ed   p r ep ar i n g   d ata  f r o m   th o r g an izatio n al  web s ite,   im p lem en tin g   R AG  p ip elin es   f o r   r etr iev al  an d   g en er atio n ,   a n d   ev alu atin g   r esu lts   u s in g   R AGAS  m etr ics.  A s   r esu lt,  th i s   s tag wil l f o r m   th b asis   f o r   f in al  d esig n   d ec is io n s   to   b ap p lied   t o   th R I VA  s y s tem   im p lem en tatio n   ar ch itect u r e .   T h ex p e r im en tal  ar ch itectu r f lo u s ed   to   d eter m in t h o p tim al  ch u n k i n g   an d   e m b ed d in g   co n f ig u r atio n s   in   th R I VA  s y s tem   is   s h o wn   in   Fig u r 3 .   B ased   o n   th f lo w,   th p r o ce s s   b eg an   with   d ata  co llectio n   f r o m   th r esear ch ' s   m ain   s o u r ce ,   n am ely   th o r g a n izati o n s   o f f icial  web s ite.   B a s ed   o n   th is   d ata,   a   d ataset  co n tain in g   2 0 0   q u esti o n - an s wer   p air s   i n   I n d o n esian   was  d ev elo p ed   u s in g   GPT - 4 o .   Fu r th er m o r e,   ea c h   p air   was  v er if ied   b y   two   ex p e r ts   to   en s u r its   r elev an ce ,   ac cu r ac y ,   an d   co n s is ten cy   with   th web s ite  co r p u s .   An   ex am p le  d ataset  is   p r esen ted   i n   T ab le  2 .           Fig u r 3 .   Desig n   a r ch itectu r ex p er im en t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R ea l - time  in tellig en t v ir tu a l a s s is ta n t b a s ed   o n   r etri ev a l a u g men ted   g en era tio n   ( I   K etu t R e s ika   A r th a n a )   241   T ab le  2 .   E x am p le  d atasets   I n p u t   Ex p e c t e d   o u t p u t   W h e n   t o   f i l l   i n   t u i t i o n   f e e   d a t a   f o r   S N B P   a t   U n d i k s h a ?   Tu i t i o n   d a t a   s u b mi ss i o n   f o r   S N B P   a t   U n d i k s h a   i s   o p e n   f r o M a r c h   2 8   t o   A p r i l   5 ,   2 0 2 4 .   C a n   st u d e n t s   w h o   p a ss   S N B P   f o l l o w   t h e   S N B p r o g r a m ?   S t u d e n t s   w h o   p a ss   t h e   S N B P   a r e   n o t   p e r mi t t e d   t o   p a r t i c i p a t e   i n   t h e   S N B T   o r   t h e   i n d e p e n d e n t   p r o g r a m se l e c t i o n   ( S M B J M ) .       T h n ex s tag in v o lv es  th e   ch u n k i n g   an d   em b e d d in g   p r o ce s s .   T h tex is   d iv id ed   u s in g   th r ee   s tr ateg ies:   f ix ed   ch u n k s   o f   1 , 0 0 0   ch a r ac ter s   with   2 0 0 - c h ar ac ter   o v er la p ,   f ix ed   ch u n k s   o f   5 0 0   ch a r ac ter s   with   100 - c h ar ac ter   o v er lap ,   an d   s em an tic  ch u n k in g   b ased   o n   n at u r al  lan g u ag b o u n d ar ies.  E ac h   s tr ateg y   is   test ed   with   th r ee   em b ed d in g   m o d els’  tex t - em b ed d in g - ad a - 0 0 2   ( Op en AI ) ,   in tf lo at/m u ltil in g u al - e5 - b ase,   an d   in d o b e n ch m ar k /in d o b er t - b ase - p 2   to   g e n er ate  s em an tic  v ec to r   r ep r esen tatio n s .   T h ese  em b e d d in g s   ar th en   u s ed   in   h y b r id   r etr iev al   p r o ce s s   c o m b in in g   v ec t o r - b ased   s em an tic  s ea r ch   an d   B M2 5   lex ical   s ea r ch   to   o b tain   t h e   m o s r elev an co n tex t.  Fu r th e r m o r e,   th is   s tu d y   u tili ze d   GPT - 4 o   to   p r o ce s s   th r etr iev e d   c o n tex an d   g en e r ate  r esp o n s es,  wh ich   wer e v alu a ted   u s in g   th R AGAS  f r am e wo r k   with   f iv e   m etr ics:   co n te x ac cu r ac y ,   co n te x r ec all,   r esp o n s r elev an ce ,   f i d elity ,   an d   an s wer   ac cu r ac y .   T h p r o ce s s   en ab led   th co m p ar is o n   o f   d if f e r en ch u n k i n g   an d   em b e d d in g   co n f ig u r atio n s   to   id e n tify   th m o s t e f f ec tiv s ettin g s   f o r   R I VA   i m p lem en tatio n .     2 . 4 .     De m o ns t ra t io n   T h n ex s tep   in   th is   s tu d y   w as  d em o n s tr atio n   s tag e.   T h is   s tag wa s   p er f o r m ed   to   p r o v th at  th R I VA  s y s tem   d esig n   was  s u f f icien to   o p er ate  as  in te n d ed   f o r   th r esear c h   o b jectiv es.  T h e   o p tim al   co n f ig u r atio n   o f   th e   ch u n k in g   an d   em b ed d i n g   e x p er im e n t s   at  t h is   s tag was  im p lem e n ted   in to   th R I VA  s y s tem .   Fu r th er m o r e,   r ea l - wo r ld   u s ag wo u ld   test   th s y s t em ,   wh er u s er s   s ea r ch   f o r   in f o r m atio n   th r o u g h   n atu r al  lan g u ag e   co n v er s atio n s .   As  r esu lt,  ea ch   r eq u est  was  p r o ce s s ed   th r o u g h   R AG,   wh ich   in v o l v ed     v ec to r - b ase d   r etr iev al  an d   an s wer   g en er atio n   u s in g   GPT - 4 o .     2 . 5 .     E v a lua t i o n   T h ev alu atio n   s tag co m p r is e d   two   co m p o n e n ts s y s tem   p e r f o r m a n ce   ev alu atio n   u s in g   th R AGA S   f r am ewo r k   an d   u s er   ex p er ien ce   ev alu atio n   u s in g   th u s er   UE Q.   R AG AS  wa s   u s ed   to   a s s es s   r etr iev al  an d   g en er atio n   q u ality   b y   m ea s u r in g   th r elev an ce   a n d   f ac tu al   co n s is ten cy   o f   r etr iev ed   c o n t ex ts   an d   g en er ated   r esp o n s es.  UE ev alu ated   u s er s   p er ce p tio n s   o f   u s ab ilit y ,   ef f icien cy ,   an d   o v er all  s atis f ac tio n ,   p r o v id in g   in s ig h ts   in to   th s y s tem s   p r ac tical  ap p licab ilit y .     2 . 5 . 1 .   P er f o r m a nce  e v a lua t io n us ing   RAG A S   T h R AGAS  ev alu atio n   s tag co m p r is ed   d ataset  p r e p ar atio n ,   co n tex r etr ie v al,   an s wer   g e n e r atio n ,   an d   m etr ic  co m p u tatio n   to   ass ess   r etr iev al  an d   g en er atio n   q u ality .   Fiv m etr ics  wer em p lo y ed :   co n tex p r ec is io n ,   co n tex r ec all,   an s wer   r elev a n cy ,   f aith f u ln ess ,   a n d   an s wer   co r r ec tn es s .   C o n tex p r ec is io n   m ea s u r e d   th e   p r o p o r tio n   o f   r elev an ch u n k s   with in   th r etr iev ed   co n tex u s in g   p r ec is io n @ k ,   in d icatin g   th ac cu r ac y   o f   th e   r etr iev al  p r o ce s s .   C o n tex t   r ec all  ev alu ated   th e   s y s tem s   ab ilit y   to   r et r iev all   r elev a n r ef er en ce   co n tex ts ,   en s u r in g   c o m p leten ess   o f   th e   r etr iev ed   in f o r m atio n .   An s wer   r elev an c y   ass ess ed   th s em an tic  r elev an ce   o f   g en er ated   r esp o n s es  to   u s er   q u er ies  b y   co m p u tin g   th a v er ag co s in s im ilar ity   b etwe en   em b ed d in g s   o f   t h o r ig in al  q u esti o n   a n d   g en er ate d   q u esti o n s   d er iv ed   f r o m   th r e s p o n s e.   Faith f u ln ess   m ea s u r ed   f ac tu al  co n s is te n cy   b y   ca lcu latin g   th p r o p o r tio n   o f   an s wer   claim s   th at  co u ld   b in f er r ed   f r o m   th r etr iev ed   co n tex t.  An s wer   c o r r ec tn ess   ev alu ated   o v er all   r esp o n s q u ality   u s in g   weig h ted   co m b i n atio n   o f   f ac tu al  co r r ec tn ess   an d   s em an tic  s im ilar ity   b etwe en   g en er ated   an s wer s   an d   g r o u n d   tr u th ,   with   d ef au lt  weig h ts   o f   0 . 7 5   f o r   f ac t u al  co n s is ten cy   an d   0 . 2 5   f o r   s em a n tic  s im ilar ity .     2 . 5 . 2 .   User  ex perience   ev a lua t io n   User   ex p er ien ce   was  ev alu ate d   u s in g   t h s tan d a r d   UE Q,   wh ic h   co n s is ts   o f   2 6   item s   d esig n e d   to   ass es s   b o th   p r ag m atic  a n d   h ed o n ic   q u alities   o f   s y s tem   in ter ac tio n .   T h e   ev alu atio n   co v er e d   s ix   d im e n s io n s :   attr ac tiv en ess ,   p er s p icu ity ,   ef f i cien cy ,   d e p en d a b ilit y ,   s tim u latio n ,   an d   n o v elty ,   r e p r esen tin g   o v er all  im p r ess io n ,   ea s o f   u s e,   task   ef f ec tiv en ess ,   s y s tem   r eliab ilit y ,   u s er   en g ag em en t,  an d   p er ce i v ed   in n o v ati o n .   T h is   in s tr u m en t   p r o v id e d   s tr u ctu r ed   an d   q u a n titativ ass es s m en t o f   u s er s   p er ce p tio n s   o f   R I VA  d u r in g   s y s tem   u s e.     2 . 6 .     Co mm un ica t io n     T h is   s tag d o cu m en ted   an d   d i s s em in ated   th s tu d y   r esu lts   th r o u g h   th is   p u b licatio n ,   h ig h lig h tin g   t h e   R I VA ' s   co n ce p tu al   an d   p r ac ti ca co n tr ib u tio n s .   T h e   s tu d y   p r esen ted   an   i n n o v ativ in teg r a tio n   b etwe en   R AG   an d   u n iv er s ity   web s ites I also   p r o v id ed   an   em p ir ical  ev alu atio n   f r am ewo r k   th at   co u ld   b e   r ep licated   b y   o th e r   ed u ca tio n al  in s titu tio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  16 ,   No .   1 Feb r u ar y   2 0 2 6 :   237 - 2 4 6   242   3.   RE SU L T S AN D I SCU SS I O N     I n   th is   s ec tio n ,   th s tu d y   d escr ib es  th r esu lts   f r o m   im p lem en tin g   an d   ev alu atin g   th R I VA  s y s tem .   T h d is cu s s io n   f o cu s es  o n   a n aly zin g   t h e x p er im e n tal  r esu lts ,   in ter p r etin g   t h s y s tem s   p e r f o r m an ce   in   v ar io u s   co n f ig u r atio n s ,   an d   h ig h lig h tin g   im p o r tan p a tter n s   o b s er v e d   d u r in g   test in g .   T h u s ,   th ese  r esu lts   ar o r g an ized   to   p r o v id q u an titativ ev id e n ce   an d   in ter p r etiv in s ig h ts   th a t su p p o r t th e   s tu d y s   o b jectiv es.     3 . 1 .     Resul t s   3 . 1 . 1 .   P er f o r m a nce  r esu lt s   T ab le  3   p r esen ts   th f in al  ex p e r im en tal  r esu lts .   T h e   p er f o r m a n ce   o f   v ar io u s   ch u n k in g   an d   e m b ed d in g   co n f ig u r atio n s   im p lem en ted   in   th R I VA  s y s tem   was e v alu at ed   in   th is   ex p er im en t.   T h e   ev a lu atio n   u tili ze d   th e   R AGAS   m etr ic,   co n s is tin g   o f   co n tex p r ec is io n co n tex r ec all r esp o n s r elev an cy f ait h f u ln ess ,   an d   an s wer   co r r ec tn ess .   T h ese  m etr ics  wer u s ed   to   m ea s u r th s y s tem s   ac cu r ac y   an d   c o n s is ten cy   in   r etr iev in g   r elev a n co n tex t a n d   g en e r atin g   f ac t u ally   co r r ec t r esp o n s es a cr o s s   v ar io u s   co n f ig u r atio n s .       T ab le  3 .   E v alu atio n   r esu lts   M o d e l   e mb e d d i n g   C h u n k i n g   C o n t e x t   p r e c i si o n   C o n t e x t   r e c a l l   R e s p o n se   r e l e v a n c y   F a i t h f u l n e ss   A n sw e r   c o r r e c t n e ss   Te x t - e m b e d d i n g - a d a - 0 0 2   ( O p e n A I )   F i x e d   ( 1 , 0 0 0 ;   2 0 0 )   0 . 8 2   0 . 9 1   0 . 8 8   0 . 8 5   0 . 8 2   Te x t - e m b e d d i n g - a d a - 0 0 2   ( O p e n A I )   F i x e d   ( 5 0 0 ,   1 0 0 )   0 . 8 0   0 . 8 3   0 . 8 2   0 . 8 5   0 . 7 7   Te x t - e m b e d d i n g - a d a - 0 0 2   ( O p e n A I )   S e ma n t i c   0 . 8 3   0 . 9 0   0 . 9 1   0 . 8 3   0 . 8 5   I n t f l o a t / m u l t i l i n g u a l - e5 - b a s e   F i x e d   ( 1 , 0 0 0 ,   2 0 0 )   0 . 8 3   0 . 8 9   0 . 8 9   0 . 8 5   0 . 7 9   I n t f l o a t / m u l t i l i n g u a l - e5 - b a s e   F i x e d   ( 5 0 0 ,   1 0 0 )   0 . 8 0   0 . 8 4   0 . 8 4   0 . 8 5   0 . 7 7   I n t f l o a t / m u l t i l i n g u a l - e5 - b a s e   S e ma n t i c   0 . 8 1   0 . 8 8   0 . 8 8   0 . 8 8   0 . 8 1   I n d o b e n c h mar k / i n d o b e r t - b a se - p2   F i x e d   ( 1 , 0 0 0 ,   2 0 0 )   0 . 7 6   0 . 7 4   0 . 7 9   0 . 8 4   0 . 7 5   I n d o b e n c h mar k / i n d o b e r t - b a se - p2   F i x e d   ( 5 0 0 ,   1 0 0 )   0 . 8 0   0 . 7 2   0 . 7 4   0 . 8 0   0 . 7 3   I n d o b e n c h mar k / i n d o b e r t - b a se - p2   S e ma n t i c   0 . 7 5   0 . 7 5   0 . 7 8   0 . 8 4   0 . 7 4       A s   s h o w n   in   T ab l e   3 ,   t h er e   ar e   d i s t i n c t   d i f f e r en c e s   in   p er f o r m a n c e   b e t w e e n   e m b e d d i n g   m o d e l s   a n d   c h u n k in g   s t r a t eg i e s .   A s   a   wh o l e ,   t h h ig h e s a n d   m o s t   c o n s i s t e n t   s co r e s   a c r o s s   a l l   R AG A S   m e t r i c s   w e r a c h i ev e d   b y   t h e   t e x t - e m b e d d i n g - a d a - 0 0 2   ( Op en A I )   m o d e l.   E i t h er   f i x ed   c h u n k i n g   o r   s e m a n t i c   ch u n k in g   p r o d u c e d   s t a b le   r e s u l t s ,   w i t h   a l l   v a l u e s   e x c e e d in g   0 . 8 0 .   A d d i t i o n a l l y ,   th b e s p er f o r m a n c e   w a s   o b s e r v e d   i n   t h e   s e m an t i c   c h u n k i n g   co n f i g u r a t i o n ,   w i th   co n t ex t   p r e c i s io n =0 . 8 3 ,   c o n t ex t   r ec a l l = 0 . 9 0 ,   r e s p o n s e   r e l e v an cy = 0 . 9 1 ,   f a i t h f u ln e s s = 0 . 8 3 ,   a n d   an s w e r   c o r r e c tn e s s = 0 . 8 5 .   T h e s f i n d i n g s   in d i ca t e d   th a t   th e   m o d e w a s   e x t r e m e l y   ef f e c t iv e   a t   c a p t u r i n g   s e m an t i c   r e l a t io n s h i p s   a n d   m a in t a i n in g   ac c u r a c y   i n   g e n er a t in g   c o n t ex t u a l l y   r e l ev a n a n s w er s .   S u b s e q u e n t ly ,   t h I n t f lo a t / m u l t i l i n g u a l - e5 - b a s m o d e a ls o   e x h i b i te d   c o m p e t i t iv e   p er f o r m an c e ,   p a r t i cu l a r ly   in   s em a n t i cu t - o f f   s e t t i n g s   ( co n te x p r e c i s i o n =0 . 8 1 ,   co n t ex t   r e c a ll = 0 . 8 8 ,   r e s p o n s r e l e v an cy = 0 . 8 8 ,   f a i th f u l n e s s = 0 . 8 8 ,   an s w e r   co r r e c t n e s s =0 . 8 1 ) .   D e s p i t e   b e in g   d e s i g n e d   f o r   m u l t i l in g u a l   u s e ,   t h i s   m o d e l   p e r f o r m ed   f av o r ab l y   o n   I n d o n e s i a n   d a t d u to   i t s   r o b u s t   s e m a n t i r e p r e s en t a t i o n .   C o n v e r s e ly ,   t h e   lo w e s r e s u l t s   w e r e   r e co r d ed   b y   th e   I n d o b e n c h m a r k /i n d o b er t - b a s e - p 2   m o d e l,   p a r ti c u l a r ly   i n   c o n t ex t   r e c a l a n d   a n s w er   co r r e c tn e s s .   I i n d i c a t e s   t h at   i t s   e m b e d d i n g   r e p r e s e n t a t io n   w a s   l e s s   p r o f i c i e n a t   c a p tu r in g   d e e p   co n t ex t u a l   s i m i la r i t i e s   c o m p ar e d   to   la r g e r   a n d   g e n e r a l - p u r p o s m o d e l s ,   d e s p i t e   i n d o b e r t   b e i n g   s p e c i f i c a l ly   t r a in ed   o n   I n d o n e s i a n .   Su m m a r i z in g ,   th e   T e x t - em b ed d in g - a d a - 0 0 2   ( O p e n A I )   m o d e l   w i t h   s e m a n t i c   ch u n k in g   a ch i ev e d   t h e   b e s t   o v e r a l l   p er f o r m a n c e ,   s h o w ca s i n g   th a t   m ea n in g - d r i v e n   s e m an t i c h u n k in g ,   co m b i n ed   w i t h   r o b u s t   e m b e d d i n g   m o d e l ,   c an   s i g n i f ic a n t ly   im p r o v r e tr ie v a p r e c i s i o n   an d   f a c t u a c o n s i s t e n cy   in   R A G   p i p e l i n e s .     3 . 1 . 2 .     UE Q   r esu lt s   T h UE e v alu ated   R I VA  u s er   ex p e r ien ce s ,   m ea s u r i n g   s ix   d im e n s io n s attr ac tiv en e s s ,   clar ity ,   ef f icien cy ,   d e p en d a b ilit y ,   s tim u latio n ,   an d   n o v elty .   Fu r th er m o r e,   th ass ess m en aim ed   to   ex p lo r u s er s   p er ce p tio n s   o f   th s y s tem s   u s ab ilit y ,   r eliab ilit y ,   an d   in n o v atio n .   T h ev al u atio n   en g a g ed   u s er s   in   d ir ec in ter ac tio n   with   R I VA  to   m ea s u r its   ea s o f   u s an d   u s er   s a tis f ac tio n .   T ab le  4   d em o n s tr ates  th at  R I VA  s co r ed   h ig h ly   ac r o s s   all  d im en s io n s ,   in d icatin g   a   s tr o n g   p o s itiv r esp o n s f r o m   u s er s .   No v elty   ( 2 . 5 4 8 )   an d   s tim u latio n   ( 2 . 4 5 2 )   r ec o r d ed   th e   h ig h est  av er a g s co r es,  in d icatin g   th at  u s er s   f in d   th e   s y s tem   in n o v ativ e,   e n g ag i n g ,   a n d   p lea s an to   u s e.   Ad d itio n ally ,   b o th   attr ac tiv en ess   an d   d ep en d a b ilit y   s co r ed   h ig h ly ,   i n d icatin g   th at  th in ter f ac w as  v is u ally   ap p ea lin g   an d   co n s is ten tly   d eliv er ed   r eliab le  r esu lts .   s lig h tly   lo wer   b u r em ain in g   p o s itiv r atin g   in   th e   p er s p icu it y   an d   e f f icien cy   ca teg o r ies  in d icate d   th at  R I VA  was   ea s y   to   u n d er s tan d ,   in tu itiv e,   an d   ef f ec tiv in   ass is tin g   u s er s   in   co m p letin g   task s .   C o m p ar in g   with   th e   UE b en ch m ar k   d ataset  [ 2 8 ] ,   ac r o s s   all  d im en s io n s ,   R I VA  ac h i ev ed   s co r es   in   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R ea l - time  in tellig en t v ir tu a l a s s is ta n t b a s ed   o n   r etri ev a l a u g men ted   g en era tio n   ( I   K etu t R e s ika   A r th a n a )   243   ex ce llen t’   r a n g e,   in d icatin g   h ig h   u s er   ac ce p tan ce   an d   r ec o g n itio n   o f   its   in n o v atio n .   Acc o r d in g ly ,   th e   r esu lts   d em o n s tr ated   th at  R I VA  d eliv er ed   p leasan t,   ef f icien t,   an d   m o d er n   u s er   ex p e r ien ce ,   an d   it  is   s u itab le   f o r     r ea l - tim in f o r m atio n   ac ce s s .       T ab le  4 .   UE r esu lts   U EQ   sca l e s (m e a n   a n d   v a r i a n c e )   A t t r a c t i v e n e ss   2 . 3 1 7   0 . 06   P e r sp i c u i t y   2 . 2 2 6   0 . 07   Ef f i c i e n c y   2 . 1 6 7   0 . 11   D e p e n d a b i l i t y   2 . 2 8 6   0 . 17   S t i m u l a t i o n   2 . 4 5 2   0 . 06   N o v e l t y   2 . 5 4 8   0 . 07       3 . 2 .     Dis cus s io n   T h ex p er im e n ts   d em o n s tr ate d   th at  co m b in in g   h y b r id   r etr i ev al  an d   r er an k in g   s ig n if ica n tly   en h an ce d   s y s tem   p er f o r m an ce   b y   im p r o v in g   t h r elev an ce   an d   ac cu r ac y   o f   f ac ts .   I was  ac h iev ed   b y   r etr iev in g   ca n d id ate   co n tex ts   u s in g   b o th   s em an tic  a n d   lex ical  s im ilar i ty   an d   r ef in i n g   th em   th r o u g h   r er an k in g .   T h s y s tem   im p r o v ed   ac cu r ac y   b u t in cu r r e d   h ig h e r   c o m p u tatio n al  c o s ts   an d   lo n g er   r esp o n s tim es.  T h o s co n s id er atio n s   ca n   lead   to   s ca lab ilit y   ch allen g es  in   r ea l - t im en v ir o n m en ts ,   s u ch   as  R I VA.   T h d etails  o f   f ailed   c as es  ( R AGAS  s co r e   <0 . 7 )   a r p r esen ted   in   f i v c ateg o r ies:   m is r etr iev al,   p ar tia o r   r ed u n d a n an s wer s ,   co n tex lo s s ,   s em an tic  m is m atch ,   an d   tab le  p ar s in g   er r o r s ,   as  s h o wn   in   T ab le  5 .   Misre tr iev al  ( 3 0   ca s es)  an d   p ar tial  o r   r ed u n d an t   an s wer s   ( 2 8   ca s es)  o cc u r r ed   m o s f r eq u e n tly ,   f o llo wed   b y   c o n tex l o s s   ( 2 1   ca s es),   s em an tic  m is m atch     ( 1 2   ca s es),   an d   tab le  p ar s in g   er r o r s   ( 1 0   ca s es).   T h ese  f r eq u en cies  in d icate d   th at  r etr iev al  f ailu r es  wer th e   p r im ar y   s o u r ce   o f   er r o r   in   o u r   im p lem en tatio n .       T ab le  5 .   E r r o r   a n aly s is   Er r o r   t y p e   F r e q u e n c y   Ex a m p l e   c a s e   Er r o r   c a u s e   M i sr e t r i e v a l   30   W h i c h   st u d y   p r o g r a ms   r e q u i r i n g   a   TO EFL t e st   r e s u l t ?   Th e   r e t r i e v e r   f a i l e d   t o   f i n d   se man t i c a l l y   r e l e v a n t   c o n t e x t ,   o f t e n   d u e   t o   w e a k   e mb e d d i n g   mi sma t c h e s   o r   l a c k   o f   d o ma i n - sp e c i f i c   k e y w o r d s.   P a r t i a l / r e d u n d a n t   a n sw e r   28   W h a t   d o c u m e n t m u st   b e   sc a n n e d   a n d   u p l o a d e d   f o r   re - r e g i st r a t i o n ?   Th e   m o d e l   g e n e r a t e d   p a r t i a l l y   c o r r e c t   o r   r e p e t i t i v e   r e s p o n ses   d u e   t o   i n c o m p l e t e   c o n t e x t   a g g r e g a t i o n   d u r i n g   a u g me n t a t i o n .   C o n t e x t   l o ss   21   W h e n   s h o u l d   S N B p r o sp e c t i v e   st u d e n t s   a t   U n d i k s h a   f i l l   o u t   t h e   t u i t i o n   p a y me n t   f o r m ?   R e l e v a n t   i n f o r mat i o n   w a s c a t t e r e d   a c r o ss   v a r i o u c h u n k s,  l e a d i n g   t o   f r a g m e n t e d   c o n t e x t   r e t r i e v a l .   S e ma n t i c   m i sma t c h   12   W h a t   d o c u me n t mu s t   b e   p r e p a r e d   a n d   u p l o a d e d   d u r i n g   re - r e g i st r a t i o n ?   Th e   sy s t e m   mi s u n d e r st o o d   t h e   u ser i n t e n t ,   r e su l t i n g   i n   r e t r i e v a l   f r o u n r e l a t e d   c o n t e x t s .   Ta b l e   p a r si n g   e r r o r   10   H o w   m u c h   d o e i t   c o st   t o   st u d y   c o m p u t e r   sci e n c e ?   Th e   mo d e l   c a n n o t   n o t   i n t e r p r e t   r e l a t i o n s h i p s   b e t w e e n   t a b l e   h e a d e r a n d   c e l l   v a l u e e x t r a c t e d   f r o m st r u c t u r e d   d a t a .       Mi s r etr iev al  er r o r s   ar o s w h en   th r etr iev al  s y s tem   f a il ed   to   ch o o s s em an t ic al ly   r el ev an t     p ar ag r ap h s .   T h i s   wa s   m o s t p r o b ab ly   ca u s ed   b y   m i s m at ch e s   b et we en   e m b ed d in g s   an d   q u e r ie s ,   o r   b y   lack   o f   d o m ain - s p ec if ic  c u e s .   Par ti al   o r   r ep e ti t iv an s wer   er r o r s   t en d ed   to   o c cu r   wh en   t h r e tr iev e d   co n tex w a s   in co m p le te   o r   in s u f f ic ien tly   o v er l ap p i n g ,   l ea d i n g   th g en er a tio n   m o d el   to   r ep ea co n t en t   o r   o m it   c r u c ia l   in f o r m at io n .   C o n t ex t   lo s s   o cc u r r ed   wh en   r e lev an t   in f o r m at i o n   w as   s ca tt er e d   a cr o s s   m u lt ip le  ch u n k s ,   r e s u lt i n g   in   f r ag m en t ed   r e tr i ev a d u r i n g   s eg m en t at io n .   W h il s e m an t ic   m i s m a tch e s   o cc u r r ed   wh en   th e   s y s t em   m i s u n d e r s to o d   u s er   i n t en t,   ca u s in g   r e tr iev a l   f r o m   u n r el at ed   co n t en t.  Ad d it io n a lly ,   tab le   p ar s in g     er r o r s   o cc u r r ed   wh en   th e   m o d el   w a s   u n ab l e   to   co r r ec t ly   i n f er   th as s o ci at io n s   b e tw ee n   t ab l h ea d er s   an d     ce l v alu es   in   s tr u c tu r ed   d ata ,   p ar t icu lar ly   in   c as e s   wh er ch u n k in g   s ep ar at e d   r o w s   f r o m   th ei r     co r r e s p o n d in g   h ea d er s .   T h e s o b s er v at io n s   wer co n s is ten w ith   th r es u l t s   r e p o r t e d   in   ev a lu a t in g   r etr iev al   q u a l i ty   in   R AG   [ 2 9 ] ,   wh ich   h ig h l ig h t ed   th at   d o cu m en r et r ie v a q u al it y   wa s   o f t en   m a jo r   f ac to r   l i m it in g   th g en e r a l   p er f o r m an c o f   R AG .   L ik e w is e,   th e   s u r v ey   ev a lu a t io n   o f   R AG s u r v ey   [ 3 0 ]   h ig h lig h ted   th a r etr ie v a l   r el ev an ce ,   a cc u r ac y ,   an d   f a ith f u ln e s s   r em ain   p er s i s ten ch a l le n g es   in   h y b r id   s y s tem s .   Up o n   s u c ce s s f u co n tex r etr iev al  in   o u r   ex p e r im en t ,   t h g en e r a tio n   m o d u l co n s i s t en t ly   g en er a ted   co h e r en an d   f ac tu a lly   ac cu r a t e   r es p o n s e s ,   a f f ir m in g   th at   co n tex r et r i ev a r o b u s tn e s s   is   c r i ti ca f ac to r   af f ec ti n g   s y s t em   a cc u r ac y   an d   r el iab il i ty .   Mo v in g   f o r war d ,   f u tu r e   im p r o v e m en ts   s h o u ld   f o cu s   o n   r ef i n in g   ad ap t iv e   s e m an t ic   ch u n k in g   to   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  16 ,   No .   1 Feb r u ar y   2 0 2 6 :   237 - 2 4 6   244   p r e s er v co n tex tu a r e la tio n s h ip s ,   en h a n c in g   em b ed d in g   alig n m en to   b et ter   c ap tu r d o m a in - s p e cif ic   s em an ti cs ,   an d   d ev elo p in g   r etr iev al   m o d e l s   th a a r aw ar o f   s tr u c tu r a r el at io n s h i p s   in   tab u la r   an d   h ier ar ch ic al   d o cu m en ts ,   w h i le   m ai n t ain in g   b a lan ce   b e tw e en   a cc u r ac y   an d   co m p u ta tio n al  ef f ic ien c y   in   th e   r eo r d er in g   p r o c e s s .       4.   CO NCLU SI O N   B ased   o n   th L L M R AG  f r am ewo r k ,   th d ev el o p m en o f   R I VA  d em o n s tr ated   its   ca p ab ilit y   to   en h an ce   r ea l - tim ac ce s s   to   o r g an izatio n al  i n f o r m atio n   w h ile  im p r o v in g   u s er   ex p e r ien ce .   B y   in teg r atin g   L L Ms  with   R AG,   th s y s tem   g en er at ed   ac cu r ate,   r elev an t,   an d   co n t ex tu ally   co h er en r esp o n s es  d i r ec tly   g r o u n d ed   in   ac tiv web s ite  d ata,   an d   its   d ep lo y m en t   o n   th Un d ik s h web s ite  co n f ir m ed   th f ea s ib ilit y   o f   R AG - b ased   in tellig en ass is tan t s   in   ed u ca tio n al  en v ir o n m en ts .   E v al u atio n   u s in g   th R AGAS  f r am ewo r k   s h o we d   co n s is ten t ly   h ig h   s co r es  ac r o s s   all  m etr ics,  in d icatin g   r eliab le  r etr iev al  an d   g e n er atio n   p er f o r m an ce ,   with   th co m b in atio n   o f   s em an tic  c h u n k in g   a n d   th e   tex t - em b e d d in g - ad a - 0 0 2   m o d el  ac h iev i n g   th e   b est  r esu lts .   E r r o r   an aly s is   r ev ea led   th at  d ata  r e tr iev al  r em ain s   th m o s ch al len g in g   co m p o n en t,  p ar ticu la r ly   f o r   tab u lar   an d   s tr u ctu r ally   co m p lex   d ata,   wh i le  th g en e r atio n   s tag e   p r o d u c ed   co h e r en a n d   f ac tu ally   co n s is ten o u tp u ts   o n ce   r elev an t c o n tex t w as r etr iev ed .   User   ex p er ien ce   ev alu atio n   f u r th er   in d icate d   s tr o n g   p er f o r m an ce ,   esp ec ially   in   n o v elty   a n d   s tim u latio n ,   s u g g esti n g   p o s itiv u s er   ac ce p tan ce ,   an d   f u tu r w o r k   s h o u ld   f o cu s   o n   im p r o v in g   s tr u ctu r ed   d ata  r etr iev al,   a d ap tiv s em an tic  p r o ce s s in g ,   an d   s ca lab ilit y   to   s u p p o r s u s tain ed   r ea l - tim e   in f o r m atio n   ac ce s s   in   h ig h er   e d u ca tio n   c o n tex ts .       F UNDING   I NF O R M A T I O N   T h is   r esear ch   was  f u n d ed   b y   th Dir ec to r ate  o f   R esear ch ,   T ec h n o lo g y ,   a n d   C o m m u n it y   Ser v ice   ( DR T PM) ,   Min is tr y   o f   E d u ca tio n   a n d   C u ltu r e,   R ep u b lic  o f   I n d o n esia,   u n d er   co n tr ac n u m b e r s   0 8 1 /E5 /PG.0 2 . 0 0 . PL/2 0 2 4   a n d   3 7 1 /UN4 8 . 1 6 /LT / 2 0 2 4 .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   I   Ketu t Res ik Ar th an a                               Ni  Pu tu   No v ita  Pu s p Dewi                               G e d e   A r n a   J u d e   S a s k a r a                               I   M a d e   A r d w i   P r a d n y a n a                               L u h   I n d r ay a n i                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au t h o r s   d ec lar e   th at  th e y   h av n o   k n o wn   c o m p etin g   f in an cial  in ter ests   o r   p er s o n al  r el atio n s h ip s   th at  co u ld   h av ap p ea r ed   t o   in f lu en ce   th wo r k   r e p o r te d   in   t h is   p ap er .   Au th o r s   s tate  n o   co n f lict o f   in ter est.       DATA AV AI L AB I L I T Y   T h d ata   th at  s u p p o r th e   f in d in g s   o f   th is   s tu d y   ar e   av ailab le   f r o m   th c o r r esp o n d in g   a u th o r ,   [ I KR A] u p o n   r ea s o n ab le   r eq u est.  T h d ata  th at  ar e   n o p u b licly   av ail ab le  d u e   to   in s titu tio n al  d ata  m an ag em en t   p o licies  b u t c an   b s h ar ed   f o r   ac a d em i an d   r esear ch   p u r p o s es.         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R ea l - time  in tellig en t v ir tu a l a s s is ta n t b a s ed   o n   r etri ev a l a u g men ted   g en era tio n   ( I   K etu t R e s ika   A r th a n a )   245   RE F E R E NC E S   [ 1 ]   M .   K l e n k ,   Et h i c s   o f   g e n e r a t i v e   A I   a n d   ma n i p u l a t i o n :   a   d e s i g n - o r i e n t e d   r e sea r c h   a g e n d a ,   Et h i c s   a n d   I n f o rm a t i o n   T e c h n o l o g y ,   v o l .   2 6 ,   n o .   1 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 6 7 6 - 0 2 4 - 0 9 7 4 5 - x.   [ 2 ]   S .   Q i ,   Z.   C a o ,   J .   R a o ,   L .   W a n g ,   J .   X i a o ,   a n d   X .   W a n g ,   W h a t   i s   t h e   l i m i t a t i o n   o f   mu l t i m o d a l   LL M s ?   A   d e e p e r   l o o k   i n t o   mu l t i mo d a l   LLM t h r o u g h   p r o m p t   p r o b i n g ,   I n f o rm a t i o n   Pr o c e s si n g   a n d   M a n a g e m e n t ,   v o l .   6 0 ,   n o .   6 ,   N o v .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i p m. 2 0 2 3 . 1 0 3 5 1 0 .   [ 3 ]   T.   W u   e t   a l . ,   A   b r i e f   o v e r v i e w   o f   C h a t G P T :   t h e   h i s t o r y ,   s t a t u q u o   a n d   p o t e n t i a l   f u t u r e   d e v e l o p m e n t ,   I EE E/ C AA  J o u rn a l   o f   Au t o m a t i c a   S i n i c a ,   v o l .   1 0 ,   n o .   5 ,   p p .   1 1 2 2 1 1 3 6 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / J A S . 2 0 2 3 . 1 2 3 6 1 8 .   [ 4 ]   E.   L a t i f   a n d   X .   Z h a i ,   F i n e - t u n i n g   C h a t G P T   f o r   a u t o ma t i c   sc o r i n g ,   C o m p u t e rs   a n d   E d u c a t i o n :   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   6 ,     Ju n .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c a e a i . 2 0 2 4 . 1 0 0 2 1 0 .   [ 5 ]   F .   S u f i ,   G e n e r a t i v e   p r e - t r a i n e d   t r a n s f o r mer  ( G P T)   i n   r e sea r c h :   a   s y st e mat i c   r e v i e w   o n   d a t a   a u g me n t a t i o n ,   I n f o rm a t i o n ,   v o l .   1 5 ,   n o .   2 ,   F e b .   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / i n f o 1 5 0 2 0 0 9 9 .   [ 6 ]   P .   O mr a n i ,   A .   H o sse i n i ,   K .   H o o sh a n f a r ,   Z .   E b r a h i mi a n ,   R .   T o o s i ,   a n d   M .   A l i   A k h a e e ,   H y b r i d   r e t r i e v a l - a u g m e n t e d   g e n e r a t i o n   a p p r o a c h   f o r   L LM s   q u e r y   r e s p o n se   e n h a n c e m e n t ,   i n   2 0 2 4   1 0 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   We b   Re s e a rch ,   I C WR   2 0 2 4   A p r .   2 0 2 4 ,   p p .   2 2 26 ,   d o i :   1 0 . 1 1 0 9 / I C W R 6 1 1 6 2 . 2 0 2 4 . 1 0 5 3 3 3 4 5 .   [ 7 ]   J.  M e y e r   e t   a l . ,   U si n g   LL M t o   b r i n g   e v i d e n c e - b a se d   f e e d b a c k   i n t o   t h e   c l a ssr o o m :   A I - g e n e r a t e d   f e e d b a c k   i n c r e a ses  s e c o n d a r y   st u d e n t s’   t e x t   r e v i si o n ,   mo t i v a t i o n ,   a n d   p o s i t i v e   e m o t i o n s,   C o m p u t e rs  a n d   Ed u c a t i o n :   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   6 ,   J u n .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . c a e a i . 2 0 2 3 . 1 0 0 1 9 9 .   [ 8 ]   A .   S u á r e z   e t   a l . ,   B e y o n d   t h e   S c a l p e l :   a ssess i n g   C h a t G P T’ p o t e n t i a l   a a n   a u x i l i a r y   i n t e l l i g e n t   v i r t u a l   a ssi s t a n t   i n   o r a l   s u r g e r y ,   C o m p u t a t i o n a l   a n d   S t ru c t u r a l   Bi o t e c h n o l o g y   J o u r n a l ,   v o l .   2 4 ,   p p .   4 6 5 2 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c s b j . 2 0 2 3 . 1 1 . 0 5 8 .   [ 9 ]   H .   W a n g ,   C .   G a o ,   C .   D a n t o n a ,   B .   H u l l ,   a n d   J.   S u n ,   D R G - LLa M A :   t u n i n g   L La M A   m o d e l   t o   p r e d i c t   d i a g n o s i s - r e l a t e d   g r o u p   f o r   h o s p i t a l i z e d   p a t i e n t s,   N PJ   D i g i t a l   M e d i c i n e ,   v o l .   7 ,   n o .   1 ,   J a n .   2 0 2 4 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 7 4 6 - 0 2 3 - 0 0 9 8 9 - 3.   [ 1 0 ]   T.   L i   e t   a l . ,   C a n c e r G P f o r   f e w   s h o t   d r u g   p a i r   sy n e r g y   p r e d i c t i o n   u si n g   l a r g e   p r e t r a i n e d   l a n g u a g e   m o d e l s,”   N P J   D i g i t a l   Me d i c i n e v o l .   7 ,   n o .   1 ,   F e b .   2 0 2 4 ,   d o i :   1 0 . 1 0 3 8 / s4 1 7 4 6 - 0 2 4 - 0 1 0 2 4 - 9.   [ 1 1 ]   J.  S a u v o l a ,   S .   Ta r k o m a ,   M .   K l e me t t i n e n ,   J.  R i e k k i ,   a n d   D .   D o e r ma n n ,   F u t u r e   o f   s o f t w a r e   d e v e l o p m e n t   w i t h   g e n e r a t i v e   A I ,   Au t o m a t e d   S o f t w a re   E n g i n e e r i n g ,   v o l .   3 1 ,   n o .   1 ,   M a y   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 5 1 5 - 0 2 4 - 0 0 4 2 6 - z.   [ 1 2 ]   G .   Lu ,   X .   J u ,   X .   C h e n ,   W .   P e i ,   a n d   Z.   C a i ,   G R A C E :   e mp o w e r i n g   L LM - b a s e d   s o f t w a r e   v u l n e r a b i l i t y   d e t e c t i o n   w i t h   g r a p h   s t r u c t u r e   a n d   i n - c o n t e x t   l e a r n i n g ,   J o u rn a l   o f   S y st e m s   a n d   S o f t w a r e ,   v o l .   2 1 2 ,   Ju n .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . j ss . 2 0 2 4 . 1 1 2 0 3 1 .   [ 1 3 ]   A .   S a k a   e t   a l . ,   G P T   m o d e l s   i n   c o n st r u c t i o n   i n d u s t r y :   o p p o r t u n i t i e s,   l i mi t a t i o n s ,   a n d   a   u s e   c a s e   v a l i d a t i o n ,   D e v e l o p m e n t i n   t h e   Bu i l t   E n v i ro n m e n t ,   v o l .   1 7 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . d i b e . 2 0 2 3 . 1 0 0 3 0 0 .   [ 1 4 ]   A .   A l su m a y t   e t   a l . ,   B o u n d a r i e a n d   f u t u r e   t r e n d o f   C h a t G P b a se d   o n   A I   a n d   sec u r i t y   p e r s p e c t i v e s,”   H i g h T e c h   a n d   I n n o v a t i o n   J o u rn a l ,   v o l .   5 ,   n o .   1 ,   p p .   1 2 9 1 4 2 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 2 8 9 9 1 / H I J - 2 0 2 4 - 05 - 01 - 0 1 0 .   [ 1 5 ]   B .   J .   M c C l o sk e y ,   P .   M .   La C a sse ,   a n d   B .   A .   C o x ,   N a t u r a l   l a n g u a g e   p r o c e ssi n g   a n a l y si s   o f   o n l i n e   r e v i e w f o r   smal l   b u s i n e ss :   e x t r a c t i n g   i n si g h t   f r o s mal l   c o r p o r a ,   A n n a l s   o f   O p e r a t i o n s   Re s e a rc h ,   v o l .   3 4 1 ,   n o .   1 ,   p p .   2 9 5 3 1 2 ,   O c t .   2 0 2 4 ,     d o i :   1 0 . 1 0 0 7 / s 1 0 4 7 9 - 023 - 0 5 8 1 6 - 2.   [ 1 6 ]   J.  G r u d i n   a n d   R .   J a c q u e s,   C h a t b o t s,  h u m b o t s ,   a n d   t h e   q u e st   f o r   a r t i f i c i a l   g e n e r a l   i n t e l l i g e n c e ,   i n   C o n f e re n c e   o n   H u m a n   Fa c t o r s   i n   C o m p u t i n g   S y st e m s - P ro c e e d i n g s ,   M a y   2 0 1 9 ,   p p .   1 11 ,   d o i :   1 0 . 1 1 4 5 / 3 2 9 0 6 0 5 . 3 3 0 0 4 3 9 .   [ 1 7 ]   W .   C h e n   e t   a l . ,   S y s t e ms   e n g i n e e r i n g   i ssu e s fo r   i n d u st r y   a p p l i c a t i o n o f   l a r g e   l a n g u a g e   m o d e l ,   A p p l i e d   S o f t   C o m p u t i n g ,   v o l .   1 5 1 ,   Jan .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . a so c . 2 0 2 3 . 1 1 1 1 6 5 .   [ 1 8 ]   R .   Ems l e y ,   C h a t G P T:   t h e se  a r e   n o t   h a l l u c i n a t i o n s t h e y r e   f a b r i c a t i o n a n d   f a l si f i c a t i o n s,”   S c h i zo p h re n i a ,   v o l .   9 ,   n o .   1 ,   A u g .   2 0 2 3 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 5 3 7 - 023 - 0 0 3 7 9 - 4.   [ 1 9 ]   A .   B a r r e d o   A r r i e t a   e t   a l . ,   E x p l a i n a b l e   a r t i f i c i a l   i n t e l l i g e n c e   ( X A I ) :   c o n c e p t s ,   t a x o n o mi e s,   o p p o r t u n i t i e a n d   c h a l l e n g e t o w a r d   r e sp o n s i b l e   A I ,   I n f o rm a t i o n   F u s i o n ,   v o l .   5 8 ,   p p .   8 2 1 1 5 ,   J u n .   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . i n f f u s . 2 0 1 9 . 1 2 . 0 1 2 .   [ 2 0 ]   Y .   G a o   e t   a l . ,   R e t r i e v a l - a u g me n t e d   g e n e r a t i o n   f o r   l a r g e   l a n g u a g e   mo d e l s :   a   su r v e y ,   a rX i v : 2 3 1 2 . 1 0 9 9 7 M a r .   2 0 2 4 .   [ 2 1 ]   X .   D a i   e t   a l . ,   V i st a R A G :   t o w a r d   s a f e   a n d   t r u st w o r t h y   a u t o n o mo u d r i v i n g   t h r o u g h   r e t r i e v a l - a u g m e n t e d   g e n e r a t i o n ,   I EEE   T ra n s a c t i o n o n   I n t e l l i g e n t   V e h i c l e s ,   v o l .   9 ,   n o .   4 ,   p p .   4 5 7 9 4 5 8 2 ,   A p r .   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / TI V . 2 0 2 4 . 3 3 9 6 4 5 0 .   [ 2 2 ]   S .   Es,   J.  J a mes ,   L .   E - A n k e ,   a n d   S .   S c h o c k a e r t ,   R A G A S :   a u t o m a t e d   e v a l u a t i o n   o f   r e t r i e v a l   a u g me n t e d   g e n e r a t i o n ,   EAC L   2 0 2 4 - 1 8 t h   C o n f e re n c e   o f   t h e   E u ro p e a n   C h a p t e o f   t h e   Asso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s,   Pr o c e e d i n g o f   S y s t e m   D e m o n s t ra t i o n s 2 0 2 4 ,   p p .   1 5 0 1 5 8 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 4 . e a c l - d e mo . 1 6 .   [ 2 3 ]   B .   T u r a l ,   Z.   Ö r p e k ,   a n d   Z.   D e st a n ,   R e t r i e v a l - a u g me n t e d   g e n e r a t i o n   ( R A G )   a n d   L LM   i n t e g r a t i o n ,   i n   2 0 2 4   8 t h   I n t e r n a t i o n a l   S y m p o s i u m   o n   I n n o v a t i v e   Ap p ro a c h e i n   S m a r t   T e c h n o l o g i e s   ( I S AS ) ,   İ st a n b u l ,   T u r k i y e ,   2 0 2 4 ,   p p .   1 - 5 ,     d o i :   1 0 . 1 1 0 9 / I S A S 6 4 3 3 1 . 2 0 2 4 . 1 0 8 4 5 3 0 8 .   [ 2 4 ]   L.   S t u h l ma n n ,   M .   A .   S a x e r ,   a n d   J .   F u r st ,   Ef f i c i e n t   a n d   r e p r o d u c i b l e   b i o med i c a l   q u e st i o n   a n sw e r i n g   u si n g   r e t r i e v a l   a u g me n t e d   g e n e r a t i o n ,   2 0 2 5   I EEE   S w i ss   C o n f e r e n c e   o n   D a t a   S c i e n c e   ( S D S ) ,   Z ü r i c h ,   S w i t zerl a n d ,   J u l .   2 0 2 5 ,   p p .   1 5 4 - 1 5 7 ,     d o i :   1 0 . 1 1 0 9 / S D S 6 6 1 3 1 . 2 0 2 5 . 0 0 0 2 9 .   [ 2 5 ]   A .   W .   B h i w g a d e   a n d   N .   N a g r a l e ,   I n t e g r a t i n g   o p e n - so u r c e   L LM s   w i t h   r e t r i e v a l - a u g m e n t e d   g e n e r a t i o n   f o r   o b s t e t r i c a n d   g y n e c o l o g y   d o m a i n ,   i n   I E EE   I n t e r n a t i o n a l   C o n f e re n c e   o n   N e x t   G e n e r a t i o n   I n f o r m a t i o n   S y st e m   E n g i n e e ri n g ,   N G I S E   2 0 2 5 ,   M a r .   2 0 2 5 ,     p p .   1 5 ,   d o i :   1 0 . 1 1 0 9 / N G I S E6 4 1 2 6 . 2 0 2 5 . 1 1 0 8 5 1 8 8 .   [ 2 6 ]   La n g c h a i n ,   L a n g C h a i n   o v e r v i e w ,   L a n g C h a i n   D o c s ,   2 0 2 4 .   A c c e sse d :   N o v .   2 6 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / d o c s.l a n g c h a i n . c o m / o s s/ p y t h o n / l a n g c h a i n / o v e r v i e w   [ 2 7 ]   O p e n A I ,   C h a t G P p l u g i n s,   O p e n AI   P l a t f o rm ,   2 0 2 3 .   A c c e ssed :   N o v .   2 6 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / o p e n a i . c o m/ i n d e x / c h a t g p t - p l u g i n s /   [ 2 8 ]   M .   S c h r e p p ,   A .   H i n d e r k s,   a n d   J.   T h o masc h e w s k i ,   C o n s t r u c t i o n   o f   a   b e n c h mar k   f o r   t h e   u s e r   e x p e r i e n c e   q u e st i o n n a i r e   ( U EQ ) ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n t e ra c t i v e   M u l t i m e d i a   a n d   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   4 ,   n o .   4 ,   p p .   4 0 4 4 ,   Ju n .   2 0 1 7 ,     d o i :   1 0 . 9 7 8 1 / i j i ma i . 2 0 1 7 . 4 4 5 .   [ 2 9 ]   A .   S a l e mi   a n d   H .   Z a ma n i ,   Ev a l u a t i n g   r e t r i e v a l   q u a l i t y   i n   r e t r i e v a l - a u g m e n t e d   g e n e r a t i o n ,   i n   S I G I 2 0 2 4 - Pr o c e e d i n g o f   t h e   4 7 t h   I n t e r n a t i o n a l   A C S I G I C o n f e re n c e   o n   R e se a rc h   a n d   D e v e l o p m e n t   i n   I n f o rm a t i o n   R e t r i e v a l ,   J u l .   2 0 2 4 ,   p p .   2 3 9 5 2 4 0 0 ,     d o i :   1 0 . 1 1 4 5 / 3 6 2 6 7 7 2 . 3 6 5 7 9 5 7 .   [ 3 0 ]   H .   Y u ,   A .   G a n ,   K .   Zh a n g ,   S .   T o n g ,   Q .   Li u ,   a n d   Z.   L i u ,   E v a l u a t i o n   o f   r e t r i e v a l - a u g me n t e d   g e n e r a t i o n :   a   su r v e y ,   i n   C o m m u n i c a t i o n s   i n   C o m p u t e a n d   I n f o rm a t i o n   S c i e n c e ,   v o l .   2 3 0 1 ,   2 0 2 5 ,   p p .   1 0 2 1 2 0 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 9 8 1 - 96 - 1 0 2 4 - 2 _ 8 .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  16 ,   No .   1 Feb r u ar y   2 0 2 6 :   237 - 2 4 6   246   B I O G RAP H I E S O F   AUTH O RS       K e tu Re sik a   Ar th a n a           e a rn e d   a   M a ste o Co m p u ter   ( M . K o m . fro m   Un iv e rsitas   In d o n e sia ,   In d o n e sia   in   2 0 1 2 .   Cu rre n tl y ,   h e   wo r k a a n   a ss o c iate   p ro fe ss o a t h e   De p a rtme n t   o Co m p u ter  S c ien c e   o Un iv e rsi tas   P e n d id i k a n   G a n e sh a   (Un d ik s h a ) ,   Ba li ,   In d o n e sia .   Ov e a   d e c a d e   o e x p e rien c e   in   a c a d e m ia,   h e   h a c o n tri b u ted   t o   th e   fiel d   th r o u g h   h is  tea c h in g ,   re se a rc h ,   a n d   a d m in istrativ e   r o les .   His  re se a rc h   in tere sts  a re   in   c o m p u ter  sc ien c e ,   in c lu d i n g   a rti ficia l   in telli g e n c e   (AI),  e sp e c ially   i n   g e n e ra ti v e   AI,  s o ftwa re   d e v e lo p m e n t h u m a n - c o m p u ter  in tera c ti o n   (HCI),   a n d   t h e   i n t e rn e o f   t h in g (I o T).   He   c a n   b e   c o n tac ted   a t   e m a il re sik a @u n d i k sh a . a c . i d .         Ni  Pu tu   N o v it a   Pu sp a   De wi          i a n   a ss istan t   p ro fe ss o r   in   De p a rt m e n o f   Co m p u ter   S c ien c e   a th e   F a c u lt y   o En g i n e e rin g   a n d   Vo c a ti o n a E d u c a ti o n ,   Un i v e rsitas   P e n d i d ik a n   G a n e sh a ,   In d o n e sia .   S h e   h o ld s   a   m a ste r’s  d e g re e   in   C o m p u ter  S c ie n c e   fro m   U n iv e rsitas   G a d jah   M a d a   a n d   a   M a ste o f   In fo rm a ti o n   M a n a g e m e n fr o m   Na ti o n a Taiwa n   Un i v e rsity   o f   S c ien c e   a n d   Tec h n o lo g y .   He re se a rc h   in tere sts  in c lu d e   a rti ficia in telli g e n c e ,   m a c h in e   lea rn in g ,   d a ta  sc ien c e ,   a n d   ti m e - se ries   fo re c a sti n g .   He c u rre n re se a rc h   fo c u se o n   lar g e   lan g u a g e   m o d e ls,   se n ti m e n a n a ly sis,  e d u c a ti o n a d a ta  m in in g ,   a n d   re m o te  se n si n g b a se d   m a c h in e   lea rn i n g   a p p li c a ti o n s.  S h e   c a n   b e   c o n tac te d   a e m a il n o v it a . p u s p a . d e wi@u n d i k sh a . a c . id .         G e d e   Ar n a   J u d e   S a ska r a           e a rn e d   a   Ba c h e lo o E n g i n e e rin g   (S . T. i n   Tele c o m m u n ica ti o n   E n g i n e e rin g   fro m   In stit u Tek n o lo g Telk o m ,   a   M a ste o En g in e e rin g   (M . T. in   E lec tri c a En g i n e e rin g   with   a   c o n c e n tratio n   in   Tele m a ti c a n d   Tele c o m m u n ica ti o n   Ne two rk fr o m   In sti tu t   Tek n o l o g i   Ba n d u n g ,   a n d   a   P ro fe ss io n a E n g in e e (Ir. )   q u a li fica ti o n   fr o m   Un iv e rsitas   Ud a y a n a .   C u rre n tl y ,   h e   is  a   lec tu re a Un iv e rsitas   P e n d id i k a n   G a n e sh a ,   tea c h in g   i n   th e   In fo rm a ti o n   S y ste m P ro g r a m ,   De p a rtme n o In fo rm a ti c En g i n e e rin g ,   F a c u lt y   o En g i n e e rin g   a n d   Vo c a ti o n a S tu d ies .   His  re se a rc h   in tere sts  a re   fo c u se d   o n   c o m p u ter  n e two r k a n d   n e tw o rk   se c u rit y .   He   c a n   b e   c o n tac ted   a e m a il j u d e . sa sk a ra @u n d ik sh a . a c . i d .         Ma d e   Ar d wi  Pr a d n y a n a           is  a   lec tu re a De p a rtme n o I n fo r m a ti c s,  F a c u lt y   o En g i n e e rin g   a n d   V o c a ti o n a l ,   Un i v e rsitas   P e n d i d ik a n   G a n e sh a   (Un d ik sh a ) ,   Ba li ,   In d o n e sia .   He   e a rn e d   a   M a ste o En g i n e e rin g   ( M . T. d e g re e   in   i n fo rm a ti c with   a   sp e c ializa ti o n   i n   in f o rm a ti o n   sy ste m fro m   th e   In stit u Tek n o l o g Ba n d u n g .   His  r e se a rc h   in tere sts  in c lu d e   IT  g o v e r n a n c e ,   e n terp rise   a rc h it e c tu re ,   IT  se rv ice   m a n a g e m e n t,   b u sin e ss   p ro c e ss   m a n a g e m e n t,   a n d   h u m a n   c o m p u ter  i n tera c ti o n .   He   is  a   m e m b e o t h e   E n terp rise   I n fo rm a ti o n   S y ste m   Re se a rc h   G ro u p   (EI S - RG ).   He   c a n   b e   c o n tac ted   a t   e m a il a rd wi. p ra d n y a n a @ u n d ik s h a . a c . id .         Lu h   Ind r a y a n         e a r n e d   h e b a c h e l o a n d   m a s ter ’s  d e g re e i n   E n g l i sh   e d u c a t i o n   f r o m   Un i v e rs i tas   P e n d i d i k a n   G a n e s h a   i n   2 0 1 5   a n d   2 0 1 7   re s p e c ti v e l y .   C u r re n t l y ,   s h e   is  tea c h in g   i n   t h e   De p a rt m e n t   o E n g l is h   E d u c a ti o n   a t   U n i v e rs it a s   P e n d i d i k a n   G a n e sh a .   He r   re se a rc h   i n ter e st s   in c l u d e   E n g li sh   a s   a   f o re i g n   la n g u a g e   ( E F L ),   t e c h n o l o g y   i n t e g ra ti o n   in   e n g li s h   la n g u a g e   tea c h i n g   (E LT )   a n d   A I   i n   e d u c a t i o n ,   i n n o v a ti v e   p e d a g o g ica l   p ra c ti c e s   a n d   i n c l u s i v e   e d u c a ti o n .   S h e   t e a c h e s   se v e ra d isc i p l i n e s   i n   e d u c a ti o n   a n d   l it e ra t u re .   S h e   a l s o   a c t i v e l y   p a rt ici p a tes   in   se r v i c e   a a c t i o n   fo t h e   c o m m u n i t y .   H e   c a n   b e   c o n tac t e d   a e m a i l l u h . i n d ra y a n i@ u n d i k s h a . a c . i d .     Evaluation Warning : The document was created with Spire.PDF for Python.