I nte rna t io na l J o urna l o f   Adv a nces in Applie d Science s   ( I J AAS)   Vo l.  14 ,   No .   3 Sep tem b er   20 25 ,   p p .   8 49 ~ 8 58   I SS N:  2252 - 8 8 1 4 DOI 1 0 . 1 1 5 9 1 /ijaas . v 14 . i 3 . pp 8 49 - 8 58           849       J o ur na l ho m ep a g e h ttp : //ij a a s . ia esco r e. co m   La rg e lang ua g e mo dels a nd ret rie v a l - a ug mented ge nera tion - ba sed cha tbot  for  ado lescent me nta l health       Andi   Ria n s y a h 1 ,   I m a m   M uch Ib n u Su bro t o 1 ,   I nta n Nur’ a ini 1 ,   Ra t na   Su pra dewi 2 ,   Su y a nto   Su y a nto 3   1 D e p a r t me n t   o f   I n f o r mat i c s   E n g i n e e r i n g ,   F a c u l t y   o f   I n d u st r i a l   T e c h n o l o g y ,   U n i v e r si t a s   I sl a m Su l t a n   A g u n g ,   S e m a r a n g ,   I n d o n e si a   2 D e p a r t me n t   o f   P sy c h o l o g y ,   F a c u l t y   o f   P sy c h o l o g y ,   U n i v e r si t a s I sl a m   S u l t a n   A g u n g ,   S e mara n g ,   I n d o n e s i a   3 F a c u l t y   o f   N u r si n g ,   U n i v e r s i t a s   I sl a m Su l t a n   A g u n g ,   S e mar a n g ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   1 2 ,   2 0 2 4   R ev is ed   Ap r   1 7 ,   2 0 2 5   Acc ep ted   J u n   1 0 ,   2 0 2 5       Ac c e ss   to   fa st  a n d   e fficie n i n f o rm a ti o n   is  c ru c ial   in   to d a y ' d ig it a e ra ,   e sp e c ially   fo r   tee n a g e rs  i n   o b tai n in g   m e n tal   h e a lt h   se rv ice s.  T h e   m a n u a m e th o d   u se d   b y   Y o u t h   In f o rm a ti o n   a n d   C o u n se ll in g   Ce n tre  ( P IK  R )   t o   p ro v id e   m e n tal  h e a lt h   in f o rm a ti o n   re q u ir e si g n if ica n ti m e   a n d   e f fo rt.   Th is   re se a rc h   p re se n ts  a n   AI - b a se d   so lu ti o n   b y   d e v e l o p i n g   a   c h a t b o sy s tem   u sin g   re tri e v a l - a u g m e n ted   g e n e ra ti o n   ( RAG a n d   larg e   lan g u a g e   m o d e l (LL M ).   Th is  c h a tb o is  d e sig n e d   t o   p ro v id e   a c c u ra te  a n d   e ffe c ti v e   m e n tal  h e a lt h   in fo rm a ti o n   f o tee n a g e rs  t h ro u g h o u th e   d a y .   A n   a n a l y sis  o f   a   d a tas e c o n sistin g   o f   a rti c les   o n   tee n a g e   m e n tal  h e a lt h   a n d   d a ta  fr o m   t h e   Alo d o k ter   we b site  wa u se d   a t h e   b a sis   fo t h e   d e v e lo p m e n t   o f   th is  c h a tb o t .   T h e   re se a rc h   re su lt sh o th a t   th e   c h a tb o t   is   c a p a b le  o f   p r o v i d in g   re l e v a n a n d   a c c u ra te  in fo rm a ti o n ,   with   e v a lu a ti o n u sin g   th e   re c a ll - o rie n ted   u n d e rstu d y   fo g isti n g   e v a lu a ti o n   (ROU GE)  sc o re   m e th o d   y iel d in g   a n   a v e ra g e   o f   ROU G E - 1   with   a   p re c isio n   o f   8 7 . 8 % ,   re c a ll   o f   8 3 . 0 % ,   a n d   F 1 - m e a su re   o 8 4 . 0 % ;   ROU G E - 2   wit h   a   p re c i sio n   o f   8 2 . 8 % ,   re c a ll   o 7 6 . 8 % ,   a n d   F 1 - m e a su re   o 7 8 . 2 % a n d   ROU GE - with   a   p re c isio n   o 8 8 . 0 % ,   re c a ll   o 8 2 . 6 % ,   a n d   F 1 - m e a su re   o 8 3 . 4 % .   Th e se   fin d in g in d ica te  th e   p o ten ti a u se   o c h a tb o ts as   a n   e ffe c ti v e   t o o to   su p p o rt  t h e   m e n tal   h e a lt h   o f   a d o les c e n ts.   K ey w o r d s :   Ar tific ial  in tellig en ce   C h atb o t   L ar g lan g u ag m o d el   Me n tal  h ea lth   s er v ices   R etr iev al - au g m en ted   g en er atio n   Yo u th   co u n s elin g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   An d i Ri an s y ah   Dep ar tm en t o f   I n f o r m atics E n g in ee r in g ,   Facu lty   o f   I n d u s tr ial  T ec h n o lo g y ,   Un i v er s itas   I s lam   Su ltan   Ag u n g   St.  R ay Kalig awe   Km .   4 ,   Sem ar an g   5 0 1 1 2 ,   I n d o n esia   E m ail:  an d i@ u n is s u la. ac . id       1.   I NT RO D UCT I O N   T h ac ce s s   to   in f o r m atio n   f o r   teen a g er s   h as  b ee n   r ev o lu tio n ized   b ec au s o f   th f ast - p ac ed   d ev elo p m e n o f   co m m u n icati o n   tech n o lo g y .   I n   th e   cu r r en ag o f   th d ig ital  wo r ld ,   ch at b o ts   h av e   b ec o m e   a   to o th at  is   ess en tial  f o r   2 4 /7   s u p p o r an d   e n ab lin g   n atu r al  la n g u ag i n ter ac tio n   [ 1 ] ,   [ 2 ] .   T h o u g h   p ast  r esear ch   h as  s h o wn   th at   co n v er s atio n al  ag en ts   ca n   p r o v id e f f ec ti v s o lu tio n s   in   v ar i o u s   s ettin g s ,   litt le  is   k n o wn   r eg ar d in g   h o th ey   ca n   b lev er ag ed   to   s u p p o r t m en tal  h ea lt h ,   p ar ticu lar l y   f o r   teen ag e r s   [ 3 ] .   T h er e   is   e v id en ce   th at  t h m e n tal  d is o r d e r s   p r e v alen ce   a m o n g   a d o lescen ts   is   in cr ea s in g ,   a s   in d icate d   b y   an   in cr ea s in g   n u m b er   o f   s tu d ies  attes tin g   to   wid es p r ea d   em o tio n al  an d   b eh a v i o r al  d is o r d er s   lik d ep r ess io n   an d   an x iety   [ 4 ] [ 6 ] .   T h c o n v e n tio n al  s er v ic es,  as  o f f er ed   b y   th Yo u t h   I n f o r m atio n   an d   C o u n s ellin g   C en tr ( PIK   R ) ,   l ac k   tim ely   an d   p r ec is m e n tal  h ea lth   in f o r m atio n   [ 7 ] .   I n   ad d itio n ,   wh ile  o t h er   r esear ch   h as  ass ess ed   th u s ef u ln ess   o f   ch atb o ts   in   co n v e y in g   in f o r m atio n ,   s u ch   r esear ch   f r eq u en tly   f alls   s h o r in   ter m s   o f   p r o v id in g   t h in ten s an al y s is   r eq u ir ed   f o r   c o m p licated   o r   b ig   q u esti o n s ,   s u ch   as  t h o s in v o lv in g   m u ltip le - ch o ice   ex am s   o r   m ea s u r ab le  d ata  r etr iev al  [ 8 ] [ 1 1 ] .   r ev iew   o f   ex is tin g   liter atu r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   14 ,   No .   3 Sep tem b er   20 25 :   8 49 - 8 58   850   in d icate s   th at  wh ile  p ast   r e s ea r ch   h as  em p lo y ed   ch at b o ts   to   o p tim ize  th ac ce s s ib ilit y   o f   in f o r m atio n ,   a   n u m b er   o f   im p o r tan m atter s   h av n o b ee n   s u f f icien tly   ad d r ess ed .   Fo r   o n e,   ex is tin g   s o lu tio n s   p r o v id g e n er alize d   r esp o n s es  th at  ca n n o f u lf ill  th in tr icate   n ee d s   th at  ac co m p an y   ad o lescen m en tal   h ea lth .   Seco n d ly ,   th er is   m i n im al  d is co u r s o n   th e   m eth o d s   o f   o v er co m in g   ch allen g es  ass o ciate d   with   in f o r m atio n   r etr ie v al  an d   co n te x tu al  co m p r e h en s io n .   R ec en ad v an ce m en ts   in   lar g lan g u a g m o d els  ( L L Ms)   an d   r etr iev al - au g m en te d   g en er atio n   ( R AG)   h av s h o wn   p o ten tial  in   ad d r ess in g   th ese  g a p s   b y   en ab lin g   m o r co n tex tu ally   r el ev an an d   d ata - in f o r m ed   r es p o n s es  [ 1 2 ] ,   [ 1 3 ] C o m p ar ativ r esear ch   o n   th e   u s o f   th ese  tech n o lo g ies  m o r s p ec if ically   f o r   o f f er in g   m en tal  s u p p o r f o r   teen ag er s   h as  y et  to   b co n d u cted ,   h o wev er .   T h g a p s   ar f i lled   in   o u r   r es ea r c h   th r o u g h   t h in tr o d u ctio n   o f   a   n o v el  ch atb o s y s tem   th at  co m b in es  R AG  an d   L L p ar ad ig m s .   W ith   th u s o f   th is   in - d ep th   m eth o d o lo g y ,   th ch atb o t   ca n   n o o n ly   r ec o g n ize  th n u an ce   o f   u s er   q u er ies  b u also   d er iv e   an d   in co r p o r ate  ac cu r ate   an d   r elate d   in f o r m atio n   f r o m   ca r ef u lly   f ilter ed   p o o o f   u s er - cr ea ted   co n ten th at  is   r etr i ev ed   f r o m   r eliab le   web s ites   an d   ac ad em ic  p ap er s   r elate d   to   m en tal  h ea lth .   I n   th is   p ap er ,   we  test   th p er f o r m a n ce   o f   ad v an ce d   L L Ms,  n am ely ,   g en er ativ p r e - tr ain ed   tr an s f o r m er   ( GPT) - 4   an d   GPT - 3 . 5   T u r b o ,   o n   task s   lik y e s - or - n o   q u esti o n s ,   m u ltip le - ch o ice  an s wer in g ,   an d   n u m er ical  i n f o r m atio n   e x tr ac ti o n   [ 1 4 ] ,   [ 1 5 ] B y   c o m p ar i n g   t h ese  m o d els d ir ec tly   t o   ex p er t - an n o tated   d ata   an d   ev alu atin g   p e r f o r m an ce   a g ai n s m etr ics  lik r ec all - o r ien t ed   u n d er s tu d y   f o r   g is tin g   ev alu atio n   ( R OUGE )   s co r es,  th is   r esear ch   b u ild s   o n   th e   ef f o r ts   o f   ea r lier   c o n tr ib u tio n s .   T h is   r esear c h   p r o v i d es  s ev er al  s ig n if ican t   en h an ce m e n ts .   Firstl y ,   we  p r o p o s u n if y in g   f r am ewo r k   th at  b r in g s   to g eth e r   th a cc u r ate  in f o r m atio n   r etr iev al  ca p ab ilit ies  o f   R AG  an d   th n atu r al  lan g u ag c o m p r eh e n s io n   ca p ab ilit ies  o f   L L M.   Su ch   f u s io n   h as   n o b ee n   e x h au s tiv ely   e x p lo r ed   in   th d o m ain   o f   ad o lesc en m en tal  h ea lth .   Seco n d ly ,   we  g iv d etailed   ev alu atio n   o f   th p e r f o r m an ce   o f   th s y s tem ,   lis tin g   its   s tr en g th s   an d   lim itatio n s   w h ile  d is cu s s in g   th im p l icatio n s   o f   o u r   f in d in g s .   W h ile  th co m b in ed   s tr ateg y   s u cc ee d s   in   y ield in g   ac c u r at an d   co n tex tu ally   ap p r o p r iate  in f o r m atio n ,   b as ed   o n   o u r   a n aly s is ,   ch allen g es  r em ain ,   p ar ticu lar ly   f o r   co m p lex   lin g u is tic   co n s tr u ctio n s   an d   co m p licated   q u esti o n s .   L ast  b u n o leas t,  th im p licatio n s   o f   o u r   s tu d y   s u g g est  th at  th is   ch atb o s y s tem   ca n   s ig n if ican t ly   en h a n ce   th e   q u ality   an d   av a ilab ilit y   o f   m e n tal  h ea lth   s er v i ce s   f o r   a d o lescen ts   [ 1 6 ] [ 1 8 ] W h ile  p r ev io u s   s tu d ies  h av ex p lo r ed   th u s o f   ch atb o ts   in   v ar io u s   in f o r m atio n   r etr iev al  co n tex ts ,   th ey   d id   n o ex p licitly   ad d r ess   th eir   in f lu en ce   o n   p r o v id in g   n u an ce d ,   co n tex t u ally   r ich   m e n tal  h ea lth   s u p p o r s p ec if ically   tailo r ed   f o r   ad o lescen ts .   T h is   r esear ch   s ee k s   to   b r id g th is   g ap   b y   co m b in in g   ac cu r ate   in f o r m atio n   r etr iev al   an d   n atu r al  lan g u ag e   u n d er s tan d in g   to   en h a n ce   ad o lescen m en tal  h ea lt h     s u p p o r t   [ 1 9 ] ,   [ 2 0 ] .       2.   M E T H O D   2 . 1 .     Resea rc h desi g n   T h is   r esear ch   b eg in s   with   p la n n in g   a n d   p r e p ar atio n ,   wh er e   th p r o b le m   an d   th n ee d   f o r   m en tal  h ea lth   ch at b o f o r   teen ag e r s   a r id en tifie d .   A   liter atu r e   r ev i ew  is   co n d u cted   to   u n d e r s tan d   tech n o lo g ies  s u c h   as   L L Ms  an d   R AG,   a s   well  as  to   estab lis h   ev alu atio n   m etr ics  s u ch   as  ac cu r ac y ,   r elev a n ce ,   an d   r esp o n s s p ee d .   Nex t,  m en tal  h ea lth   d ata  is   co llected   f r o m   tr u s ted   s o u r ce s ,   p r o ce s s ed ,   an d   lab eled   to   f ac ilit ate  it s   u s in   th m o d el.   On ce   th d ata  is   r ea d y ,   th e   ch atb o s y s tem   is   d ev elo p ed   b y   in teg r atin g   a n   L L as  th co r an d   R AG  to   r etr iev r elev an in f o r m atio n   f r o m   k n o wled g d atab ase.   T h m o d el  is   th en   tr ain ed   u s in g   th e   p r ep ar e d   d ata  an d   in itially   test ed   to   en s u r its   f u n ctio n a lity .   T h s y s tem   i s   ev alu ate d   b y   m ea s u r in g   its   p er f o r m an ce   u s in g   t h estab l is h ed   m etr ics,  an d   teen a g er s   ar in v o lv ed   as  u s er s   to   p r o v id f ee d b ac k .   T h e   ev alu atio n   r esu lts   ar an aly ze d   to   id en tify   s h o r tco m in g s   an d   ar ea s   f o r   im p r o v em e n t.  B ased   o n   th ev al u atio n   r esu lts ,   th s y s tem   is   r e f in ed   th r o u g h   iter atio n s ,   s u ch   as  u p d atin g   t h m o d el  a n d   k n o wled g d atab ase,   a n d   th en   r etested   to   en s u r im p r o v ed   p er f o r m an ce .   Af ter   f in aliza tio n ,   th ch atb o t is im p lem en ted   an d   lau n ch e d   o n   p latf o r m s   ea s ily   ac ce s s ib le  to   teen ag er s ,   s u ch   as  ap p s   o r   we b s ites .   Per i o d ic  m o n ito r in g   is   co n d u cte d   to   en s u r e   th s y s tem   r em ain s   r elev an an d   ac cu r ate.   T h r esear ch   r esu lts   ar r ep o r ted   an d   p u b li s h ed   in   jo u r n als  o r   s cien tific   co n f er en ce s ,   wh ile  th ch atb o s y s tem   is   d is s em in ated   to   th p u b lic  an d   r ele v an s tak eh o ld er s .   L o n g - t er m   ev alu ati o n   is   also   ca r r ied   o u to   m o n ito r   th c h a tb o t' s   im p ac o n   teen ag e r s '   m en tal  h ea lth ,   s u c h   as  in cr ea s ed   awa r en ess   o r   r ed u c ed   s tr ess   lev el s ,   an d   p er io d ic   u p d ates  ar p er f o r m ed   to   m ain tain   th s y s tem 's   q u ality .   T h r o u g h   th is   p r o ce s s ,   th r esear ch   is   ex p ec ted   t o   p r o d u ce   an   ef f ec tiv a n d   b en ef icial  ch atb o f o r   teen ag er s   in   th c o n tex t o f   m e n tal  h ea lth .     2 . 2 .     Resea rc h pro ce du re s   I n   th is   r esear ch ,   th d ataset  u s ed   was  o b tain ed   f r o m   two   m ain   s o u r ce s :   ar ticles  r elate d   to   m en tal  h ea lth   an d   d ata  f r o m   th Alo d o k ter   web s ite.   T h m en tal  h ea lth   ar ticles  wer co llected   f r o m   v ar io u s   s cien tific   p u b licatio n s   an d   o t h er   tr u s ted   s o u r ce s ,   co n tain i n g   in - d ep th   in f o r m atio n   o n   v a r io u s   asp ec ts   o f   m en tal  h ea lth ,   s u ch   as  an x iety   d is o r d er s ,   d ep r ess io n ,   an d   co p in g   tech n i q u e s   [ 2 1 ] .   Me an wh ile,   d ata  f r o m   Alo d o k ter   co n s is ts   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       La r g la n g u a g mo d els a n d   r e tr ieva l - a u g men ted   g en era tio n - b a s ed   ch a t b o …  ( A n d i R ia n s ya h )   851   o f   f r eq u en tly   ask ed   q u esti o n s   an d   an s wer s   b y   u s er s   o f   th s ite  r eg ar d in g   m e n tal  h ea lth   to p ics  [ 2 2 ] .   T h d ataset  f r o m   Alo d o k ter   p r o v id es  v alu ab le  in s ig h ts   in to   co m m o n   m en tal  h ea lth   is s u es  f ac ed   b y   th e   co m m u n ity ,   as  well  as   th m ed ical  r esp o n s es  o f f er ed   b y   e x p er ts   o n   th p latf o r m   [ 2 1 ] [ 2 2 ] .   T h co m b in atio n   o f   th ese  two   s o u r ce s   p r o v id e s   s tr o n g   f o u n d atio n   f o r   f u r t h er   an al y s is ,   esp ec ially   in   d e v elo p in g   ch atb o t   s y s tem   ca p ab le  o f   d eliv e r in g   r elev an t a n d   ac c u r ate  m e n tal  h ea lth   in f o r m atio n   an d   s u p p o r t.   T h d ata   p r o ce s s in g ,   as  s h o wn   i n   Fig u r 1 ,   in v o lv es  c h u n k in g ,   wh ich   is   d iv i d in g   th tex in to   s m aller ,   r elev an p iece s   to   f ac ilit ate  em b ed d in g .   C h u n k i n g   i s   d o n to   en s u r th at  th em b ed d ed   in f o r m atio n   r em ain s   s tr u ctu r ed   an d   ea s ily   ac ce s s ib le  b y   th m o d el.   An   e f f ec tiv ch u n k in g   s tr ateg y   ca n   also   s ig n if ican tly   en h an ce   th e   s p ee d   an d   ac cu r ac y   o f   th e   m o d e .   Af ter   ch u n k in g ,   t h p r o ce s s ed   d ata  is   tr an s f o r m ed   in to   v ec t o r s   u s in g   th e   Ollam aE m b ed d in g   m o d el.   T h is   tr an s f o r m atio n   o f   te x t in to   v ec to r s   is   cr u cial  in   th d ata  p r ep r o ce s s in g   s tag s o   th at  th e   co llected   d ata  ca n   b p r o ce s s ed   an d   u n d e r s to o d   b y   th L L m o d el  [ 2 3 ] ,   [ 2 4 ] .   T h is   is   b ec au s th d ev elo p m en o f   th ch at b o t   in v o lv es  in teg r atin g   L L an d   R AG.   L L is   u s ed   to   u n d er s tan d   th co n tex o f   th q u esti o n s ,   wh ile  R A G   ass is ts   in   r etr iev in g   r ele v an t   in f o r m atio n   f r o m   th e   em b e d d ed   d ata.   T h is   s y s tem   is   d esig n ed   to   p r o v id e   ac cu r ate  an d   r elev an t a n s wer s   b ased   o n   th e   av ailab le  d ata.   I n   Fig u r 2 ,   th e   s tag es  o f   s y s tem   m o d elin g   d ep icted   in   th f lo wch ar ab o v e   ar d iv id ed   in to   s ev er al   p h ases ,   wh ich   in cl u d e   e m b e d d in g   th u s er ' s   in p u u s in g   th s am m o d el  as  th e   em b e d d in g s   d u r in g   d ata   co llectio n   [ 1 2 ] .   T h is   is   f o llo wed   b y   s im ilar ity   s ea r ch   f o r   r etr iev in g   o r   ex tr ac tin g   th r elev an co n tex t   b etwe en   th in p u d ata   an d   th d ata  in   t h d atab ase,   u s in g   t h cr ea te_ r etr ie v al_ ch ain   f r o m   th lib r a r y .   Fr o m   th r elev a n co n tex ts   th at   h av b ee n   r etr iev e d ,   th ey   will  b e   g en e r ated   with   llam a3 ,   an d   t h r esu lts   f r o m   th e   llam a3   g en er atio n   will b p r es en ted   to   th u s er   [ 1 3 ] .           Fig u r 1 .   Data   co llectio n   f lo w ch ar t       Fig u r 2 .   Sy s tem   m o d elin g   f lo wch ar t       2 . 3 .     Dev el o pm ent s   o f   cha t b o t s   T h ch atb o s y s tem   in teg r ate s   R AG  ar ch itectu r an d   L L M.   R AG  co n s is t s   o f   r etr iev er   an d   a   g en er ato r   [ 2 5 ] ,   wh er th e   r et r iev er   f etch es  r elev a n d o c u m en ts   an d   th g e n er ato r   u s es  L L to   p r o d u ce   an s wer s .   T h Ollam aE m b ed d i n g   m o d el  is   u s ed   to   co n v er t te x t d ata  in to   v ec t o r s   u tili ze d   b y   th r etr iev er .   L L M   is   em p lo y ed   to   u n d e r s tan d   th co n tex t a n d   g en e r ate  an s wer s   b ased   o n   th e   r etr iev ed   d ata  [ 1 3 ] .   T h d e v elo p m e n o f   th e   ch atb o in v o l v es  th in te g r atio n   o f   t h Ollam aE m b ed d in g   m o d el,   R AG,   an d   L L M.   T h s y s tem   ar ch itectu r d iag r am   ca n   b s ee n   i n   Fig u r 3 ,   wh ich   illu s tr ates  h o w   d ata  is   p r o ce s s ed   an d   h o th s y s tem   c o m p o n en ts   i n ter ac t.  T h e   wo r k f lo d iag r a m   f o r   d ata  r et r iev a an d   p r o ce s s in g   is   p r esen ted   in   Fig u r 1 .   T h s y s tem   is   d esig n ed   to   p r o v id r elev an t a n s wer s   b ased   o n   t h em b e d d ed   d ata  [ 2 2 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   14 ,   No .   3 Sep tem b er   20 25 :   8 49 - 8 58   852       Fig u r 3 .   R AG  ar ch itectu r e       B ased   o n   Fig u r 3 ,   th R AG  ar ch itectu r h as th r ee   m ain   co m p o n e n ts :     R etr iev er th is   co m p o n en is   r esp o n s ib le  f o r   r etr iev in g   r ele v an d o cu m en ts   f r o m   th k n o w led g s o u r ce   b ased   o n   th g i v en   q u er y .   So u r ce s   ca n   b eith er   o p e n   s o u r c e   o r   clo s ed   s o u r ce   [ 2 6 ] .   r et r iev er   f u n cti o n s   to   m ea s u r th e   r elev an ce   b e twee n   q u e r y   a n d   d o cu m e n ts   f o r   ef f ec tiv e   in f o r m atio n   r etr iev al.   Pre - r etr iev al  an d   p o s t - r etr iev al  en h an ce m en tech n iq u es  ar u s ed   to   im p r o v th ac cu r ac y   an d   r elev an ce   o f   r etr iev al  r esu lts .     Au g m en tatio n t h is   co m p o n e n p r o ce s s es  th r etr iev ed   d o cu m en ts   to   e x tr ac im p o r tan t   in f o r m atio n .   Au g m en tatio n   is   ap p lied   at  t h r ee   s tag es:  in p u lay er   ( co m b in in g   d o c u m en ts   with   th e   o r ig in al  q u e r y ) ,   o u tp u la y er   ( co m b in in g   r etr ie v al  an d   g en e r atio n   r esu lts ) ,   a n d   in ter m ed iate  lay e r   ( in te g r a tin g   r esu lts   in   th in ter n al  g e n er ato r   la y er )   [ 2 6 ] .   I n ter m ed iate - la y er   au g m e n tatio n   o f f er s   th p o te n tial  f o r   p er f o r m an ce   im p r o v em e n t,  b u t it  r eq u ir es d ee p er   ac ce s s   to   th L L M.     Gen er atio n th is   co m p o n en is   lan g u ag m o d el  th at  p r o d u c es  f in al  an s wer s   b ased   o n   th in p u an d   t h e   au g m en ted   r etr iev al   r esu lts .   Au g m en tatio n   ca n   b e   p er f o r m ed   at  th r ee   s tag es  ( in p u t,  o u t p u t,  o r   in ter m ed iate) ,   d e p en d i n g   o n   th s y s tem 's n ee d s   [ 2 6 ] .   Fig u r 1   s h o ws  h o r etr iev al  an d   g e n er atio n   tec h n iq u es  wo r k   to g eth e r   to   p r o d u ce   r ele v an an s wer s .   Au g m en tatio n   at   v ar io u s   lay e r s   en s u r es  ac cu r ate  an d   co n te x tu ally   ap p r o p r iate  an s wer s .   Fig u r 2   illu s tr ates   th ap p licatio n   o f   R AG  in   ch atb o ts .   Fig u r 4   illu s tr ates  th ar ch itectu r o f   th R AG  s y s tem   ap p lied   to   a   ch atb o f o r   m en tal  h e alth   in f o r m atio n   s er v ices.  T h p r o ce s s   b eg in s   with   in p u i n   th f o r m   o f   d o cu m e n o r   ar ticle  ( th r e d   f ile  s y m b o l   o n   th lef t) ,   wh ich   is   th en   d iv id e d   in to   s m aller   p iece s   th r o u g h   ch u n k in g   p r o ce s s   [ 2 2 ] .   T h ese  p iece s   ar p r o ce s s ed   b y   th r etr i ev e r   co m p o n en t   ( r ep r esen ted   b y   th o r an g ch ip   s y m b o l) ,   wh ich   f u n ctio n s   to   s ea r c h   f o r   an d   r et r iev r elev an t i n f o r m atio n   f r o m   v ec to r - b ased   d atab ase  ( b l u b u c k et  s y m b o l) .           Fig u r 4 .   I m p lem en tatio n   o f   R AG  an d   L L in   c h atb o ts       T h r etr iev er   co n d u cts  s ea r ch   b ased   o n   th e   s em an tic  s im ilar ity   b etwe en   th u s er ' s   q u er y   ( t h p er s o n   s y m b o i n   th e   u p p er   r ig h t)   an d   t h p r o ce s s ed   d o cu m en ts   [ 2 7 ] .   R elev an t   in f o r m a tio n   is   s en to   th e   g en er ato r   ( an o th er   ch ip   s y m b o o n   th e   r ig h t) ,   w h ich   u s es  Op en AI ' s   L L to   g e n er ate   an s wer s   b ased   o n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       La r g la n g u a g mo d els a n d   r e tr ieva l - a u g men ted   g en era tio n - b a s ed   ch a t b o …  ( A n d i R ia n s ya h )   853   au g m en ted   s ea r ch   r esu lts .   T h f in al  r esu lt  is   r esp o n s p r o v id ed   b ac k   to   th u s er ,   tailo r ed   to   th r elev an t   co n tex t.  Ov er all,   t h is   d iag r am   illu s tr ates  h o th co m b in ati o n   o f   s im ilar ity   s ea r ch   an d   p r o m p tin g   with in   th e   R AG  s y s tem   en ab les  t h ch a tb o to   p r o v id m o r ac c u r at an d   in f o r m ativ r esp o n s es,  ass is tin g   u s er s   in   o b tain in g   m en tal  h ea lth   in f o r m atio n   q u ic k ly   an d   ac cu r ately .     2 . 4 .     E v a lua t i o n   T h ev alu atio n   o f   L L Ms  is   an   im p o r tan co m p o n en in   co n tem p o r ar y   ar tific ial  in tellig en ce   r esear ch   b ec au s it  h elp s   to   u n d er s tan d   th eir   o p e r atio n al  ca p ab ilit ies  an d   s h o ws  th way   f o r   f u tu r ad v an ce m e n ts   [ 2 8 ] T h ch atb o is   test ed   b y   p r o v id in g   v ar io u s   q u esti o n s   to   ass es s   th s y s tem 's  ab ilit y   to   p r o v id ac c u r ate   an s wer s .   T h ev alu atio n   was  co n d u cted   u s in g   R OUGE   m etr ics,  n am ely   R OUG E - 1 ,   R OUGE - 2 ,   an d     R OUGE - L ,   to   m ea s u r e   th e   q u ality   an d   r elev a n ce   o f   t h an s wer s   [ 2 9 ] .   T h is   test   aim s   to   en s u r th at  t h c h atb o t   ca n   p r o v id ef f ec tiv m en tal  h ea lth   in f o r m atio n   th at  m ee ts   th n ee d s   o f   a d o lescen ts   [ 3 0 ] [ 3 2 ] .     2 . 4 . 1 .   RO UG E - 1   R OUGE - 1   is   an   ev alu atio n   m o d el  t h at  s er v es  to   m ea s u r s im ilar ity   b ased   o n   u n ig r am s   ( s in g le  wo r d s )   b etwe en   t h o u t p u tex o f   m o d el  an d   r ef e r en ce   tex t.  T h is   m eth o d   is   u s ef u f o r   ev alu atin g   h o m an y   im p o r tan t   wo r d s   i n   th e   r ef e r e n ce   ap p ea r   i n   th e   m o d el' s   o u tp u t.  R OUGE - 1   is   ca lcu lated   as  t h r atio   o f   t h e   n u m b er   o f   u n ig r am s   th at  o v er lap   with   th r ef er en ce   to   th to tal  u n ig r am s   in   th r ef er en c o r   m o d el  o u tp u t,   d ep en d i n g   o n   wh eth er   p r ec is io n ,   r ec all,   o r   F - m ea s u r is   b ei n g   ca lcu lated .   Her e   is   th ca lcu latio n   f o r m u la:      =                         ( 1 )      =                        ( 2 )      = 2 ×    ×      ×     ( 3 )     2 . 4 . 2 .   RO UG E - 2   R OUGE - 2   is   an   e v alu atio n   m o d el  t h at  f u n ctio n s   to   m ea s u r s im ilar ity   b ased   o n   b ig r am s   ( two   co n s ec u tiv wo r d s )   b etwe en   t h m o d el' s   o u tp u t   an d   r ef er e n ce   tex ts .   T h is   m eth o d   is   u s e d   to   ev al u ate  m o r e   co m p lex   wo r d   s eq u e n ce s ,   p r o v id in g   d ee p er   i n s ig h ts   in to   th co h esio n   a n d   co n tex ca p t u r ed   b y   th m o d el.   R OUGE - 2   is   ca lcu lated   as  th r atio   o f   th n u m b e r   o f   b ig r am s   th at  o v er lap   with   th r e f er en ce   to   th to tal   n u m b er   o f   b ig r am s   in   t h r ef er en ce   o r   th e   m o d el  o u tp u t.  Her is   th ca lcu latio n   f o r m u la:      =                        ( 4 )      =                        ( 5 )      = 2 ×    ×      ×     ( 6 )     2 . 4 . 3 .   RO UG E - L   R OUGE - L   is   an   ev alu atio n   m o d el  th at  s er v es  to   m ea s u r e   s im ilar ity   b ased   o n   th l o n g est  co m m o n   s u b s eq u en ce   ( L C S)  b etwe en   th m o d el  o u t p u an d   t h r ef er en ce   tex t.  T h is   m o d el  is   u s ed   to   ev alu ate  th e   s im ilar ity   o f   l o n g   s eq u en ce s   b etwe en   th e   m o d el' s   o u tp u a n d   th e   r e f er en ce ,   allo win g   f o r   th e   ass ess m en o f   h o well  th g en er ated   s eq u en ce   r ef lects  th ex p ec ted   s eq u en ce   in   th r ef e r en ce .   Her is   th ca lcu latio n   f o r m u la:      =               (  )                 ( 7 )      =            (  )                 ( 8 )      = 2 ×    ×      ×     ( 9 )       3.   RE SU L T S AN D I SCU SS I O N   I n   th is   s ec tio n ,   th ev alu atio n   r esu lts   o f   th ch atb o s y s tem   d esig n ed   to   ass is t   teen ag er s   in   o b tain in g   m en tal  h ea lth   in f o r m atio n   wil b an aly ze d   in   d etail.   T h m ain   o b jectiv o f   th is   ev alu atio n   is   to   as s es s   th e   ac cu r ac y ,   r elev a n ce ,   an d   ef f e ctiv en ess   o f   th ch atb o in   p r o v id in g   ap p r o p r iate  s o lu tio n s   f o r   th s itu atio n s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   14 ,   No .   3 Sep tem b er   20 25 :   8 49 - 8 58   854   f ac ed   b y   u s er s .   T h e v alu atio n   r esu lts   aim   to   p r o v id e   a   c lear   p ictu r e   o f   th e   s y s tem ' s   p er f o r m a n ce   a n d   its   co n tr ib u tio n   to   s u p p o r tin g   th m en tal  h ea lth   o f   ad o lescen ts .     T h ev alu atio n   m et h o d   u s ed   is   th m ea s u r em en o f   R OUGE   s co r es,  wh ich   is   ap p lied   to   ass es s   t h ex ten to   wh ich   t h an s wer s   p r o v id e d   b y   th ch at b o alig n   with   th p r ed ete r m in ed   r ef er en ce   an s wer s .   T h is   ass es s m en in clu d es  R OUG E - 1 ,   R OUGE - 2 ,   an d   R OUGE - L ,   ea ch   o f   wh ic h   p r o v id e s   in s ig h ts   in to   th e   p r ec is io n ,   r ec all,   an d   F - m ea s u r o f   th s y s tem .   I n   ad d it io n ,   th u s er   in ter f ac ( UI )   asp ec is   also   ev alu ated   to   en s u r th at  th s y s tem   is   n o t o n ly   ef f ec tiv i n   ter m s   o f   c o n te n t b u t a ls o   ea s y   to   u s f o r   e n d   u s er s .   T o   ev alu ate  t h ch atb o t’ s   a b ilit y   to   r esp o n d   to   v ar io u s   ty p es  o f   u s er   in p u ts ,   s e o f   f iv e   r ep r es en tativ q u esti o n s   was  s elec ted .   T h ese   q u esti o n s   c o v er   b o th   g e n er al  k n o wled g an d   s p ec if ic  u s er   s ce n ar io s   r elate d   to   ad o lescen m en tal  h ea lth i)   W h at   is   d e p r ess io n ?   ii)  W h at  i s   em o tio n al  m en tal  d is o r d er ?   iii)  W h at  i s   th d ev elo p m en o f   em o tio n al  m en tal  h e alth   lik b etwe en   ad o lescen ts   li v in g   in   th "Pu tr Ais y iah o r p h a n ag a n d   th o s liv in g   at  h o m i n   Su k o r ejo   V illag e,   Ken d al  R eg en cy ?   iv )   I   am   an   1 8 - y ea r - o ld   f r esh m an ,   a n d   I   o f ten   f o r g et  t h in g s   an d   ca n ' f o cu s   at  all.   I s   th er way   f o r   m to   r eg ain   m y   co n ce n tr atio n ?   an d   v )   I   o f ten   lau g h   ex ce s s iv ely   an d   s o m etim es c r y   u n c o n tr o llab ly ; w h at  s y m p to m s   co u ld   t h at  b e?   T ab le  1   s h o ws  th e   r esu lts   o f   t h ch atb o t   p er f o r m a n ce   ev alu atio n   b ased   o n   th e   R OUGE   s c o r e,   wh ich   m ea s u r es  th q u ality   o f   th ch atb o t' s   r esp o n s es  b y   co m p ar in g   th em   to   r ef er e n ce   an s wer s .   T h is   ev alu atio n   in v o lv es  th r ee   m ain   m etr ics:   R OUGE - 1 ,   R OUGE - 2 ,   an d   R OUGE - L .   E ac h   m etr ic   is   m ea s u r ed   f r o m   th r ee   asp ec ts ,   n am ely   p r ec is io n ,   r ec all,   an d   F1 - m ea s u r e .     R OUGE - 1   m ea s u r es  th s im ilar ity   b ased   o n   u n ig r a m s   b etwe en   th e   ch atb o t' s   r esp o n s es  an d   th e   r ef er en ce .   T h r esu lts   s h o an   av er ag p r ec is io n   o f   8 7 . 8 %,  r ec all  o f   8 3 %,  a n d   F1 - m ea s u r o f   8 4 %.  T h is   in d icate s   th at  th ch atb o is   c ap ab le  o f   r ec o g n izin g   m ajo r ity   o f   th r elev an k ey wo r d s   th at  alig n   with   th r ef er en ce   an s wer s ,   with   g o o d   b alan ce   b etwe en   p r ec is i o n   an d   co v e r ag e.       R OUGE - 2   m ea s u r es  th s u it ab ilit y   b ased   o n   b ig r am s .   T h av er ag p r ec is io n   f o r   th is   m etr ic  r ea ch es   8 2 . 8 %,  r ec all  is   at  7 6 . 8 %,  an d   th F1 - m ea s u r is   7 8 . 2 %,  wh ich   is   s l ig h tly   lo wer   th an   R OUGE - 1 .   T h i in d icate s   th at  wh en   th c h atb o is   ask ed   to   u n d e r s tan d   th e   r e latio n s h ip s   b etwe en   wo r d s ,   its   p er f o r m an ce   s lig h tly   d ec lin es.      R OUGE - L   m ea s u r es  th s im ilar ity   b ased   o n   th l o n g est  m atch in g   w o r d   s eq u en c b etwe en   t h e     ch atb o t' s   r esp o n s an d   th r ef er en ce .   T h e   av e r ag p r ec is io n   is   8 8 %,  r ec all  is   8 2 . 6 %,  an d   th F1 - m ea s u r e   r ea ch es 8 3 . 4 %.       T ab le  1 .   R esu lts   o f   th R OUGE   s co r ev alu atio n   Q u e st i o n   R O U G E - 1   R O U G E - 2   R O U G E - L   P r e c i s i o n   ( %)   R e c a l l   ( %)   F1 - mea s u r e   ( %)   P r e c i s i o n   ( %)   R e c a l l   ( %)   F1 - mea s u r e   ( %)   P r e c i s i o n   ( %)   R e c a l l   ( %)   F1 - mea s u r e   ( %)   i   70   89   81   64   78   70   74   90   81   ii   1 0 0   94   97   1 0 0   94   97   1 0 0   94   97   iii   72   83   77   59   68   63   70   81   75   iv   1 0 0   96   98   98   94   96   99   95   97   v   97   53   67   93   50   65   97   53   67   A v e r a g e   8 7 . 8   83   84   8 2 . 8   7 6 . 8   7 8 . 2   88   8 2 . 6   8 3 . 4       Ou r   f in d in g s   in d icate   th at   in teg r atin g   R AG  an d   L L s ig n if ican tly   en h an ce s   th e   c o n tex tu al   u n d er s tan d i n g   a n d   ac c u r ac y   o f   ch atb o r esp o n s es,  o u tp er f o r m in g   s im p ler   ch atb o t   s y s tem s   ex p lo r ed   in   p r i o r   r esear ch .   T h is   s u g g ests   th at  em p lo y in g   r etr ie v al - au g m e n ted   a p p r o ac h   ef f ec tiv ely   s u p p o r ts   d etailed   a n d   co n tex t - s p ec if ic  in f o r m atio n   d eliv er y   with o u n e g ativ ely   i m p ac tin g   r esp o n s q u ality .   T h ese  r esu lts   alig n   f av o r a b ly   with   s im ilar   r esear ch ,   in d icatin g   e n h an ce d   ac c u r ac y   an d   r elev an ce   wh en   lev er ag in g   ad v a n ce d     L L tec h n iq u es.   Fig u r 5   p r esen ts   an   in ter ac t iv ch atb o in ter f ac s p ec if ic ally   d esig n ed   to   p r o v id m e n tal  h ea lth   in f o r m atio n   an d   ad v ice  f o r   ad o lescen ts .   User s   ca n   p o s e   v ar io u s   q u esti o n s ,   s u ch   as  is s u es   r elate d   to   co n ce n tr atio n   o r   f o r g et f u ln ess ,   an d   th e   ch atb o r esp o n d s   with   p r ac tical   r ec o m m en d atio n s   an d   r ef e r en ce s   to   r elev an r esear ch .   T h is   u s er - f r ien d ly   in ter f ac e n ab les  teen a g er s   to   q u ick ly   a n d   co n v en ie n tly   ac ce s s   v alu ab le   m en tal  h ea lth   in f o r m atio n .   I n   th is   e x p er im e n t,  th e   u s er   p o s ed   q u esti o n s   r elate d   t o   th e   d i f f icu lties   in   c o n ce n tr atio n   e x p er ien ce d ,   wh ich   o f ten   o cc u r   am o n g   s tu d en ts .   T h c h atb o r esp o n d s   b y   p r o v id i n g   a   co m p r eh en s iv ex p lan atio n   o f   th e   p o s s ib le  ca u s es o f   co n ce n tr atio n   d if f icu lties ,   s u ch   as lac k   o f   s leep ,   s tr ess ,   an d   m u ltit ask in g   h ab its .   I n   ad d iti o n ,   th ch atb o p r o v id es  p r ac tical  s u g g esti o n s   to   ad d r ess   th ese  is s u es,  s u ch   as  m ain tain in g   s u f f icien s leep   p atter n ,   m an a g in g   s tr ess ,   an d   r ed u cin g   g ad g et  u s b ef o r b ed tim e.     T h r esp o n s es  p r o v id ed   b y   th e   ch atb o t   in   th is   ex p er im en t   d e m o n s tr ate  a   f air ly   h ig h   lev el   o f   ac cu r ac y   an d   r elev an ce .   T h ch at b o s u cc ess f u lly   id en tifie d   th is s u es  f ac ed   b y   th u s er   an d   p r o v id ed   an s wer s   th at  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       La r g la n g u a g mo d els a n d   r e tr ieva l - a u g men ted   g en era tio n - b a s ed   ch a t b o …  ( A n d i R ia n s ya h )   855   wer r elev an to   th co n tex t   o f   th q u esti o n s .   T h is   in d icate s   th at  th s y s tem   ca n   r ec o g n ize  an d   p r o v id e   ac cu r ate  an s wer s   r elate d   to   t h m en tal  h ea lth   is s u es  f ac ed   b y   ad o lescen ts ,   in   ac c o r d an ce   with   th co n tex t h at  h as  b ee n   em b ed d ed   in to   th m o d el.   Fig u r 6   s h o ws  th e   c o n v er s atio n   p ag e   b etwe en   th u s er   an d   th e   b o t,  wh er th in p u q u esti o n s   ar o u ts id th co n tex p r esen in   th v e cto r   s to r e.   Fo r   ev er y   q u esti o n   th at  is   o u o f   co n tex t,  th b o t w ill co n f i r m   t h at  th er is   n o   r elatio n   b etwe e n   th q u esti o n   an d   t h to p ic  b e in g   d is cu s s ed .   T h m ain   o b jectiv o f   th is   r esear ch   is   to   d ev elo p   an d   e v alu ate  an   au to m ate d   s y s tem   th at  u s es   ad v an ce d   lan g u ag m o d els  an d   r etr ie v al  tech n i q u es  to   g en er ate   s u m m ar ies  o f   m en tal  h ea lth - r elate d   in f o r m atio n   f o r   ad o lescen ts .   T h is   r esear ch   aim s   to   im p r o v th ac ce s s ib il ity   an d   ac cu r ac y   o f   m en tal  h ea lth   in f o r m atio n   p r o v id e d   to   y o u n g   in d iv id u als,  e n s u r in g   th at   th in f o r m atio n   is   b o th   r elev an an d   ea s y   to   u n d er s tan d .   T h h y p o th esis   o f   th is   s tu d y   is   th at  th e   u s o f   R AG  ap p r o ac h   will  en h an c th ac cu r ac y   an d   co m p r eh e n s iv en ess   o f   th g en er ated   s u m m ar ies  co m p ar ed   to   tr ad itio n al  s u m m ar izatio n   m eth o d s .   Sp ec if ically ,   it  i s   h y p o th esized   th at  in teg r atin g   r etr iev al  tech n iq u es  with   ad v an ce d   lan g u ag m o d els  will  im p r o v e   b o t h   th e   p r ec is io n   an d   r ec all  o f   th e   s y s tem ,   lead in g   to   s u m m a r ies  th at  b etter   r ef le ct  th k e y   p o in ts   o f   m en tal  h ea lth   co n ten t w h ile  m ain tain in g   r elev a n ce   an d   cl ar ity   f o r   a d o lescen t u s er s .           Fig u r 5 .   C h atb o t   co n v er s atio n   p ag e           Fig u r 6 .   C h atb o t   co n v er s atio n   o u t o f   co n tex t       4.   CO NCLU SI O N   B ased   o n   th f in d in g s   o f   th is   s tu d y ,   th ch atb o s y s tem   d e v elo p ed   u s in g   L L a n d   R AG  m eth o d s   s h o ws  s tr o n g   p o ten tial  as  m en tal  h ea lth   in f o r m atio n   s er v ice  f o r   ad o lescen ts .   E v alu atio n   r esu lts   co n f ir m   a   s atis f ac to r y   p er f o r m an ce ,   with   an   av er ag R OUGE   s co r o f   R OUGE - 1 p r ec is io n   8 7 . 8 %,  r ec all  8 3 . 0 %,  an d   F1 - m ea s u r 8 4 . 0 %;  R OUGE - 2 p r ec is io n   8 2 . 8 %,  r ec all  7 6 . 8 %,  an d   F1 - m ea s u r e   7 8 . 2 % an d   R OUGE - L :   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   14 ,   No .   3 Sep tem b er   20 25 :   8 49 - 8 58   856   p r ec is io n   8 8 . 0 %,  r ec all  8 2 . 6 %,  an d   F1 - m ea s u r 8 3 . 4 %,  i n d icate   th d ev elo p ed   ch at b o s y s tem   ef f ec tiv ely   ad d r ess es  ad o lescen m en tal  h ea lth   in f o r m atio n   n ee d s .   Ou r   f in d in g s   o f f er   d ef in itiv p r o o f   th at  em p lo y in g   R AG  an d   L L s ig n if ican tly   en h an ce s   ch atb o p er f o r m an ce   in   ter m s   o f   co n tex t u al  ac cu r a cy   an d   in f o r m atio n   r elev an ce ,   r ath er   t h an   b ein g   lim ited   b y   tr ad itio n al  r esp o n s g en er atio n   m eth o d s .   L o o k in g   ah ea d ,   f u tu r r esear ch   co u ld   ex p a n d   o n   th is   ap p r o ac h   b y   in co r p o r atin g   r ea l - tim co n n ec tio n s   to   m e n tal  h ea lth   p r o f ess io n als   o r   ad d in g   p er s o n alize d ,   c o n t ex t - awa r r ec o m m e n d atio n s   b ased   o n   in d iv id u al  u s er   p r o f iles .   Ad d itio n ally ,   ex p lo r in g   ad a p tatio n s   f o r   m u l tip le  lan g u a g es  an d   cu ltu r al   s ettin g s   ca n   h el p   in c r ea s th s y s tem s   r ea ch   an d   r elev an ce .   Ov er all,   th ese  r esu lts   u n d er s co r th p r o m is o f   AI - d r iv en   s o lu tio n s   lik ch atb o ts   in   en h an cin g   m en tal  h ea lth   r eso u r ce s   f o r   ad o lescen ts ,   lay in g   f o u n d atio n   f o r   b r o a d er   ap p licatio n s   i n   d ig ital  h ea lth ca r a n d   well - b ein g   in ter v e n tio n s .       ACK NO WL E DG M E N T S   W wo u ld   f ir s lik to   th an k   t h p s y ch o lo g is ts   wh o   v er if ied   th d ataset  we  co llected with o u th em ,   th is   r esear ch   wo u ld   n o h av e   b ee n   p o s s ib le.   I n   a d d itio n ,   we  th an k   o u r   ac ad em ic  a d v is o r   f o r   th eir   in v alu a b le  s u g g esti o n s   an d   ass is tan ce   d u r in g   th in v esti g atio n .   T h is   r esear ch   aim s   to   b en ef it  ev e r y o n wh o   is   s tr iv in g   to   im p r o v m en tal  h ea lth   ca r f o r   ad o lescen ts   in   I n d o n esia.       F UNDING   I NF O R M A T I O N   T h is   r esear ch   was  f u n d ed   b y   Un iv er s itas   I s lam   Su ltan   Ag u n g ,   Sem a r an g ,   I n d o n esia.  T h au th o r s   g r ate f u lly   ac k n o wled g t h f in an cial  s u p p o r p r o v i d ed   b y   th u n iv er s ity   i n   co n d u ctin g   an d   co m p letin g     th is   s tu d y .       AUTHO CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   An d i Ri an s y ah                               I m am   Mu ch   I b n u   Su b r o to                               I n tan   Nu r ain i                               R atn Su p r ad ewi                               Su y an to   Su y a n to                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     T h au th o r s   d ec lar th at  th er ar n o   k n o wn   co n f licts   o f   in ter est,  eith er   f in an cial  o r   n o n - f in an cial,   th at  co u ld   h av in f l u en ce d   t h r esu lts   o f   th is   r esear ch .   T h is   s tu d y   was  co n d u cte d   in d ep en d en tly ,   an d   all   f in d in g s   h a v b ee n   p r esen ted   o b jectiv ely   b ased   o n   th d ata  an d   an aly s is   ca r r ied   o u t b y   th e   r esear ch   team .       DATA AV AI L AB I L I T   T h d ata  s u p p o r tin g   th f in d i n g s   o f   th is   s tu d y   wer o b tain ed   f r o m   v ar i o u s   s cien tific   ar ticles  r elate d   to   ad o lescen m e n tal  h ea lth .   T h d ata  wer e   p r o ce s s ed   an d   a n o n y m ize d   p r io r   t o   u s i n   th d ev elo p m e n o f   th e   ch atb o s y s tem .   Du to   c o p y r ig h r estrictio n s   an d   p r iv ac y   c o n s id er atio n s ,   th d ata  ar n o t   p u b licly   a v ailab le  b u t m ay   b o b tain ed   f r o m   th e   co r r esp o n d in g   a u th o r   u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   Y .   Z h u ,   J.   L i a n g ,   a n d   Y .   Z h a o ,   E x p e r t   o r   p a r t n e r :   t h e   ma t c h i n g   e f f e c t   o f   A I   c h a t b o t   r o l e s   i n   d i f f e r e n t   s e r v i c e   c o n t e x t s,   El e c t r o n i c   C o m m e rc e   R e se a rc h   a n d   A p p l i c a t i o n s ,   v o l .   7 1 ,   p .   1 0 1 4 9 6 ,   M a y   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . e l e r a p . 2 0 2 5 . 1 0 1 4 9 6 .   [ 2 ]   M .   S k j u v e ,   A .   F ø l s t a d ,   K .   I .   F o s t e r v o l d ,   a n d   P .   B .   B r a n d t z a e g ,   M y   c h a t b o t   c o m p a n i o n   -   a   st u d y   o f   h u ma n - c h a t b o t   r e l a t i o n sh i p s,”   I n t e r n a t i o n a l   J o u r n a l   o f   H u m a n - C o m p u t e r   S t u d i e s ,   v o l .   1 4 9 ,   p .   1 0 2 6 0 1 ,   M a y   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . i j h c s. 2 0 2 1 . 1 0 2 6 0 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       La r g la n g u a g mo d els a n d   r e tr ieva l - a u g men ted   g en era tio n - b a s ed   ch a t b o …  ( A n d i R ia n s ya h )   857   [ 3 ]   A .   R i a n sy a h ,   M .   Q o maru d d i n ,   M .   I n d r i a s t u t i ,   a n d   M .   S a g a f ,   C l u s t e r i n g   d i g i t a l   t r a n sf o r ma t i o n   o f   sm a l l   a n d   m e d i u m   e n t e r p r i ses   ( S M Es)   u s i n g   f u z z y   K - m e a n met h o d ,   i n   2 0 2 3   1 0 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   El e c t r i c a l   E n g i n e e ri n g ,   C o m p u t e S c i e n c e   a n d   I n f o rm a t i c s ,   I EEE,   S e p .   2 0 2 3 ,   p p .   5 4 0 5 4 4 .   d o i :   1 0 . 1 1 0 9 / EE C S I 5 9 8 8 5 . 2 0 2 3 . 1 0 2 9 5 6 6 4 .   [ 4 ]   S .   I t o ,   E.   F u r u k a w a ,   T.   O k u h a r a ,   H .   O k a d a ,   a n d   T.   K i u c h i ,   Le v e r a g i n g   a r t i f i c i a l   i n t e l l i g e n c e   c h a t b o t f o r   a n e mi a   p r e v e n t i o n :   a   c o m p a r a t i v e   st u d y   o f   C h a t G P T - 3 . 5 ,   C o p i l o t ,   a n d   G e mi n i   o u t p u t a g a i n st   g o o g l e   sea r c h   r e s u l t s,   PE C   I n n o v a t i o n ,   v o l .   6 ,     p .   1 0 0 3 9 0 ,   J u n .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . p e c i n n . 2 0 2 5 . 1 0 0 3 9 0 .   [ 5 ]   H .   W u ,   X .   Y i n ,   K .   M i a o ,   J.   Y i n ,   a n d   H .   Z h a o ,   C a r d i o r e s p i r a t o r y   f i t n e ss i n   a d o l e s c e n t s   w i t h   m e n t a l   su b - h e a l t h   i n   C h i n a ,   A n n a l e s   d i c o - p syc h o l o g i q u e s,  rev u e   p s y c h i a t r i q u e ,   v o l .   1 7 9 ,   n o .   1 ,   p p .   3 3 3 8 ,   Ja n .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . a m p . 2 0 2 0 . 0 8 . 0 0 2 .   [6 ]   T.   A .   M a t t h e w s ,   H .   S h a o ,   M .   F o r st e r ,   a n d   I .   K i m ,   A sso c i a t i o n o f   a d v e r s e   c h i l d h o o d   e x p e r i e n c e w i t h   d e p r e ss i o n   a n d   a n x i e t y   a mo n g   c h i l d r e n   i n   t h e   U n i t e d   S t a t e s :   r a c i a l   a n d   e t h n i c   d i s p a r i t i e s   i n   me n t a l   h e a l t h ,   J o u r n a l   o f   Af f e c t i v e   D i so rd e rs ,   v o l .   3 6 2 ,     p p .   6 4 5 6 5 1 ,   O c t .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . j a d . 2 0 2 4 . 0 7 . 1 2 1 .   [ 7 ]   A .   M a r w a n t o ,   A .   R i a n s y a h ,   a n d   M .   K .   A n w a r ,   A n   i m p r o v e m e n t   o f   a p p l e   l e a f   d i s e a s e d e t e c t i o n   u s i n g   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   me t h o d b a se d   o n   m o b i l e   s y s t e ms,   i n   2 0 2 4   1 1 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   E l e c t ri c a l   E n g i n e e ri n g ,   C o m p u t e S c i e n c e   a n d   I n f o rm a t i c s ,   I EEE,   S e p .   2 0 2 4 ,   p p .   4 4 0 4 4 7 .   d o i :   1 0 . 1 1 0 9 / E EC S I 6 3 4 4 2 . 2 0 2 4 . 1 0 7 7 6 3 4 5 .   [ 8 ]   E.   K u s u m a n i n g t y a s,  E .   La u r e n t i n o ,   a n d   A .   B a r a k b a h ,   R e s p o n s i v e   c h a t b o t   u si n g   n a me d   e n t i t y   r e c o g n i t i o n   a n d   c o si n e   s i m i l a r i t y ,   i n   Pr o c e e d i n g s   o f   t h e   5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Ap p l i e d   S c i e n c e   a n d   T e c h n o l o g y   o n   En g i n e e ri n g   S c i e n c e ,   S C I TEPRE S S   -   S c i e n c e   a n d   T e c h n o l o g y   P u b l i c a t i o n s ,   2 0 2 2 ,   p p .   2 3 9 2 4 5 .   d o i :   1 0 . 5 2 2 0 / 0 0 1 1 7 5 6 3 0 0 0 0 3 5 7 5 .   [ 9 ]   D .   G a o   e t   a l . ,   F a sh i o n G P T :   LL M   i n s t r u c t i o n   f i n e - t u n i n g   w i t h   m u l t i p l e   Lo R A - a d a p t e r   f u si o n ,   K n o w l e d g e - Ba s e d   S y s t e m s   v o l .   2 9 9 ,   p .   1 1 2 0 4 3 ,   S e p .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . k n o s y s. 2 0 2 4 . 1 1 2 0 4 3 .   [ 1 0 ]   G .   Ji a n g ,   Z.   M a ,   L.   Z h a n g ,   a n d   J.   C h e n ,   EP l u s - LL M :   a   l a r g e   l a n g u a g e   m o d e l - b a s e d   c o mp u t i n g   p l a t f o r f o r   a u t o m a t e d   b u i l d i n g   e n e r g y   m o d e l i n g ,   A p p l i e d   E n e rg y ,   v o l .   3 6 7 ,   p .   1 2 3 4 3 1 ,   A u g .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . a p e n e r g y . 2 0 2 4 . 1 2 3 4 3 1 .   [ 1 1 ]   Z.   P a n g ,   Y .   L u a n ,   J.  C h e n ,   a n d   T.   L i ,   P a r I n f o G P T:   a n   LL M - b a s e d   t w o - st a g e   f r a m e w o r k   f o r   r e l i a b i l i t y   a sses smen t   o f   r o t a t i n g   mac h i n e   u n d e r   p a r t i a l   i n f o r mat i o n ,   R e l i a b i l i t y   E n g i n e e ri n g   &   S y st e m   S a f e t y ,   v o l .   2 5 0 ,   p .   1 1 0 3 1 2 ,   O c t .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . r e s s. 2 0 2 4 . 1 1 0 3 1 2 .   [ 1 2 ]   L.   S h i ,   M .   K a z d a ,   B .   S e a r s,   N .   S h r o p sh i r e ,   a n d   R .   P u r i ,   A sk - ED A :   a   d e si g n   a ssi s t a n t   e m p o w e r e d   b y   L LM ,   h y b r i d   R A G   a n d   a b b r e v i a t i o n   D e - h a l l u c i n a t i o n ,   a rX i v ,   Ju n .   2 0 2 4 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 2 4 0 6 . 0 6 5 7 5   [ 1 3 ]   J.  R o b e r t s,  M .   B a k e r ,   a n d   J.   A n d r e w ,   A r t i f i c i a l   i n t e l l i g e n c e   a n d   q u a l i t a t i v e   r e se a r c h :   t h e   p r o mi s e   a n d   p e r i l o f   l a r g e   l a n g u a g e   mo d e l   ( LL M )   a ss i st a n c e ,   C ri t i c a l   Pe rsp e c t i v e o n   A c c o u n t i n g ,   v o l .   9 9 ,   p .   1 0 2 7 2 2 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c p a . 2 0 2 4 . 1 0 2 7 2 2 .   [ 1 4 ]   S. - C .   C h i e n   e t   a l . ,   U si n g   l a r g e   l a n g u a g e   m o d e l   ( LL M )   t o   i d e n t i f y   h i g h - b u r d e n   i n f o r ma l   c a r e g i v e r s   i n   l o n g - t e r m   c a r e ,   C o m p u t e r   Me t h o d s   a n d   Pr o g ra m s   i n   B i o m e d i c i n e ,   v o l .   2 5 5 ,   p .   1 0 8 3 2 9 ,   O c t .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c m p b . 2 0 2 4 . 1 0 8 3 2 9 .   [ 1 5 ]   M .   S t a d l e r ,   M .   B a n n e r t ,   a n d   M .   S a i l e r ,   C o g n i t i v e   e a se  a t   a   c o st :   LL M r e d u c e   m e n t a l   e f f o r t   b u t   c o m p r o mi s e   d e p t h   i n   st u d e n t   sci e n t i f i c   i n q u i r y ,   C o m p u t e rs  i n   H u m a n   Be h a v i o r ,   v o l .   1 6 0 ,   p .   1 0 8 3 8 6 ,   N o v .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c h b . 2 0 2 4 . 1 0 8 3 8 6 .   [ 1 6 ]   M .   H .   S .   L e sma n a   a n d   M . - H .   C h u n g ,   P s y c h o m e t r i c   p r o p e r t i e o f   t h e   p e e r   m e n t a l   h e a l t h   st i g m a t i z a t i o n   s c a l e   i n   I n d o n e s i a n   a d o l e sce n t s,”   S S -   M e n t a l   H e a l t h ,   v o l .   7 ,   p .   1 0 0 4 0 0 ,   J u n .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . ssm m h . 2 0 2 5 . 1 0 0 4 0 0 .   [ 1 7 ]   S .   W e c h t ,   M .   H e n d r i x so n ,   a n d   A .   R a d o v i ć ,   A   mi x e d   me t h o d   i n v e st i g a t i o n   o f   p a r e n t - a d o l e s c e n t   c o mm u n i c a t i o n   a b o u t   me n t a l   h e a l t h ,   J o u r n a l   o f   A d o l e s c e n t   H e a l t h ,   v o l .   7 5 ,   n o .   6 ,   p p .   9 0 4 9 1 1 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . j a d o h e a l t h . 2 0 2 4 . 0 7 . 0 1 2 .   [ 1 8 ]   E.   J e n ,   H . - Y .   C h a n ,   a n d   H .   N .   C h e u n g ,   A d d r e s si n g   a d o l e sce n t   s o c i a l   a n d   e mo t i o n a l   c o n c e r n s :   i n s i g h t f r o l o n e l i n e s s,   b u r n o u t ,   a n d   p r e f e r r e d   c o n v e r s a t i o n   t o p i c i n   A si a n   a n d   UK   c o n t e x t p o s t - p a n d e mi c ,   Ac t a   Ps y c h o l o g i c a ,   v o l .   2 4 7 ,   p .   1 0 4 3 2 6 ,   Ju l .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . a c t p s y . 2 0 2 4 . 1 0 4 3 2 6 .   [ 1 9 ]   M .   T h e b e r a t h   e t   a l . ,   Ef f e c t s o f   C O V I D - 1 9   p a n d e m i c   o n   me n t a l   h e a l t h   o f   c h i l d r e n   a n d   a d o l e sc e n t s:   a   s y st e ma t i c   r e v i e w   o f   s u r v e y   st u d i e s,   S AG O p e n   Me d i c i n e ,   v o l .   1 0 ,   J a n .   2 0 2 2 ,   d o i :   1 0 . 1 1 7 7 / 2 0 5 0 3 1 2 1 2 2 1 0 8 6 7 1 2 .   [ 2 0 ]   K .   Q .   L i n ,   M .   C .   C . - B r e e n ,   C .   N o w e l l ,   A .   F .   Jo r m ,   a n d   M .   B .   H .   Y a p ,   P a r e n t i n g   s t r a t e g i e s   t o   s u p p o r t   a d o l e s c e n t   me n t a l   h e a l t h   d u r i n g   a   p a n d e m i c :   a   D e l p h i   c o n s e n su s   st u d y ,   Me n t a l   H e a l t h   Pre v e n t i o n ,   v o l .   3 6 ,   p .   2 0 0 3 6 3 ,   D e c .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . m h p . 2 0 2 4 . 2 0 0 3 6 3 .   [ 2 1 ]   A .   D A r q o e t   a l . ,   M e n t a l   h e a l t h   a n d   d e c i si o n - ma k i n g   p a r t i c i p a t i o n   o f   a d o l e s c e n t   o r p h a n s:   a   p i l o t   s t u d y ,   J u r n a l   K e p e ra w a t a n   Pa d j a d j a ra n ,   v o l .   1 1 ,   n o .   3 ,   p p .   1 7 6 1 8 3 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 2 4 1 9 8 / j k p . v 1 1 i 3 . 2 3 5 8 .   [ 2 2 ]   S .   E . - La c k o ,   P .   F .   G i l a b e r t ,   a n d   M .   K n a p p ,   T h e   d o u b l e   d i sa d v a n t a g e   f a c e d   b y   a d o l e sce n t f r o l o w   so c i o e c o n o m i c   b a c k g r o u n d s   w i t h   m e n t a l   h e a l t h   p r o b l e ms   a f f e c t s   e a r n i n g s   u p   t o   mi d - l i f e ,   S o c i a l   S c i e n c e   &   M e d i c i n e ,   v o l .   3 6 2 ,   p .   1 1 7 3 8 5 ,   D e c .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 2 4 . 1 1 7 3 8 5 .   [ 2 3 ]   L.   W u   e t   a l . ,   A   f r a mew o r k   e n a b l i n g   LLM i n t o   r e g u l a t o r y   e n v i r o n m e n t   f o r   t r a n s p a r e n c y   a n d   t r u st w o r t h i n e ss  a n d   i t a p p l i c a t i o n   t o   d r u g   l a b e l i n g   d o c u me n t ,   Re g u l a t o r y   T o x i c o l o g y   a n d   Ph a rm a c o l o g y ,   v o l .   1 4 9 ,   p .   1 0 5 6 1 3 ,   M a y   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . y r t p h . 2 0 2 4 . 1 0 5 6 1 3 .   [ 2 4 ]   D .   B a r ma n ,   Z.   G u o ,   a n d   O .   C o n l a n ,   T h e   d a r k   si d e   o f   l a n g u a g e   mo d e l s :   e x p l o r i n g   t h e   p o t e n t i a l   o f   LL M i n   m u l t i m e d i a   d i s i n f o r ma t i o n   g e n e r a t i o n   a n d   d i ss e mi n a t i o n ,   M a c h i n e   L e a r n i n g   w i t h   Ap p l i c a t i o n s ,   v o l .   1 6 ,   p .   1 0 0 5 4 5 ,   J u n .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . m l w a . 2 0 2 4 . 1 0 0 5 4 5 .   [ 2 5 ]   Y .   G a o   e t   a l . ,   R e t r i e v a l - a u g me n t e d   g e n e r a t i o n   f o r   l a r g e   l a n g u a g e   mo d e l s :   a   su r v e y ,   a r Xi v ,   M a r .   2 0 2 4 ,   [ O n l i n e ] .     A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 2 3 1 2 . 1 0 9 9 7   [ 2 6 ]   W .   F a n   e t   a l . ,   A   s u r v e y   o n   r a g   mee t i n g   L LM s :   t o w a r d s   r e t r i e v a l - a u g me n t e d   l a r g e   l a n g u a g e   m o d e l s,”   i n   Pr o c e e d i n g o f   t h e   3 0 t h   AC M   S I G K D D   C o n f e r e n c e   o n   K n o w l e d g e   D i sc o v e ry  a n d   D a t a   M i n i n g ,   N e w   Y o r k ,   N Y ,   U S A :   A C M ,   A u g .   2 0 2 4 ,   p p .   6 4 9 1 6 5 0 1 .   d o i :   1 0 . 1 1 4 5 / 3 6 3 7 5 2 8 . 3 6 7 1 4 7 0 .   [ 2 7 ]   K .   F o r t h   a n d   A .   B o r r ma n n ,   S e ma n t i c   e n r i c h m e n t   f o r   B I M - b a s e d   b u i l d i n g   e n e r g y   p e r f o r ma n c e   si m u l a t i o n s   u s i n g   sema n t i c   t e x t u a l   si mi l a r i t y   a n d   f i n e - t u n i n g   m u l t i l i n g u a l   LL M ,   J o u r n a l   o f   B u i l d i n g   En g i n e e r i n g ,   v o l .   9 5 ,   p .   1 1 0 3 1 2 ,   O c t .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . j o b e . 2 0 2 4 . 1 1 0 3 1 2 .   [ 2 8 ]   Y .   Li u   e t   a l . ,   A r e   LL M g o o d   a t   st r u c t u r e d   o u t p u t s ?   a   b e n c h m a r k   f o r   e v a l u a t i n g   st r u c t u r e d   o u t p u t   c a p a b i l i t i e s   i n   LL M s ,   I n f o rm a t i o n   Pr o c e ssi n g   Ma n a g e m e n t ,   v o l .   6 1 ,   n o .   5 ,   p .   1 0 3 8 0 9 ,   S e p .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . i p m. 2 0 2 4 . 1 0 3 8 0 9 .   [ 2 9 ]   A .   R i a n s y a h ,   S .   M u l y o n o ,   a n d   M .   R o i c h a n i ,   A p p l y i n g   f u z z y   p r o p o r t i o n a l   i n t e g r a l   d e r i v a t i v e   o n   i n t e r n e t   o f   t h i n g s   f o r   f i g s   g r e e n h o u se ,   I AE S   I n t e rn a t i o n a l   J o u rn a l   o f   Ar t i f i c i a l   I n t e l l i g e n c e ,   v o l .   1 0 ,   n o .   3 ,   p p .   5 3 6 5 4 4 ,   S e p .   2 0 2 1 ,     d o i :   1 0 . 1 1 5 9 1 / i j a i . v 1 0 . i 3 . p p 5 3 6 - 5 4 4 .   [ 3 0 ]   J.  J.   G .   T o r r e s   e t   a l . ,   A u t o m a t e d   q u e s t i o n - a n sw e r   g e n e r a t i o n   f o r   e v a l u a t i n g   r a g - b a s e d   c h a t b o t s,   i n   Pr o c e e d i n g o f   t h e   F i rs t   Wo r k sh o p   o n   Pa t i e n t - O ri e n t e d   L a n g u a g e   Pr o c e ssi n g   ( C L 4 H e a l t h )   @   L RE C - C O L I N G   2 0 2 4 ,   EL R A   a n d   I C C L,   2 0 2 4 ,     p p .   2 0 4 2 1 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / a c l a n t h o l o g y . o r g / 2 0 2 4 . c l 4 h e a l t h - 1 . 2 5 . p d f   [ 3 1 ]   J.  L u   e t   a l . ,   E v a l u a t i o n   o f   l a r g e   l a n g u a g e   mo d e l ( L LM s)   o n   t h e   mas t e r y   o f   k n o w l e d g e   a n d   s k i l l s   i n   t h e   h e a t i n g ,   v e n t i l a t i o n   a n d   a i r   c o n d i t i o n i n g   ( HVAC )   i n d u st r y ,   E n e r g y   a n d   B u i l t   En v i r o n m e n t ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . e n b e n v . 2 0 2 4 . 0 3 . 0 1 0 .   [ 3 2 ]   Z.   R a s o o l   e t   a l . ,   Ev a l u a t i n g   L LM s   o n   d o c u me n t - b a s e d   QA :   e x a c t   a n s w e r   sel e c t i o n   a n d   n u meri c a l   e x t r a c t i o n   u si n g   c o g t a l e   d a t a se t ,   N a t u r a l   L a n g u a g e   Pro c e ss i n g   J o u rn a l ,   v o l .   8 ,   p .   1 0 0 0 8 3 ,   S e p .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . n l p . 2 0 2 4 . 1 0 0 0 8 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   14 ,   No .   3 Sep tem b er   20 25 :   8 49 - 8 58   858   BIO G RAP H I E S O F   AUTH O RS       And Ria n sy a h           is  a   c o m p u ter  sc ien ti st  wit h   a   b a c h e lo o c o m p u ter  sc ien c e   d e g re e   fro m   Un iv e rsitas   Isla m   S u lt a n   Ag u n g   a n d   a   m a ste o in fo r m a ti o n   sy ste m d e g re e   fro m   Un iv e rsitas   Dip o n e g o r o .   He   p o ss e ss e o v e 7   y e a rs  o f   re se a rc h   e x p e rien c e   a n d   h a a c q u ired   a   p ro f o u n d   u n d e rsta n d in g   o c o m p u ter  sc ien c e ,   m a k in g   n o tew o rth y   c o n tri b u ti o n to   sc ien t ifi c   a d v a n c e m e n t.   He   c a n   b e   c o n tac ted   a e m a il a n d i@u n issu la.ac . id .         Im a m   Mu c h   Ibn u   S u b r o to           re c e iv e d   th e   P h . D.  d e g re e   fro m   Un i v e rsiti   Tek n o l o g i   M a lay sia   in   2 0 1 5 .   He   is  c u rre n tl y   a   S e n io r   Lec tu re r   with   t h e   De p a rtme n o f   In f o rm a ti c s   En g i n e e rin g ,   Un iv e rsitas   Isla m   S u lt a n   A g u n g .   He   is  t h e   f o u n d e o S INTA   a n d   t h e   f o u n d e o f   G AR UD A.  His  re s e a rc h   in tere st in c lu d e   c o m p u ter  sc ien c e ,   a rti ficia in telli g e n c e ,   m a c h in e   lea rn in g ,   d a ta  m i n in g ,   a n d   e d u c a ti o n   tec h n o l o g y .   He   c a n   b e   c o n tac ted   a e m a il :   ima m @u n issu la.ac . id .         Inta n   Nur'a i n         p rima ry   fo c u li e in   c o m p u ter  sc ien c e ,   p a rti c u l a rly   in   th e   field   o f   d a ta  e n g i n e e r in g   a n d   a rti ficia l   i n telli g e n c e ,   wh e re   h e   h a c o m p l e ted   n u m e ro u c o u rse a n d   re se a rc h   p ro jec ts.  As id e   fr o m   h is  a c a d e m ic  p u rs u it s.  S h e   c a n   b e   c o n tac ted   a e m a il :   in tan n u ra @s td . u n issu la.ac . id .         Ra tn a   S u p r a d e wi          is   a   p s y c h o l o g y   e x p e rt .   S h e   re c e iv e d   a   Ba c h e lo o P sy c h o lo g y   a n d   M a ste o P s y c h o lo g y   fro m   G a j a h   M a d a   Un i v e rsity S h e   c a n   b e   c o n tac ted   a e m a il :   su p ra d e wi@u n issu la.ac . id .         S u y a n to   S u y a n t o           is  a   n u rsin g   lec tu re r.   He   re c e iv e d   a   Ba c h e lo o Nu rsin g   d e g re e   (S . Ke p . ),   a   M a ste o N u rsin g   d e g re e   (M . Ke p . ),   a n d   a   M e d ica l - S u rg ica Nu rsi n g   S p e c ialist   c e rti fica ti o n .   (S p . Ke p . M B . ) He   c a n   b e   c o n tac ted   at   e m a il su y a n to @u n issu la.ac . i d .       Evaluation Warning : The document was created with Spire.PDF for Python.