I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia I n t e ll ig e n c e  ( I J - AI )   V ol . 14, No. 6, D e c e m be r  2025 , pp.  4600 ~ 4613   I S S N 2252 - 8938 ,   D O I 10.11591/ ij a i. v 14 .i 6 .pp 4600 - 4613          4600     Jou r n al  h om e page ht tp : // ij ai . ia e s c or e .c om   S e m an t i c   se ar c h - e n h an c e d  h e al t h c ar e  c h at b ot  f or   h osp i t al   i n f or m at i on   m an age m e n t  sys t e m   u si n ve c t or  d at ab ase  an d   t r an sf or m e r  m od e l s       E r d a G u s li n ar  P e r d an a 1, 2 , A r ya A d h N u gr ah a 3   1 S of t w a r e  E ngi ne e r i ng A ppl i c a t i ons  S t udy P r og r a m , S c hool  of  A ppl i e d S c i e nc e , T e l kom  U ni ve r s i t y , B a ndung, I ndone s i a   2 C e nt e r  of  E xc e l l e nc e  f or  I ns pi r i ng D i gi t a l  T r a ns f or m a t i on f o r  S oc i a l  I nnova t i o n ( I ns P i R o) , R e s e a r c h I ns t i t ut e  of  S us t a i na bl e   S oc i e t y,  T e l kom  U ni ve r s i t y, B a ndung, I ndone s i a   3 P r oduc t  D e ve l opm e nt   a nd   T e c hnol ogy D i vi s i on, M e dxa , B a ndung, I ndone s i a       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e M a r  5, 2025   R e vi s e O c 21 , 2025   A c c e pt e N ov 8, 2025       Healthcare  chatbots  are  increasingly  used  to   assist  hospital  staff,  ye most   existin systems   rely  on  rule - based  or  generic  machine  learning   (ML)   approaches  that  lack  the  abilit to  comprehend   natural  language  q ueries,  while  proprietary  deep  lea rning  systems  often   incur  high   licensing   costs.  This  work  addresses  this  gap  by  proposing  a   cost - effective  and  s calable  semantic  vector  retrieval  solution  for  user  intent  recognition  in   a   h ospital  information  manageme nt  system  ( HIMS )   helpdesk  chatbot.  The   MPNet - based   transforme model  is  employed  to  convert   user  inquirie and  predefined  intents  into  feature   vectors,  enabling  highly   accurate  natural  language  understand ing  through  cosine  similarity   retrieva wit hin  dedicated vector data base. The  proposed vector  search method was  va lidated  via  an  ablation  study,  a chieving  an  accuracy   of  0.70  for   intent  recog nition,  which demonstrates a s ignificant  performance gain  of 28.0 percentage  points   over  traditional  keyword - based  search  baseline.  Usability  testing  across  develo per  and  doctor  groups  yielded  an  average  score  of  7.78  on  1 0 - point  Likert  scale.  This  study  concludes  that  integrating  semantic  vector  re trieval  with  vector  database  is  highly  effective  for   recognizing  specialized  c linical  intents,  offering   more  accura te   solution  that  significantly   reduc es  the  manual help desk worklo ad and e nhances 2 4 - hour assistance in healthcare .   K e y w o r d s :   H e a lt hc a r e  c ha tb ot   I nt e nt  r e c ogni ti on   M ul ti li ngua e m be ddi ngs   S e m a nt ic  s e a r c h   V e c to r  da ta ba s e   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   E r da  G us li na r   P e r da na   S of twa r e  E ngi ne e r in g A ppl ic a ti ons  S tu dy P r og r a m , S c hool  of   A ppl ie d S c ie nc e , T e lk om  U ni ve r s it y   B a ndung, W e s J a va  P r ovi nc e , I ndone s i a   E m a il e r da @ te lk om uni ve r s it y.a c .i d       1.   I N T R O D U C T I O N   T he   hos pi ta in f or m a ti on  m a na ge m e nt   s ys te m   ( H I M S )   is   a   m u lt if a c e te in f or m a ti on  s ys te m   due   t o   it s   e nga ge m e nt   w it s e ve r a us e r   gr oups   f r om   bot in te r na a nd  e xt e r na hos pi ta e nvi r onm e nt s T he   la r ge   num be r   of   us e r   gr oups   d r iv e s   th e   ne e f or   a   c a pa bl e   he lp de s s ys te m   to   s e r ve   th e   ne e ds   of   H I M S   us e r s   opt im a ll y.  C ha tb ot s   m a b e   in te gr a te in to   th e   H I M S   he lp d e s s ys te m pr ovi di ng  a ut om a ti on   a nd  24 - hour   a s s is t a nc e , a lo ng s id e  c os r e duc ti on  a nd t he  c a pa c it y t o m a na ge  a  s ubs ta nt ia vol um e  of  c u s to m e r s   [ 1] [ 3] .   C ha t bot s   m a ty pi c a ll be   c ons tr uc t e us in r ul e - b a s e o r   m a c hi n e   le a r n in ( M L )   a p p r oa c he s   [ 4] R ul e - ba s e c h a tb ot s   a r e   th e   m os p r e va le n s o r o f   c ha tb ot s   u ti li z e i th e   c o r p or a te   s e c to r   n ow a da ys   [ 5 ] R ul e - ba s e d   c ha tb ot s   a r e   c ha tb o ts   th a t   a r e   de ve lo pe d   w it a   f ix e d   d a ta ba s e   o f   que s ti on - a n d - a ns w e r   pa i r s ,   w hi c r e s ul ts   in   a   s i gn if ic a nt   l im it a ti on th e i r   in a bi li ty   to   c o m p r e he nd   us e r   i nqu i r ie s   e xp r e s s e d   in   na tu r a l   la ng ua g e   [ 5 ] .   C onv e r s e ly a l th o ug M L - ba s e c ha tb o ts   l ik e   C ha t G P T   o f f e r   s i m i la r   be ne f it s th e i r   pot e n ti a l   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       Se m ant ic  s e ar c h - e nhanc e d he al th c a r e  c hat bot  f or  ho s pi ta in fo r m at io n     ( E r da G us li nar  P e r dana )   4601   to   ge n e r a te   a r ti f ic i a l   ha ll uc i na t io ns   m a ke s   t he m   l e s s   a pp r op r i a te   f o r   i nt e gr a t io n   i nt he l de s k   s ys t e m s   [ 6] A lk a is s i   a n d   M c F a r l a ne   [ 7 ]   e lu c id a te s   th a t   a r t if ic i a l   ha ll uc i na t io ns   a r e   th e   r e s u lt   o f   m a c hi ne s ,   s uc a s   c ha t bo ts ,   ge ne r a t in g   s e ns o r y   e xpe r i e nc e s   th a a ppe a r   ge nu i ne   bu do   n ot   c or r e s pon d   t a ny   r e a l - w o r l d   in p ut T h e   c ha t bo t' s   a r t if ic ia l   ha ll uc i na ti o ou tp u t   is   i na de q ua te   f o r   he l pde s s ys te m s   th a ne e d   p r e c is e   r e s p ons e s C om m e r c ia r u le - ba s e c ha tb o f r a m e w o r ks   s u c a s   G o og le   D ia lo g f lo w I B M   W a ts on a nd   R a s a   p la t f or m   ha ve  m a de  s t r i de s   in  a d dr e s s in th e  l im it a ti ons   of  ba s ic   r u le - ba s e d s ys te m s   by  o f f e r in m o r e   s oph is t ic a t e d   c a p a bi l it ie s .   H o w e ve r th e s e   s o lu ti ons   t yp ic a l l o pe r a t e   a s   c lo u d - ba s e s e r vi c e s   a n d   o f te n   in c u r  l ic e ns in g c os ts .   T r a di ti ona ke yw or d - ba s e d   s e a r c m e th od s   s tr uggl e   to   in te r p r e th e   nua nc e s   of   na tu r a la ngua g e w hi c li m it s   th e ir   us e f ul ne s s   in   c onve r s a ti ona a r ti f ic ia in te ll ig e nc e   ( AI ) T a ddr e s s   th i s m ode r s ys te m s   a dopt   s e m a nt ic   s e a r c pow e r e by  de ns e   r e tr ie va ( D R )   te c hni que s   [ 8] I D R bot us e r   que r ie s   a nd  in te nt   r e pr e s e nt a ti ons  a r e  t r a ns f or m e d i nt o hi gh - di m e ns io na ve c to r  e m be ddi ngs  us in g de e p l e a r ni ng mode ls .   M os D R   s ys te m s   us e   bi - e nc ode r   a r c hi te c tu r e s   [ 9]   s uc a s   t he   M P N e t - ba s e d   m ode us e d   in   th is   s tu dy   w he r e  t he  que r y a nd i nt e nt  a r e  e nc od e d s e pa r a t e ly . T hi s   s e tu p i s  hi ghl y s c a la bl e a ll ow in g i nt e nt  ve c to r s   to   be   pr e c om put e a nd  qui c kl y   c om pa r e w it ne w   que r ie s   us in c os in e   s im il a r it y.  F or   ta s ks   th a de m a nd   hi ghe r   a c c ur a c y,  a   two - s ta ge   r e tr ie va pr oc e s s   is   of te e m pl oye d.  T he   f ir s s ta ge   us e s   a   f a s bi - e nc ode r   f or   in it ia f il te r in g,  f ol lo w e by  a   c r os s - e nc ode r   th a r e - e va lu a te s   th e   to r e s ul t s   by   jo in tl m ode li ng  th e   r e la ti ons hi be twe e th e   que r a nd   th e   in te nt   [ 10] A lt hou gh  th is   a ppr oa c h   e nha nc e s   pr e c i s io n,  it   a l s in c r e a s e s   c om put a ti ona ove r he a d, w hi c h r e m a in s  a  ke y c h a ll e n ge  i n ongoing r e s e a r c h.   A ppl yi ng   na tu r a la ng ua g e   pr o c e s s in ( N L P )   i h e a lt h c a r e   in tr od uc e s   a ddi t io na l   c h a ll e nge s ,   pa r ti c ul a r ly   in   m ul ti li ngu a c o nt e xt s   w h e r e   c li ni c ia n s   m a s w it c be t w e e la ng ua g e s   [ 1 1]   or   us e   s p e c i a li z e d   m e di c a te r m s T m a na g e   th i s   c om pl e xi t y,  m od e ls   ba s e o s e nt e nc e - bi di r e c ti ona e nc o de r   r e pr e s e nt a ti on s   f r om   tr a ns f or m e r s   ( B E R T )   [ 12] s uc a s   M i ni L M   [ 13]   a nd  M P N e t   [ 14]   va r i a nt s   a r e   tr a in e to   g e ne r a te   m ul ti li ngu a s e nt e n c e   e m be ddi ng s   t ha a li gn   s e m a nt ic   m e a ni ng s   a c r o s s   la ng ua g e s .   T he s e   e m b e ddi n gs   e n s ur e   th a que r i e s   in   d if f e r e nt   l a ngu a ge s   c a be   und e r s to od  a nd  p r oc e s s e c on s i s te nt ly M ode p e r f or m a n c e   i s   ty pi c a ll e va lu a t e us i ng  l a r ge - s c a le   be nc hm a r ks   li k e   t he   m a s s iv e   t e xt   e m b e ddi n b e nc hm a r k   ( M T E B )   [ 15] w hi c a s s e s s e s  h ow  w e ll  t h e s e   e m be ddi ng s  g e ne r a li z e  a c r o s s   la n gua ge s   a nd  dom a i ns .     I pr oduc t io s y s te m s t he   s c a la b il it a nd  s p e e of   ve c to r   m a t c hi ng  pl a a   c r uc i a r ol e P e r f or m in e xha u s ti ve  k - n e a r e s t  ne ig hbor  ( K N N )   s e a r c h e s   on l a r ge  d a ta s e ts   c a n b e   c om put a ti on a ll e xp e n s iv e .  A s  a  r e s ul t,   m ode r s y s te m s   e m pl oy  v e c t or   d a ta b a s e s   s uc h   a s   M il v us ,   w hi c i m pl e m e nt   a ppr o xi m a t e   n e a r e s t   ne ig hbor   ( A N N )   [ 16]   a l gor it hm s   m os t   not a bl y   hi e r a r c hi c a l   n a vi ga bl e   s m a ll   w or l ds   ( H N S W )   [ 17] .   T he s e   m e t hod s   s li ght l y c om pr om i s e  a c c ur a c y but a c hi e v e  s ig ni f ic a nt  pe r f or m a n c e   ga in s ,   m a ki ng   A N N - ba s e v e c t or   d a ta ba s e s   th e  pr e f e r r e s ol ut io n f or  r e a l - ti m e   s e m a nt i c  ve c to r  r e tr ie v a a pp li c a ti o ns .   T hi s   w or pr o pos e s   a a lt e r na ti ve   a ppr oa c h:   a   te xt - b a s e r ul e - ba s e c ha t bot   le v e r a gi ng  a   v e c to r   da ta b a s e   m a na g e m e nt  s y s te m  a nd  d e e l e a r ni ng - ba s e N L P   [ 18 ] T hi s   s ol ut io di s ti n gui s he s   it s e lf   by  of f e r i ng  a   m or e   c os t - e f f e c ti ve   a s   it   i s   de v e lo p e d   us i ng  ope n - s our c e   a nd  a   lo w - c ode   e n vi r onm e nt   ( O r a c l e   A pe x ).     T he  ke y c ont r ib ut io ns  of  t hi s  w or k i nc lu de   i)   D e m ons tr a ti ng  th e   e f f e c ti ve ne s s   of   a   m ul ti li ngua M P N e m ode in   id e nt if yi ng  c om pl e bi li ngua ( I ndone s ia n E ngl is h)  c li ni c a in te nt s   ii)   M e a s ur in a   28 - pe r c e nt a g e - poi nt   im pr ove m e nt   in   r e s pons e   a c c ur a c w he u s in s e m a nt ic   ve c to r   r e tr ie va c om pa r e d t o a  l e xi c a ba s e li ne  ( J a c c a r s im il a r it y)  w it hi n a n H I M S  he lp de s k s e tt in g,    iii)   D e ve l op in g   a   s c a l a bl e ,   f ul l s e lf - ho s t e d   a r c hi te c t ur e   b ui l on   O r a c le   A p e x,   D j a ng o,   a nd   M i lv u s ,   of f e r i ng  he a lt hc a r e  i n s ti t ut io n s  a n a f f or da bl e  a l te r n a ti v e  t c om m e r c i a c l oud - ba s e na tu r a l - l a n gu a g e  u nd e r s t a nd in ( N L U )   s y s t e m s .     A   c om pa r is on  of   di f f e r e nt   c ha tb ot   a r c hi te c tu r e s de ta il in th e ir   s e a r c m e th odol ogy,  in de xi ng  f r a m e w or k,   pe r f or m a nc e  f oc us , a nd c os t/ s c a la bi li ty , i s  pr ovi de d i n T a bl e  1.       T a bl e  1 .   C om pa r is on of   c h a tb ot   a r c hi te c tu r e s   C ha t bot  s ys t e m /   a r c hi t e c t ur e   S e a r c h m e t hodol ogy   I nde xi ng/ f r a m e w or k   P e r f or m a nc e  f oc us   C os t / s c a l a bi l i t y   T r a di t i ona l  r ul e - ba s e d   L e xi c a l / e xa c t  m a t c h   S Q L / R D B M S   L ow  a c c ur a c y, hi gh  s pe e d   L ow   c os t , poor   s c a l a bi l i t y   B a s i c   ML   I nt e nt   c l a s s i f i c a t i on  ( N L U )   -   H i gh  a c c ur a c y,  m e di um  s pe e d   C os t   va r i e s , poor   s c a l a bi l i t y   M ode r n ve c t or  s e a r c h   S e m a nt i c   r e t r i e va l   ( B i - e nc ode r )   V e c t or  da t a ba s e s     ( e .g., M i l vus , F A I S S w e a vi a t e , e l a s t i c   s e a r c h )   H i gh  a c c ur a c y,  s c a l a bl e  pe r f or m a nc e   M ode r a t e   c os t   ( i nf r a s t r uc t ur e ) , hi gh l s c a l a bl e   T hi s  s t udy   S e m a nt i c   r e t r i e va l   ( M P N e t )   M i l vus   d a t a ba s e   M i l vus   ve c t or  da t a ba s e s O r a c l e  A pe x   O pt i m i z e a c c ur a c y f or   H I M S   i nt e nt s  ( a c c :  0.70)       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll V ol . 14, No. 6, D e c e m be r  2025 4600 - 4613   4602   2.   M E T H O D     2.1.  Us e r   in t e n t  d at as e t  p r e p ar at io n   W e   pe r f or m e a a na ly s is   of   th e   H I M S   us e r   m a nua to   e xt r a c in f or m a ti on  pe r ti ne nt   to   doc to r s   in s id e   th e   H I M S   f r a m e w or k.  T he   da ta   w a s   s ubs e que nt ly   a gg r e ga te in to   a   c om pi la ti on  of   11  us e r   in te nt s     a s   s how n   in   T a bl e   2.  F or   e a c us e r   in te nt 13  r e a li s ti c   us e r   que r s a m pl e s   w e r e   m a nu a ll f or m ul a te   ( 10 f or  t r a in in g, 3  f or  t e s ti ng)  ba s e d on c om m on doc to r  i nqui r ie s , r e s ul ti ng i n 143 tot a r e c or ds .       T a bl e  2 .   U s e r   in te nt  da ta s e t   No   U s e r  i nt e nt   T r a i ni ng s a m pl e s   T e s t i ng s a m pl e s   1   S ur ge r s c he dul e   10   3   2   D oc t or   pr a c t i c e  hour s   10   3   3   O ut pa t i e nt   nur s e  s hi f t  s c he dul e   10   3   4   D oc t or   vi s i t  s c he dul e   10   3   5   M e di c a l  s e r vi c e  pa ym e nt  de t a i l   10   3   6   O nl i ne   r e s e r va t i on pa t i e nt  l i s t   10   3   7   C ons ul t e pa t i e nt  i nf or m a t i on   10   3   8   P ol yc l i ni c   pa t i e nt  l i s t   10   3   9   M e di c a l   pr oc e dur e  de t a i l s   10   3   10   D oc t or   f e e dba c k on c ha t bot  us a ge   10   3   11   C ha t bot   f e a t ur e  ove r vi e w   10   3       2.2.  E m b e d d in m od e ls  e val u at io n   E m be ddi ng  m ode ls   w e r e   ut il iz e to   c r e a te   ve c to r   da ta   f r om   us e r   in te nt   a nd  us e r   que r to   m a ke   s e m a nt ic   ve c to r   r e tr ie va w it c os in e   s im il a r it be in pos s ib l e F iv e   e m be ddi ng  m ode ls   w e r e   s e le c te a s   c a ndi da te s   ba s e on  th e ir   r e por te pe r f or m a nc e   on  M T E B   a nd  th e ir   doc um e nt e m ul ti li ngua c a pa bi li ti e s   [ 15] T he   in c lu s io of   m ul ti li ngua m ode ls   is   c r uc ia gi ve th e   pot e nt ia f or   c ode - s w it c hi ng  or   va r ia ti ons   i n   c li ni c a te r m in ol ogy of te n f ound in hea lt hc a r e  c ont e xt s  [ 11] .   T de te r m in e   th e   m os s ui ta bl e   m ode f or   us e r   in te nt   da ta s e t,   pe r f or m a nc e   e va lu a ti on  w a s   ne e d e d.  T he   pe r f or m a nc e   e va lu a ti on  w a s   c onduc te by  tr a in in a   lo gi s ti c   r e gr e s s io c la s s if ie r   to   a s s e s s   th e   qua li ty   of   th e   ge ne r a te u s e r   in te nt   e m be ddi ngs   [ 19] T hi s   c la s s if ic a ti on  ta s s e r ve s   a s   a obj e c ti ve   pr oxy  to   de te r m in e   th e   e m be ddi ng  m ode b e s c a pa bl e   of   di s ti ngui s hi ng  be tw e e th e   11  u s e r   in te nt s   in   th e   v e c to r   s pa c e   T he   m ode s e le c t e ba s e on  pr e c is io n,  r e c a ll a nd  F 1 - s c or e   w il th e be   im pl e m e nt e to   f a c il it a te   th e   f in a l   s e m a nt ic   ve c to r   r e tr ie va l.   T he   f iv e   e m b e ddi ng  m ode ls   c a ndi d a te s   a r e :   i)   a ll - M in iL M - L6 - v2 ii )   pa r a phr a s e - m ul ti li ngua l - M in iL M - L 12 - v2 ii i)   pa r a phr a s e - m ul ti li ngua l - m pne t - ba s e - v2 iv )   di s ti lu s e - ba s e - m ul ti li ngua l - c a s e d - v2 , a nd v)   s e nt e nc e - tr a ns f or m e r s /L a B S E .     2.3.  S e m an t ic   ve c t or  r e t r ie val  v s  k e yw or d  m at c h in g c o m p ar is on     W e   c onduc t e a n   a bl a ti on  s tu dy  to   qua nt if th e   im pr ove m e nt   in   in te nt   r e c ogni ti on  ga in e d   by  u s in s e m a nt ic   ve c to r   r e tr ie va w it c os in e   s im il a r it ove r   a   tr a di ti ona ke yw or d - ba s e s e a r c ba s e li ne F or   th e   s e m a nt ic   ve c to r   r e tr ie va c om pone nt th e   s e le c te e m be ddi ng   m ode w a s   us e to   ve c to r iz e   a ll   us e r   in te nt   s a m pl e s N e a r e s n e ig hbor   c la s s if ic a ti on   w a s   th e a ppl ie d,  ut il iz in c os in e   s im il a r it to   f in th e   s in gl e   k= 1   ne a r e s ne ig hbor  ( th e  pr e di c te d i nt e nt  c la s s )  f or  e a c h t e s s a m pl e .     F or   th e   ke yw or d - ba s e s e a r c ba s e li ne th e   J a c c a r s im il a r it a lg or it hm   w a s   c hos e to   m e a s ur e   th e   to ke ove r la be tw e e th e   us e r   qu e r a nd  th e   tr a in in in te n s a m pl e s .   T h e   in te nt   c la s s   w it th e   hi ghe s t   J a c c a r s c or e   w a s   s e le c t e a s   th e   pr e di c ti on.  A c c ur a c w a s   c a lc ul a te f or   bot m e th ods a ll ow in us   t o   qua nt if y t he  pe r f or m a nc e  ga in  of  t he  s e m a nt ic  ve c to r  r e tr ie va a ppr oa c h f or  i nt e nt  r e c ogni ti on.     2.4.  T h r e s h ol d   s e n s it iv it y an al ys is   T de te r m in e   th e   opt im a c os in e   s im il a r it th r e s hol f or   in te nt   m a tc hi ng  a nd  to   a na ly z e   it s   e f f e c on  c ha tb ot   pe r f or m a nc e a   th r e s hol d   s e n s it iv it a na ly s i s   w a s   p e r f or m e d.  T he   s e le c te d   e m be ddi ng   m ode w a s   ut il iz e d t o c onve r in te nt  s a m pl e  da ta s e in to  e m be ddi ng ve c to r . F or  e a c h i nt e nt  s a m pl e  t e s da ta s e t,  t he  c o s in e   s im il a r it be twe e th e   te s e m be ddi ng  a nd  it s   to r e tr ie ve c a ndi da te   w a s   c om put e us in th e   K N N   a lg or it hm  w it h   c os in e   s im il a r it y. A  s e r ie s  of  t hr e s hol ds  r a ngi ng  f r om  0.40 to  0.95  ( in  i nc r e m e nt s  of  0.01)  w a s   e va lu a te d.  A   m a tc h w a s   onl a c c e pt e d   if   th e   hi ghe s s im il a r it s c or e   a m ong   th e   k   c a ndi da te s   w a s   gr e a te r   th a n   or   e qua to   th e   te s te th r e s hol ( τ) T he   in te nt   c or r e s ponding  t th e   hi ghe s s c or e   a bove   τ  w a s   de s ig na te a s   th e   pr e di c ti on;   ot he r w is e th e   que r w a s   c l a s s if ie d a s   " N m a tc f ound "   ( r e je c ti on) F or   e a c th r e s hol va lu e ,   pr e c is io n, r e c a ll , a nd F 1 - s c or e  w e r e  c om put e d.     2.5.  S of t w ar e   d e ve lo p m e n t   T h e   a g il e   d e v e l opm e n m e th od ol o gy w a s   e m pl oy e d t o de ve lo p   t he   c h a t bot   a ppl ic a ti on . T h is   m e th od i s   c h a r a c t e r i z e d   by   i ts   i nc r e m e n ta na tu r e   ( s m a l r e l e a s e   v e r s io n s   w it h   f a s t   c y c l e s ) ,   c oop e r a ti ve   n a t ur e   ( d e ve l op e r s   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       Se m ant ic  s e ar c h - e nhanc e d he al th c a r e  c hat bot  f or  ho s pi ta in fo r m at io n     ( E r da G us li nar  P e r dana )   4603   a nd   u s e r s   w or to g e t he r   w it i nt e n s e   c o m m u ni c a ti o n) ,   a nd   a da pt a bi l it y   [ 2 0] ,   [ 2 1] .   T h e   s ol u ti o ut i li z e s   a   lo w   c od e   t e c hn ol o gy   p la t f or m   t im pr ov e   th e   e f f ic ie nc y   of   s of t w a r e   d e v e l opm e n t   [ 22] s pe c if ic a ll y   e m pl oyi ng   th e   O r a c l e   A p e x  d e v e lo pm e nt  pl a tf or m  f or  t h e  f r on t - e nd  i nt e r f a c e  a n d c or e  b u s in e s s  l ogi c   in t e g r a t io n.     2.6.  Ch at b ot   e val u at io n   U s a bi li ty   e va lu a ti on  w a s   e m pl oye to   a s s e s s   th e   r e s ul ti ng  c ha tb ot   a ppl ic a ti on.  U s a bi li ty   is   de f in e d   by  I S O   9241 - 11: 1998  a s   " th e   de gr e e   to   w hi c a   pr oduc c a be   ut il iz e by  s pe c if ic   us e r s   to   a c hi e ve   s p e c if ic   obj e c ti ve s   w it e f f ic ie nc y,   e f f e c ti ve ne s s a nd   s a ti s f a c ti on  in   a   s pe c if ic   c ont e xt   of   us e "   [ 23] A c c or di ng  to   th e   de f in it io n,  th r e e   m e tr ic s   a r e   ut il iz e in   th e   e v a lu a ti on  of   th is   s t udy:   e f f e c ti ve ne s s , e f f ic ie nc y,  a nd s a ti s f a c ti on.   E a c m e a s ur e   in c lu de s   th r e e   pr ope r ti e s   th a t   a r e   c he c ke us in a   que s ti onna ir e   w it a   L ik e r s c a le   r a ngi ng   f r om   to   10   [ 24] T he s e   ni n e   a tt r ib ut e s   r e f e r s   to   a   s tu dy c ondu c te by  N ic ol e   a nd   M or ga n   [ 25]   in  c onduc ti ng  us a bi li ty   te s ti ng  on   c ha tb ot s T he   que s ti onna ir e   r e s ponde nt s   c o m pr is e two  gr oups s ix   in di vi dua ls   f r om   th e   H I M S   a ppl ic a ti on  de ve lo pm e nt   te a m   ( f or   te c hni c a va li da ti o n)   a nd  f if te e m e m be r s   of   th e   doc to r   gr oup    ( f or  e nd - us e r  va li da ti on) .     2.7.  Ac t iv e   le ar n in g l oop   T e ns ur e   th e   s ys te m   r e m a in s   a c c ur a te   a nd  a da pt iv e   w hi le   ut i li z in a   f ix e e m be ddi ng  m ode l,   w e   pr opos e   im pl e m e nt in a a c ti ve   l e a r ni ng  ( A L )   lo op  to   c ont in uous ly   r e f in e   th e   us e r   in te nt   knowle dg e   ba s e   in   th e   ve c to r   da ta ba s e T hi s   m e c h a ni s m   is   c r it ic a f or   a ddr e s s in i ns ta nc e s   of   s e m a nt ic   a m bi gui ty   a nd  c ove r a ge   ga ps T h e   A L   lo op  f oc us e s   on  id e nt if yi ng  hi gh - va lu e   que r ie s   by  m oni to r in th r e e   s ig na l s c onf id e nc e   th r e s hol vi ol a ti on  ( que r is   to di s ta nt   f r om   a ll   c ur r e nt   in te n ts ) a m bi gui ty   s a m pl in g   ( to s im il a r it s c or e s   a r e   to c lo s e ) a nd  us e r   e s c a la ti on/ f e e dba c s ig na ( th e   que r r e s ul ts   in   im m e di a te   ne ga ti ve   us e r   f e e dba c k) .   T he s e   f la gge qu e r ie s   a r e   r out e to   th e   H I M S   c ont e nt   m a na ge m e nt   in te r f a c e   w h e r e   a n   e xpe r a s s ig ns   th e   c or r e c in te nt   a nd  a dds   th e   que r a s   a   ne w   in te nt   s a m pl e F in a ll y,  th e   ' V e c to r iz e   a ll   in te nt '   f unc ti on  is   e xe c ut e vi a   th e   D ja ngo  A P I   to   ge ne r a te   th e   ve c to r   f or   th e   ne w   s a m pl e   a nd  in s e r it   in to   th e   M il vus   ve c to r   da ta ba s e T hi s   pr oc e s s   it e r a ti ve ly   e xpa nds   a nd   c la r if ie s   th e   b ounda r ie s   of   th e   in te nt   c lu s te r s   in   th e   v e c to r   s pa c e , e nh a nc in g s e m a nt ic  r e tr ie va a c c ur a c y ov e r  t im e  w it hout  t he  ne c e s s it y of  e xpe ns iv e  m ode r e tr a in in g.     2.8.  S ys t e m   p e r f or m an c e  e val u at io n   S ys te m - le ve pe r f or m a nc e   m e tr ic s   w e r e   e va lu a te to   e ns ur e   th a th e   s e m a nt ic   ve c to r   r e tr ie va l     c a ope r a te   e f f ic ie nt ly   in   r e a l - ti m e   he a lt hc a r e   c h a tb ot   s c e na r io s P e r f or m a nc e   e va lu a ti on  f oc u s e on  l a te nc y   a nd  th r oughput  c ons is te n c unde r   c onc ur r e nt   que r lo a ds .   L a te nc r e f e r s   to   th e   a ve r a g e   ti m e   ta ke n   f or   M il vus   to   r e tr ie ve   th e   to p - 1   s e m a nt ic   m a tc h   f r om   a   ve c to r   c ol le c ti on  a f te r   r e c e iv in g a   u s e r   que r y. T hr oughput  r e pr e s e nt s   th e   num b e r   of   s uc c e s s f ul   r e tr ie va ope r a ti on s   p e r   s e c ond.  T he   b e nc hm a r ki ng  e nvi r onm e nt   c ons is te of   a   M il vus   2.3.21  in s ta nc e   hos te on  a   c lo ud  s e r ve r   e qui ppe w it 16  G B   of   R A M vC P U s a nd   a S S D - ba s e s to r a ge   ba c ke nd.  L oa te s ti ng  w a s   s im ul a te us in a   P yt hon - ba s e a s ync hr onous   c li e nt   bui lt   w it lo c us a nd  a io ht tp ge ne r a ti ng   c onc ur r e nt   que r y   r e que s ts   r a ngi ng  f r om   1   to   100   pa r a ll e us e r s E a c h   c li e nt   is s ue r a ndom,  pr e - e m be dd e que r ie s   f r om   th e   in te nt   s a m pl e   te s da ta s e t,   a nd  th e   a ve r a ge   e nd - to - e nd  la te nc y ( f r om  r e que s to  r e tr ie va r e s ul t)  w a s  m e a s ur e d ove r  1,0 00 que r ie s  pe r  c onc ur r e nc y l e ve l.       3.   R E S U L T S  A N D  D I S C U S S I O N   3.1.  E m b e d d in m od e e val u at io n   W e   tr a in e lo gi s ti c   r e gr e s s io c la s s if ie r   f r om   our   us e r   in te nt   tr a in in s a m pl e   w hi c ha s   b e e ge ne r a te in to   ve c to r   da ta   by  e a c c a ndi da te   m ode l.   V e c to r iz e us e r   in te nt   te s ti ng  s a m pl e   th e w a s   u s e to   e va lu a te   th e   tr a in e c la s s if ie r T he   e va lu a ti on  r e s ul a s   s h ow in   T a bl e   in di c a te s   th a pa r a phr a s e - m ul ti li ngua l - m pne t - ba s e - v2 outpe r f or m e d a not he r  c a ndi da te  m ode ls  i n a ll  e va lu a ti on me tr ic .       T a bl e  3. E m be ddi ng mode e va lu a ti on r e s ul t   No   M ode l   A c c ur a c y   F1 - s c or e   P r e c i s i on   R e c a l l   1   a l l - M i ni L M - L6 - v2   0.5455   0.5102   0.5795   0.5455   2   pa r a phr a s e - m ul t i l i ngua l - M i ni L M - L 12 - v   0.6364   0.5686   0.6011   0.6364   3   pa r a phr a s e - m ul t i l i ngua l - m pne t - ba s e - v2   0.7576   0.7102   0.7212   0.7576   4   di s t i l us e - ba s e - m ul t i l i ngua l - c a s e d - v2   0.6061   0.5554   0.5697   0.6061   5   s e nt e nc e - t r a ns f or m e r s / L a B S E   0.6364   0.5962   0.6515   0.6364       3.2.    E r r or   a n al ys is   F ur th e r   a na ly s is   w a s   c onduc te d   f or   pa r a phr a s e - m ul ti li ngua l - m pne t - ba s e - v2  to   id e nt if in te nt s   m is c la s s if ic a ti on s W e   f ound  th a of   11  in te nt s   w e r e   c la s s if ie w it 100%   a c c ur a c y.  T he   ope r a ti ona l     a nd  pa ti e nt   li s in te nt s   s ur ge r s c he dul e doc to r   pr a c ti c e   h our s out pa ti e nt   nur s e   s hi f s c he dul e ,   onl in e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll V ol . 14, No. 6, D e c e m be r  2025 4600 - 4613   4604   r e s e r va ti on  pa ti e nt   li s t,   pol yc li ni c   pa ti e nt   li s t,   a nd  c ons ul te pa ti e nt   in f or m a ti on   w e r e   c le a r ly   s e pa r a bl e   in   th e   e m be ddi ng  s pa c e T he s e   in te nt s   r e pr e s e nt   c or e   c li ni c a a nd  a d m in is tr a ti ve   que r ie s   th a th e   e m be ddi ng  m ode s uc c e s s f ul ly  di s ti ngui s he d.   H ig h - c onf us io in te nt s w hi c e xpe r ie nc e th e   m a jo r it of   th e   e r r or s w e r e   m e di c a pr oc e dur e   de ta il s m e di c a s e r vi c e   pa ym e nt   de ta il doc to r   f e e dba c on  c ha tb ot   us a ge a nd  c ha tb ot   f e a tu r e   ove r vi e w . T he   m is c la s s if ic a ti on s ugge s ts  a  s tr ong s e m a nt ic  ove r la p be twe e n t h e s e  i nt e nt s . T he  c la s s if ic a ti on r e s ul ts  f or  t he s e   pr obl e m a ti c   in te nt s   a r e   de t a il e in   T a bl e   4 F ig ur e   s how s   th e   c om pl e te   c onf us io n   m a tr ix T a bl e   f ur th e r   il lu s tr a te s   th e   s pe c if ic   na tu r e   of   th e s e   e r r or s   by  pr ovi di ng  t he   m is c la s s if ie te s t   que r ie s   a nd  th e   m ode l' s   in c or r e c pr e di c ti on.   T he   a na ly s is   s how s   th a t,   w hi le   th e   m ode is   r obus f or   th e   m a jo r i ty   of   ope r a ti ona ta s ks ,   th e   ove r la be tw e e s pe c if ic   de ta il - or ie nt e que s ti on s   ( li ke   pr oc e dur e   s te p s   or   m e di c a s e r vi c e   f e e )   a nd   s ys te m - m e ta  que s ti ons  ( c ha tb ot  f e a tu r e s /f e e dba c k)  r e qui r e s  f ur th e r  a tt e nt io n.       T a bl e  4. M i s c la s s if ic a ti on a na ly s i s   T r ue  i nt e nt   C or r e c t l c l a s s i f i e d   M i s c l a s s i f i e d   E r r or s  a nd a na l ys i s   D oc t or  vi s i t  s c he dul e   1   2   H i gh  e r r or   r a t e  ( 2/ m i s c l a s s i f i e d) s a m pl e   w a s   m i s c l a s s i f i e a s   "D oc t or   pr a c t i c e   hour s a nd  a not he r   a s   "O nl i ne   r e s e r va t i on  pa t i e nt   l i s t ".  T hi s   s ugge s t s   s e m a nt i c  ove r l a p a nd poor l y l a be l e d t e s t  s a m pl e   M e di c a l  pr oc e dur e  de t a i l   2   1   s a m pl e   w a s   m i s c l a s s i f i e a s   "C ons ul t e d   pa t i e nt   i nf or m a t i on ".  T hi s   s ugge s t s   s e m a nt i c  ove r l a p w i t h pa t i e nt  c on s ul t a t i on.   M e di c a l  s e r vi c e   pa ym e nt  de t a i l   2   1   s a m pl e   m i s c l a s s i f i e a s   "S ur ge r s c he dul e ".  T hi s   s ugge s t s   s e m a nt i c   ove r l a p w he n us e r  que r y a bout  s ur ge r y s e r vi c e  pa ym e nt .   D oc t or  f e e dba c k on  c ha t bot  us a ge   2   1   s a m pl e   m i s c l a s s i f i e a s   "M e di c a l   s e r vi c e   pa ym e nt   de t a i l ."  T hi s   i ndi c a t e s   t ha t   us e r   f e e dba c m i ght   c ont a i ns   t e r m s   w hi c ove r l a w i t h   m e di c a l  s e r vi c e  i nt e nt .   C ha t bot  f e a t ur e   ove r vi e w   0   3   H i ghe s t   e r r or   r a t e   ( m i s c l a s s i f i e d) T hi s   i ndi c a t e s   t ha t   que r i e s   a bout   t he   c ha t bot ' s  f e a t ur e s  m i ght  c ont a i n t e r m s  w hi c h ove r l a p w i t h a not he r  i nt e nt .           F ig ur e  1.  C onf us io n   m a tr ix       3.3.   S e m an t ic  ve c t or  r e t r ie val  v s  k e yw or d  m at c h in g c o m p ar is on   W e   c onduc te a a bl a ti on  s tu dy  to   c om pa r e   th e   pe r f or m a nc e   of   th e   pr opos e s e m a nt ic   ve c to r   r e tr ie va m e th od  a ga in s a   tr a di ti ona le xi c a s e a r c ba s e li ne   f o r   us e r   in te nt   r e c ogni ti on.  T he   s e m a nt ic   v e c to r   r e tr ie va ut il iz e th e   be s t - pe r f or m in e m be ddi ng  m ode l,   pa r a phr a s e - m ul ti li ngua l - m pne t - ba s e - v2,  c om bi ne w it k= ne a r e s ne ig hbor   c la s s if ic a ti on  us in g   c os in e   s im il a r it y.  T he   le xi c a ba s e li ne   e m pl oye   J a c c a r s im il a r it f or   ke yw or m a tc hi ng  be twe e th e   us e r   que r a nd  th e   tr a in in in te nt   s a m pl e s B ot m e th ods   w e r e   e va lu a te us in th e   a c c ur a c m e tr ic   on  th e   in te nt   te s da ta s e t.   T he   r e s ul ts   of   th e   a bl a ti on  s tu dy  a s   s how in   T a bl e   6 ,   de m ons tr a te   a   c le a r   s upe r io r it o f   th e   s e m a nt ic   ve c to r   r e tr ie va a ppr oa c in   te r m s   o f   r e c ogni ti on a c c ur a c y.     Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       Se m ant ic  s e ar c h - e nhanc e d he al th c a r e  c hat bot  f or  ho s pi ta in fo r m at io n     ( E r da G us li nar  P e r dana )   4605   T he  s e m a nt ic  ve c to r  r e tr ie va a c hi e ve d a n a c c ur a c y of  0.70. I n   c ont r a s t,  t he  ke yw or d s e a r c h ( le xi c a l)   ba s e li ne   onl r e a c he a a c c ur a c of   0.42.  T hi s   r e s ul c onf ir m s   th a s e m a nt ic   ve c to r   r e tr ie va pr ovi de s   a   s ig ni f ic a nt   pe r f or m a nc e   ga in   f o r   us e r   in te nt   r e c ogni ti on  [ 26] ,   im pr ovi ng   th e   a c c ur a c by  28.0  pe r c e nt a ge   poi nt s . T hi s  i m pr ove m e nt  i s  a tt r ib ut e d t th e  a bi li ty  o f  t he  e m b e ddi ng mode to  c a pt ur e  t he  s e m a nt ic  m e a ni ng   of   th e   us e r ' s   que s ti ons w hi c ove r c om e s   th e   li m it a ti ons   of  s im pl e   ke yw or or   to ke m a tc hi ng  in h e r e nt   in   th e   J a c c a r s im il a r it y m e th od.   W hi le  t he  s e m a nt ic  ve c to r  r e tr ie va m e th od of f e r e d s ubs ta nt ia a c c ur a c y i m pr ove m e nt s , i in tr oduc e a   c le a r   tr a de - of f   in   pr oc e s s in ti m e   [ 27] K e yw or s e a r c w a s   s ig ni f ic a nt ly   f a s te r w it a a ve r a ge   la te nc of   13.622  m s   pe r   s a m pl e it   r a ne a r ly   8x  f a s te r   c om pa r e to   s e m a nt ic   ve c to r   r e tr ie va w it h   a a ve r a ge   la te nc of   109.043  m s   pe r   s a m pl e T hi s   hi gh  e f f ic ie nc is   e xpe c te d,  a s   J a c c a r s im il a r it in vol ve s   onl s im pl e   s tr in g   to ke ni z a ti on  a nd  s e t   c om pa r is on,  w h e r e a s   s e m a nt ic   ve c to r   r e tr ie va r e qui r e s   a   c om put a ti ona ll in te n s iv e   m ode in f e r e nc e  s te [ 28] .       T a bl e  5. M i s c la s s if ie d t e s s a m pl e s   T r ue  i nt e nt   P r e di c t e d i nt e nt   O r i gi na l  que r y ( w i t h E ng l i s h t r a ns l a t i on i n pa r e nt he s e s )   D oc t or  vi s i t   s c he dul e   D oc t or  pr a c t i c e   hour s   Si apa  s aj pas i e s ay y ang  ha r us   di v i s i t e   ha r i   i ni   ( W ho  a r e   m pa t i e nt s   s c h e dul e f or  r ounds / vi s i t s  t oda y)   D oc t or  vi s i t   s c he dul e   O nl i ne  r e s e r va t i on  pa t i e nt  l i s t   B e r apa  j um l ah  pas i e y ang  har u s   s a y k unj ungi   s o r e   i ni   ( W ha t   i s   t he   num b e r   of   pa t i e nt s  I  ne e d t o vi s i t  t hi s  a f t e r noon)   M e di c a l  pr oc e dur e   de t a i l s   C ons ul t e d pa t i e nt   i nf or m a t i on   B agai m ana  pr os e dur   pe r m i nt aan  k ons ul   s pe s i al i s   m e nu r ut   panduan  k l i ni s   ( W ha t   i s   t he   pr oc e dur e   f or   r e que s t i ng  a   s pe c i a l i s t   c on s ul t a t i on  a c c or di ng  t c l i ni c a l   gui de l i ne s )   C ha t bot  f e a t ur e   ove r vi e w   S ur ge r y s c he dul e   A pak ah  m e m i l i k i   f i t ur   unt uk   m e l i ha t   j adw al   ope r as i   ( D oe s   i t   ha ve   a   f e a t ur e   t o   vi e w   t he  s ur ge r y s c he dul e )   C ha t bot  f e a t ur e   ove r vi e   O ut pa t i e nt  nur s e   s hi f t  s c he dul e   A pak ah  s i s t e m   bi s m e ngi r i m   not i f i k as i   k e   pe r a w at   ( C a t he   s ys t e m   s e nd   not i f i c a t i ons  t o t he  nur s e s )   C ha t bot  f e a t ur e   ove r vi e w   D oc t or  f e e dba c k on  c ha t bot  us a g   C hat bot   i ni   bi s m e nangani   pe r t any aan  apa  s aj a   ( W ha t   ki nd   of   que s t i ons   c a t hi s   c ha t bot  ha ndl e )   M e di c a l  s e r vi c e   pa ym e nt  de t a i l   S ur ge r y s c he dul e   B e r apa  i ns e nt i f   y ang  s ay t e r i m da r i   t i ndak an  ope r as i   m i nggu  l al u   ( W ha t   i s   t he   i nc e nt i ve / r e m une r a t i on I  r e c e i ve d f or  l a s t  w e e k' s  s ur gi c a l  pr oc e dur e s )   D oc t or  f e e dba c k on  c ha t bot  us a ge   M e di c a l  s e r vi c e   pa ym e nt  de t a i l   Say t any t e nt ang  j as m e di s   t api   j aw abanny t i dak   j e l as   ( I   a s ke a bout   m e di c a l   s e r vi c e  f e e s  but  t he  a n s w e r  w a s  unc l e a r )       T a bl e  6 .   C om pa r is on of   s e m a nt ic  vs  k e yw or d s e a r c h pe r f or m a n c e   M e t r i c   V e c t or   s e a r c h ( s e m a nt i c C os i ne )   K e yw or s e a r c h ( l e xi c a l J a c c a r d )   A c c ur a c y   0.70   0.42   A vg .   l a t e nc y   ( m s / s a m pl e )   109.043   13.622       3.4.    I m p ac t  of   s im il ar it y t h r e s h ol d  on  p e r f o r m an c e   T he   in f lu e nc e   of   th e   c os in e   s im il a r it th r e s hol ( τ)   on  th e   s e m a nt ic   ve c to r   r e tr ie va s ys te m ' s   pe r f or m a nc e   w a s   a s s e s s e by   pl ot ti ng  th e   pr e c is io n   a nd  r e c a l a c r os s   a   r a nge   of   th r e s hol ds .   T he   r e s ul ti ng  c ur ve s s ho w in   F ig ur e   2,   de m ons tr a te   th e   c la s s ic   pr e c i s io n - r e c a ll   tr a de - of f A s   th e   th r e s hol d   in c r e a s e s th e   s ys te m   be c om e s   s tr ic te r c a us in r e c a ll   to   de c r e a s e   s te a di ly w hi le   p r e c is io in it ia ll r is e s   be f or e   de c li ni ng   s ig ni f ic a nt ly  a ve r y hi gh t hr e s hol ds .   T he   m os ba la n c e pe r f or m a nc e m e a s ur e by  th e   F 1 - s c or e ,   is   a c hi e ve w he r e   th e   two  c ur ve s   in te r s e c or   a r e   c lo s e s t.   T hi s   opt im a ope r a ti ng  r e gi on  w a s   id e nt if ie w it hi th e   lo w e r   th r e s hol r a nge ,   s pe c if ic a ll a r ound  τ= 0.51.   A th is   poi nt th e  s ys te m   m a xi m iz e s   bot th e   tr ue   in te nt   c a pt ur e   r a te   ( r e c a ll ≈0.70)   a nd  th e   a c c ur a c of   th o s e   pr e di c ti ons   ( p r e c is io n≈0.68) C r uc ia l ly th r e s hol ds   a bove   τ = 0.70  r e s ul te in   a   r a pi d   c ol la ps e  of  r e c a ll , i ndi c a ti ng t ha th e  s y s te m  w oul d f r e que nt ly  f a il  t o c la s s if y l e gi ti m a te  us e r  que r ie s .     3.5.  S ys t e m  d e s ig n   H I M S   is   a   c om pl ic a t e s y s te m   th a in vol ve s   s e ve r a u s e r s   w it di ve r s e   t a s ks .   U s e r - f r ie ndl in e s s   is   a   c r uc ia c om pone nt   f or   th e   s uc c e s s f ul   im pl e m e nt a ti on  of   H I M S   [ 29] T hi s   pa pe r   c onc e nt r a te s   on  de v e lo pi ng  a   c ha tb ot  a ppl ic a ti on t ha f ul f il ls  a  c r it ic a he lp de s k f unc ti on f or  doc to r s     3.5.1.  C h at b ot  ge n e r al  ar c h it e c t u r e   T he   ge ne r a a r c hi te c tu r e   of   th e   c ha tb ot   is   il lu s tr a te in   F ig ur e   3.  U pon  r e c e iv in a   us e r   in qui r y ,     th e   s ys t e m   e xa m in e s   th e   r e que s t   to   a s c e r ta in   th e   in te nde pur p os e   ( us e r   in t e nt ) T he   s ub s e que nt  a c ti vi ti e s  a nd  a nt ic ip a te r e s pon s e s ,   w hi c a r e   c ont in ge nt   upon  th e   id e nt if ie us e r   in te nt ,   c a th e be   e xe c ut e a s   pot e nt ia l   s ol ut io ns R e s pons e s   m a be   de r iv e f r om   s e ve r a s our c e s , s uc a s   a a n s w e r   r e pos it or w it hi th e   r e la ti ona da ta ba s e   m a n a ge m e nt   s y s te m   ( R D B M S ) in te r a c ti on  w it a e xt e r na A P I or   th e   e xe c ut io of   S Q L   que r ie s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll V ol . 14, No. 6, D e c e m be r  2025 4600 - 4613   4606   a ga in s th e   H I M S   da ta ba s e T he   r e s pon s e   ge ne r a ti on  c om pone nt   tr a ns m it s   a   r e pl to   th e   us e r   ba s e on  th e s e   obt a in e c a ndi da te   r e s pon s e s W hi le   th e   c ur r e nt   s ys t e m   r e li e s   on  pr e de f in e or   r e tr ie ve da ta a   ge ne r a ti ve   tr a ns f or m e r   m ode m a be   e m pl oye f or   f ut ur e   te xt   ge ne r a ti o to   pr oduc e   va r ie phr a s e   f or m s   [ 30] [ 31] e nha nc in g c onve r s a ti ona n a tu r a ln e s s .           F ig ur e  2 .   T hr e s hol d vs   ve c to r  r e tr ie va pe r f or m a nc e           F ig ur e  3 .   C ha tb ot   ge ne r a a r c hi te c tu r e       3.5.2.  S e m an t ic   ve c t or  r e t r ie val   s ys t e m  ar c h it e c t u r e   F ig ur e   il lu s tr a te s   th e   s pe c if ic   a r c hi te c tu r e   us e f or   th e   c or e   in te nt   r e c ogni ti on  ta s k.  T he   s ys te m   r e li e s   on  a   ve c to r   da ta ba s e   m a na g e m e nt   s ys te m   ( M il vus )   a nd  t he   c e nt r a R D B M S U s e r   in te nt   de f in it io ns   a r e   tr a ns f or m e in to   f e a tu r e   ve c to r s   vi a   a   tr a ns f or m e r - ba s e de e le a r ni ng  m ode a nd  m a in ta in e in   th e   M il vus   d a ta ba s e .   U pon  r e c e iv in g   a   u s e r   que r y,  th e   tr a ns f or m e r   m ode c onve r ts   th e   in qui r in to   a   f e a tu r e   ve c to r   a nd  pe r f or m s   a   s im il a r it ve c to r   r e t r ie va w it hi M il vus   to   id e nt i f th e   us e r   in te nt   m os a ki to   th e   que s ti on.     T he   id e nt if ie us e r   in te nt   I D   is   th e tr a ns m it te to   th e   R D B M S   to   f e tc th e   m os s ui ta bl e   c or r e s ponding   a c ti on or  r e s pons e .     3.6.  S ys t e m  d e ve lo p m e n t  an d  i m p le m e n t at io n   T he   c ha tb ot   a ppl ic a ti on  w a s   de ve lo pe us in th e   O r a c le   A pe lo w - c ode   pl a tf or m   f or   th e   us e r   in te r f a c e   a nd  qui c k   a ppl ic a ti on  d e pl oym e nt   [ 32] T hi s   s e le c ti o f a c il it a te s   d e ve lo pm e nt   s pe e d   a nd  a ll ow s   th e   a ppl ic a ti on  to   be   in s ta ll e d   on  s m a r tp hone s   u s in th e   pr ogr e s s iv e   w e a pps   ( P W A )   f e a tu r e   [ 33] [ 34] C r it ic a ML   c om pone nt s  a r e  m a na ge d by a  P yt hon - ba s e d A P I   [ 35 ]   us in g t he  D ja ngo we b f r a m e w or k, w hi c h pe r f or m s   in f e r e nc e  a nd ve c to r  r e tr ie va l.     3.6.1.  S e m an t ic  r e t r ie val  m od e an d  c on f ig u r at io n   T he   de e le a r ni ng  m ode l   e m pl oye f or   ve c to r iz a ti on  i s   th e   pa r a phr a s e - m ul ti li ngua l - m pne t - ba s e - v2   tr a ns f or m e r   m ode [ 14] ,   w hi c c onve r ts   te xt   in to   768 - di m e ns io na f e a tu r e   ve c to r s F or   th e   ve c to r   s to r a ge   a nd    Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       Se m ant ic  s e ar c h - e nhanc e d he al th c a r e  c hat bot  f or  ho s pi ta in fo r m at io n     ( E r da G us li nar  P e r dana )   4607   r e tr ie va l,   th e   ope n - s our c e   M il vus   ve c to r   da ta ba s e   is   ut il iz e d,  e m pl oyi ng  a   c os in e   s im il a r it m e tr ic   f or   th e   s e m a nt ic   ve c to r   r e tr ie va [ 36] T he   e nt ir e   a r c hi te c tu r e c om pr is in th e   O r a c le   A pe s e r ve r th e   D ja ngo  A P I a nd t he  M il vus  da ta b a s e , w a s  de pl oye w it hi n a  de di c a te d G oogl e  C lo ud P la tf or m  ( G C P )  e nvi r onm e nt .   A   s e ns it iv it a na ly s is   w a s   c onduc t e to   de te r m in e   th e   opt im a l   s im il a r it th r e s hol f or   de pl oym e nt .   B a s e d   on  th is   a na ly s i s th e   opt im a th r e s hol w a s   d e te r m in e t be   0.51.  T hi s   va lu e   w a s   s e le c te be c a us e   it   m a xi m iz e s   th e   F 1 - s c or e ,   r e pr e s e nt in th e   b e s op e r a ti ona ba l a nc e   be twe e r e c a ll   ( th e   a bi li ty   to   r e tr ie ve   a ll   r e le va nt   in te nt s )   a nd  pr e c is io ( th e   a c c ur a c of   th e   r e tr ie ve i nt e nt s ) T he   c hos e th r e s hol of   0.51  e ns ur e s   r obus in te nt  c a pt ur e  w hi le  m a in ta in in g hi gh pr e di c ti ve  r e li a bi li ty .           F ig ur e  4. S e m a nt ic  ve c to r  r e tr ie va a r c hi te c tu r e       3.6.2.  C h at b ot   ap p li c at io n  i n t e r f ac e s   T he   c ha tb ot   s y s te m   in c lu de s   bot a   m a na ge m e nt   in te r f a c e   a n a   us e r   in te r f a c e T he   m a na ge m e nt   in te r f a c e   is   us e to   ove r s e e upda te a nd  ve c to r iz e   th e   knowle dge   ba s e I a ls s e r ve s   a s   th e   in te r f a c e   f or   th e   AL   lo op r out in f la gge d,  hi gh - va lu e   us e r   que r ie s   ( id e nt if ie vi a   unc e r ta in ty   m e tr ic s   or   us e r   e s c a la ti on)   to   e xpe r ts   f or   c or r e c ti on  a nd   la be li ng.  T he   us e r   in te r f a c e   is   th e   pl a tf or m   f or   na tu r a la ngua ge   in te r a c ti on.     I a ll ow s  t he  us e r  t o i nqui r e  a nd r e c e iv e  r e s pon s e s  b a s e d on th e   id e nt if ie d i nt e nt .   M a na ge m e nt   in te r f a c e th e   us e r   in te nt   m a na ge m e nt   f or m   ( F ig ur e   5)   ove r s e e s   in te nt   d e f in it io ns r e que s s a m pl e s a nd   a ns w e r s T he   ' V e c to r iz e   a ll   in te nt '   but to c onve r ts   a ll   in te nt   s a m pl e   d a ta   in to   f e a tu r e   ve c to r s   f or   s to r a ge   in   M il vus T he   in te nt   r e s pons e   in te r f a c e   ( F ig ur e   6)   gove r ns   th e   r e s pons e   ty pe s   ( e .g.,  te xt ,   S Q L   que r y,  A P I U R L or   b ut to n)   a nd  th e ir   s e que nc e   ( F ig ur e   7) .   U s e r   i nt e r f a c e th e   pr im a r a ppl ic a ti on  in te r f a c e   ( F ig ur e   8)   a ll ow s   th e   doc to r   to   in put   in qui r ie s   in   na tu r a la ngua ge de m ons tr a ti ng  th e   s ys t e m ' s   a bi li ty  t o r e s pond to r e que s ts  a r ti c ul a te d i n a  bl e nd of  I ndone s ia n a nd E ngl is h.           F ig ur e  5. U s e r  i nt e nt  m a na ge m e nt in te nt  s a m pl e     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll V ol . 14, No. 6, D e c e m be r  2025 4600 - 4613   4608       F ig ur e  6. I nt e nt  r e s pons e           F ig ur e  7 .   I nt e nt  r e s pons e  t ype           F ig ur e  8. C ha tb ot  a ppl ic a ti on   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       Se m ant ic  s e ar c h - e nhanc e d he al th c a r e  c hat bot  f or  ho s pi ta in fo r m at io n     ( E r da G us li nar  P e r dana )   4609   3.7.    E val u at io n   U s a bi li ty   e va lu a ti on   is  c onduc te d   by  th e   f or m ul a ti on  of   a   que s ti onna ir e   th a e n c om pa s s e s   e f f ic ie nc y,  e f f e c ti ve ne s s , a nd  s a ti s f a c ti on.  E a c f a c e ha s   th r e e   que s ti ons r e s ul ti ng  in   a   to ta of   ni ne   que s ti ons   pe r ta in in to   us a bi li ty A   s ur ve c om pl e te by  th e   r e s ponde nt   a f te r   th e us e   th e   c ha tb ot   a ppl ic a ti on.  A   L ik e r s c a le   r a ngi ng  f r om   to   10   [ 24]   w a s   e m pl oye to   a s s e s s   r e s po nde nt s '   le ve of   a gr e e m e nt   w it s ta te m e nt s     a bout  us a bi li ty .   T he  ni ne  que s ti onna ir e  que s ti ons  a r e  p a r of  t he  38 us a bi li ty  t e s ti ng a tt r ib ut e s  i de nt if ie d i n a  s tu dy by   N ic ol e   a nd  M or ga [ 25] N in e   of   th e   th ir ty - e ig ht   que s ti ons   w e r e   c hos e ba s e on  th e ir   r e le va nc e   to   th e   de ve lo pm e nt   of   th e   he lp de s c ha tb ot s in c e   th e   s tu dy  by   N ic ol e   a nd  M or ga [ 25]   a im e to   a s s e s s   c onve r s a ti ona c ha tb ot s T he   li s of   th e   ni ne   que s ti ons   c a n   be   s e e in   T a bl e   7.  T h e   r e s ponde nt s   w e r e   c a te gor iz e in to   two  gr oups th e   H I M S   de ve lo pm e nt   t e a m c om pr is in in di vi dua ls a nd  doc to r s ,   to ta li ng    15  in di vi dua ls T h e   s e le c ti on  of   doc to r s   a s   r e s ponde nt s   w a s   d ue   to   th e   c ha tb ot ' s   a w a r e ne s s   of   th e   s pe c if ie d   us e r  i nt e nt , w hi c h a im e d t o a ddr e s s  va r io us  que r ie s  f r om  doc to r s .       T a bl e  7 .   L is of   que s ti onna ir e s   A s pe c t   C ode   Q ue s t i on/ s t a t e m e nt   E f f i c i e nc y   EI - 01   Q ui c k i n gi vi ng r e s pons e     E f f i c i e nc y   EI - 02   A bl e  t o ha ndl e  une xpe c t e d r e que s t s   E f f i c i e nc y   EI - 03   F a c i l i t a t e s  r e que s t  e s c a l a t i on i ns i de  t he  t i c k e t i ng pr oc e dur e  f or  hum a n i nt e r ve nt i on.   E f f e c t i ve ne s s   ES - 01   A c c ur a t e l y i nt e r pr e t  us e r  r e que s t s   E f f e c t i ve ne s s   ES - 02   E a s y t o us e   E f f e c t i ve ne s s   ES - 03   A bl e  t o pr ovi de  c onvi nc i ng, s a t i s f yi ng,  a nd   na t ur a l  i nt e r a c t i ons   S a t i s f a c t i on   KP - 01   C a n a s c e r t a i n t he  m e a ni ng or  i nt e nt  of  a  us e r ' s  i nqui r y   S a t i s f a c t i on   KP - 02   G i vi ng gr e e t i ngs , pr ovi di ng pl e a s a nt  i nt e r a c t i ons   S a t i s f a c t i on   KP - 03   P r ovi di ng a  di ve r s e  r e a c t i on       T he   us a bi li ty   te s r e s pond e nt s   w e r e   c a r e f ul ly   c hos e f r om   two  di s ti nc gr oups   to   pr ovi de   a   c om pr e he ns iv e   e va lu a ti on  pe r s pe c ti ve in di vi dua ls   f r om   t he   H I M S   a ppl ic a ti on  de ve lo pm e nt   te a m   a nd    15  m e m be r s   of   th e   doc to r   gr oup T he   H I M S   de ve lo pm e nt   te a m c om pr is in s of twa r e   e ngi ne e r s   a nd  s ys te m   a r c hi te c ts w a s   s e le c te due   to   th e ir   in - de pt te c hni c a unde r s ta ndi ng  of   th e   s ys te m ' s   unde r ly in a r c hi te c tu r e   a nd  f unc ti ona li ty T he ir   f e e dba c is   c r uc ia f o r   id e nt i f yi ng  te c hni c a us a bi li ty   is s ue s   a nd  va li da ti ng  th e   s ys te m ' s   a dhe r e n c e   to   de s ig s pe c if ic a ti ons T he ir   ba c kgr ound  m ig ht   le a th e m   to   f oc us   m or e   on  e f f ic ie nc y,   pe r f or m a nc e a nd  te c hni c a r obu s tn e s s C onve r s e ly th e   doc t or   gr oup c ons is ti ng  of   m e di c a pr of e s s io na ls   w ho  a r e   pr im a r e nd - us e r s   of   th e   H I M S   a nd   th e   ta r ge us e r s   f or   th is   he lp de s c ha tb ot w e r e   c ho s e to   e va lu a te   th e   c ha tb ot ' s   pr a c ti c a ut il it y,  e a s e   of   us e a nd  e f f e c ti ve ne s s   in   a ddr e s s in th e ir   da il ope r a ti ona que r ie s .   T obj e c ti ve ly   de te r m in e   if   th e   obs e r ve di f f e r e nc e s   in   m e a s c or e s   be twe e n   th e   two  gr oups   w e r e   s ta ti s ti c a ll r e li a bl e a in de p e nde nt   s a m pl e s   t - te s ( s pe c if ic a ll W e lc h' s   t - te s t,   due   to   une qu a s a m pl e   s iz e s )   w a s   c onduc te d   f or   e a c of   th e   ni ne   us a bi li ty   a tt r ib ut e s T he   t - te s c om pa r e th e   m e a n   r a ti ngs   of   th e   H I M S   d e ve lo pe r  gr oup ( N = 6)  a ga in s th e   doc to r  gr oup  ( N = 15) , w it h a  s ig ni f ic a nc e  l e ve s e a p< 0.05.   T he   r e s ul t s   of   th e   que s ti onna ir e a dm in is te r e to   21   r e s ponde nt s   a nd  il lu s tr a te in   F ig ur e   9,  s how e d   a   m e a s c or e   x  ̅ = 7.78,  w hi c is   in te r pr e te a s   ' m os tl a gr e e '   [ 37] H ow e ve r th e   in de pe nde nt   s a m pl e s   t - te s t,   w it r e s ul ts   de ta il e d   in   T a bl e   8,  c onf ir m e th a none   of   th e s e   obs e r ve di f f e r e nc e s   in   m e a n   s c or e s   w e r e   s ta ti s ti c a ll s ig ni f ic a nt   ( p> 0.05)   f or   a ny  of   th e   ni ne   us a bi li ty   a tt r ib ut e s T he   ove r a ll   m e a n s c or e s a s   s how in   T a bl e   9,  in di c a te th a th e   e f f e c ti ve ne s s   a s pe c e xhi bi te th e   hi ghe s m e a va lu e   a nd  e f f ic ie nc th e   lo w e s i n   bot h r e s ponde nt  gr oups .           F ig ur e  9. T e s r e s ul t     Evaluation Warning : The document was created with Spire.PDF for Python.