I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   2 ,   A p r il 2 0 2 6 ,   p p .   1 8 0 4 ~ 1 8 1 3   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 2 . p p 1 8 0 4 - 1 8 1 3       1804     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Indo BE RT for  ed uca tiona l as ses sm ent:   co mpa ra tive  a na ly sis  of  trans former mo d els   in Indo nesia questio n genera t i o n       H a nd a ru  J a t i 1 ,   Yuni a I nd ri ha ps a ri 1 ,   P ra da na   Set ia la na 1 ,   Da na ng   Wij a y a 2 ,   Sa t y a   Adhi y a k s a   Ardy 3 Dhis t a   Dwi  Nur  Ar dia ns y a h 1   1 D e p a r t me n t   o f   El e c t r o n i c s a n d   I n f o r mat i c En g i n e e r i n g   E d u c a t i o n ,   U n i v e r si t a s   N e g e r i   Y o g y a k a r t a S l e m a n ,   I n d o n e si a   2 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   I n f o r ma t i o n   E n g i n e e r i n g ,   N a t i o n a l   C e n t r a l   U n i v e r si t y ,   Ta o y u a n ,   Ta i w a n   3 D e p a r t me n t   o f   El e c t r o n i c   a n d   C o m p u t e r   E n g i n e e r i n g ,   N a t i o n a l   Ta i w a n   U n i v e r s i t y   o f   S c i e n c e   a n d   T e c h n o l o g y ,   Ta i p e i ,   Ta i w a n       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   2 6 ,   2 0 2 5   R ev is ed   J an   5 ,   2 0 2 6   Acc ep ted   J an   2 2 ,   2 0 2 6       Th is  stu d y   a sk wh e th e a   m o n o l in g u a e n c o d e c a n   re a li stica ll y   o u tp e rfo r m   m u lt il in g u a l   a n d   lar g e tran sf o rm e m o d e ls  f o r   In d o n e sia n   a u to m a ti c   q u e stio n   g e n e ra ti o n   (AQ G wh e n   a ll   m o d e ls  sh a re   th e   sa m e   train in g   b u d g e t.   We  c o m p a re   In d o n e sia n   b id i re c ti o n a e n c o d e re p re se n tati o n fro m   tran sfo rm e rs  ( In d o BER T ) ,   m u lt il in g u a BER (m BERT ) ,   a n d   B ERT - larg e   u sin g   a   si n g le  f in e - tu n i n g   p i p e li n e   with   a n sw e h i g h li g h ti n g ,   a p p li e d   to   a n   In d o n e sia n   v e rsio n   o T y DiQA - G o ld P   a n d   a   2 0 , 0 0 0   tra n sla ted   su b se o f   S Qu AD   2 . 0 .   We  e v a l u a te  m o d e q u a li t y   u si n g   b il i n g u a e v a lu a ti o n   u n d e rst u d y   sc o re   n - g ra m   4   ( BL EU - 4 ) m e tri c   fo r   e v a lu a ti o n   o f   tran sla ti o n   with   e x p li c it   o rd e ri n g   ( M ET E OR ) ,   a n d   ROU G E - Li n c o l n   ( R OU G E - L ) In d o BERT   c o n siste n t ly   a c h iev e th e   b e st  sc o re o n   b o th   d a ta se ts  (e . g . ,   BLE U - 4   o 1 9 . 6 9   o n   T y DiQA - G o ld P   a n d   3 . 7 9   o n   th e   S Q u AD   2 . 0   su b se t )   wh il e   re q u iri n g   les c o m p u tatio n   th a n   m BERT   a n d   BERT - larg e .   O u re su lt s   sh o th a lan g u a g e - s p e c ifi c   p re train in g   g i v e c lea a d v a n tag e fo r   In d o n e sia n   AQ G ,   y ield in g   h i g h e r   a c c u ra c y   a lo we c o m p u tatio n a c o st  th a n   m u lt il in g u a l   o r   larg e e n c o d e rs.  Th e   wo r k   c lo se a   g a p   in   I n d o n e sia n   AQ G   b e n c h m a rk in g   b y   p r o v id i n g   th e   f i rst  h e a d - to - h e a d   c o m p a riso n   o f   In d o BERT ,   m BERT ,   a n d   BERT - larg e   u n d e a   sh a re d   fin e - t u n i n g   a n d   e v a lu a ti o n   p ro t o c o l.   F o e d u c a ti o n a a ss e ss m e n t,   th e   fi n d i n g o ffe a   p ra c ti c a re c ip e   fo b u il d in g   d e p lo y a b le  AQ G   sy ste m o n   m i d - r a n g e   G P Us   th a g e n e ra te  h i g h e r - q u a li t y   q u e stio n s with o u p r o h ib it iv e   train i n g   o i n fe re n c e   b u d g e ts.   K ey w o r d s :   Au to m atic  q u esti o n   g e n er atio n   B E R T - lar g e   E d u ca tio n al  ass ess m en t   I n d o B E R T   I n d o n esian   NL P   Mo n o lin g u al  p r etr ain i n g   Mu ltil in g u al  B E R T   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Han d ar u   J ati   Dep ar tm en t o f   E lectr o n ics an d   I n f o r m atics E n g in ee r i n g   E d u ca tio n ,   Un iv er s itas   Neg er i Y o g y ak ar ta   Dep o k ,   Slem an ,   Y o g y a k ar ta  5 5 2 8 1 ,   I n d o n esia   E m ail: h an d ar u @ u n y . ac . id       1.   I NT RO D UCT I O N   s tan d ar d   m eth o d   o f   ass ess i n g   s tu d en u n d er s tan d in g   th r o u g h   tar g eted   q u esti o n in g   h as  r em ain ed   a   co r co n ce p o f   ed u ca tio n al  ass es s m en an d   v alu ab le  to o f o r   u n d er s tan d i n g ,   p r o v i d e d   th q u esti o n s   ar e   alig n ed   with   a p p r o p r iate  lea r n in g   o b jectiv es  [ 1 ] .   I n   th is   co n t ex t,  cr ea tin g   h ig h - q u ality   q u esti o n s   f o r   ass ess in g   s tu d en u n d er s tan d in g   is   d em an d in g   task ,   ev en   f o r   ex p e r ien ce d   teac h er s .   T h item s   m u s b v alid ,   co h er en t,   an d   v ar ie d   en o u g h   to   elicit  m o r th an   s im p le  r ec all  [ 2 ] [ 6 ] .   Au to m atic  q u esti o n   g en er atio n   ( AQG)   clo s es  th i s   g ap   b y   au to m atica lly   g en er atin g   item s   f r o m   tex an d /o r   d atab ases ,   th er eb y   im p r o v in g   co v er ag e   an d   v ar iet y   with   less   au th o r in g   tim [ 7 ] ,   [ 8 ] .   C ar ef u lly   d esig n ed   AQG  h as  t h p o ten t ial  to   im p r o v ass ess m en ef f icien cy   an d   r ef o cu s   atten tio n   f r o m   r em em b e r in g   an s wer s   to   r ea s o n in g   an d   u n d er s tan d in g .   T h ev o lu tio n   o f   AQG  ca n   b tr ac ed   b ac k   to   its   o r ig in s   in   1 9 7 6   [ 9 ] Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       I n d o B E R T fo r   ed u ca tio n a l a s s ess men t:   co mp a r a tive  a n a lysi s   o f tra n s fo r mer m o d els  … ( Ha n d a r u   Ja ti )   1805   Fro m   m eth o d o lo g ical  p er s p ec tiv e,   th ev o lu tio n   o f   AQG  m eth o d s   b eg an   with   r u le - b ased   p ip elin es  th at   in clu d ed   s em an tic/s y n tactic  m atch in g   an d   h an d wr itten   tem p lates.  AQG  h as  ex p an d ed   b ey o n d   th e   class r o o m   an d   f o u n d   ap p licatio n s   i n   c o m m er cial  s ec to r s   s u ch   as  c h atb o d e v elo p m en [ 7 ]   an d   h ea lt h ca r s er v ices  [ 1 0 ]   I p r o g r ess ed   to   n e u r al  m o d els  th at  lear n   q u esti o n - a n s wer in g   d ir ec tly   f r o m   d ata  [ 1 1 ] [ 1 5 ] .   T h e   p r o ce s s   r eq u ir es  s y s tem s   to   ac cu r ately   in ter p r et  tex an d   g en er ate  well - s tr u ctu r ed ,   m ea n in g f u q u esti o n s   [ 1 6 ] [ 1 8 ] E n co d er - d ec o d er   m o d els  a n d   cr o s s - lin g u al  tr a n s f er   h av m a d th em   ap p licab le  in   lo w - r es o u r ce   en v ir o n m en ts   as  well  [ 1 9 ] ,   [ 2 0 ] ,   a n d   p r e - tr ain in g   g o als  s u ch   as  m ask ed   lan g u ag e   m o d elin g   ( ML M)   h av e   en h an ce d   lin g u is tic  ca p ab ilit ies  [ 2 1 ] ,   [ 2 2 ] .   T h r ec u r r en n eu r al  n etwo r k s   ( R NNs)  en ab le  n atu r al  lan g u ag p r o ce s s in g   ( NL P)   task s   b y   co n s id er in g   th s eq u en tial  co n tex t.  Ho wev e r ,   R NNs  f ac ch allen g es  lik v an is h in g   g r a d ien ts   an d   lo n g   d ep e n d en cies.  T h e   lo n g   s h o r t - te r m   m e m o r y   ( L STM )   n etwo r k s   s o l v th e   ab o v c h allen g es  b y   in co r p o r atin g   m e m o r y   ce lls   to   s to r d ata  f o r   lo n g   s eq u en ce s   [ 2 3 ] [ 2 6 ] .   T h u s e   o f   tr an s f o r m er   m o d e ls   h as  f u r t h er   a d v an ce d   t h f i eld   o f   AQG .   T h ey   ef f icien tly   ex p lo r in g   lo n g - r a n g d e p en d e n cies .   C u r r en tly ,   NL is   wid ely   ap p ly in g   m o d els  lik b i d ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   t r an s f o r m er s   ( B E R T ) ,   g en er ativ p r e - tr ain ed   tr a n s f o r m er   ( GPT) ,   an d   tex t - to - tex t   tr an s f er   tr an s f o r m er   ( T 5 )   [ 2 7 ] [ 4 0 ] .   Fo r   I n d o n esian ,   I n d o n esian   B E R T   ( I n d o B E R T )   p r o v id es  m o n o lin g u al  en co d er   p r e - tr ain ed   o n   I n d o n esian   tex [ 4 1 ] .   Pre v io u s   s tu d ies  h av in v esti g ated   m o n o lin g u al  en c o d er s   f o r   I n d o n esian   AQGs  u s in g   s eq u en ce - to - s eq u en ce   ar c h itectu r es  ( o p en   n eu r al  m ac h in t r an s latio n   ( Op en NM T )   u s in g   b id ir ec tio n al  g ated   r ec u r r en t   u n it  ( B iGR U) ,   b id ir ec tio n al  lo n g   s h o r t - ter m   m e m o r y   ( B i - L STM ) ,   o r   tr an s f o r m er )   th at   ac h iev e   co m p etitiv p er f o r m a n ce   o n   SQu AD  2 . 0   tr an s latio n   an d   T y DiQA - s ty le  d atasets   [ 4 1 ] [ 4 4 ] .   Ho wev er ,   t h er e   h as  b ee n   n o   c o m p r e h en s iv e v alu atio n   th at   s im u ltan eo u s ly   co n s id er s   th ef f ec tiv en ess   an d   co s ef f icien c y   o f   en co d er s   f o r   g en er al  AQGs.  I n   th is   p a p er ,   I n d o B E R T   is   co m p ar ed   f o r   th f ir s ti m to   m B E R T   an d     B E R T - lar g in   ter m s   o f   th eir   p er f o r m a n ce   o n   id en tical  d o wn s tr ea m   d atasets ,   th I n d o n esian   SQu AD  2 . 0   ( 2 0 , 0 0 0   s u b s et)   a n d   T y DiQA - Go ld P,  u s in g   b ilin g u al  ev alu at io n   u n d er s tu d y   s co r n - g r am   4   ( B L E U - 4 ) ,   m etr ic   f o r   ev alu atio n   o f   tr a n s latio n   with   ex p licit  o r d er in g   ( ME T E OR ) ,   an d   R OUGE - L in co ln   ( R OUGE - L )   s co r es,  r esp ec tiv ely ,   as e v alu atio n   cr iter ia  f o r   AQG  m o d els.   T h er ar th r ee   m ain   co n tr ib u tio n s   f r o m   th is   s tu d y .   First,  to   th b est  o f   o u r   k n o wled g e,   th is   s tu d y   o f f er s   th e   f ir s co m p r eh e n s iv co m p a r is o n   o f   I n d o B E R T ,   m u ltil in g u al  B E R T   ( m B E R T ) ,   a n d   B E R T - lar g f o r   th I n d o n esian   AQG  task   u n d er   e q u al  t r ain in g   an d   test in g   co n d itio n s .   T h s ec o n d   co n tr ib u tio n   is   a   co m p r eh e n s iv f in e - t u n in g   p ip elin th at  lev er a g es  th e   an s wer - h ig h lig h tin g   m ec h a n is m   v ia  th tag s   ` [ HL ] …[ /HL ] `   to   en s u r th e   m o d el  m ai n tain s   atten tio n   o n   th r elev an a n s wer   p o r ti o n   an d   en a b les  th e   g en er atio n   o f   g en u in q u esti o n s .   T h th ir d   co n tr ib u tio n   is   an   an aly s is   o f   ef f icien cy   asp ec ts ,   in clu d in g   th e   n u m b er   o f   p ar am eter s ,   th ti m p er   ep o ch ,   GPU  m em o r y   co n s u m p tio n ,   an d   p r o c ess in g   r ate,   in   p r ac tical   s ettin g   o n   m id - r a n g g r ap h i cs  p r o ce s s in g   u n it  ( GPU )   m o d els.  T o g eth er ,   th ese  co n tr i b u tio n s   s h o th at   lan g u ag e - s p ec if ic  p r etr ain in g   ca n   o f f er   p r ac tical  ad v a n tag o v er   m u ltil in g u al  an d   l ar g er   en co d er s   f o r   I n d o n esian   AQG.   B ey o n d   th is   task ,   th s am e   in s ig h is   r ele v an f o r   o th er   I n d o n esian   NL ap p licatio n s ,   s u ch   as  s u m m ar izatio n ,   tr an s latio n ,   an d   ad ap tiv lear n in g   s y s tem s ,   wh er e   r eso u r ce - ef f icien y et  ac cu r ate  m o d els   ar ess en tial  [ 4 1 ] [ 4 4 ] .       2.   M E T H O D   W ad o p r esear ch   an d   d ev e lo p m en m eth o d o l o g y   to   b u ild   an d   e v alu ate  I n d o n esian   AQG  m o d els   u s in g   tr an s f o r m er - b ased   tech n iq u es.  E ac h   o f   th t h r ee   p r e - tr ain ed   B E R T   v ar ian ts   ( I n d o B E R T ,   m B E R T ,   an d   B E R T - lar g e)   was  f in e - tu n ed   o n   o u r   I n d o n esian   q u esti o n   an s wer in g   ( QA)   d atasets   u n d er   co n s is ten tr ain in g   r eg im en   [ 4 5 ] ,   [ 4 6 ] .   Fin e - tu n i n g   allo ws  th m o d els  to   ad ap th eir   p r e - tr ai n ed   lan g u ag e   u n d er s tan d in g   to   th e   s p ec if ic  task   o f   q u esti o n   g en er atio n .   T o   e n s u r a   f air   co m p ar is o n ,   we  m ain tain e d   th s am d ata  p r ep r o ce s s in g ,   tr ain in g   s ch e d u le,   an d   o p tim izatio n   p ar am eter s   f o r   all  m o d els,  ad ju s tin g   o n ly   th m o d el - s p ec if ic  co m p o n en ts   s u ch   as  th to k en izer   an d   p r e - tr ain ed   weig h ts .   All  ex p er im e n ts   wer im p lem en te d   i n   Py th o n   u s in g   th e   Py T o r c h   d ee p   lear n in g   f r am ewo r k ,   lev er ag in g   its   f ac ilit ies  f o r   tr an s f o r m er   m o d els  an d   s eq u en ce   g en er atio n .   T h is   u n i f o r m   m eth o d o lo g y   e n ab les  a   d ir ec p er f o r m a n ce   c o m p ar is o n   to   d eter m in e   th e   o p tim al  m o d el  f o r   I n d o n esian   AQG.     2 . 1 .     P r o ce du re   T h o v e r all  p r o ce d u r f o r   d e v elo p in g   th I n d o n esian   q u est io n   g en e r atio n   m o d els  was  id en tical  f o r   I n d o B E R T ,   m B E R T ,   an d   B E R T - lar g e.   W f o llo wed   th r ee   m ain   s tag es  f o r   ea ch   m o d el:  d ataset  p r ep ar atio n ,   m o d el  f in e - tu n in g   ( tr ain in g ) ,   an d   ev alu atio n .   T h is   s u p er v is ed   lear n in g   p ip elin ad h er es  to   s tan d ar d   p r ac tices  in   m ac h in lear n in g   m o d el  d e v elo p m en t,  en s u r in g   th at  ea ch   m o d el  u n d er g o es  th s am s e q u en ce   o f   s tep s .   B y   k ee p in g   th p r o ce d u r co n s is ten t,  we  ca n   attr ib u te  p er f o r m an ce   d if f er en ce s   to   th m o d el s   th em s elv es  r ath er   th an   to   a n y   v ar iatio n   in   p r o c ess in g .   T h o r ch estra tio n   o f   th ese  p r o ce s s es  is   f ac ilit ated   th r o u g h   Py th o n   en v ir o n m en t a n d   u s in g   Py T o r ch .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  15 ,   No .   2 Ap r il   20 26 1 8 0 4 - 1 8 1 3   1806   2 . 2 .     Da t a   prepa ra t i o n   W u s SQu AD  2 . 0   [ 4 7 ]   a n d   T y DiQA - Go ld [ 4 8 ]   p ar al lel  s o u r ce s   o f   co n te x t - an s wer - q u esti o n   tr ip les.  W f ir s tr an s late  b o th   co r p o r in to   I n d o n esian   an d   th en   s p lit  th em   in to   t r ain in g ,   v alid atio n ,   an d   test   s ets.  B ec au s SQu AD  2 . 0   is   s u b s tan tially   lar g er   th an   T y Di QA - Go ld P,  we  s am p le  2 0 , 0 0 0   QA   p air s   f r o m   th SQu AD  2 . 0   tr ai n in g   s p lit.   T h is   ch o ice  k ee p s   tr ain in g   ti m m an a g ea b le  a n d   y ield s   a   tr ain in g   s et  th at  is   co m p ar ab le  i n   s ize  to   T y DiQA - Go ld P.  All  th r ee   m o d els  ar tr ain ed   o n   th s am s et  o f   i n s tan ce s   to   en s u r a   f air   co m p ar is o n .   T h r esu ltin g   I n d o n esian   p ar a g r ap h s ,   an s wer s ,   an d   r ef er e n ce   q u esti o n s   p r o v id s h ar e d   s u p er v is io n   s ig n al   ac r o s s   e n co d er s .   T o   b alan ce   t r ain in g   tim an d   m ain tain   c o m p a r ab le  co m p u tatio n al  b u d g et  o n   a   s in g le  1 6   GB   GPU,   we  ca p   th e   SQu AD  2 . 0   p o r tio n   at  2 0 , 0 0 0   in s tan ce s   wh il r etain in g   t h f u ll   T y DiQA - Go ld s p lit.  As  r o b u s tn ess   ch ec k ,   we  r etr ain   I n d o B E R T   o n   d is jo in 2 0 , 0 0 0   S Qu AD  s am p les  an d   o b s er v n o   q u alitativ c h an g in   th m o d el  r an k i n g   o r   co n clu s io n s .     2 . 3 .     M o del f ine - t un ing   W f r am th I n d o n esian   an s wer - awa r AQG  as  co n d itio n al  s eq u en ce   g en er atio n   with   tr an s f o r m er   en co d er s .   Du r i n g   tr ain in g ,   ea ch   m o d el  r ec eiv es  p ass ag in   wh ich   th tar g et  an s wer   s p an   is   m ar k ed   with   [ HL ] …[ /HL ]   an d   lear n s   to   p r ed ict  th n ex q u esti o n   to k en   at  [ MA SK]   g iv en   th h ig h lig h ted   co n tex an d   th e   p r ev io u s ly   g e n er ated   to k en s   ( cf .   B E R T - b ased   q u esti o n   g en er atio n   ( QG )   [ 4 9 ] [ 5 1 ]   a n d   th I n d o B E R T     s ettin g   [ 4 1 ] ) .   T h e   [ HL ]   tag s   a ct  as  s o f t   p o i n ter   to   th e   an s wer   s p an ,   h elp in g   th e   m o d el  f o cu s   o n   th e   in ten d ed   co n ten an d   r ed u cin g   o f f - tar g e q u esti o n s .   W ap p ly   th s am f in e - tu n in g   r ec ip to   I n d o B E R T ,   m B E R T ,   an d   B E R T - lar g an d   k ee p   th co r tr ain in g   h y p er p a r am eter s   f ix ed   to   p r eser v p r o to co p a r ity   ac r o s s   m o d els.   T ab le  1   s u m m ar izes  th lear n in g   r ate,   b atch   c o n f i g u r atio n ,   s eq u en ce   len g th ,   o p tim izer ,   p r ec is io n ,   an d   ea r ly - s to p p in g   s ettin g s   f o r   ea ch   en c o d er .       T ab le  1 .   Hy p er p ar a m eter s   u s ed   ac r o s s   m o d els   M o d e l   Le a r n i n g   r a t e   B a t c h   si z e   G r a d i e n t   a c c u m u l a t i o n   Ef f e c t i v e   b a t c h   M a x   s e q   l e n g t h   O p t i mi z e r   P r e c i s i o n   Ea r l y   st o p p i n g   Ep o c h   I n d o B ER T   5 × 1 0 - 5   8   4   32   1 2 8   A d a mW   16   Y   3   mBE R T   5 × 1 0 - 5   8   4   32   1 2 8   A d a mW   16   Y   3   B ER T - l a r g e   5 × 1 0 - 5   8   8   64   96   A d a mW   16   Y   3       W tr ain   all  th r ee   en co d er s   w ith   Ad am W   at  f ix ed   lear n in g   r ate  o f   5 ×1 0 - 5   a n d   p e r - d e v ice  b atch   s ize  o f   8 ,   u s in g   FP 1 6   m ix ed   p r ec is io n .   T o   ac h iev lar g er   e f f ec tiv b atch   s izes  with o u e x ce ed in g   1 6   GB   o f   GPU  m em o r y ,   we  u s g r ad ie n ac cu m u latio n I n d o B E R T   an d   m B E R T   ac cu m u late  4   s tep s   ( ef f ec tiv b atch   s ize  3 2 ) ,   wh er ea s   B E R T - lar g ac cu m u lates 8   s tep s   ( ef f ec tiv b atch   s ize  6 4 )   to   s tab ilize  tr ain in g   f o r   t h d ee p er   24 - lay er   ar ch itectu r e .   W s et  th m ax im u m   s eq u e n ce   len g th   to   1 2 8   to k e n s   f o r   I n d o B E R T   an d   m B E R T ,   an d   9 6   to k en s   f o r   B E R T - lar g e,   to   b alan ce   c o n tex tu al  c o v er a g with   m em o r y   u s ag e.   E ac h   m o d el  tr ain s   f o r   u p   to     3   ep o ch s   with   ea r ly   s to p p in g   b ased   o n   v alid atio n   lo s s ,   p r o v id in g   f air ,   c o m p u tatio n ally   co m p a r ab le  s etu p   ac r o s s   en co d er s .     2 . 4 .     E v a lua t i o n   W ev alu ate  th g en er ated   q u esti o n s   with   B L E U - [ 5 2 ] ,   M E T E OR   [ 5 3 ] ,   an d   R OUGE - [ 5 4 ] ,   with   ad d itio n al  b ac k g r o u n d   in   te x s u m m ar izatio n   [ 5 5 ] .   B L E U - 4   m ea s u r es  n - g r am   p r ec is io n   with   b r e v ity   p en alty ,   ME T E OR   em p h asize s   r ec all  u s in g   s y n o n y m   an d   s tem   m atch in g ,   an d   R OUGE - L   co m p u tes  o v er lap   v ia  th lo n g est  co m m o n   s u b s eq u en ce .   W u s r e f er en c im p lem en tatio n s   with   d e f au lt  s ettin g s .   W e   ac k n o wled g t h at  th ese  n - g r a m   o v er lap   m etr ics d o   n o t f u lly   r ef lect  p ed ag o g ical  q u ality   o r   s em an tic  ad eq u ac y ;   we  r ev is it th eir   lim itatio n s   in   th d is cu s s io n   an d   p r o v i d co m p lete  f o r m u las an d   n o tatio n .     2 . 5 .     M o del a rc hite ct ure   Fig u r 1   illu s tr ates  th I n d o B E R T - AQG  p ip elin e.   W f ir s m ar k   th a n s wer   s p an   in   th p ass ag with   [ HL ] …[ /HL ] ,   to   o b tain   th h i g h lig h ted   co n tex C .   T h h ig h lig h ted   co n te x an d   th p ar ti al  q u esti o n   to k en s   ar th en   to k e n ized a n d   en co d ed   with   I n d o B E R T .   At  ea c h   d ec o d in g   s tep   i ,   th m o d el   p r ed icts   th e   n ex t   q u esti o n   to k e n   at  [ MA SK]   g i v en   C   an d   th p r e v io u s ly   g e n er ated   to k e n s   q ̂ 1 : 1 th n ew  to k e n   is   ap p en d e d   u n til  th e   f u ll  q u esti o n   ( q ) .   Fo r   m o tiv atio n   a n d   p r io r   w o r k   o n   [ HL ]   tag g in g   i n   a n s wer - awa r q u esti o n   g en er atio n ,   we  r ef er   th r ea d e r   to   s u b s ec tio n   2 . 5   an d   in   s tu d i es  [ 4 1 ] ,   [ 4 9 ] ,   [ 5 0 ]   Fo r m ally ,   we  f o llo th e   B E R - b ased   h ier ar ch ical  lab el - awa r s en ten ce   q u esti o n   g en er atio n     ( B E R T - HL SQG )   f o r m u latio n   [ 4 4 ] .   I n d o B E R T   h as  th B E R T - b ase  ar ch itectu r b u is   p r e - tr ain ed   o n   I n d o n esian .   At  d ec o d i n g   s tep   i ,   th m o d el  r ec eiv es th in p u s eq u en ce   in   ( 1 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       I n d o B E R T fo r   ed u ca tio n a l a s s ess men t:   co mp a r a tive  a n a lysi s   o f tra n s fo r mer m o d els  … ( Ha n d a r u   Ja ti )   1807   = ( [ C L S ] , , [ SEP ] , q ̂ 1 , , q ̂ , [ M A SK ] )   ( 1 )     Her e,   q ̂ 1 = 1 ar th p r ev io u s ly   g e n e r ated   q u esti o n   to k en s ,   an d   [ M A SK ]   m ar k s   th p o s itio n   to   p r ed ict  n ex t.   T h n ex t - t o k en   d is tr ib u tio n   is   p r o d u ce d   f r o m   th e   f in al  h i d d e n   s tate  at  [ M A SK ]   v ia  an   af f i n lay er   a n d   s o f tm ax   in   ( 2 ) ,   an d   t h to k e n   ch o ice  is   m ad b y   ar g m a x   in   ( 3 ) .     Pr ( | ) =     ( [ m as k ] .  +  )   ( 2 )     q ̂ =    Pr   ( | )   ( 3 )     T o g eth er ,   ( 1 )   to   ( 3 )   f o r m alize   th lo o p   d e p icted   in   Fig u r 1 h ig h lig h th a n s wer   s p an ,   en co d t h co n tex t   with   I n d o B E R T ,   p r ed ict  t h n ex t to k en   at  [ MA SK] ,   an d   a p p en d   it to   th p ar tial q u esti o n   u n til [ SEP] .           Fig u r 1 .   I n d o B E R T - AQG  p ip elin e       2 . 6 .     Da t a   a na ly s is   t ec hn iqu e s   Data   an aly s is   en co m p ass ed   th ev alu atio n   o f   ea c h   m o d el  co n f ig u r atio n ,   wh ich   u n d er wen th e   tr ain in g   s tag u tili zin g   s tan d ar d   au to m atic   ev alu atio n   m etr ic s   to   co m p a r p e r f o r m an ce   r esu lts .   T h ese  m etr ics   ass es s ed   an d   d eter m in ed   th m o d el  co n f ig u r atio n   with   th e   m o s o p tim al  p er f o r m an ce   d u r in g   th tr ain in g   p r o ce s s .   Gr ap h   an d   p lo ttin g   t o o ls   wer ad ep tly   u tili ze d   to   v is u ally   in ter p r et  a n d   c o m p r e h e n d   th p er f o r m an ce   tr en d s   in   an aly zi n g   th n ewly   d ev elo p e d   QG  m o d el.       3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .     Da t a   prepa ra t i o n   W s elec ted   th tr an s lated   SQ u AD  2 . 0   an d   T y DiQA - Go ld P   as  o u r   d atasets .   W f o llo th o r ig in al   s p lits   f r o m   b o th   SQu AD  2 . 0   an d   T y DiQA - Go ld P.  Fo r   tr ain in g ,   we  u s o n ly   2 0 , 0 0 0   in s tan ce s   f r o m   th SQu AD  2 . 0   tr ain in g   s et,   wh ile  we  u s th en tire   T y DiQA - G o ld P d ataset.     3 . 2 .     E x perim ent a l set t ing   W ap p ly   th s am f in e - tu n i n g   s etu p   to   I n d o B E R T ,   m B E R T ,   an d   B E R T - lar g e.   I n d o B E R T   an d   m B E R T   f o llo th 1 2 - lay e r   B E R T - b ase  co n f ig u r atio n ,   wh er ea s   B E R T - lar g u s es  th 2 4 - lay er   v ar ian t.   All   ex p er im en ts   r u n   o n   a   s in g le  NVI DI R T 4 0 6 0   T GPU  ( 1 6   GB   VR AM ) .   W u s Ad a m W   with   lear n in g   r ate  o f   5 ×1 0 - 5 ,   th m ax im u m   s eq u en ce   len g t h   s p ec if ied   in   T a b le  1 ,   FP 1 6   m ix ed   p r ec is io n ,   a n d   ea r ly   s to p p i n g .   Fo r   I n d o B E R T   an d   m B E R T ,   we  u s an   ad eq u ate  b atch   s ize   o f   3 2 ,   a n d   f o r   B E R T - lar g e,   we  r ely   o n   s m aller   p er - s tep   b atch   with   g r ad ien t   ac cu m u latio n   to   f it   with in   1 6   GB   o f   VR AM th s m all er   b atch   also   ad d s   r eg u lar izatio n   u n d er   lim ited   d ata.   W m atch   th to tal  n u m b er   o f   o p tim izatio n   s tep s   an d   th lear n in g   r ate  s ch ed u le  ac r o s s   m o d els  s o   th at  o b s er v ed   d if f er e n ce s   r ef lec ar ch itectu r al  an d   p r e - tr ain in g   ef f ec ts   r ath er   th an   th tr ain in g   p r o t o co l.  T o   m ain tain   co m p u tatio n al - b u d g et   p ar ity   in   t h is   s in g le - GPU  s ettin g ,   we  ca p   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  15 ,   No .   2 Ap r il   20 26 1 8 0 4 - 1 8 1 3   1808   SQu AD  2 . 0   tr ain in g   p o r tio n   at  2 0 , 0 0 0   in s tan ce s   ( with   r o b u s tn ess   r e - s am p lin g   ch ec k   y ield in g   th s am e   q u alitativ r an k i n g )   wh ile  r etain in g   th f u ll T y DiQA - Go ld s p lit .     3 . 3 .     E v a lua t i o n   T h p er f o r m a n ce   o f   I n d o B E R T ,   m B E R T ,   an d   B E R T - lar g e   o n   th two   I n d o n esian   QA   d atasets   is   s u m m ar ized   in   T ab le s   a n d   3 .   I n d o B E R T   ac h iev ed   th h i g h est  s co r es  ac r o s s   all  ev alu atio n   m etr ics  o n   b o th   d atasets ,   wh ile  m B E R T   s h o w ed   th s ec o n d - b est  p er f o r m a n ce   an d   B E R T - lar g e   th lo west.  T h is   r an k in g   is   co n s is ten f o r   ea c h   m etr ic   ( B L E U - 1   th r o u g h   B L E U - 4 ,   ME T E OR ,   an d   R OUGE - L ) ,   r ef le ctin g   th a d v an ta g es  o f   lan g u ag e - s p ec if ic  m o d el   o v er   m u ltil in g u al  m o d el  an d   th d r awb ac k s   o f   u s in g   lar g m o d el  n o t     p r e - tr ain ed   in   th tar g et  lan g u ag e.       T ab le  2 .   Per f o r m an ce   o f   th e   th r ee   m o d els o n   th T y DiQA - G o ld P d ataset   M o d e l   B LEU - 1   B LEU - 2   B LEU - 3   B LEU - 4   M ET EO R   R O U G E - L   I n d o B ER T   5 4 . 8 1   3 8 . 6 8   2 6 . 8 6   1 9 . 6 9   3 1 . 6 2   5 8 . 8 3   mBE R T   4 7 . 6 7   3 0 . 8 3   1 9 . 8 2   1 3 . 6 9   2 5 . 6 4   5 2 . 1 5   B ER T - l a r g e   4 6 . 1 5   2 7 . 7 8   1 7 . 2 5   1 1 . 1 2   2 4 . 3 4   5 0 . 6 4       On   T y DiQA - Go ld P,  I n d o B E R T s   B L E U - 4   s co r o f   1 9 . 6 9   is   ab o u 6   p o in ts   h ig h er   t h an   m B E R T s   1 3 . 6 9   an d   8 . 5   p o i n ts   h ig h er   th an   B E R T - lar g e s   1 1 . 1 2 .   L ik e wis e,   I n d o B E R T   lead s   s u b s tan tially   in   ME T E OR   an d   R OUGE - L ,   in d icatin g   it  g en er ates  q u esti o n s   th at  n o o n ly   m atch   th r e f er en ce   wo r d i n g   m o r clo s ely   b u also   ca p tu r m o r o f   th r ef er en ce   co n te n t.  m B E R T s   s c o r es,  wh ile  lo wer   th an   I n d o B E R T s ,   ar clea r ly   ab o v th o s o f   B E R T - lar g e .   No tab ly ,   m B E R T   o u tp er f o r m s   B E R T - lar g e   b y   ar o u n d   2 - 3   p o in ts   o n   m o s m etr ics,  d em o n s tr atin g   th e   b e n ef it  o f   m u ltil in g u al  p r e - tr ain i n g   th at   in clu d es   I n d o n esian e v en   th o u g h   m B E R T   is   s m aller   m o d el  th a n   B E R T - lar g e ,   its   f am iliar ity   w ith   I n d o n esian   g i v es  it  an   ed g e.   B E R T - lar g e s   u n d er p er f o r m an ce   o n   T y DiQ A - Go ld s u g g ests   th at  its   la r g ca p ac ity   r em ai n s   u n d er u tili ze d   d u t o   th e   m o d el’ s   lack   o f   p r io r   I n d o n esi an   k n o wled g a n d   th lim ited   f in e - tu n in g   d ata   av ailab le.   I n   p r ac tical  ter m s ,   th e   I n d o B E R T   m o d el  s h o ws  s tr en g th   in   h a n d lin g   t h T y DiQA - Go ld m ater ial,   lik ely   lev er a g in g   its   p r e - tr ain e d   u n d er s tan d i n g   o f   I n d o n esian   n u an ce s   to   p r o d u ce   m o r ac c u r ate  an d   f lu e n t q u esti o n s .       T ab le  3 .   Per f o r m an ce   o f   th e   th r ee   m o d els o n   th SQu AD  2 . 0   ( 2 0 , 0 0 0   s u b s et)   d ataset   M o d e l   B LEU - 1   B LEU - 2   B LEU - 3   B LEU - 4   M ET EO R   R O U G E - L   I n d o B ER T   3 3 . 7 5   1 6 . 2 4   7 . 3 2   3 . 7 9   1 6 . 2 5   3 7 . 4 5   mBE R T   2 8 . 2 3   1 0 . 3 1   3 . 6 4   1 . 5 1   1 2 . 6 3   3 2 . 7 7   B ER T - l a r ge   2 5 . 3 0   8 . 7 2   3 . 1 9   1 . 4 6   1 1 . 2 2   3 0 . 3 2       On   th e   SQu AD   2 . 0   s u b s et,   th o v er all  s co r es   ar l o wer   f o r   all   m o d els,   r ef lectin g   th e   in cr ea s ed   d if f icu lty   o f   th is   d ataset  an d   th s m aller   tr ain in g   s am p le.   I n d o B E R T   s t ill h o ld s   th h ig h est  s co r es b y   n o tab le   m ar g in .   Fo r   in s tan ce ,   I n d o B E R T s   B L E U - 4   ( 3 . 7 9 )   is   m o r t h an   d o u b le  th at  o f   m B E R T   ( 1 . 5 1 )   o r   B E R T - lar g e   ( 1 . 4 6 ) .   T h is   d r a m atic  g a p   u n d er s co r es  I n d o B E R T s   ef f icien cy   in   lear n in g   f r o m   a   lim ited   d ataset.   m B E R T   an d   B E R T - lar g e   b o th   s tr u g g le  o n   th is   d ataset,   b u m B E R T   m ain tain s   s lig h ad v an tag o v er   B E R T - lar g e   o n   ev er y   m etr ic.   T h d if f er en ce s   b etwe en   m B E R T   an d   B E R T - lar g e ,   th o u g h   s m all  in   ab s o lu te  ter m s   h er e,   co n s is ten tly   f av o r   m B E R T   ( R OUGE - L   o f   3 2 . 7 7   v s .   3 0 . 3 2 ) ,   r ein f o r cin g   th at  k n o win g   th e   lan g u ag e   is   cr u cial   f o r   p er f o r m a n ce .   T h B E R T - lar g e   m o d el,   d esp ite  h a v in g   o v er   th r ee   tim es  th p ar am eter s   o f   th o th er s ,   f ails   to   o u t p er f o r m   t h b ase  m o d els  in   th is   lo w - r eso u r ce   s ce n ar i o .   W attr ib u te   th is   to   its   in a b ilit y   to   g en er alize   f r o m   s u ch   lim ited   f in e - tu n i n g   s et,   its   lar g ca p ac ity   ca n n o b ef f ec tiv ely   u s ed   with o u f ar   m o r d ata.   I n d o B E R T ,   b y   co n t r ast,  av o i d s   th is   p itfa ll  th an k s   to   its   p r io r   I n d o n esian   p r e - tr ain in g ,   wh ich   allo ws  it  to   g en er alize   b etter   f r o m   t h s am s m all  s am p le.   T h r esu lts   s h o th at  I n d o B E R T   is   th b est - p er f o r m in g   m o d el  f o r   I n d o n esian   q u esti o n   g e n er atio n   i n   o u r   ex p er im en ts ,   ex ce llin g   e s p ec ially   in   s ce n ar io s   with   lim ited   tr ain in g   d ata.   T h m u ltil in g u al  m B E R T   p r o v id es d ec en p er f o r m a n ce   an d   ca n   b co n s id er ed   s tr o n g   b aselin f o r   I n d o n esian   AQ G,   b u it  co n s is ten tly   lag s   b eh in d   I n d o B E R T .   T h l ar g e - ca p ac ity   B E R T - lar g e   m o d el  d id   n o y iel d   an y   p er f o r m an ce   b en e f it  in   th is   co n tex t;  o n   th c o n tr ar y ,   it  u n d er p e r f o r m ed   ev e n   th s m aller   m B E R T .   Fro m   p r ac tical  p er s p ec tiv e,   th ese   f in d in g s   s u g g est  th at  f o r   I n d o n esian - lan g u a g AQG  task s ,   o n s h o u ld   f av o r   m o d el  th at  h as  b ee n   p r e - tr ain ed   o n   I n d o n esian   r ath er   t h an   s i m p ly   o p tin g   f o r   m o d el  wi th   g r ea ter   s ize  o r   g en e r al  m u ltil in g u al  tr ain in g .   Ad d itio n ally ,   I n d o B E R T s   s u p er io r   p e r f o r m an ce ,   c o u p le d   with   its   r elativ ely   s m aller   s i ze   an d   th u s   f aster   in f er en ce   a n d   tr ain in g ,   m ak es  it  an   attr ac tiv c h o ice  f o r   r ea l - w o r ld   a p p licatio n s   w h er co m p u tatio n a l   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       I n d o B E R T fo r   ed u ca tio n a l a s s ess men t:   co mp a r a tive  a n a lysi s   o f tra n s fo r mer m o d els  … ( Ha n d a r u   Ja ti )   1809   r eso u r ce s   an d   tr ai n in g   d ata  m ay   b lim ited .   Me a n wh ile,   m B E R T s   r esu lt s   in d icate   th at  if   m u lti - lan g u ag e   s o lu tio n   is   r e q u ir ed ,   it  ca n   h an d le  I n d o n esian   QG  r ea s o n a b ly   well,   th o u g h   with   s o m e   lo s s   i n   q u esti o n   q u ality .   B E R T - lar g e ,   g iv en   its   r eso u r c d em an d s   an d   lo p a y o f f   h e r e,   wo u ld   lik ely   o n ly   b e   ju s tifie d   if   s ig n if ican tly   m o r I n d o n esian   tr ain in g   d ata  wer av ailab le  o r   if   an   I n d o n e s ian - s p ec if ic  lar g m o d el  we r e   p r e - tr ain e d .     3 . 4 .     E f f iciency   a nd   re s o urce   us a g e   W e   c o m p a r e   m o d e l   s i z e ,   t im e   p e r   e p o c h ,   p e a k   V R A u s a g e ,   a n d   i n f e r e n c e   t h r o u g h p u t ,   a n d   s u m m a r i z e   t h e   r es u lt s   i n   T a b le   4 .   A s   s h o w n   i n   T a b l e   4 ,   I n d o B E R T   i s   t h e   m o s t   e f f i c i e n t   m o d e l :   i t   u s e s   f ew e r   p a r a m e t e r s   ( 1 2 4   M ) ,   t r a i n s   f a s te r   ( 1   h / e p o c h ) ,   r e q u i r e s   l e s s   VR A M   ( 4 . 8   G B ) ,   a n d   r e a c h e s   t h e   h i g h e s t   t h r o u g h p u t   ( 5 , 2 0 0   t o k e n s / s ) .   m B E R T   s i ts   in   t h e   m i d d l e   ( 1 7 9   M ;   3   h / e p o c h ;   1 1   G B ;   3 , 2 0 0   t o k e n s / s ) ,   w h e r e a s   B E R T - l a r g e   is   t h e   m o s r e s o u r c e - d e m a n d i n g   w i t h   t h l o w es t h r o u g h p u t   ( 3 4 0   M ;   4   h / e p o c h 1 1   GB ;   1 , 6 0 0   t o k e n s / s ) .   T a k e n   t o g e t h e r ,   T a b l 4   s h o ws   t h a t   I n d o B E R T   o f f e r s   t h e   b es t   t r a d e - o f f   b e t w e e n   ac c u r a c y   a n d   e f f ic i en c y   f o r   I n d o n e s i a n   A Q G   u n d e r   r e a li s ti c   r es o u r c e   b u d g e t s .       T ab le  4 .   E f f icien cy   s u m m ar y   o f   I n d o B E R T ,   m B E R T ,   an d   B E R T - lar g e   ( p ar am ete r s   ( M) ,   ti m p er   ep o ch   ( h ) ,   p ea k   GPU  m em o r y   ( GB ) ,   th r o u g h p u ( to k e n s /s ) )   M o d e l   P a r a me t e r   ( M )   Ti me   p e r   e p o c h   ( h )   P e a k   G P U   mem o r y   ( G B )   Th r o u g h p u t   ( t o k e n / s)   I n d o B ER T   1 2 4   1   4 . 8   5 , 2 0 0   mBE R T   1 7 9   3   11   3 , 2 0 0   B ER T - l a r ge   3 4 0   4   11   1 , 6 0 0       T h ese  ef f icien cy   r esu lts   ca r r y   d ir ec t   s y s tem   im p licatio n s .   I n d o B E R T   is   p r ac tical   b a ck b o n e   f o r   I n d o n esian   AQG  o n   m id - r a n g GPUs   ( 5   GB   VR AM ) ,   en ab lin g   f ast  r etr ain in g   ( 1   h /ep o ch )   an d   h ig h   th r o u g h p u ( 5 , 2 0 0   t o k en s /s ) .   I f   m u ltil in g u al  s u p p o r is   r e q u i r ed ,   m B E R T   is   r ea s o n ab le  f allb ac k   at  h ig h er   co s t,  wh er ea s   B E R T - lar g is   u n lik ely   to   b e   ju s tifie d   with o u s u b s tan tially   m o r I n d o n esian   d ata  an d   c o m p u te.     3 . 5 .     L im it a t io ns   a nd   f uture   wo rk s     Ou r   ev alu atio n   r elies  o n   au t o m atic  o v er lap   m etr ics  ( B L E U - 4 ,   ME T E OR ,   an d   R OUGE - L ) .   Ho wev er ,   th ese  s co r es  co r r elate   o n ly   im p er f ec tly   with   p ed a g o g ical  u s ef u ln ess   an d   p er ce iv e d   q u esti o n   q u ality ,   a n d   we  d id   n o in clu d h u m an - r ater   s tu d ies  with   teac h er s   o r   s u b ject - m atter   ex p er ts .   T h I n d o n esian   SQu AD  2 . 0   p o r tio n   u s es  2 0 , 0 0 0   tr an s lated   s u b s et,   wh ich   m ay   co n tain   tr an s latio n   ar tifa cts  an d   th er ef o r d o es  n o f u lly   m ir r o r   class r o o m   d is co u r s e.   At  th s am tim e ,   T y DiQA - Go ld f o c u s es  o n   in f o r m atio n - s ee k in g   q u esti o n s   r ath er   t h an   cu r r ic u lu m - alig n e d   m ater ials .   W o r k in g   o n   s in g l 1 6   GB   GPU,   we  u s ed   s m alle r   ef f ec tiv e   b atc h es  f o r   B E R T - lar g e   an d   c o u ld   n o t   ex p lo r v ast  h y p er p ar am ete r   s p ac e;  ev en   th o u g h   we  m atc h ed   th n u m b er   o f   o p tim izatio n   s tep s   ac r o s s   m o d els  an d   r a n   a   r e - s am p lin g   r o b u s tn ess   ch ec k   o n   SQu AD  2 . 0 ,   s o m co n f o u n d i n g   f ac to r s   m ay   p er s is t.  W also   lim it  o u r   co m p ar is o n   t o   en co d er - o n ly   t r an s f o r m e r s   an d   d o   n o b e n ch m ar k   d ec o d er   o r   in s tr u ctio n - tu n e d   lar g lan g u ag e   m o d els.  I n   f u tu r wo r k ,   we  p la n   to   ad d   e x p er a n d   teac h er   r atin g s ,   cu r r ic u lu m - s p ec if ic  I n d o n esian   d atasets ,   an d   b r o a d er   s et  o f   m o d el  f am ilies .       4.   CO NCLU SI O N   T h is   s t u d y   ev al u at e d   I n d o B E R T ,   m B E R T ,   a n d   B E R T - l ar g e   f o r   I n d o n esia n   AQ G   an d   f o u n d   t h at   I n d o B E R T   c o n s is t e n tl y   p r o d u ce d   t h e   h ig h est - q u a lit y   q u est io n s   w h i le  u s i n g   r es o u r ce s   m o s ef f ic ie n tl y .   m B E R T   r e m ai n s   v ia b l m u l tili n g u al  alte r n at iv e,   al b e it  w it h   m o d e s ac cu r a c y   t r a d e - o f f ,   w h e r e as   B E R T - la r g e   o f f er s   n o   cl ea r   a d v a n t ag e   i n   t h is   s e tti n g   a n d   r e q u i r es   a   g r ea t er   c o m p u t ati o n al   b u d g et .   W e   t h e r e f o r e   r ec o m m en d   I n d o B E R T   as  th d ef au lt   b a ck b o n e   f o r   I n d o n es ia n   AQG   i n   e d u ca t io n al   a p p lic ati o n s   an d   d e p l o y m e n ts   o n     m i d - r a n g e   GPUs .   Fo r   d e v el o p e r s   a n d   e d u c at o r s ,   a   p r a cti ca a p p r o ac h   is   to   f i n e - t u n I n d o B E R T   w it h   [ H L ]   tag g i n g   at   le ar n i n g   r a te  o f   5 ×1 0 - 5   ( b at ch   s iz 1 6 ,   o r   8   f o r   lar g er   m o d els )   a n d   u til iz FP 1 6 /m ix e d   p r ec is i o n   wit h   e a r l y   s t o p p in g .   W e   r ec o m m e n d   e v al u a ti n g   s y s te m s   u s i n g   B L E U,   ME T E OR ,   a n d   R OU GE - L .   F o r   d e p l o y m en t,  e n a b le   b atc h i n g / c ac h i n g   a n d   c o n s id e r   FP 1 6   o r   8 - b it i n f e r e n c t o   m e et  t y p ic al  l ate n c y   an d   m e m o r y   b u d g e ts   o n   m i d - r an g ( ~ 5   GB   VR AM )   GPUs .       ACK NO WL E DG M E N T S   W u s ed   AI   to o ls   s o lely   to   im p r o v e   th e   clar ity ,   g r am m ar ,   an d   co n s is ten cy   o f   th e   m an u s cr ip tex t.   All  tech n ical  co n ten t,  a n aly s es,  f i g u r es,  a n d   co n clu s io n s   wer p r o d u ce d   a n d   v er if ied   b y   t h au th o r s .   No   d ata   wer e   g en er ated ,   m o d if ie d ,   o r   s y n th e s ized   u s in g   AI   to o ls .     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  15 ,   No .   2 Ap r il   20 26 1 8 0 4 - 1 8 1 3   1810   F UNDING   I NF O R M A T I O N   T h is   r esear ch   was  s u p p o r te d   b y   Un iv er s itas   Neg er Y o g y ak a r ta  ( UNY)   u n d er   C o n tr ac No .   T /1 0 . 1 2 /UN3 4 . 1 5 /PT. 0 1 . 0 2 /2 0 2 3 .   T h f u n d e r   h a d   n o   r o l in   s tu d y   d esig n ,   d ata  co ll ec tio n   an d   an aly s is ,   d ec is io n   to   p u b lis h ,   o r   p r ep a r a tio n   o f   th e   m an u s cr ip t.       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Han d ar u   J ati                               Yu n iar   I n d r ih ap s ar i                               Pra d an Setialan a                               Dan an g   W ijay a                               Saty Ad h iy ak s Ar d y                               Dh is ta  Dwi  Nu r   Ar d ian s y ah                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au t h o r   d ec lar es  t h at  th e r ar e   n o   k n o wn   co n f licts   o f   in ter est  ass o ciate d   with   th is   p u b licatio n .   T h er ar n o   f in a n cial  o r   p e r s o n al  r elatio n s h ip s   th at  co u ld   in ap p r o p r iately   in f l u en ce   o r   b ias  th co n ten o f     th is   wo r k .       I NF O RM E CO NS E N T   No ap p licab le.   T h is   s tu d y   d id   n o t   in v o l v h u m an   p ar tici p an ts ,   h u m an   d ata,   o r   a n y   p er s o n ally   id en tifia b le  in f o r m atio n .   All  d ata  u s ed   wer eith er   p u b licl y   av ailab le,   f u lly   an o n y m ize d ,   o r   d er i v ed   f r o m   n o n h u m an   s o u r ce s ,   an d   th er e f o r n o   in f o r m ed   co n s en t w as  r eq u ir ed   f r o m   in d iv i d u als.       E T H I CAL AP P RO V AL   No ap p licab le.   T h is   r esear ch   d id   n o in v o lv h u m an   s u b jects,  h u m an   b io lo g ical  m ater ials ,   o r   ex p er im en tal  p r o ce d u r es o n   a n im als.        DATA AV AI L AB I L I T Y   T h d ata   th at  s u p p o r th e   f in d in g s   o f   t h is   s tu d y   ar o p en ly   a v ailab le  in   th e   G ith u b . co m   at  h ttp s ://g ith u b . co m /g o o g le - r esear ch - d atasets /ty d iq a.       RE F E R E NC E S   [ 1 ]   A .   K .   S a l mo n   a n d   M .   X .   B a r r e r a ,   I n t e n t i o n a l   q u e st i o n i n g   t o   p r o m o t e   t h i n k i n g   a n d   l e a r n i n g ,   T h i n k i n g   S k i l l s   a n d   C re a t i v i t y   v o l .   4 0 ,   Ju n .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . t sc. 2 0 2 1 . 1 0 0 8 2 2 .   [ 2 ]   R .   G .   W .   M u e l l e r ,   Ex a mi n i n g   t e a c h e r s’   d e v e l o p me n t   a n d   i m p l e me n t a t i o n   o f   c o mp e l l i n g   q u e s t i o n s,   S o c i a l   S t u d i e R e se a rc h   a n d   Pra c t i c e ,   v o l .   1 3 ,   n o .   1 ,   p p .   1 1 5 ,   M a y   2 0 1 8 ,   d o i :   1 0 . 1 1 0 8 / S S R P - 08 - 2 0 1 7 - 0 0 4 2 .   [ 3 ]   S .   S a a r i n e n ,   S .   K r i s h n a m u r t h i ,   K .   F i s l e r ,   a n d   P .   T.   W i l so n ,   H a r n e ssi n g   t h e   w i sd o m   o f   t h e   c l a sses ,   i n   Pr o c e e d i n g s   o f   t h e   5 0 t h   AC M   T e c h n i c a l   S y m p o s i u m   o n   C o m p u t e S c i e n c e   E d u c a t i o n ,   F e b .   2 0 1 9 ,   p p .   6 0 6 6 1 2 ,   d o i :   1 0 . 1 1 4 5 / 3 2 8 7 3 2 4 . 3 2 8 7 5 0 4 .   [ 4 ]   T.   To f a d e ,   J.   E l sn e r ,   a n d   S .   T .   H a i n e s,   B e st   p r a c t i c e   st r a t e g i e s   f o r   e f f e c t i v e   u se   o f   q u e s t i o n s   a a   t e a c h i n g   t o o l ,   Am e r i c a n   J o u rn a l   o f   Ph a rm a c e u t i c a l   E d u c a t i o n ,   v o l .   7 7 ,   n o .   7 ,   S e p .   2 0 1 3 ,   d o i :   1 0 . 5 6 8 8 / a j p e 7 7 7 1 5 5 .   [ 5 ]   C .   C h i n   a n d   D .   E.   B r o w n ,   S t u d e n t - g e n e r a t e d   q u e s t i o n s:   a   m e a n i n g f u l   a s p e c t   o f   l e a r n i n g   i n   sc i e n c e ,   I n t e rn a t i o n a l   J o u r n a l   o f   S c i e n c e   E d u c a t i o n ,   v o l .   2 4 ,   n o .   5 ,   p p .   5 2 1 5 4 9 ,   M a y   2 0 0 2 ,   d o i :   1 0 . 1 0 8 0 / 0 9 5 0 0 6 9 0 1 1 0 0 9 5 2 4 9 .   [ 6 ]   M .   G o t t l i e b ,   J.  B a i l i t z ,   M .   F i x ,   E.   S h a p p e l l ,   a n d   M .   J.  W a g n e r ,   E d u c a t o r s   b l u e p r i n t :   a   h o w t o   g u i d e   f o r   d e v e l o p i n g   h i g h q u a l i t y   mu l t i p l e c h o i c e   q u e st i o n s,   A EM   Ed u c a t i o n   a n d   T r a i n i n g ,   v o l .   7 ,   n o .   1 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 2 / a e t 2 . 1 0 8 3 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       I n d o B E R T fo r   ed u ca tio n a l a s s ess men t:   co mp a r a tive  a n a lysi s   o f tra n s fo r mer m o d els  … ( Ha n d a r u   Ja ti )   1811   [ 7 ]   S .   S o n i ,   P .   K u mar ,   a n d   A .   S a h a ,   A u t o m a t i c   q u e s t i o n   g e n e r a t i o n :   a   sy st e ma t i c   r e v i e w ,   S S RN   E l e c t r o n i c   J o u rn a l ,   2 0 1 9 ,     d o i :   1 0 . 2 1 3 9 / s sr n . 3 4 0 3 9 2 6 .   [ 8 ]   K .   P .   K u m a r   e t   a l . ,   A u t o m a t e d   q u e st i o n   p a p e r   g e n e r a t o r   u s i n g   LL M ,   I n t e rn a t i o n a l   J o u rn a l   o f   R e se a rc h   a n d   I n n o v a t i o n   i n   Ap p l i e d   S c i e n c e ,   v o l .   X ,   n o .   I V ,   p p .   2 6 6 2 7 5 ,   2 0 2 5 ,   d o i :   1 0 . 5 1 5 8 4 / I JR I A S . 2 0 2 5 . 1 0 0 4 0 0 2 0 .   [ 9 ]   J.  H .   W o l f e ,   A u t o m a t i c   q u e s t i o n   g e n e r a t i o n   f r o t e x t   -   a n   a i d   t o   i n d e p e n d e n t   s t u d y ,   i n   P ro c e e d i n g o f   t h e   AC S I G C S E - S I G C U t e c h n i c a l   s y m p o si u m   o n   C o m p u t e sci e n c e   a n d   e d u c a t i o n ,   1 9 7 6 ,   p p .   1 0 4 1 1 2 ,   d o i :   1 0 . 1 1 4 5 / 8 0 0 1 0 7 . 8 0 3 4 5 9 .   [ 1 0 ]   P .   Ta n w a r ,   K .   B a n s a l ,   A .   S h a r ma ,   a n d   N .   D a g a r ,   A I   b a se d   c h a t b o t   f o r   h e a l t h c a r e   u s i n g   ma c h i n e   l e a r n i n g ,   i n   2 0 2 3   I n t e r n a t i o n a l   C o n f e re n c e   o n   Ad v a n c e s   i n   C o m p u t a t i o n ,   C o m m u n i c a t i o n   a n d   I n f o rm a t i o n   T e c h n o l o g y   ( I C AI C C I T ) ,   N o v .   2 0 2 3 ,   p p .   7 5 1 7 5 5 ,   d o i :   1 0 . 1 1 0 9 / I C A I C C I T6 0 2 5 5 . 2 0 2 3 . 1 0 4 6 5 7 2 8 .   [ 1 1 ]   M .   F l o r   a n d   B .   R i o r d a n ,   A   sem a n t i c   r o l e - b a se d   a p p r o a c h   t o   o p e n - d o m a i n   a u t o ma t i c   q u e st i o n   g e n e r a t i o n ,   i n   P ro c e e d i n g s   o f   t h e   T h i r t e e n t h   W o rks h o p   o n   I n n o v a t i v e   U se  o f   N L f o Bu i l d i n g   Ed u c a t i o n a l   A p p l i c a t i o n s ,   2 0 1 8 ,   p p .   2 5 4 2 6 3 ,     d o i :   1 0 . 1 8 6 5 3 / v 1 / W 1 8 - 0 5 3 0 .   [ 1 2 ]   A .   G a s h k o v   a n d   M .   E l t s o v a ,   A u t o mat i z a t i o n   o f   a n sw e r s   t o   q u e s t i o n b y   m a t c h i n g   sy n t a c t i c   g r a p h s ,   i n   Pro c e e d i n g o f   t h e   X   I n t e r n a t i o n a l   C o n f e r e n c e   W o rd ,   U t t e r a n c e ,   T e x t :   C o g n i t i v e ,   P ra g m a t i c   a n d   C u l t u r a l   As p e c t s”   ( WUT   2 0 2 0 ) ,   A u g .   2 0 2 0 ,     p p .   4 1 9 4 2 5 ,   d o i :   1 0 . 1 5 4 0 5 / e p sb s . 2 0 2 0 . 0 8 . 4 9 .   [ 1 3 ]   E.   S n e i d e r s,  A u t o mat e d   q u e s t i o n   a n sw e r i n g   u s i n g   q u e st i o n   t e m p l a t e t h a t   c o v e r   t h e   c o n c e p t u a l   m o d e l   o f   t h e   d a t a b a s e ,   i n   N a t u r a l   L a n g u a g e   Pro c e ss i n g   a n d   I n f o rm a t i o n   S y st e m s (NLD B   2 0 0 2 ) ,   2 0 0 2 ,   p p .   2 3 5 2 3 9 ,   d o i :   1 0 . 1 0 0 7 / 3 - 5 4 0 - 3 6 2 7 1 - 1 _ 2 4 .   [ 1 4 ]   G .   K u r d i ,   J.  L e o ,   B .   P a r si a ,   U .   S a t t l e r ,   a n d   S .   A l - E mari ,   A   sy s t e mat i c   r e v i e w   o f   a u t o m a t i c   q u e st i o n   g e n e r a t i o n   f o r   e d u c a t i o n a l   p u r p o ses,   I n t e r n a t i o n a l   J o u r n a l   o f   Art i f i c i a l   I n t e l l i g e n c e   i n   Ed u c a t i o n ,   v o l .   3 0 ,   n o .   1 ,   p p .   1 2 1 2 0 4 ,   M a r .   2 0 2 0 ,     d o i :   1 0 . 1 0 0 7 / s 4 0 5 9 3 - 019 - 0 0 1 8 6 - y.   [ 1 5 ]   M .   La s t   a n d   G .   D a n o n ,   A u t o ma t i c   q u e st i o n   g e n e r a t i o n ,   WIREs  D a t a   M i n i n g   a n d   K n o w l e d g e   D i s c o v e r y ,   v o l .   1 0 ,   n o .   6 ,   N o v .   2 0 2 0 ,   d o i :   1 0 . 1 0 0 2 / w i d m. 1 3 8 2 .   [ 1 6 ]   M .   Ess a m,  M .   A .   D e i f ,   a n d   R .   E l g o h a r y ,   D e c i p h e r i n g   A r a b i c   q u e st i o n :   a   d e d i c a t e d   su r v e y   o n   A r a b i c   q u e s t i o n   a n a l y s i me t h o d s,   c h a l l e n g e s,  l i mi t a t i o n s   a n d   f u t u r e   p a t h w a y s,”   Ar t i f i c i a l   I n t e l l i g e n c e   Re v i e w ,   v o l .   5 7 ,   n o .   9 ,   A u g .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 4 6 2 - 0 2 4 - 1 0 8 8 0 - 6.   [ 1 7 ]   I .   E F a t t o h ,   A .   E .   A b o u t a b l ,   a n d   M .   H .   H a g g a g ,   T a p p i n g   i n t o   t h e   p o w e r   o f   a u t o ma t i c   q u e st i o n   g e n e r a t i o n ,   I n t e rn a t i o n a l   J o u r n a l   o f   C o m p u t e r A p p l i c a t i o n s ,   v o l .   1 0 3 ,   n o .   1 ,   p p .   1 6 ,   O c t .   2 0 1 4 ,   d o i :   1 0 . 5 1 2 0 / 1 8 0 3 5 - 7 6 3 6 .   [ 1 8 ]   A .   A sa d i   a n d   R .   S a f a b a k h s h ,   T h e   e n c o d e r - d e c o d e r   f r a m e w o r k   a n d   i t a p p l i c a t i o n s ,   i n   D e e p   L e a r n i n g :   C o n c e p t s   a n d   Arc h i t e c t u r e s ,   S p r i n g e r ,   C h a m ,   2 0 2 0 ,   p p .   1 3 3 1 6 7 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 0 - 3 1 7 5 6 - 0 _ 5 .   [ 1 9 ]   C .   Es c o l a n o ,   M .   R .   C . - j u ss à ,   a n d   J .   A .   R .   F o n o l l o s a ,   M u l t i l i n g u a l   ma c h i n e   t r a n s l a t i o n :   d e e p   a n a l y s i o f   l a n g u a g e - sp e c i f i c   e n c o d e r - d e c o d e r s,   J o u rn a l   o f   Art i f i c i a l   I n t e l l i g e n c e   R e se a rc h ,   v o l .   7 3 ,   p p .   1 5 3 5 1 5 5 2 ,   A p r .   2 0 2 2 ,   d o i :   1 0 . 1 6 1 3 / j a i r . 1 . 1 2 6 9 9 .   [ 2 0 ]   J.  Y u ,   S .   W a n g ,   a n d   J.   Y i n ,   A d a p t i v e   c r o ss - l i n g u a l   q u e s t i o n   g e n e r a t i o n   w i t h   mi n i m a l   r e so u r c e s,   T h e   C o m p u t e r   J o u r n a l ,   v o l .   6 4 ,   n o .   7 ,   p p .   1 0 5 6 1 0 6 8 ,   A u g .   2 0 2 1 ,   d o i :   1 0 . 1 0 9 3 / c o m j n l / b x a b 1 0 6 .   [ 2 1 ]   D .   Lu i t e l ,   S .   H a ssa n i ,   a n d   M .   S a b e t z a d e h ,   I mp r o v i n g   r e q u i r e me n t c o mp l e t e n e ss:   a u t o ma t e d   a ss i st a n c e   t h r o u g h   l a r g e   l a n g u a g e   mo d e l s ,   Re q u i rem e n t s E n g i n e e ri n g ,   v o l .   2 9 ,   n o .   1 ,   p p .   7 3 9 5 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 7 6 6 - 024 - 0 0 4 1 6 - 3.   [ 2 2 ]   Y .   Zh a o ,   R .   C a o ,   J.   B a i ,   W .   M a ,   a n d   H .   S h i n n o u ,   D e t e r m i n i n g   t h e   l o g i c a l   r e l a t i o n   b e t w e e n   t w o   s e n t e n c e b y   u si n g   t h e   mas k e d   l a n g u a g e   m o d e l   o f   B E R T ,   i n   2 0 2 0   I n t e rn a t i o n a l   C o n f e re n c e   o n   T e c h n o l o g i e a n d   A p p l i c a t i o n o f   Art i f i c i a l   I n t e l l i g e n c e   ( T AAI) D e c .   2 0 2 0 ,   p p .   2 2 8 2 3 1 ,   d o i :   1 0 . 1 1 0 9 / TA A I 5 1 4 1 0 . 2 0 2 0 . 0 0 0 4 9 .   [ 2 3 ]   K .   M .   T a r w a n i   a n d   S .   E d e m,  S u r v e y   o n   r e c u r r e n t   n e u r a l   n e t w o r k   i n   n a t u r a l   l a n g u a g e   p r o c e ss i n g ,   I n t e r n a t i o n a l   J o u r n a l   o f   En g i n e e ri n g   T re n d a n d   T e c h n o l o g y ,   v o l .   4 8 ,   n o .   6 ,   p p .   3 0 1 3 0 4 ,   J u n .   2 0 1 7 ,   d o i :   1 0 . 1 4 4 4 5 / 2 2 3 1 5 3 8 1 / I JETT - V 4 8 P 2 5 3 .   [ 2 4 ]   A .   G r a v e s,   L o n g   sh o r t - t e r m   mem o r y ,   i n   S u p e r v i s e d   S e q u e n c e   L a b e l l i n g   w i t h   Re c u rr e n t   N e u r a l   N e t w o rks ,   S p r i n g e r ,   B e r l i n ,   H e i d e l b e r g ,   2 0 1 2 ,   p p .   3 7 45 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 4 7 9 7 - 2 _ 4 .   [ 2 5 ]   N .   Z u c c h e t   a n d   A .   O r v i e t o ,   R e c u r r e n t   n e u r a l   n e t w o r k s:   v a n i sh i n g   a n d   e x p l o d i n g   g r a d i e n t s   a r e   n o t   t h e   e n d   o f   t h e   s t o r y ,   i n   Pro c e e d i n g o f   t h e   3 8 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   N e u r a l   I n f o rm a t i o n   Pr o c e ssi n g   S y st e m ,   2 0 2 4 ,   p p .   1 3 9 4 0 2 1 3 9 4 4 3 .   [ 2 6 ]   P .   N e r e l l a ,   D .   P i t t u ,   S .   U n d r a k o n d a ,   S .   C h e n n a ms e t t y ,   V .   P .   K u m a r   S ,   a n d   V .   K .   K i s h o r e   K ,   A n   e f f i c i e n t   S e q 2 S e q   m o d e l   t o   p r e d i c t   q u e st i o n   a n d   a n sw e r   r e sp o n se   sy st e m,   i n   2 0 2 4   S e c o n d   I n t e rn a t i o n a l   C o n f e re n c e   o n   Ad v a n c e i n   I n f o rm a t i o n   T e c h n o l o g y   ( I C AI T ) ,   Ju l .   2 0 2 4 ,   p p .   1 6 ,   d o i :   1 0 . 1 1 0 9 / I C A I T6 1 6 3 8 . 2 0 2 4 . 1 0 6 9 0 3 4 3 .   [ 2 7 ]   Y .   S u n ,   Th e   e v o l u t i o n   o f   t r a n sf o r mer  mo d e l f r o u n i d i r e c t i o n a l   t o   b i d i r e c t i o n a l   i n   n a t u r a l   l a n g u a g e   p r o c e s si n g ,   A p p l i e d   a n d   C o m p u t a t i o n a l   En g i n e e ri n g ,   v o l .   4 2 ,   n o .   1 ,   p p .   2 8 1 2 8 9 ,   F e b .   2 0 2 4 ,   d o i :   1 0 . 5 4 2 5 4 / 2 7 5 5 - 2 7 2 1 / 4 2 / 2 0 2 3 0 7 9 4 .   [ 2 8 ]   N .   P a t w a r d h a n ,   S .   M a r r o n e ,   a n d   C .   S a n s o n e ,   Tr a n sf o r m e r i n   t h e   r e a l   w o r l d :   a   s u r v e y   o n   N LP  a p p l i c a t i o n s,”   I n f o rm a t i o n   v o l .   1 4 ,   n o .   4 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / i n f o 1 4 0 4 0 2 4 2 .   [ 2 9 ]   M .   A r sa l a n ,   Tr a n sf o r mers   i n   n a t u r a l   l a n g u a g e   p r o c e ssi n g :   a   c o m p r e h e n si v e   r e v i e w ,   I n t e r n a t i o n a l   J o u r n a l   f o r   Re s e a r c h   i n   Ap p l i e d   S c i e n c e   a n d   E n g i n e e ri n g   T e c h n o l o g y ,   v o l .   1 2 ,   n o .   5 ,   p p .   5 5 9 1 5 5 9 7 ,   M a y   2 0 2 4 ,   d o i :   1 0 . 2 2 2 1 4 / i j r a se t . 2 0 2 4 . 6 2 8 6 3 .   [ 3 0 ]   J.  P a r k ,   M .   R .   B a b a e i ,   S .   A .   M u n o z ,   A .   N .   V e n k a t ,   a n d   J.   D .   H e d e n g r e n ,   S i mu l t a n e o u s   mu l t i st e p   t r a n sf o r mer   a r c h i t e c t u r e   f o r   mo d e l   p r e d i c t i v e   c o n t r o l ,   C o m p u t e rs   & C h e m i c a l   E n g i n e e r i n g ,   v o l .   1 7 8 ,   O c t .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . c o m p c h e me n g . 2 0 2 3 . 1 0 8 3 9 6 .   [ 3 1 ]   M .   Za h e e r   e t   a l . ,   B i g   b i r d :   t r a n sf o r mers   f o r   l o n g e r   se q u e n c e s ,   i n   Pr o c e e d i n g o f   t h e   3 4 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   N e u r a l   I n f o rm a t i o n   Pr o c e ssi n g   S y st e ,   2 0 2 0 ,   p p .   1 7 2 8 3 1 7 2 9 7 .   [ 3 2 ]   B .   Z h u a n g ,   J .   Li u ,   Z.   P a n ,   H .   H e ,   Y .   W e n g ,   a n d   C .   S h e n ,   A   su r v e y   o n   e f f i c i e n t   t r a i n i n g   o f   t r a n sf o r mers ,   i n   Pr o c e e d i n g o f   t h e   T h i r t y - S e c o n d   I n t e r n a t i o n a l   J o i n t   C o n f e re n c e   o n   Art i f i c i a l   I n t e l l i g e n c e ,   A u g .   2 0 2 3 ,   p p .   6 8 2 3 6 8 3 1 ,   d o i :   1 0 . 2 4 9 6 3 / i j c a i . 2 0 2 3 / 7 6 4 .   [ 3 3 ]   A .   B h a t t a c h a r y y a ,   R e v o l u t i o n i z i n g   k n o w l e d g e   r e t r i e v a l :   a   c o m p r e h e n si v e   st u d y   o f   q u e s t i o n   a n sw e r i n g   sy s t e m,”   S S RN   El e c t r o n i c   J o u rn a l ,   2 0 2 3 ,   d o i :   1 0 . 2 1 3 9 / ssr n . 4 6 4 9 5 8 5 .   [ 3 4 ]   J.  D e v l i n ,   M . - W .   C h a n g ,   K .   L e e ,   a n d   K .   T o u t a n o v a ,   B ER T :   p r e - t r a i n i n g   o f   d e e p   b i d i r e c t i o n a l   t r a n sf o r m e r f o r   l a n g u a g e   u n d e r s t a n d i n g ,   i n   Pr o c e e d i n g o f   t h e   2 0 1 9   C o n f e r e n c e   o f   t h e   N o rt h ,   2 0 1 9 ,   p p .   4 1 7 1 4 1 8 6 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 9 - 1 4 2 3 .   [ 3 5 ]   M .   S u g u n a   a n d   K .   S .   S .   P r a b h a ,   R e c i p r o c a t i n g   e n c o d e r   p o r t r a y a l   f r o r e l i a b l e   t r a n sf o r m e r   d e p e n d e n t   b i d i r e c t i o n a l   l o n g   s h o r t - t e r mem o r y   f o r   q u e s t i o n   a n d   a n sw e r i n g   t e x t   c l a ss i f i c a t i o n ,   I E EE  Ac c e ss ,   v o l .   1 2 ,   p p .   1 1 7 8 0 0 1 1 7 8 1 1 ,   2 0 2 4 ,     d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 4 . 3 4 2 6 6 0 4 .   [ 3 6 ]   N .   F a t i m a ,   S .   M .   D a u d p o t a ,   Z .   K a st r a t i ,   A .   S .   I mr a n ,   S .   H a ssa n ,   a n d   N .   S .   El mi t w a l l y ,   I mp r o v i n g   n e w s   h e a d l i n e   t e x t   g e n e r a t i o q u a l i t y   t h r o u g h   f r e q u e n t   P O S - T a g   p a t t e r n a n a l y si s ,   En g i n e e ri n g   A p p l i c a t i o n o f   Ar t i f i c i a l   I n t e l l i g e n c e ,   v o l .   1 2 5 ,   O c t .   2 0 2 3 ,     d o i :   1 0 . 1 0 1 6 / j . e n g a p p a i . 2 0 2 3 . 1 0 6 7 1 8 .   [ 3 7 ]   A .   K a r a k ,   K .   K u n a l ,   N .   D a r a p a n e n i ,   a n d   A .   R .   P a d u r i ,   I mp l e me n t a t i o n   o f   G P mo d e l f o r   t e x t   g e n e r a t i o n   i n   h e a l t h c a r e   d o ma i n ,   EAI E n d o rse d   T r a n sa c t i o n s   o n   AI   a n d   Ro b o t i c s ,   v o l .   3 ,   A p r .   2 0 2 4 ,   d o i :   1 0 . 4 1 0 8 / a i r o . 4 0 8 2 .   [ 3 8 ]   D .   J y o t i ,   J.   S r i v a s t a v a ,   a n d   D .   P .   M a h a t o ,   I mp l e m e n t i n g   T 5   f o r   t e x t   s u mm a r i z a t i o n :   a n   a l g o r i t h mi c   a p p r o a c h ,     i n   2 0 2 5   I n t e r n a t i o n a l   C o n f e ren c e   o n   I n f o rm a t i o n   N e t w o rki n g   ( I C O I N ) ,   Ja n .   2 0 2 5 ,   p p .   6 4 8 6 5 2 ,     d o i :   1 0 . 1 1 0 9 / I C O I N 6 3 8 6 5 . 2 0 2 5 . 1 0 9 9 2 7 6 6 .     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 9 3 8   I n t J Ar tif   I n tell ,   Vo l.  15 ,   No .   2 Ap r il   20 26 1 8 0 4 - 1 8 1 3   1812   [ 3 9 ]   J.  R a n g a n a t h a n   a n d   G .   A b u k a ,   Te x t   su mm a r i z a t i o n   u si n g   t r a n sf o r mer   m o d e l ,   i n   2 0 2 2   N i n t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   S o c i a l   N e t w o rks  An a l y si s,  Ma n a g e m e n t   a n d   S e c u r i t y   ( S N A MS ) ,   N o v .   2 0 2 2 ,   p p .   1 5 ,   d o i :   1 0 . 1 1 0 9 / S N A M S 5 8 0 7 1 . 2 0 2 2 . 1 0 0 6 2 6 9 8 .   [ 4 0 ]   T.   T,   M .   B o r a h ,   P .   D a d u r e ,   a n d   P .   P a k r a y ,   C o m p a r a t i v e   a n a l y s i o f   T 5   mo d e l   f o r   a b s t r a c t i v e   t e x t   su mm a r i z a t i o n   o n   d i f f e r e n t   d a t a se t s,   S S RN   El e c t ro n i c   J o u r n a l ,   2 0 2 2 ,   d o i :   1 0 . 2 1 3 9 / ssr n . 4 0 9 6 4 1 3 .   [ 4 1 ]   F .   K o t o ,   A .   R a h i mi ,   J.   H .   La u ,   a n d   T.   B a l d w i n ,   I n d o LE M   a n d   I n d o B ER T:   a   b e n c h m a r k   d a t a s e t   a n d   p r e - t r a i n e d   l a n g u a g e   m o d e l   f o r   I n d o n e s i a n   N LP ,   i n   Pro c e e d i n g o f   t h e   2 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 2 0 ,   p p .   7 5 7 7 7 0 ,     d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . c o l i n g - m a i n . 6 6 .   [ 4 2 ]   K .   V i n c e n t i o   a n d   D .   S u h a r t o n o ,   A u t o m a t i c   q u e s t i o n   g e n e r a t i o n   m o n o l i n g u a l   mu l t i l i n g u a l   p r e - t r a i n e d   m o d e l s   u s i n g   R N N   a n d   t r a n sf o r mer  i n   l o w   r e s o u r c e   I n d o n e si a n   l a n g u a g e ,   I n f o rm a t i c a ,   v o l .   4 6 ,   n o .   7 ,   N o v .   2 0 2 2 ,   d o i :   1 0 . 3 1 4 4 9 / i n f . v 4 6 i 7 . 4 2 3 6 .   [ 4 3 ]   F .   J.  M u i a n d   A .   P u r w a r i a n t i ,   S e q u e n c e - to - se q u e n c e   l e a r n i n g   f o r   I n d o n e si a n   a u t o ma t i c   q u e st i o n   g e n e r a t o r ,   i n   2 0 2 0   7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A d v a n c e   I n f o rm a t i c s:   C o n c e p t s,  T h e o ry   a n d   Ap p l i c a t i o n ( I C AI C T A) ,   S e p .   2 0 2 0 ,   p p .   1 6 ,     d o i :   1 0 . 1 1 0 9 / I C A I C TA 4 9 8 6 1 . 2 0 2 0 . 9 4 2 9 0 3 2 .   [ 4 4 ]   M .   M .   H e n r y ,   G .   N .   E l w i r e h a r d j a ,   a n d   B .   P a r d a m e a n ,   A u t o ma t i c   q u e st i o n   g e n e r a t i o n   f o r   b a h a sa  I n d o n e s i a   e x a m i n a t i o n   u s i n g   c o p y n e t ,   Pr o c e d i a   C o m p u t e r   S c i e n c e ,   v o l .   2 4 5 ,   p p .   9 5 3 9 6 2 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s. 2 0 2 4 . 1 0 . 3 2 3 .   [ 4 5 ]   Y. - H .   C h a n   a n d   Y . - C .   F a n ,   B E R T   f o r   q u e st i o n   g e n e r a t i o n ,   i n   Pr o c e e d i n g s   o f   t h e   1 2 t h   I n t e r n a t i o n a l   C o n f e ren c e   o n   N a t u r a l   L a n g u a g e   G e n e r a t i o n ,   2 0 1 9 ,   p p .   1 7 3 1 7 7 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / W 1 9 - 8 6 2 4 .   [ 4 6 ]   Y. - H .   C h a n   a n d   Y . - C .   F a n ,   A   r e c u r r e n t   B E R T - b a se d   m o d e l   f o r   q u e s t i o n   g e n e r a t i o n ,   i n   Pro c e e d i n g o f   t h e   2 n d   Wo r k s h o p   o n   Ma c h i n e   R e a d i n g   f o r   Q u e st i o n   An s w e ri n g ,   2 0 1 9 ,   p p .   1 5 4 1 6 2 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / D 1 9 - 5 8 2 1 .   [ 4 7 ]   P .   R a j p u r k a r ,   R .   J i a ,   a n d   P .   L i a n g ,   K n o w   w h a t   y o u   d o n t   k n o w :   u n a n sw e r a b l e   q u e s t i o n f o r   S Q u A D ,   i n   Pr o c e e d i n g s o f   t h e   5 6 t h   An n u a l   M e e t i n g   o f   t h e   Asso c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s   ( Vo l u m e   2 :   S h o rt   P a p e rs) ,   2 0 1 8 ,   p p .   7 8 4 7 8 9 ,     d o i :   1 0 . 1 8 6 5 3 / v 1 / P 1 8 - 2 1 2 4 .   [ 4 8 ]   J.  H .   C l a r k   e t   a l . ,   Ty D i   Q A :   a   b e n c h mar k   f o r   i n f o r m a t i o n - se e k i n g   q u e st i o n   a n sw e r i n g   i n   t y p o l o g i c a l l y   d i v e r se   l a n g u a g e s,   T ra n s a c t i o n o f   t h e   Asso c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s ,   v o l .   8 ,   p p .   4 5 4 4 7 0 ,   D e c .   2 0 2 0 ,   d o i :   1 0 . 1 1 6 2 / t a c l _ a _ 0 0 3 1 7 .   [ 4 9 ]   D .   Q .   N g u y e n   a n d   A .   T .   N g u y e n ,   P h o B E R T:   p r e - t r a i n e d   l a n g u a g e   mo d e l f o r   V i e t n a m e se,   i n   Fi n d i n g o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i s t i c s:   EM N L P   2 0 2 0 ,   2 0 2 0 ,   p p .   1 0 3 7 1 0 4 2 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . f i n d i n g s - e m n l p . 9 2 .   [ 5 0 ]   H. - G .   Zh a o ,   X . - Z.   L i ,   a n d   X .   K a n g ,   D e v e l o p me n t   o f   a n   a r t i f i c i a l   i n t e l l i g e n c e   c u r r i c u l u d e s i g n   f o r   c h i l d r e n   i n   Ta i w a n   a n d   i t s   i mp a c t   o n   l e a r n i n g   o u t c o mes,   H u m a n i t i e a n d   S o c i a l   S c i e n c e s   C o m m u n i c a t i o n s ,   v o l .   1 1 ,   n o .   1 ,   O c t .   2 0 2 4 ,   d o i :   1 0 . 1 0 5 7 / s 4 1 5 9 9 - 0 2 4 - 0 3 8 3 9 - z.   [ 5 1 ]   W .   Z h a n g ,   X .   Li ,   Y .   Y a n g ,   a n d   R .   D o n g ,   P r e - t r a i n i n g   o n   m i x e d   d a t a   f o r   l o w - r e s o u r c e   n e u r a l   ma c h i n e   t r a n sl a t i o n ,   I n f o rm a t i o n v o l .   1 2 ,   n o .   3 ,   M a r .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / i n f o 1 2 0 3 0 1 3 3 .   [ 5 2 ]   K .   P a p i n e n i ,   S .   R o u k o s ,   T.   W a r d ,   a n d   W . - J.  Z h u ,   B LEU :   a   me t h o d   f o r   a u t o mat i c   e v a l u a t i o n   o f   ma c h i n e   t r a n sl a t i o n ,   i n   Pro c e e d i n g o f   t h e   4 0 t h   A n n u a l   M e e t i n g   o n   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i s t i c -   A C L   0 2 ,   2 0 0 1 ,   p p .   3 1 1 318 ,     d o i :   1 0 . 3 1 1 5 / 1 0 7 3 0 8 3 . 1 0 7 3 1 3 5 .   [ 5 3 ]   S .   B a n e r j e e   a n d   A .   La v i e ,   M ETEO R :   a n   a u t o m a t i c   m e t r i c   f o r   M e v a l u a t i o n   w i t h   i mp r o v e d   c o r r e l a t i o n   w i t h   h u man   j u d g me n t s,”   i n   Pr o c e e d i n g o f   t h e   AC L   Wo r k s h o p   o n   I n t ri n s i c   a n d   Ex t ri n si c   Ev a l u a t i o n   Me a s u res   f o r   M a c h i n e   T ra n s l a t i o n   a n d / o r   S u m m a ri z a t i o n ,   2 0 0 5 ,   p p .   6 5 7 2 .   [ 5 4 ]   C. - Y .   L i n ,   R O U G E:   a   p a c k a g e   f o r   a u t o m a t i c   e v a l u a t i o n   o f   s u mm a r i e s ,   i n   T e x t   S u m m a ri z a t i o n   Bra n c h e s   O u t ,   B a r c e l o n a :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 0 4 ,   p p .   7 4 8 1 .   [ 5 5 ]   D .   S u l e i m a n   a n d   A .   A w a j a n ,   D e e p   l e a r n i n g   b a se d   a b st r a c t i v e   t e x t   s u mm a r i z a t i o n :   a p p r o a c h e s,  d a t a se t s,  e v a l u a t i o n   me a su r e s,  a n c h a l l e n g e s,”   M a t h e m a t i c a l   Pr o b l e m s   i n   E n g i n e e ri n g ,   v o l .   2 0 2 0 ,   p p .   1 2 9 ,   A u g .   2 0 2 0 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 0 / 9 3 6 5 3 4 0 .       B I O G RAP H I E S O F   AUTH O RS        H a n d a r u   J a ti          re c e iv e d   h is  P h . D.  d e g re e   in   C o m p u ter  a n d   In f o rm a ti o n   S c ien c e   fro m   Un iv e rsiti   Tek n o l o g P e tro n a s,  M a lay sia .   He   is  c u rre n tl y   a n   a ss o c iate   p ro fe ss o a th e   De p a rtme n o El e c tro n ics   a n d   In fo rm a ti c En g i n e e rin g   Ed u c a ti o n ,   U n iv e rsitas   Ne g e r i   Yo g y a k a rta,  In d o n e sia .   His  re se a rc h   in tere sts  in c l u d e   m a c h i n e   lea rn in g ,   a rti ficia in telli g e n c e ,   d e c isio n   s u p p o rt   sy ste m s,  d a ta  m in in g ,   so ftwa re   d e v e lo p m e n t,   a n d   v o c a ti o n a e d u c a ti o n .     He   h a p u b li sh e d   n u m e ro u p a p e rs  in   in tern a ti o n a jo u rn a ls  a n d   c o n fe re n c e s,  p a rti c u larly   i n   th e   a re a o f   AI   a p p li c a ti o n s   f o e d u c a ti o n   a n d   i n telli g e n t   sy ste m s.  He   h a a lso   b e e n   i n v o lv e d   in   se v e ra c o ll a b o ra ti v e   re se a rc h   p ro jec ts  a n d   c o m m u n it y   se rv ice   a c ti v it ies   fo c u si n g   o n   d ig it a l   lea rn in g   in n o v a t io n .   In   th is  p a p e r,   h e   c o n tri b u ted   t o   c o n c e p tu a li z a ti o n ,   m e th o d o l o g y   d e sig n ,   a n d   su p e rv isi o n .   He   c a n   b e   c o n ta c ted   a e m a il h a n d a r u @u n y . a c . i d .         Yun ia r   In d r ih a p sa r         is  a n   a ss istan p r o fe ss o a U n iv e rsitas   N e g e ri  Yo g y a k a rta  (UN Y),  In d o n e sia ,   a n d   a   P h . D .   stu d e n t   a Na ti o n a l   Taiwa n   Un iv e rsity   o f   S c ien c e   a n d   Tec h n o l o g y ,   Taiwa n .   S h e   re c e iv e d   h e Ba c h e lo r’s  d e g re e   in   El e c tri c a En g in e e ri n g   a n d   M a ste r’s  d e g re e   i n   I n fo rm a ti o n   Tec h n o lo g y   fr o m   Un i v e rsitas   G a d jah   M a d a ,   In d o n e sia .     He re se a rc h   in tere sts  in c lu d e   so c ial  n e two rk   a n a ly sis,   e - l e a rn in g ,   h u m a n - c o m p u ter   in tera c ti o n ,   a n d   e d u c a ti o n a tec h n o l o g y .   In   th is  p a p e r,   sh e   c o n tri b u ted   to   c o n c e p tu a li z a ti o n ,   writi n g     o ri g i n a d ra ft   p re p a ra t io n ,   a n d   f o rm a a n a ly sis.   S h e   c a n   b e   c o n tac ted   a t   e m a il :   y u n iar@u n y . a c . id .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       I n d o B E R T fo r   ed u ca tio n a l a s s ess men t:   co mp a r a tive  a n a lysi s   o f tra n s fo r mer m o d els  … ( Ha n d a r u   Ja ti )   1813     Pra d a n a   S e tia l a n a           is  a n   a ss ist a n p r o fe ss o in   th e   De p a rtme n t   o El e c tro n ics   a n d   In fo rm a ti c En g in e e ri n g   Ed u c a ti o n   a t   Un i v e rsitas   Ne g e ri  Yo g y a k a rta,  In d o n e sia .   He   re c e iv e d   h is  Ba c h e lo r   d e g re e   i n   I n fo r m a ti c En g i n e e rin g   E d u c a ti o n   fro m   Un i v e rsitas   Ne g e ri   Yo g y a k a rta  a n d   h is  M a ste d e g re e   in   I n fo rm a ti o n   Tec h n o l o g y   fr o m   Un iv e rsitas   G a d jah   M a d a ,   In d o n e sia .   His   re se a rc h   in tere sts  in c l u d e   s o ftwa re   e n g in e e rin g ,   n a tu ra lan g u a g e   p r o c e ss in g ,   m o b il e   a n d   c l o u d   c o m p u ti n g ,   a n d   d a tab a se   sy ste m s.  In   th is   p a p e r,   h e   c o n tri b u ted   t o   m e th o d o lo g y ,   so ftwa re   d e v e l o p m e n t,   a n d   d a ta  c u ra ti o n .   He   c a n   b e   c o n tac ted   a e m a il :   p ra d a n a . se ti a lan a @u n y . a c . i d .         Da n a n g   Wija y a           re c e iv e d   h is  Ba c h e lo d e g re e   in   In f o rm a ti c En g i n e e rin g   Ed u c a ti o n   fro m   U n iv e rsitas   Ne g e ri  Yo g y a k a rta,   In d o n e sia ,   a n d   h is  M a ste r   d e g re e   fr o m   t h e   In tern a ti o n a M a ste r’s  p ro g ra m   in   Artifi c ial  In telli g e n c e ,   Na ti o n a l   Ce n tral  Un i v e rsity ,   Taiwa n .   His  re se a rc h   in tere sts  i n c lu d e   a rt ifi c ial  in telli g e n c e   a n d   n a t u ra la n g u a g e   p ro c e ss in g .   I n   t h is   p a p e r,   h e   c o n tri b u ted   to   i n v e stig a ti o n ,   v a li d a ti o n ,   a n d   v is u a li z a ti o n .   He   c a n   b e   c o n tac ted   a t   e m a il d a n a n g wija y a 7 5 0 @g m a il . c o m .         S a ty a   Adh i y a k sa   Ar d y           re c e iv e d   h is  Ba c h e lo d e g re e   in   In f o rm a ti o n   Tec h n o l o g y   fro m   Un iv e rsitas   Ne g e ri  Yo g y a k a rta,  In d o n e sia .   He   is  c u rre n tl y   a   M a ste r’s  stu d e n in   t h e   De p a rtme n o f   El e c tro n ic  a n d   Co m p u ter   En g i n e e rin g   a Na ti o n a Taiwa n   Un i v e rsity   o f   S c ien c e   a n d   Tec h n o l o g y ,   Taiwa n .   His  re se a r c h   in tere sts  in c lu d e   a rti ficia in telli g e n c e ,   n a tu ra l   lan g u a g e   p r o c e ss in g ,   a n d   e d u c a ti o n a l   tec h n o lo g y .   I n   th is   p a p e r,   h e   c o n tri b u ted   to   writi n g     re v iew   a n d   e d it in g ,   re so u rc e s,  a n d   p ro jec a d m in istrati o n .   He   c a n   b e   c o n tac ted   a e m a il :   sa ty a a d h iy a k sa @g m a il . c o m .         Dhi sta   Dw Nur  Ar d i a n sy a h           h o l d a   Ba c h e lo r’s  d e g re e   in   In f o rm a ti c s   En g i n e e rin g   E d u c a ti o n   fro m   U n i v e rsitas   Ne g e ri  Yo g y a k a rta  (UN Y),  In d o n e sia .   He   is   p a rt   o f   th e   Dig it a l   Tran sfo rm a ti o n   Dire c to ra te  a Un i v e rsity   Na h d a tu l   Ul a m a   Yo g y a k a rta,  wh e re   h e   su p p o rts  i n stit u ti o n a d i g it a li z a t io n   i n it iati v e s.  His  re se a rc h   in tere sts  fo c u o n   m a c h in e   lea rn in g   a n d   it a p p li c a ti o n s.  In   th is  p a p e r,   h e   c o n tri b u te d   to   i n v e stig a ti o n ,   d a ta  c u ra ti o n ,   so ftwa re /p ro c e ss in g   sc rip ts,  v is u a li z a ti o n ,   a n d   wri ti n g ,   re v iew ,   a n d   e d it in g .   He   c a n   b e   c o n tac ted   a e m a il d h istad n a @g m a il . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.