I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   14 ,   No .   3 J u n e   20 25 ,   p p .   2490 ~ 2 5 0 5   I SS N:  2252 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 14 .i 3 . p p 2 4 9 0 - 2 5 0 5           2490     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   G enera tive a rtifi c ia l int ellig ence  as   a n eva lua tor a nd f eedba ck  too l in distance  le a rning a  cas e stu dy  on la w implem entatio n       Dia n Nurdia na 1 ,   M uh a m a d Riy a n M a ula na 1 ,   Siti  H a dija h H a s a na h 2 ,   M a dih a   Dza k iy y a h Cha irunn i s a 3 Av ely P ing k a n K o m un a 3 ,   M uh a m m a d Rif 'a n 1   1 I n f o r mat i o n   S y st e ms St u d y   P r o g r a m ,   F a c u l t y   o f   S c i e n c e   a n d   Te c h n o l o g y ,   U n i v e r si t a s   Te r b u k a S o u t h   T a n g e r a n g   C i t y I n d o n e si a   2 S t a t i st i c s   S t u d y   P r o g r a m,   F a c u l t y   o f   S c i e n c e   a n d   T e c h n o l o g y ,   U n i v e r s i t a Te r b u k a S o u t h   Ta n g e r a n g   C i t y I n d o n e s i a   3 La w   S t u d y   P r o g r a m,   F a c u l t y   o f   L a w ,   S o c i a l   S c i e n c e a n d   P o l i t i c a l   S c i e n c e s,  U n i v e r si t a Te r b u k a S o u t h   Ta n g e r a n g   C i t y I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 2 4 ,   2 0 2 4   R ev is ed   J an   2 8 ,   2 0 2 5   Acc ep ted   Ma r   1 5 ,   2 0 2 5       Th e   d e v e lo p m e n t   o g e n e ra ti v e   a rti ficia in telli g e n c e   (G AI)  h a imp a c ted   v a rio u s   field s,   in c l u d in g   h ig h e e d u c a ti o n .   Th is   re se a rc h   e x a m in e th e   u se   o f   G AI   a a n   e v a lu a to a n d   fe e d b a c k   p ro v id e i n   d istan c e   leg a e d u c a ti o n .   T h is  stu d y   tes ted   fi v e   G AI  m o d e ls:  Ch a tG P T,   P e rp lex it y ,   G e m in i,   Bin g ,   a n d   Yo u ,   u sin g   a   sa m p le  o 2 0   stu d e n ts  a n d   e v a l u a ti o n fro m   leg a l   e x p e rts.   De sc rip ti v e   sta ti stica a n a ly sis  a n d   n o n - p a ra m e tri c   tes ts,  in c lu d in g   Wi lco x o n ,   i n trac las c o rre latio n   c o e fficie n (ICC),   Ka p p a ,   a n d   Ke n d a ll ' W,   we re   u se d   to   a ss e ss   a c c u ra c y ,   f e e d b a c k   q u a li t y ,   a n d   u s a b il it y .   Th e   re su lt s   sh o we d   th a C h a tG P wa th e   m o st  e ffe c ti v e   GA I,   with   th e   h i g h e st  m e a n   sc o re o 4 . 2 2   fro m   e x p e rts  a n d   4 . 1 2   fro m   stu d e n ts,   fo ll o we d   b y   G e m in with   sc o re s o 4 . 1 5   a n d   4 . 0 7 .   I n   t e rm o b i n a ry   ju d g e m e n a c c u ra c y ,   G e m in sc o re d   8 0 % ,   Ch a tG P 6 0 % ,   w h il e   P e rp lex it y ,   Bi n g ,   a n d   Yo u   h a d   lo we sc o re s.  S tatisti c a a n a ly sis  sh o w e d   m o d e ra te  a g re e m e n (ICC= 0 . 4 3 9 a n d   lo a li g n m e n (Ka p p a = - 0 . 0 5 8 b e twe e n   th e   G AIs   a n d   e x p e rt  e v a lu a ti o n s,   with   a   Ke n d a ll ' v a lu e   o f   0 . 5 7 6   in d ica ti n g   m o d e ra te  c o n s isten c y   in   ju d g e m e n ts.  Th e se   fin d i n g e m p h a siz e   th e   imp o rta n c e   o se lec ti n g   e ffe c ti v e   G AI su c h   a Ch a tG P a n d   G e m in t o   imp r o v e   a c a d e m ic  e v a lu a ti o n   a n d   lea rn in g   in   leg a e d u c a ti o n ,   a n d   p a v e   th e   wa y   f o fu r th e in n o v a ti o n i n   th e   u se   o AI.   K ey w o r d s :   AI   e v alu atio n   Ass ig n m en f ee d b ac k   Dis tan ce   l ea r n in g   G e n e r a t i v e   a r t i f i ci a l   i n t e l li g e n ce   L aw  s cien ce   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Dian   Nu r d ian a   I n f o r m atio n   Sy s tem s   Stu d y   Pr o g r am ,   Facu lty   o f   Scien ce   a n d   T ec h n o lo g y ,   U n iv er s itas   T er b u k a   St .   Pd .   C ab R ay a,   Pd .   C ab Ud ik ,   C ip u tat,   So u th   T a n g er a n g   C ity ,   B an ten   1 5 4 3 7 ,   I n d o n esia   E m ail: d ian . n u r d ian a@ ec am p u s . u t.a c. id       1.   I NT RO D UCT I O N   Gen er ativ d ev el o p m e n ar tifi cial  in tellig en ce   ( GAI )   h as  n o r ea ch ed   a n   im p r ess iv p o in t,  with   th e   ab ilit y   to   p er f o r m   in c r ea s in g ly   co m p lex   task s   an d   ap p r o ac h   h u m a n   in tellig en ce   in   v ar io u s   f ield s   [ 1 ] Ad v an ce s   in   n at u r al  lan g u ag e   p r o ce s s in g   tech n o lo g y ,   co m p u ter   v is io n ,   a n d   m ac h in lear n in g   h a v en a b led   GAI   to   p lay   r o le  in   v a r ie ty   o f   s ec to r s ,   f r o m   h ea lth ca r e ,   m an u f ac t u r in g ,   to   ed u ca tio n al  s er v ices  [ 2 ] [ 4 ] T h b en e f its   o f   GAI   in clu d e   in cr ea s ed   o p er atio n al  e f f icien cy ,   b etter   d ec is io n - m a k in g   b ased   o n   f aster   an d   m o r ac cu r ate  d ata  a n aly s is ,   an d   th e   ab ilit y   to   a u to m ate  p r o ce s s es  th at  r eq u ir h ig h - p r ec is io n   [ 5 ] [ 1 ] .   I n   t h e   ed u ca tio n   s ec to r ,   GAI   o f f er s   a   v ar iety   o f   ap p licatio n s   th at  ca n   r ev o lu tio n ize  th way   teac h i n g   an d   lear n in g   ar e   ca r r ied   o u [ 6 ] [ 7 ] .   On e x am p le  o f   th u s o f   GAI   in   ed u ca tio n   is   in   th co n tex t o f   d is tan ce   ed u ca tio n ,   wh e r e   GAI   ca n   h elp   cr ea te  a   m o r in ter ac tiv e   an d   p er s o n ali ze d   lear n i n g   ex p e r ien ce   f o r   s tu d en ts   wh o   a r g eo g r a p h ically   s ep ar ated   f r o m   th eir   in s tr u cto r s   [ 8 ] [ 9 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Gen era tive  a r tifi cia l in tellig en ce   a s   a n   ev a l u a to r   a n d   feed b a ck   to o l in   d is ta n ce   le a r n in g :   …  ( Dia n   N u r d ia n a )   2491   I n   th co n tex o f   d is tan ce   e d u ca tio n ,   GAI   p lay s   s ig n if ican r o le  in   im p r o v in g   th q u ality   o f   in ter ac tio n s   b etwe en   teac h er s   an d   s tu d en ts   [ 1 0 ] [ 1 1 ] .   GAI   tech n o lo g y   allo ws  th cr ea tio n   o f   m o r ad ap tiv e   lear n in g   e n v ir o n m en t,   wh er e   l ea r n in g   m ater ials   ca n   b ad ap t ed   to   i n d iv id u al  s tu d en t   n ee d s   an d   p r o g r ess   [ 1 2 ] GAI   ca n   b u s ed   to   p r o v i d s tu d y   g u id es  th at  ar m o r s tr u ctu r ed   an d   ca n   b ac ce s s ed   at  an y   tim e,   h elp in g   s tu d en ts   to   r em ain   in v o lv e d   in   th lear n in g   p r o ce s s   ev en   t h o u g h   th ey   ar f a r   f r o m   th in s tr u cto r   o r   lectu r e r   [ 1 3 ] [ 1 4 ] .   GAI - b ased   v ir tu a ass i s tan ts   ca n   a ls o   s u p p o r s tu d en ts   in   co m p letin g   th eir   ass ig n m en ts   b y   p r o v id i n g   n ec ess ar y   ass is tan ce   an d   in f o r m atio n   [ 1 5 ] .   Me an wh ile,   in   th f ield   o f   leg al  s cien ce ,   th im p lem en tatio n   o f   GAI   ca n   c o n tr ib u te  to   h elp in g   s tu d e n ts   u n d er s tan d   c o m p lex   leg al  c o n ce p ts   an d   p r e p ar th em   f o r   in - d e p th   leg al  ca s a n aly s is   [ 1 6 ] .   L eg al  s cien ce   is   co m p lex   a n d   d y n a m ic  f ield ,   r eq u i r in g   a n   in - d ep th   u n d er s tan d in g   o f   l eg al  tex ts ,   ju r id ical  p r ec ed en ts ,   an d   cr itical  an aly s is   o f   v ar io u s   ca s es  [ 1 7 ] [ 1 9 ] .   E v alu atio n   in   law  f o cu s es  n o o n ly   o n   th eo r etica u n d er s tan d in g ,   b u also   o n   s tu d en t' s   ab il ity   to   ap p ly   leg al  p r in ci p les  to   f ac tu al  s itu atio n s     [ 2 0 ] [ 2 1 ] .   Feed b ac k   g iv e n   to   law  s tu d en ts   m u s b ab le  to   g u id th em   in   u n d er s tan d in g   th co m p lex ity   o f   th e   law  an d   d ev elo p in g   th e   n ec e s s ar y   an aly tical  s k ills   [ 2 2 ] [ 2 3 ] .   T h e   cu r r en u s o f   GAI   in   le g al  s cien ce   is   lim ited   to   to o ls   f o r   s ea r ch i n g   f o r   leg al   in f o r m atio n ,   an aly zi n g   leg al  te x ts ,   an d   s im u latin g   s im p le  ca s es  [ 1 6 ] Alth o u g h   th is   tech n o l o g y   h as  b ee n   u s ed   f o r   v ar io u s   p u r p o s es,  its   u s in   a s p ec ts   o f   ac ad em ic  ass es s m en s til n ee d s   to   b e   o p tim ized   [ 2 4 ] .   Ma n u ally   e v alu atin g   s tu d en t   ass ig n m en ts   r eq u ir es  s ig n i f ican tim a n d   ef f o r f r o m   i n s tr u cto r s ,   wh ich   ca n   r ed u ce   th e   tim av ailab le   f o r   o th er   teac h i n g   ac tiv ities   [ 2 5 ] [ 2 6 ] .   B y   u tili zin g   GAI ,   th is   p r o ce s s   ca n   b a u t o m ated   s o   t h at  teac h er s   ca n   f o cu s   m o r e   o n   d e v elo p in g   lea r n in g   m ater ials   an d   in ter ac tin g   with   s tu d en ts   [ 2 7 ] [ 2 8 ] .   I n   t h e   c o n t e x t   o f   d i s t a n c e   e d u c a t i o n ,   G A I   h a s   e x c e ll e n t   p o t e n t i a l   t o   o v e r c o m e   s o m e   o f   t h e   m a i n   c h a l l e n g e s   i n   d is t a n ce   e d u c a ti o n   [ 2 9 ] .   G A I   c a n   a l l o w   f o r   l i m it e d   d i r e ct   i n te r a c t i o n   b etw e e n   s t u d e n t s   a n d   i n s t r u c t o r s ,   s o   t i m e l y   a n d   q u a l i t y   f e e d b a c k   i s   c r it i c al   t o   m a i n t a i n i n g   s t u d e n t   e n g a g e m e n t   a n d   l e a r n i n g   p r o g r e s s   [ 3 0 ] [ 3 1 ] .   T h i s   t e c h n o l o g y   h a s   t h e   p o t e n t i a l   t o   p r o v i d e   f a s t ,   a c c u r a t e ,   a n d   p e r s o n a l i z e d   e v a l u a t i o n s ,   w h i c h   i n   t u r n   c a n   h e l p   s t u d e n ts   u n d e r s t an d   t h e   m a t e r i a l b e t t e r   a n d   c o r r e c t   t h e i r   m i s ta k e s   m o r e   e f f ec t i v e l y   [ 3 2 ] [ 3 3 ] .   W i t h   t h e   i n c r e as i n g   a d o p t i o n   o f   d i s ta n c e   e d u c a t i o n ,   m a i n l y   d u e   t o   t h e   C O V I D - 1 9   p a n d e m ic ,   t h e r e   i s   a n   u r g e n t   n e e d   f o r   e v a l u a t i o n   s o l u ti o n s   t h at   c an   a d d r e s s   t h e   c h al l e n g es   f a c e d   b y   t e a c h e r s   a n d   s t u d e n t s   [ 3 4 ] [ 3 5 ] .   Pre v io u s   r esear ch   h as  p r o v e n   th at  AI   ca n   b e   u s ed   to   p e r s o n alize   lear n in g   an d   d ata  an aly s is   to   im p r o v e   s tu d en lear n in g   o u tc o m es  [ 3 6 ] .   T h e   im p licatio n s   o f   p r ev i o u s   r esear ch   s h o th at  AI   tech n o lo g y   h as   ex ce llen p o te n tial  to   in c r ea s th ef f icien cy   an d   ef f ec tiv e n ess   o f   th e   lear n in g   p r o ce s s .   Ho wev er ,   r esear c h   s p ec if ically   ex p lo r in g   th u s o f   GAI   in   ass ig n m en ev alu atio n   an d   f ee d b ac k   is   lim ited   [ 3 7 ] .   Me an wh ile,     Su   an d   Yan g   [ 3 8 ]   ex am i n ed   th u s e   o f   C h atGPT   in   e d u ca ti o n   th r o u g h   th e   I DE E   f r am ew o r k ,   wh ich   in clu d es   d esire d   r esu lts ,   lev el  o f   au to m atio n ,   eth ics,  an d   ev alu at io n   o f   ef f ec tiv en ess .   T h is   r esear ch   s h o ws  th at   C h atGPT   ca n   in cr ea s p er s o n aliza tio n   an d   lear n in g   ef f ici en cy   an d   im p r o v e   teac h er   f e ed b ac k .   Ho wev er ,   ch allen g es in clu d u n test ed   ef f ec tiv en ess ,   d ata  q u ality ,   an d   eth ical  an d   s af ety   is s u es.  T h is   s tu d y   h ig h lig h ts   th e   g r ea t p o ten tial o f   C h atGPT   in   ed u ca tio n ,   b u t sti ll e m p h asize s   th n ee d   to   o v er co m th ch allen g es.  T h er ef o r e ,   th is   r esear ch   aim s   to   f ill  th is   g ap   b y   ex p lo r in g   t h p o s s ib ilit y   o f   GAI   in   th e   co n tex o f   s tu d en ass ig n m en t   ev alu atio n ,   esp ec ially   in   im p le m en tin g   laws in   leg al  ca s s tu d ies.   T h f o cu s   o f   th is   r esear ch   is   to   ex p lo r an d   an aly ze   th u s e   o f   GAI   as  an   ev alu ato r   an d   p r o v id er   o f   f ee d b ac k   in   s tu d e n ass ig n m en ts   in   th d is tan ce   ed u ca tio n   s ec to r ,   f o c u s in g   o n   le g al  ca s s tu d ies.  T h is   r esear ch   m eth o d o lo g y   in v o l v es  test in g   f iv ty p es  o f   GAI ,   n am ely   C h atGPT ,   Per p lex ity ,   Gem in i,  B in g ,   an d   Yo u ,   in v o lv in g   2 0   s tu d en ts   as sam p les.  E ac h   GAI   will  ass e s s   an d   p r o v id f ee d b ac k   o n   ass ig n m en ts   r eg ar d in g   th im p lem e n tatio n   o f   laws  i n   leg al   ca s s tu d ies,  wh ich   ar th en   co m p ar ed   with   th e   ass ess m en ts   an d   in p u t   f r o m   leg al  e x p er ts .   T h m ea s u r em en t v ar iab les  in clu d th r ee   m ain   asp ec ts ac cu r ac y ,   q u ality   o f   f ee d b ac k ,   an d   u s ef u ln ess   o f   f ee d b ac k   f o r   s tu d en ts .   Acc u r ac y   in   th is   co n tex t r ef er s   to   th ex ten t to   wh ich   GAI   c an   p r o v i d ass ess m en ts   th at  c o m p ly   with   ap p licab le  ac a d em ic  a n d   leg a s tan d ar d s   [ 3 9 ] [ 4 0 ] .   So m liter atu r s tates  th at  th e   ac cu r ac y   o f   A I   in   task   ev alu atio n   d e p en d s   o n   th alg o r ith m   u s ed   a n d   th d ata  o n   w h ich   it  was  tr ain ed   [ 4 1 ] .   T h is   s tatem en is   in   lin e   with   th r esear c h   r esu lts   o f   [ 4 2 ]   w h o   e x p r ess ed   t h o p in io n   th at  AI   h as  g r ea p o ten tial  to   p r o v id e   ac cu r at e   ev alu atio n s   if   it is   tr ain ed   with   ap p r o p r iate  an d   r elev an d ata.   Me an wh ile,   f ee d b ac k   q u ality   in v o lv es  ev alu atin g   h o in - d e p th   an d   v alu a b le  th e   f ee d b ac k   p r o v id ed   b y   GAI   is   [ 3 9 ] .   Qu ality   f ee d b ac k   n o o n ly   p o in ts   o u er r o r s ,   b u also   p r o v id es  ex p lan atio n s   th at  h elp   s tu d en ts   u n d er s tan d   th c o r r ec co n ce p ts   [ 4 3 ] [ 4 4 ] .   Acc o r d in g   to   L ip n ev ich   an d   Pan ad er o   [ 4 5 ] ,   in   th eir   s tu d y   o n   ed u ca tio n al  f ee d b ac k   em p h asi ze s   th im p o r tan ce   o f   clea r ,   s p ec if ic,   an d   r ele v an f ee d b ac k   to   im p r o v s tu d en lear n in g   o u tco m es.   T h u s ef u ln ess   o f   f ee d b ac k   f o r   s tu d en ts   ass ess e s   h o ef f e ctiv th f ee d b ac k   is   in   h elp i n g   s tu d en ts   co r r ec m is tak es  an d   im p r o v th eir   u n d er s tan d i n g   [ 4 6 ] .   Help f u f ee d b ac k   is   th at  wh ich   s tu d en ts   ca n   im m ed iately   ap p ly   i n   s u b s eq u en ass ig n m en ts   [ 4 7 ] .   E f f ec tiv f ee d b ac k   e n co u r ag es  s elf - r ef lectio n   an d   co n tin u o u s   lear n in g   [ 4 8 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  14 ,   No .   3 J u n e   20 25 :   2 4 9 0 - 2 5 0 5   2492   T h is   r esear ch   ex p lo r es  th p o ten tial  f o r   u s in g   g en er ati v AI   as  an   ev alu atio n   an d   f ee d b a ck   to o in   d is tan ce   leg al  ed u ca tio n .   T h i s   r esear ch   is   ex p ec ted   to   id e n tify   th m o s ef f ec tiv GAI   in   ass ess in g   an d   p r o v id i n g   f ee d b ac k   o n   law  s tu d en ass ig n m en ts .   T h r esu lt s   o f   th is   r esear ch   will  p r o v id in s ig h in to   h o GAI   ca n   b m o r th o r o u g h ly   in teg r ated   in to   t h d is tan ce   lear n in g   p r o ce s s   to   im p r o v th ef f icien cy   a n d   q u ality   o f   ass ig n m en t   ass ess m en an d   p r o v id e   co n s tr u ctiv e   f ee d b ac k   f o r   s tu d en ts .   T h u s ,   th is   r esear ch   h as  th e   p o ten tial  to   p av th e   way   f o r   f u r th er   i n n o v atio n   in   th u s o f   AI   tech n o lo g y   in   e d u ca tio n ,   e s p ec ially   law.   T h is   r esear ch   p r o v id es  p r ac tical  co n tr ib u tio n s   to   ed u ca tio n al   in s titu tio n s   an d   en r ic h es  ac ad em ic  liter atu r e   r eg ar d in g   th a p p licatio n   o f   ad v an ce d   tech n o lo g y   in   m o d er n   lear n in g   p r o ce s s es.       2.   M E T H O D   T h is   s tu d y   aim s   to   ev alu ate  th ef f ec tiv en ess   o f   GAI   i n   p r o v id i n g   ass ess m en an d   f e ed b ac k   o n   s tu d en ass ig n m en ts   in   th co n tex o f   d is tan ce   e d u ca tio n   i n   law.   T h m ain   f o cu s   o f   th is   s tu d y   was  to   ass es s   th ac cu r ac y ,   q u ality   o f   f ee d b ac k ,   an d   u s ef u ln ess   o f   f ee d b a ck   p r o v id e d   b y   f i v d i f f er en t   GAI   m eth o d s   w h ich   wer th en   co m p ar e d   with   ass ess m en ts   f r o m   leg al  ex p er ts .   Usi n g   q u an titativ ap p r o ac h   an d   s tatis tical   an aly s is ,   th is   r esear ch   will  p r o v id i n - d e p th   in s ig h t   in to   h o GAI   ca n   b e   o p tim ized   in   an   e d u ca tio n al   en v ir o n m en t.     2 . 1 .     Resea rc f lo w   T h is   s tu d y   f o llo ws  s y s tem at ic  an d   s tr u ctu r ed   ap p r o ac h ,   d i v id ed   in to   s ev er al  k ey   s tag es  illu s tr ated   in   Fig u r e   1 .   T h r esear ch   p r o ce s s   is   o r g an ized   m eth o d icall y ,   with   ea c h   s tag clea r l y   d e f i n ed   an d   s eq u en ce d .   R ef er   to   Fig u r 1   to   s ee   th p r im ar y   s tep s   in v o lv e d   in   th is   r es ea r ch .           Fig u r 1 .   Pro p o s ed   r esear c h   f l o w       T h is   r esear ch   b eg an   with   co llectin g   d ata  f r o m   th e - lear n i n g   p latf o r m   s tu d en ts   u s to   co m p lete  th eir   ac ad em ic  ass ig n m en ts .   T h a s s ig n m en ts   aim   to   test   s tu d e n ts '   u n d er s tan d in g   an d   s k ills   in   law,   esp ec ially   r eg ar d in g   co p y r ig h an d   p ate n r ig h ts .   to tal  o f   2 0   s tu d en ts   p ar ticip ated   in   th is   r esear ch ,   wh er th ey   wer e   g iv en   q u esti o n s   th at  r eq u ir ed   th em   to   an aly ze   h y p o th etica ca s es.  Stu d en ts   ar g iv en   s u f f icien tim to   wo r k   o n   an d   co llect  th eir   an s wer s   v ia  th e - lear n in g   p latf o r m .   T h s elec tio n   o f   2 0   s tu d en ts   was   b ased   o n   o b tain in g   s am p le  th at   was  r e p r esen ta tiv en o u g h   b u co u ld   s till   b m an a g ed   well   in   d ata  a n aly s is .   E ac h   s tu d e n s u b m its   wr itten   an s wer s   r ef l ec tin g   th eir   u n d er s tan d in g   o f   h o tec h n o lo g ical  wo r k s   c an   b e   p r o tecte d   b y   co p y r ig h t a n d   p aten ts   p er   r ele v an t r eg u latio n s   an d   t h eo r ies.   On ce   all  th an s wer s   ar co lle cted ,   th n ex s tag is   ev alu atin g   th an s wer s   u s in g   f iv d if f er en GAI .   E ac h   GAI   ass ess es  s tu d en an s wer s   b ased   o n   p r ed eter m in ed   cr iter ia,   s u ch   as  ac cu r a cy   o f   in f o r m atio n ,   co n f o r m ity   with   r ele v an leg al  th eo r y ,   an d   ab ilit y   to   an s wer   q u esti o n s   co m p r eh e n s iv ely .   T h ass ess m en t   p r o v id e d   b y   GAI   is   th en   co m p ar ed   with   th e v alu atio n   p r o v id ed   b y   ex p e r ien ce d   leg al  e x p er ts .   L eg al  ex p e r ts   ass es s   s tu d en ts '   an s wer s   u s in g   th eir   in - d ep th   k n o wled g o f   co p y r ig h a n d   p aten law,   a s   well  as  ap p licab le  p r o f ess io n al  s tan d ar d s .   T h is   co m p ar is o n   aim s   to   e v alu ate  th ex ten to   wh ich   ass ess m en ts   b y   GAI   ar in   lin e   with   ex p er t a s s ess m en ts ,   as w ell  as to   id en tify   s ig n if ican d if f er en ce s   b etwe en   AI   an d   h u m an   ev alu atio n s .   Data   an aly s is   was   ca r r ied   o u u s in g   d escr ip tiv an d   n o n - p ar am etr ic  s tatis t ics.  Descr ip tiv s tatis t ical   an aly s is   p r o v id es  g en er al  d escr ip tio n   o f   th d ata  t h at  h as   b ee n   c o llected ,   in clu d in g   t h e   ca lcu latio n   o f   th av er ag a n d   s tan d ar d   d ev iatio n   o f   th e   ass ess m en ts   p r o v id ed   b y   GAI   an d   e x p er ts .   Fo r   m o r in - d e p th   a n aly s is ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Gen era tive  a r tifi cia l in tellig en ce   a s   a n   ev a l u a to r   a n d   feed b a ck   to o l in   d is ta n ce   le a r n in g :   …  ( Dia n   N u r d ia n a )   2493   non - p ar am etr ic  s tatis tical  m eth o d s   ar u s ed   b ec au s th is   m eth o d   d o es  n o r eq u ir c er tain   d is tr ib u tio n   ass u m p tio n s   f r o m   t h d ata  [ 4 9 ] .   T h e   m eth o d   u s ed   i n clu d es   th W ilco x o n   T est  to   test   s ig n if ican d if f e r en ce s   b etwe en   GAI   ass ess m en ts   an d   ex p er ass ess m en ts ,   th in tr ac lass   co r r elatio n   co ef f icien t   ( I C C )   to   m ea s u r th lev el  o f   co n s is ten cy   o r   r eliab i lity   o f   ass ess m en ts   b etwe en   v ar io u s   GAI s   an d   e x p er ts ,   as  well  as  Kap p a n d   Ken d all' s   W   to   ass es s   th lev el  o f   ag r ee m en b etwe en   ass ess m en ts   o f   v ar io u s   GAI s   an d   ex p er ass ess m en ts   [ 5 0 ] [ 5 1 ] .   T h e   ac cu r ac y   o f   GAI ' s   a s s es s m en is   m ea s u r ed   b y   co m p a r in g   GAI ' s   ass es s m en r esu lts   with   ex p er t   ass es s m en ts   u s in g   th tr u m etr ic  p o s itiv ( T P),   tr u e   n eg at iv ( T N) ,   f alse  p o s itiv ( FP ) ,   an d   f alse  n e g ativ e   ( FN)   [ 5 2 ] .   T h q u ality   o f   th f ee d b ac k   p r o v id ed   b y   ea ch   GAI   is   ev alu ated   b y   ex p er ts   u s in g   L ik er s ca le  to   m ea s u r th ex ten to   wh ich   th f ee d b ac k   is   ac cu r ate,   r ele v an t,  an d   v alu ab le  in   an   ac ad em ic  co n tex [ 5 3 ] Stu d en ts   wer also   ask ed   to   r a te  th u s ef u l n ess   o f   th e   f ee d b a ck   th ey   r ec eiv ed   u s in g   L ik e r s ca le,   to   p r o v id e   in s ig h in to   th e   ef f ec tiv e n ess   o f   f ee d b ac k   f r o m   v a r io u s   GA I s   in   th lear n in g   co n tex t.   T h q u esti o n s   g iv e n   to   s tu d en ts   ar d esig n ed   b ased   o n   B lo o m ' s   T ax o n o m y ,   wh ich   in clu d es  s ix   co g n itiv le v els:   r em em b er in g ,   u n d er s tan d i n g ,   ap p ly in g ,   an al y zin g ,   ass ess in g ,   an d   cr ea tin g   [ 5 4 ] .   T h is   q u esti o n   r eq u ir es  s tu d en ts   to   id en tify   th b asic  co n ce p ts   o f   co p y r ig h an d   p aten r ig h ts ,   e x p lain   t h d if f er e n ce   b etwe en   co p y r ig h an d   p aten r ig h ts ,   u s r elev an th eo r ies  an d   r eg u latio n s   to   d eter m in wh eth er   wo r k   ca n   b p r o tecte d   b y   co p y r ig h o r   p aten t   r ig h ts ,   an aly ze   th g iv en   ca s to   id en tify   th elem en ts   - elem en ts   th at  q u alif y   f o r   c o p y r ig h an d   p aten t   p r o tectio n ,   ass ess   th v alid ity   o f   th p r o tectio n   th at  ca n   b e   af f o r d e d   to   A' s   wo r k   u n d er   ap p licab le  law,   an d   co n s tr u ct  co m p r eh en s iv a n d   l o g ical  ar g u m en ts   s u p p o r tin g   t h eir   co n clu s io n s .     2 . 2 .     T e s t i n g   t h e   q u a l i t y   o f   f e e d b a c k   a c c o r d i n g   t o   e x p e r t s   a n d   t h e   u s e f u l n e s s   o f   f e e d b a c k   a c c o r d i n g   t o   s t u d e n t s   T o   ass ess   th q u ality   o f   f ee d b ac k   p r o v id ed   b y   th GAI   m eth o d ,   r esear c h er s   in v o lv e d   f iv leg al  ex p er ts   to   co n d u ct  an   ass ess m en u s in g   th L ik er s ca le.   T h i s   as s ess m en was  ca r r ied   o u u s in g   L ik er s ca le  with   f iv lev els  o n   s ca le  o f   1   ( s tr o n g ly   d is ag r ee ) ,   2   ( d is ag r ee ) ,   3   ( n e u tr al) ,   4   ( ag r ee ) ,   a n d   5   ( s tr o n g ly   ag r ee )   [ 5 5 ] .   E x p e r ts   wer ask ed   to   a s s es s   s ev er al  asp ec ts   o f   th q u ality   o f   f ee d b ac k   p r o v id ed   b y   GAI ,   as  s tated   b y   [ 5 6 ] .   T h ese  asp ec ts   in clu d ed   clar ity   ( h o clea r   an d   ea s y   to   u n d er s tan d   th f ee d b ac k   is ) ,   r elev an ce   ( h o w   r elev an th f ee d b ac k   is   to   th e   ass ig n ed   task ) ,   d ep th   ( h o in - d ep th   th a n aly s is   an d   ad v ice   p r o v id e d   ar e) ,   an d   co n s tr u ctiv ity   ( h o co n s tr u ct iv th f ee d b ac k   is   in   h elp i n g   s tu d en ts   co r r ec m is tak es  an d   im p r o v t h eir   u n d er s tan d i n g ) .     2 . 3 .     Uses   o f   f ee db a c k   a cc o rding   t o   s t ud ent s   Stu d en ts   wer also   ask ed   to   ev alu ate  th u s ef u ln ess   o f   th f ee d b ac k   th ey   r ec eiv ed   b ased   o n   s ev er al   asp ec ts .   T h ey   ass es s ed   th f ee d b ac k ' s   b en ef its   ( h o v alu ab l th f ee d b ac k   is   in   th eir   lear n in g   p r o ce s s )   an d   its   ap p licab ilit y   ( h o ea s y   th f e ed b ac k   is   to   a p p ly   in   f u tu r a s s ig n m en ts ) .   T h is   ev alu atio n   was  d o n u s in g   t h e   s am f iv e - lev el  L ik er t scale   [ 5 7 ] .     2 . 4 .     Student   a s s ig nm ent   qu estio ns   T h q u esti o n s   g iv en   to   s tu d en ts   to   b an aly ze d   an d   an s wer ed   b y   th f iv GAI s   ca n   b s ee n   in     Fig u r 2 .   Af ter   th at,   t h an s wer s   wer co m p ar ed   with   t h a s s es s m en ts   f r o m   ex p er ts .   I n   t h co n tex o f   leg al   ed u ca tio n   an d   ev alu atin g   s tu d en ass ig n m en ts   u s in g   GAI ,   th f o cu s   lies   i n   th e   co g n itiv d o m ain ,   wh ic h   in clu d es k n o wled g a n d   cr itic al  th in k in g   s k ills .   T h is   r esear ch   d esig n ed   q u esti o n s   b ased   o n   B lo o m ' s   tax o n o m y   to   m ea s u r v ar i o u s   lev els o f   c o g n itiv ab ilit y   [ 5 4 ] [ 5 8 ] .             Fig u r 2 .   I n s tr u ctio n s   o n   AI   t e s tin g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  14 ,   No .   3 J u n e   20 25 :   2 4 9 0 - 2 5 0 5   2494   3.   RE SU L T S   T h is   r esear ch   aim s   to   ex p lo r e   th ef f ec tiv en ess   o f   GAI   as  a n   ev alu ato r   an d   p r o v id er   o f   f e ed b ac k   in   th co n tex t   o f   d is tan ce   ed u ca tio n ,   with   a   p ar ticu lar   f o c u s   o n   im p lem e n tin g   law  in   leg al   s cien ce .   T h e   to tal  r esp o n d en ts   i n   th is   r esear c h   wer 2 0   Un iv er s itas   T er b u k I n d o n esian   s tu d en ts   r e g is ter ed   in   th e   leg al  s tu d ies   s tu d y   p r o g r am .   Usi n g   f i v ty p es  o f   GAI ,   th is   r esear ch   m e asu r es  th r ee   m ain   asp ec ts ass ess m en ac cu r ac y ,   f ee d b ac k   q u ality ,   a n d   f ee d b ac k   u s ef u ln ess   f o r   s tu d en ts .     3 . 1 .     Ass ess m ent   a cc ura cy   a n a ly s is   Ass es s m en ac cu r ac y   is   th p r im ar y   m etr ic  u s ed   to   d ete r m in h o well  GAI   m ee ts   ac ad em ic  s tan d ar d s   in   its   ass e s s m en ts .   T h is   v ar iab le  is   m ea s u r ed   in   two   way s b y   co m p ar in g   GAI   ass ess m en t s   with   th o s o f   leg al  ex p er ts ,   an d   b y   ev alu atin g   th tr u o r   f alse  r esu lts   b etwe en   GAI   an d   le g al  ex p er ts .   T h ese   ap p r o ac h es h elp   g a u g th e   p r e cisi o n   o f   GAI ' s   ev alu atio n s .     3 . 1 . 1 .   Co m pa riso n o f   G AI' s   a s s ess m ent   wit h leg a l e x pert s   I n   th is   ap p r o ac h ,   th e   ass ess m e n g iv en   b y   ea ch   GAI   is   co m p ar ed   with   t h ev al u atio n   g iv e n   b y   leg al   ex p er ts .   T h aim   is   to   s ee   wh eth er   GAI   ca n   p r o v id ju d g m e n ts   th at  ar clo s to   o r   eq u iv al en to   leg al  ex p er ts   r eg ar d in g   an aly s is ,   co n clu s io n s   an d   in ter p r etatio n   o f   leg al   ca s es.  Fig u r 3   s h o ws  th as s ess m en r esu lt s   o f   ea ch   GAI   co m p a r ed   with   ass ess m en ts   f r o m   leg al  ex p e r ts .           Fig u r e   3 .   Dis tr ib u tio n   o f   GAI   ass es s m en t d ata  with   ex p er ts       B ased   o n   th d ata  v is u aliza tio n   f r o m   Fig u r 3   o f   th task   ass ess m en t s   ca r r ied   o u b y   v ar io u s   AI   m eth o d s   an d   co m p ar ed   with   t h s co r es  g iv e n   b y   ex p er ts ,   it   ca n   b e   s ee n   in   Fig u r e   3   th at   GAI   ten d s   to   g iv h ig h er   ass ess m en ts   th an   th as s ess m en ts   g iv en   b y   ex p er ts .   Fo r   ex am p le,   in   ca s n u m b e r   1 ,   th s co r g iv en   b y   th ex p er is   8 5 ,   wh ile  C h atG PT  g iv es  s co r o f   1 0 0 ,   Per p lex ity   9 0 ,   Gem in 8 0 ,   B in g   9 0 ,   an d   Yo u   9 0 .   T h is   s h o ws  th at  th e   AI   m eth o d   c o n s is ten tly   ten d s   to   g iv h i g h er   s co r es.   Ad d itio n ally ,   th e r ar e   v ar iatio n s   in   s co r in g   b etwe en   d if f e r en AI   m eth o d s .   Fo r   ex am p le,   o n   n u m b er   4 ,   C h atGPT ,   Per p lex ity ,   an d   Gem in g iv r atin g   o f   9 5 ,   w h ile  B in g   g iv es  9 0 ,   a n d   Yo u   g iv es  an   8 5 .   D esp ite  th ese  v ar iatio n s ,   s o m GAI   m eth o d s   s u ch   as C h atGPT   an d   Gem in i sh o an   o v e r all  tr en d   lev el  cl o s er   to   th s co r es g iv en   b y   e x p er ts   t o   ea ch   s tu d en t.   T h e   lim itatio n s   o f   AI   ar also   v is ib le  in   ca s es  wh er th AI   m eth o d   ca n n o p r o v id e   ju d g m en t,  m ar k e d   with   m ax im u m   c h ar ac ter   lim it  r e ac h ed ”  o r   “u n ab le  to   p r o v id e   n u m e r ical  v alu e ”.   T h is   s u g g ests   th at  in   s o m e   s itu atio n s ,   AI   m ay   en co u n ter   d if f icu lties   o r   b u n ab le   to   p r o v id a p p r o p r iate  ass ess m en ts ,   wh ich   m ay   a f f ec th r eliab ilit y   o f   th e   ev alu atio n   p r o ce s s .   a)   Descr ip tiv s tatis t ical  an aly s is   Descr ip tiv s tatis tical  an aly s i s   is   u s ed   to   s u p p o r th an al y s is   r esu lts   f r o m   th d ata  v is u aliza tio n   r esu lts   in   Fig u r 3   to   u n d er s tan d   h o ea ch   AI   m eth o d   ca n   p r o v i d an   ass ess m en c o m p ar ed   with   th e   ev alu atio n   o f   ex p e r ts   in   leg al  s tu d ies .   Descr ip tiv s tati s tical  an aly s is   is   m eth o d   u s ed   to   d escr ib e,   s h o w,   an d   s u m m ar ize  d ata  in f o r m ativ el y .   I n   th co n tex o f   th is   r es ea r ch ,   d escr ip tiv e   s tatis tical  an aly s is   is   u s ed   to   u n d er s tan d   th e   d is tr ib u tio n   o f   ass es s m en ts   p r o v id e d   b y   v ar io u s   ar tific ial  in tellig en ce   ( GAI )   m o d els  c o m p a r ed   to   th ev alu atio n s   o f   leg al  ex p er ts .   T h is   th eo r y   in v o lv es  th u s o f   m ea s u r es  s u ch   as  th m ea n   ( av e r ag e)   a n d   s tan d ar d   d e v iatio n   to   p r o v i d g en er al  d escr ip ti o n   o f   th ce n tr al  ten d en c y   an d   d is p er s io n   o f   ass ess m en d ata   [ 5 9 ] .   T h m ea n   r ep r esen ts   th av er ag o f   th r atin g s   g iv en ,   wh ich   ca n   h elp   id en tif y   h o clo s th AI 's   ass es s m en is   to   th ex p er t' s   a s s es s m en t.  Stan d ar d   d ev iatio n ,   o n   th o th er   h an d ,   m ea s u r es  th ex ten to   wh ich   th ju d g m en ts   ar e   s p r ea d   ar o u n d   t h m ea n ,   wh ic h   p r o v i d e s   in s ig h in to   t h co n s is ten cy   o f   th ju d g m e n ts   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Gen era tive  a r tifi cia l in tellig en ce   a s   a n   ev a l u a to r   a n d   feed b a ck   to o l in   d is ta n ce   le a r n in g :   …  ( Dia n   N u r d ia n a )   2495   s u p p lied   b y   ea ch   AI   m eth o d   [ 6 0 ] [ 6 2 ] .   T h is   an aly s is   is   ess en tial  to   ev alu ate  wh eth e r   th e r is   GAI   m eth o d   th at  ca n   p r o v id a n   ass ess m en th at  is   clo s to   ex p er ass ess m en an d   to   s ee   th e   co n s is ten cy   o f   th e   ev alu atio n   p r o v id e d   b y   ea ch   AI   m eth o d .   T ab le  1   is   p r esen tatio n   o f   d escr ip tiv s tatis tical  ca lcu latio n s   f r o m   t h co m p ar is o n   o f   s co r es b etwe en   ex p er ts   an d   th f iv e   GAI .       T ab le   1 .   Descr ip tiv s tatis tical   an aly s is   o f   ex p e r t a s s ess m en t s   an d   GAI   D e scri p t i v e   s t a t i st i c s   R a t e r   M e a n   S t d .   d e v i a t i o n   Ex p e r t   7 7 . 0 5   1 0 . 1 5   C h a t G P T   8 2 . 6 5   1 1 . 9 6   P e r p l e x i t y   9 2 . 9 8   2 . 7 7   G e mi n i   8 2 . 7 5   5 . 2 5   B i n g   8 6 . 2 7   3 . 6 7   Y o u   9 0 . 3 3   3 . 0 2       B ased   o n   th e   an aly s is   o f   T a b le  1   o f   th a v er ag e   r atin g s ,   it  c an   b e   s ee n   th at   n o   ar tific ial  i n tellig en ce   ( AI )   m eth o d   r ea ch es  o r   ap p r o ac h es  th av er a g r atin g   g iv en   b y   e x p er ts ,   wh ich   was  r ec o r d ed   at  7 7 . 0 5 .   I n   g en er al,   all  AI   m eth o d s   ten d   t o   p r o v i d h ig h er   r atin g s   co m p ar ed   to   ex p e r ass ess m en t s .   Per p lex ity   an d   Yo u   s h o h ig h - s co r in g   co n s is ten cy   with   lo s tan d ar d   d ev iatio n s   o f   2 . 7 7   an d   3 . 0 2 ,   r esp ec tiv ely .   T h is   lo s tan d ar d   d ev iatio n   s h o ws  th at  th e   ev al u atio n s   f r o m   th ese  two   m eth o d s   ten d   to   b s tab le  a n d   c o n s is ten in   p r o v i d in g   r esu lts ,   alth o u g h   th ab s o lu te  v alu es  m ay   n o r ea c h   th lev e o f   ass ess m en ts   g iv en   b y   ex p er ts   [ 6 0 ] [ 6 3 ] .   On   th o th er   h a n d ,   C h atGPT   s h o ws  m o r s ig n if ican v ar iati o n   in   r atin g s   with   s tan d ar d   d ev iatio n   o f   1 1 . 9 6 .   T h is   h ig h   s tan d ar d   d e v iatio n   in d icate s   th at  r atin g s   f r o m   C h atGPT   h av co n s id er ab le  v ar iatio n ,   m ea n in g   r atin g s   ca n   v ar y   wid el y   d e p e n d in g   o n   t h co n tex o r   q u esti o n   ask ed .   Alth o u g h   th is   v ar iatio n   m ay   p r o v id e   f lex ib ilit y   in   s co r in g ,   it  also   s u g g ests   th at  co n s is ten cy   in   p r o v id in g   g r ad es  m ay   b lo wer   th an   Per p lex ity   an d   Yo u   [ 6 4 ] [ 6 5 ] .   T o   ex p lain   th is   p h en o m e n o n ,   ev alu atio n   t h eo r y   u n d er s co r es  th im p o r ta n ce   o f   c o n s is ten cy   in   ass es s m en to   en s u r v alid ity   an d   r eliab ilit y .   L o s tan d ar d   d ev iatio n s ,   as  in   Per p le x ity   an d   Yo u ,   in d icate   th at   alth o u g h   e v alu atio n s   m ay   n o t   alwa y s   b p er f ec ac co r d in g   to   ex p er s tan d ar d s ,   th e y   ten d   to   p r o v id r eliab le  an d   c o n s is ten r esu lts   [ 6 6 ] .   O n   th e   o th er   h a n d ,   C h atGPT 's  h ig h   s tan d ar d   d ev iatio n   in d icate s   th at  alth o u g h   it   m ay   p r o v id e   v ar y in g   r esu lts ,   th er is   p o ten tial  to   p r o v id e   ad d itio n al   in s ig h ts   o r   b r o a d e r   in ter p r etatio n s   o f   v ar io u s   q u esti o n s   o r   s itu atio n s   [ 6 7 ] .   I n   ev al u atin g   ac c u r ac y   r elativ to   ex p er ass ess m en ts ,   AI   m eth o d s   th at   co m p ar av er a g r esu lts ,   s u ch   as  C h atG PT  an d   Gem in i,  ar r ec o m m en d ed   b ec au s th ey   h av av er ag v alu es   clo s to   th e   r esu lts   p r o v id ed   b y   ex p er ts .   T h e   av er a g r esu lts   ar clo s to   th ass ess m en ex p er t' s ,   s h o win g   th at   C h atGPT   an d   Gem in i a s s ess m en ts   h av th s am ten d en cy   wh en   ass ess in g   s tu d en t a s s ig n m en ts .   b)   Par am etr ic  s tatis tica l a n aly s is   I n   d ata  an aly s is ,   n o n - p ar am etr ic  s tatis t ics  b ec o m r elev an w h en   ass u m p tio n s   ab o u d ata  d i s tr ib u tio n   o r   d ata  ch a r ac ter is tics   ar u n m et.   No n - p ar am etr ic  s tatis tics   d o es  n o r eq u i r d ata  to   f o llo p ar ticu lar   d is tr ib u tio n ,   s u ch   as  th n o r m al  d is tr ib u tio n ,   s o   it  is   m o r f lex ib le  to   u s in   v ar io u s   r esear ch   s itu atio n s     [ 6 8 ] [ 6 9 ] .   T h is   m eth o d   o f f e r s   p o wer f u ap p r o ac h   t o   t esti n g   h y p o t h eses   an d   m ea s u r in g   r elatio n s h ip s   b etwe en   v ar iab les  with o u s o lid   ass u m p tio n s   ab o u th s h a p o f   th d ata  d is tr ib u tio n   [ 7 0 ] .   T h au th o r   will  ex p lo r u s in g   th W ilco x o n   T est,  I C C ,   an d   Kap p an d   Ken d all' s   W   in   ev alu atin g   ass es s m en ts   u s in g   GAI   in   d is tan ce   ed u ca tio n .   T h is   an al y s is   will  p r o v id d ee p   in s ig h t   in to   th e   co n s is ten cy ,   a g r ee m en t,  an d   d if f e r en ce s   b etwe en   AI   ass ess m en ts   an d   ex p er t sco r es in   ac a d em ic  ev alu atio n .   c)   W ilco x o n   test   I n   th c o n tex o f   AI   ev alu atio n   in   d is tan ce   e d u ca tio n ,   th W ilco x o n   test   is   em p lo y ed   t o   d e ter m in if   th er ar e   s ig n if ican d if f er e n ce s   b etwe en   th ass ess m en ts   g iv en   b y   th e   f iv GAI s   a n d   th o s p r o v id e d   b y   ex p er ts .   T ab le   2   p r esen ts   Z   v alu a n d   s ig n if ica n ce   ( Asy m p .   Sig .   2 - tailed )   f o r   ea ch   A I - ex p er t   p air   [ 7 1 ]   T h r esu lts   in d icate   wh eth er   t h d if f er e n ce s   in   ass ess m en ts   ar s tatis tically   s ig n if ican t.       T ab le  2.   W ilco x o n   test   r esu lts   Te st   st a t i s t i c a   I t e ms   C h a t G P T - e x p e r t   P e r p l e x i t y - e x p e r t   G e mi n i - e x p e r t   B i n g - e x p e r t   Y o u - e x p e r t   Z   - 2 . 0 7 0   b   - 3 . 9 2 8   b   - 2 . 2 0 3   b   - 3 . 1 0 3   b   - 3 . 6 9 6   b   A sy mp .   S i g .   ( 2 - t a i l e d )   0 . 0 3 8   0 . 0 0 0   0 . 0 2 8   0 . 0 0 2   0 . 0 0 0       I n   th e   ca lcu latio n   r esu lts   in   T ab le  2 ,   we   ca n   c o n clu d th at  t h er is   s ig n if ica n d if f er en c b etwe en   th v alu es  g iv en   b y   t h ex p er an d   ea ch   AI   m eth o d   ( C h atGPT ,   Per p lex ity ,   Gem in i,  B in g ,   an d   Yo u ) .   T h ese   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  14 ,   No .   3 J u n e   20 25 :   2 4 9 0 - 2 5 0 5   2496   f iv GAI   m eth o d s   ar e   co m p u tatio n al  s tatis tics   th at  p r o v id e   h ig h er   v alu e   th an   th e   v alu g iv en   b y   e x p er ts .   T h is   ca n   b s ee n   f r o m   t h s m all  p - v alu e   ( < 0 . 0 5 )   a n d   t h Z - s tatis tic  v alu wh ich   s h o ws  t h d ir ec tio n   o f   t h e   d if f er en ce .   T h u s ,   th ese  r esu lts   s u g g est  th at  AI   m eth o d s   m ay   ten d   to   p r o v id h ig h er   ass ess m en ts   th an   ex p er t   ass es s m en ts .   d)   I n tr ac lass   co r r elatio n   co e f f icie n   I C C   is   s tatis tical  m eth o d   u s ed   t o   m ea s u r th e   lev el   o f   co n s is ten cy   o r   r eliab ilit y   b etwe e n   ass es s m en ts   m ad b y   s ev e r al  ass es s o r s   o r   m ea s u r in g   to o ls   [ 7 2 ] ,   [ 7 3 ] .   I n   ev alu atin g   s tu d e n ass ig n m en ts ,   I C C   h elp s   d eter m in e   th ex te n to   wh ich   th ass ess m en ts   p r o v id ed   b y   v ar io u s   AI   m eth o d s   ag r ee   with   ea ch   o th er   an d   th e   ev alu atio n s   p r o v id ed   b y   ex p er ts .   I n   th is   s tu d y ,   I C C   was  u s ed   to   e v alu ate  th e   r elia b ilit y   o f   ass ess m en t s   p r o v id e d   b y   C h atGPT ,   Per p lex ity ,   Gem in i,  B in g ,   an d   Yo u .   Hig h   I C C   v alu es  in d icate   th at   th ass e s s m en ts   o f   th v ar io u s   GAI   m eth o d s   ar co n s is ten with   ex p er ass ess m en ts ,   wh ile  lo I C C   v alu es  in d icate   s ig n if ican v ar iatio n   in   th e   ass ess m en ts   p r o v id ed .   T ab le  3   p r esen ts   th I C C   r esu lt s   f r o m   th is   s tu d y .       T ab le  3 .   I C C   r esu lts   I t e ms   I n t r a c l a s c o r r e l a t i o n   b   9 5 C o n f i d e n c e   i n t e r v a l   Lo w e r   b o u n d   U p p e r   b o u n d   A v e r a g e   M e a s u r e s   . 4 3 9   c   0 . 0 9 4   0 . 7 1 7       I C C   v alu o n   av er a g m ea s u r es  was  0 . 4 3 9 ,   with   9 5 co n f id en ce   i n ter v al  [ 0 . 0 9 4 ,   0 . 7 1 7 ] ,   in d icatin g   m o d e r ate  lev el  o f   ag r ee m e n b etwe en   r ater s   wh en   th a v er ag e   o f   th r ati n g s   was  co n s id er ed .   Alth o u g h   t h er was  s o m c o n s is ten cy ,   v ar iatio n   i n   s co r in g   was  s till   s ig n if ican t,  in d ic atin g   th n ee d   f o r   im p r o v in g   s co r in g   m eth o d s   o r   r ater   tr ain i n g   to   ac h iev h ig h er   r eliab ilit y .   T h wid r an g o f   co n f id en ce   in ter v als also   in d icate s   u n ce r t ain ty   in   th ese  esti m ates,  r ein f o r cin g   th im p o r tan ce   o f   f u r th e r   r ef in em e n t.   e)   Kap p an d   Ke n d all' s   W   T wo   n o n - p ar am etr ic  s tatis tics   ar u s ed   to   m ea s u r th e   lev el  o f   ag r ee m en b etwe en   v ar io u s   GAI   m eth o d s   an d   ex p er j u d g m en t:  Kap p ( C o h en ' s   Kap p a )   an d   Ken d all' s   W   ( Ken d all's  co ef f icien o f   co n co r d an ce ) .   Kap p is   s t atis tical  m ea s u r th at  ass e s s es  ag r ee m en b etwe en   two   o r   m o r r ater s   f o r   ca teg o r ical  d ata,   with   v alu es  r an g in g   f r o m   - 1   to   1 .   Neg ativ v alu es  in d icate   m o r s ig n i f ican d is ag r ee m en t   th an   e x p ec ted   b y   ch a n ce ze r o   v alu es  in d icate   ag r ee m e n ex p ec ted   b y   ch a n ce ,   a n d   p o s i tiv v alu es  i n d icate   h ig h er   ag r ee m e n th a n   e x p ec ted   b y   ch a n ce   [ 7 4 ] [ 7 5 ] .   Ke n d all' s   W ,   o n   th e   o th er   h a n d ,   is   u s ed   to   ass ess   ag r ee m en b etwe en   m u ltip le   r ater s   f o r   o r d in al  d ata,   with   v a lu es  r an g in g   f r o m   0   ( n o   ag r ee m en t)   to   1   ( p er f ec ag r ee m en t)   [ 7 6 ] .   T h is   an aly s is   is   e s s en tial   to   u n d er s tan d   th ex ten to   wh ich   th v ar io u s   GAI   m eth o d s   alig n   with   ex p er ass ess m en ts   an d   t o   ass ess   th co n s is ten cy   o f   t h ev alu atio n s   p r o v i d ed   b y   t h e   f iv GAI   m eth o d s .   T ab le  4   will p r esen t th r esu lts   o f   Kap p an d   Ken d all' s   W   c alcu latio n s   [ 7 7 ] [ 7 8 ] .       T ab le  4.   Kap p an d   Ken d all' s   W   r esu lts   I t e ms   V a l u e   K a p p a   - 0 . 058   K e n d a l l 's W   0 . 5 7 6       T h Kap p a   v alu e   o f   - 0 . 0 5 8   s h o ws  s h allo ag r ee m en b e twee n   ex p er t   ass ess m en ts   an d   th GAI   m eth o d   o n   s tu d en t   ass ig n m en t s .   T h is   in d icate s   th at   th er e   is   a   s ig n if ican t   d if f er e n ce   i n   th e   e v alu atio n   b etwe en   ex p er ts   an d   GAI .   B ased   o n   Ke n d all' s   W   v alu o f   0 . 5 7 6 ,   it sh o ws th at  th er is   p r etty   g o o d   lev el  o f   ag r ee m en t   b etwe en   ex p er ts   an d   GAI   in   ter m s   o f   r an k in g   o r   p r e f er en c f o r   s tu d en ass ig n m e n ts ,   alth o u g h   n o p er f ec t,   th er is   s ig n if ican t c o n s is ten cy   in   th way   th ey   s o r o r   ass ess   s tu d en t a s s ig n m en ts .     3 . 1 . 2 .   J ud g m ent   o f   rig ht  a nd   wro ng   bet wee G AI a nd   e x pert s   cr itical  asp ec o f   ev alu atin g   th ac cu r ac y   o f   GAI   m eth o d s   in   an   ed u ca tio n al  co n tex is   co m p ar in g   th tr u e   o r   f alse  ju d g m en ts   g iv en   b y   t h GAI   with   th d ec is io n s   g iv en   b y   ex p e r ts .   T h is   an aly s is   h elp s   u n d er s tan d   th e x ten to   wh ich   GAI   ca n   p r o d u ce   ass ess m en ts   th at  alig n   with   ac ad em ic  s tan d ar d s   s et  b y   ex p er ts .   T h T ab le  p r esen t s   d ata  r eg ar d in g   th ac cu r ac y   o f   f ee d b ac k   p r o v id e d   b y   v ar io u s   GAI   m eth o d s   co m p ar ed   with   ex p er ju d g m e n f o r   s tu d en an s wer s .   E ac h   e n tr y   in   th tab le  in d icate s   wh eth er   th ass ess m en t   p r o v id e d   b y   ea ch   GAI   m et h o d   is   c o r r ec t   o r   in co r r ec co m p ar ed   to   th e x p er t   ass ess m en t.  An   ac cu r ate  ev alu atio n   in d icate s   co n f o r m it y   to   ex p er s tan d ar d s ,   wh er ea s   an   in co r r ec ap p r aisal  s u g g ests   d is cr ep an cy   i n   th ev alu atio n .   T h ese  d ata  ar e   ess en tial  f o r   as s es s in g   th ab ilit y   o f   v ar io u s   GAI   m eth o d s   to   p r o d u ce   ac cu r ate   an d   r eliab le  f ee d b ac k   in   ac ad e m ic  co n tex ts .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Gen era tive  a r tifi cia l in tellig en ce   a s   a n   ev a l u a to r   a n d   feed b a ck   to o l in   d is ta n ce   le a r n in g :   …  ( Dia n   N u r d ia n a )   2497   T ab le  5 .   C r o s s tab   an aly s is   r esu lts   ex p er t *   AI   C o u n t       C h a t G P T   To t a l   P e r p l e x i t y   To t a l   G e mi n i   To t a l   B i n g   To t a l   Y o u   To t a l   0   1   0   1   0   1   0   1   0   1   Ex p e r t   0   4   7   11   1   10   11   7   4   11   0   11   11   0   11   11   1   1   8   9   0   9   9   0   9   9   0   9   9   0   9   9   To t a l   5   15   20   1   19   20   7   13   20   0   20   20   0   20   20       T ab le  5   s h o ws  th r esu lts   o f   t h cr o s s tab   an aly s is   b etwe en   ex p er an d   AI .   T h test   r esu lts   s h o th at  v alu o f   0   m ea n s   th an s wer   is   wr o n g ,   wh ile  v alu o f   1   m ea n s   th an s wer   is   co r r ec t.  Gem in h as  h ig h er   s u itab ilit y   th an   th o th er s ,   wh er o u o f   2 0   an s wer s   to   s tu d en ass ig n m en ts ,   th ex p er s tat ed   th at  1 1   an s wer s   wer d ec lar ed   wr o n g ,   an d   9   an s wer s   wer d ec lar ed   co r r ec t.   Gem in s tated   th at  7   an s wer s   wer s tated   to   b wr o n g ,   a n d   1 3   an s wer s   wer e   ask ed   to   b e   co r r ec t.   T h c o m p ar is o n   o f   th s u itab ilit y   o f   th ass ess m en o f   wr o n g   an s wer s   b etwe en   ex p er ts   an d   Gem in is   7   s tu d en ass ig n m en ts ,   wh ile  th co m p a r is o n   o f   th s u itab ilit y   o f   co r r ec t a n s wer s   b etwe en   ex p er ts   an d   Gem in i is 9   s tu d e n ass ig n m en ts .     3 . 1 . 3 Acc ura cy   a s s ess m ent   Ass es s m en ac cu r ac y   is   an   im p o r tan i n d icato r   to   ass ess   th ex ten to   wh ich   t h GAI   m eth o d   is   r eliab le  in   d is tan ce   e d u ca tio n ,   esp ec ially   in   law.   Ass ess m en ac cu r ac y   s h o ws  th p e r ce n tag o f   co r r ec ass es s m en ts   p r o d u ce d   b y   th GAI   m eth o d   co m p ar ed   to   ex p er ass ess m en ts   [ 7 9 ] .   I n   th is   co n tex t,  h ig h   ac cu r ac y   in d icate s   th at  th GAI   m eth o d   ca n   p r o v i d m o r co n s is ten ass es s m en ts   a n d   is   clo s er   to   t h e   s tan d ar d s   s et  b y   ex p e r ts .   T ab l 6   will su m m ar ize  th ac cu r a cy   o f   ea c h   GAI   m eth o d   ev al u a ted   in   th is   s tu d y .       T ab le  6 .   Acc u r ac y   a s s ess m en t   I t e ms   A c c u r a c y   ( %)   C h a t G P T   60   P e r p l e x i t y   50   G e mi n i   80   B i n g   45   Y o u   45       B ased   o n   T a b le  6 ,   it  ca n   b e   co n clu d ed   th at  Gem in i   is   t h m eth o d   clo s est  to   o r   f o llo win g   th e   ass es s m en g iv en   b y   ex p er ts ,   with   an   ac cu r ac y   r ate  o f   8 0 %.  T h is   s h o ws  t h at  Gem in i   ca n   p r o v id e   m o r e   co n s is ten an d   ac cu r ate   ass es s m en ts   clo s er   to   th s tan d ar d s   s et  b y   ex p er ts .   Me an wh ile,   C h atGPT   with   an   ac cu r ac y   r ate   o f   6 0 s h o ws  t h at  ev en   t h o u g h   it  is   n o as  p r ec is as  Gem in i,  th is   m eth o d   i s   s till   q u ite  r eliab le   in   p r o v id i n g   ass ess m en ts .   Ho wev er ,   it sh o u ld   b n o te d   th at  th h ig h er   d e g r ee   o f   v ar iatio n   in   C h atGPT   s co r in g   ( as  in d icate d   b y   th e   h ig h e r   s tan d ar d   d e v iatio n   in   th p r ev io u s   an aly s is )   m ay   h av e   a f f ec ted   its   o v e r all  r eliab ilit y .   Me an wh ile,   Per p lex ity ,   B in g ,   an d   Yo u ,   with   ac cu r ac y   lev els  o f   5 0 ,   4 5 ,   a n d   4 5 r esp ec tiv ely ,   s h o th at  th is   m eth o d   ten d s   to   b less   co n s is ten in   p r o v id i n g   ass ess m en ts   th at  alig n   wit h   ex p er ts .   T h is   m ay   b ca u s ed   b y   v ar io u s   f ac to r s ,   in clu d in g   th alg o r ith m   u s ed   an d   h o th m eth o d   p r o c ess es   an d   an aly ze s   s tu d en t a s s ig n m en t d ata.     3. 2 .   Q ua lit y   o f   f ee db a ck   ( ex pert )   I n   test in g   th is   v ar iab le,   th q u ality   o f   th f ee d b ac k   p r o v id ed   b y   f iv g e n er ativ e   was  ass ess ed .   T h GAI   s y s tem   o n   s tu d en an s wer s   was  an aly ze d   u s in g   1 - 5   L ik er s ca le.   L eg al  ex p er ts   wer ask ed   to   e v alu ate   th q u ality   o f   f ee d b ac k   g en e r a ted   b y   C h atGPT ,   Per p lex ity ,   Gem in i,  B in g ,   an d   Yo u   f o r   2 0   s tu d en an s wer s .   L ik er s ca le  f r o m   th s tatem en 1   ( s tr o n g ly   d is ag r ee )   to   5   ( s tr o n g ly   ag r ee )   is   u s ed   to   m ea s u r th ex ten to   wh ich   th f ee d b ac k   p r o v id ed   b y   ea c h   GAI   is   co n s id er e d   ac cu r ate,   r elev a n an d   v alu a b le  in   th co n tex o f   leg al  ed u ca tio n   [ 8 0 ] .   T h is   ass ess m en aim s   to   d eter m in h o well  ea ch   GAI   p r o v id e s   q u ality   f ee d b ac k   f o llo win g   ac ad em ic  s tan d a r d s   an d   s tu d en lear n in g   n ee d s .   T h d ata  was  th en   an aly ze d   d es cr ip tiv ely   to   o b tain   an   o v er v iew  o f   ea c h   GAI ' s   av er ag an d   v ar iab ilit y   o f   f ee d b a ck   q u ality   ass ess m en ts .   B ased   o n   th av er ag ass ess m en r esu lts   g iv en   b y   e x p er ts ,   C h atGPT   s h o ws  th b est  p e r f o r m a n ce   with   an   a v er ag e   ass ess m en o f   4 . 2 2 .   T h is   in d icate s   th at   th f ee d b ac k   p r o d u ce d   b y   C h atGPT   ten d s   to   b e   m o r ac cu r ate  an d   v al u ab le  in   th e   c o n tex o f   leg al   ed u ca tio n .   Fo ll o wed   b y   Gem in i   wh ich   g o a n   av er a g r ati n g   o f   4 . 1 5 ,   s h o win g   t h at  GAI   also   p r o v id es  g o o d   f ee d b ac k .   O n   t h o th er   h an d ,   Y ou   g o t h lo west  r atin g   with   an   av er ag e   o f   3 . 9 0 .   T h is   in d icate s   th at  Yo u   f ee d b ac k   is   co n s id er ed   in a d eq u ate   o r   n o as  ac c u r ate  as  o th er   GAI s   in   ass es s in g   s tu d en as s ig n m en ts   in   th is   co n tex t.  B in g   an d   Per p lex ity   s h o in ter m ed iate  s co r es  with   av er ag r atin g s   o f   4 . 0 9   a n d   3 . 9 9   r esp e ctiv ely .   Alth o u g h   th f ee d b ac k   f r o m   th ese  two   GAI s   is   co n s id er ed   q u ite  g o o d ,   th er is   s till   r o o m   f o r   im p r o v em en in   in cr ea s in g   th ac cu r ac y   an d   r elev a n ce   o f   th eir   f ee d b ac k .   T h u s ,   th ese   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  14 ,   No .   3 J u n e   20 25 :   2 4 9 0 - 2 5 0 5   2498   r esu lts   illu s tr ate  th at  in   th co n tex t o f   ev alu atin g   s tu d en t a s s ig n m en ts   in   th f ield   o f   leg al  ed u ca tio n ,   C h atGPT   an d   Gem in i c an   b r elied   o n   t o   p r o v id m o r ac cu r ate  f ee d b ac k   co m p a r ed   to   Y o u ,   B in g ,   a n d   Per p lex ity .     3 . 3 .     Usef uln ess   o f   f ee db a ck   ( s t ud ent s )   T h u s ef u l n ess   o f   f ee d b ac k   p r o v id ed   b y   f iv e   GAI   o n   s tu d en an s wer s   was  ev alu ated   u s in g   1 - L ik er s ca le.   Stu d en ts   wer as k ed   to   r ate  th ex ten to   wh ich   th f ee d b ac k   p r o v i d ed   b y   C h atGPT ,   Per p lex ity ,   Gem in i,  B in g ,   an d   Yo u   f o u n d   th em   h el p f u l,   r elev an t,   an d   a d eq u ate  in   s u p p o r tin g   th eir   lea r n in g   i n   th e   co n tex t   o f   leg al  r esear ch .   T h is   ass es s m en aim s   to   id en tif y   s tu d e n p r ef e r en ce s   f o r   th e   m o s ef f ec tiv ty p es  o f   f ee d b ac k   a n d   p r o v id in s ig h in to   h o th e y   p e r ce iv th q u ality   o f   th f ee d b ac k   s u p p lied   b y   ea ch   GAI .   T h e   d ata  will  b an aly ze d   to   id en ti f y   th m o s s u cc ess f u GAI   in   g iv in g   f ee d b ac k   th at  m ee ts   s tu d en ex p ec tatio n s   an d   n ee d s   in   o n lin lea r n in g .   B ased   o n   th e   test   r esu lts ,   s tu d en ts   ap p ea r e d   to   h av e   v a r ied   a s s es s m en ts   o f   th e   f iv e   ty p es o f   GAI   u s ed   as  f ee d b ac k   to o ls .   C h atGPT   r ec eiv ed   th h ig h est  av er ag r a tin g   with   s co r o f   4 . 1 2 ,   in d icatin g   th at  s tu d en ts   ten d   to   f ee l   s atis f ied   with   th e   f ee d b ac k   p r o v id ed   b y   C h atGPT   in   th c o n tex t   o f   th eir   ass ig n m en ts   o r   ac ad e m ic   ac tiv ities .   Fu r th er m o r e,   Gem i n also   r ec eiv ed   h i g h   r atin g   with   an   av er ag o f   4 . 0 7 ,   in d ic atin g   th at  s tu d en ts   s ee   Gem in i a s   o n o f   th e   GAI s   th at  is   ef f ec tiv in   p r o v id i n g   r elev an t a n d   v alu ab le  f ee d b ac k .   On   th o th er   h an d ,   B in g   an d   Yo u   r ec eiv e d   lo wer   r atin g s   with   an   av er ag e   o f   3 . 9 1   an d   3 . 80  r esp ec tiv ely .   T h is   i n d icate s   th at  s tu d en ts   m ay   b e   less   s atis f i ed   with   th e   f ee d b ac k   p r o v id ed   b y   b o t h   p latf o r m s ,   p er h ap s   d u t o   lack   o f   d ep t h   o r   r elev a n ce   o f   th f ee d b ac k   p r o v id ed   in   th c o n tex o f   th m ater ial  b ein g   s tu d ied .   Desp ite  h av in g   m e an   o f   3 . 9 8 ,   Per p le x ity   s h o ws  co n s id er ab le  v ar iatio n   in   s tu d en ts '   r atin g s ,   with   s o m s tu d en ts   g iv in g   lo r ati n g s .   T h is   s h o ws  th at  alth o u g h   f ee d b ac k   f r o m   Per p le x ity   ten d s   to   b co n s is ten t,  s o m s tu d en ts   m ay   f ee l   th at  t h f ee d b ac k   d o es  n o alwa y s   m atch   th eir   e x p ec tatio n s   o r   n ee d s   in   th lear n in g   p r o ce s s .   Ov er all,   th ese  r esu lts   in d icate   th im p o r tan ce   o f   d ev elo p in g   an d   ad a p tin g   GAI   alg o r ith m s   to   p r o v id e   m o r c o n s is ten an d   r elev a n f ee d b ac k   ac c o r d i n g   t o   s tu d e n ts '   n ee d s   an d   p r ef er e n ce s   in   d is tan ce   lear n in g .   Fu r th er   ev alu atio n   is   also   n ee d ed   to   u n d er s tan d   m o r e   d ee p ly   th f ac to r s   th at  i n f lu en ce   s tu d en p r e f er en ce s   an d   s atis f ac tio n   with   v ar io u s   ty p es o f   f ee d b ac k   p r o v id ed   b y   GAI .       4.   DIS CU SS I O N   GAI   h as  n o ex p an d ed   to   v a r io u s   s ec to r s ,   in clu d in g   h ig h e r   ed u ca tio n   [ 8 1 ] .   GAI   n o o n l y   h elp s   in   co n ten c r ea tio n   a n d   au to m ati o n   o f   a d m in is tr ativ task s ,   b u also   h as  e x ce llen p o ten tial  as  an   ev al u ato r   an d   f ee d b ac k   p r o v id er   i n   d is tan c ed u ca tio n ,   esp ec ially   in   l e g al  s tu d ies   [ 8 2 ] [ 8 3 ] .   T h p o ten tial  o f   AI   in   ed u ca tio n   is   en o r m o u s ,   f r o m   p er s o n alizin g   lear n in g   to   au to m atin g   ass ig n m en ass es s m en ts   [ 8 4 ] [ 8 5 ] .   I n   th e   f ield   o f   ed u ca tio n ,   AI   h as  b r o u g h f u n d am e n tal  ch an g es  b y   in tr o d u cin g   ad a p tiv lear n in g   m eth o d s ,   wh ich   ca n   b ad ap te d   to   th n ee d s   an d   a b ilit ies  o f   ea ch   s tu d e n t   [ 8 6 ] [ 8 7 ] .   AI   s y s tem s   ca n   a n aly ze   s tu d en p e r f o r m an ce   in   r ea tim an d   p r o v id a d d itio n al  m ater ial  o r   n ew  ch allen g es  ac co r d in g   to   th eir   n ee d s   [ 2 4 ] .   B esid es  th at,   AI   is   also   u s ed   to   d ev elo p   e - lear n in g   p latf o r m s   th at  en a b le  b r o ad er   ac ce s s   to   ed u ca tio n .   Sp e cif ically   in   th f ield   o f   leg al   s cien ce ,   AI   ca n   ass is in   a n aly zin g   leg al  ca s es,  g u id leg al  r esear ch ,   an d   ev en   i n   wr itin g   co m p lex   leg al  d o cu m e n ts   [ 8 8 ] [ 8 9 ] .   Pre v io u s   r esear ch   h as  s h o wn   th at  th u s o f   AI   in   ev alu ati n g   s tu d en t   ass ig n m en ts   in   th e   leg al  f ield   h as  g r ea p o ten tial.  Stu d ies  c o n d u cte d   b y   [ 9 0 ] [ 9 1 ]   in d ica tes   th at  s o m AI   m eth o d s   ten d   to   p r o v i d h ig h er   ass es s m en ts   th an   as s ess m en t s   s u p p lied   b y   ex p e r ts .   Ho wev er ,   v ar iatio n s   in   ass es s m en co n s is ten cy   ar o n o f   th m ain   ch allen g es  f ac ed   [ 9 2 ] .   T h is   r esear ch   im p lies   t h at  alth o u g h   AI   ca n   p r o v id e   f ast  an d   ef f icien t   f ee d b ac k ,   t h er is   s till   n ee d   to   im p r o v t h co n s is ten cy   an d   ac cu r ac y   o f   th ass ess m en ts   p r o v id e d .   T h g ap   f o u n d   in   p r ev i o u s   r esear ch   is   th lack   o f   co m p r eh e n s iv d at o n   h o ea c h   AI   m eth o d   p er f o r m s   in   ass ess in g   s tu d en ass ig n m en ts   in   th l eg al  f ield .   T h is   r esear ch   aim s   to   f ill  th is   g ap   b y   test in g   an d   co m p ar in g   th e   ac cu r ac y ,   c o n s is ten cy   an d   r el ev an ce   o f   f ee d b ac k   p r o v id ed   b y   ea c h   GAI   m et h o d   u s in g   th r ee   m ea s u r em e n t   v ar iab le  ap p r o ac h es,  in cl u d in g   ac cu r ac y ,   q u ality   o f   f ee d b ac k   an d   u s ef u ln ess   o f   f ee d b ac k   f o r   s tu d en ts .     4 . 1 .     Acc ura cy   o f   a s s ess m ent   wit h e x pert s   Acc u r ac y   is   o n o f   th m o s cr u ci al   f ac t o r s   i n   e v al u ati o n   u s i n g   G AI .   A cc u r a cy   i n   t h is   c o n te x r ef er s   t o   h o m u c h   GA I   ca n   p r o v i d as s ess m e n ts   t h a t c o m p l y   wit h   a p p li ca b l ac a d em i a n d   l eg al   s t an d a r d s .   A cc o r d i n g   to   s t u d ies   [ 3 9 ] [ 4 0 ] ,   th ac cu r ac y   o f   AI   ass ess m e n ts   is   h ig h l y   d ep e n d e n t   o n   t h e   a lg o r it h m   u s e d   a n d   th e   q u a lit y   o f   th e   d at a   u s e d   t o   t r ai n   t h e   A I .   S tat ed   t h at   th e   a cc u r ac y   o f   AI   i n   t h e   e v al u ati o n   o f   a ca d e m ic   ass i g n m e n ts   ca n   v a r y   g r ea t ly   d e p e n d i n g   o n   h o t h d a ta  is   c o l lec te d   an d   p r o c ess e d   [ 9 3 ] .   R ese ar c h   b y   L i a n g   et   a l.   [ 4 2 ]   i also   s u p p o r ts   th ese  f in d in g s ,   s h o wi n g   th at  AI   h as  g r ea p o ten tial  to   p r o v id h ig h ly   ac cu r ate  ev alu atio n s   if   tr ain ed   with   r elev an t,  h ig h - q u ality   d at a.   I n   th is   r esear ch ,   th ass ess m e n ac cu r ac y   v a r iab le  is   ca teg o r ized   in to   two   m ea s u r em e n ap p r o ac h es:  co m p ar is o n   o f   ass ess m en ts   b etwe en   GAI   an d   leg al  ex p er t s   an d   ev alu atio n   o f   tr u e   o r   f a ls r esu lts   b etwe en   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Gen era tive  a r tifi cia l in tellig en ce   a s   a n   ev a l u a to r   a n d   feed b a ck   to o l in   d is ta n ce   le a r n in g :   …  ( Dia n   N u r d ia n a )   2499   GAI   an d   leg al  ex p er ts .   T h r e s ea r ch   r esu lts   s h o th at  th GAI   m eth o d   ten d s   to   p r o v id e   h ig h er   ass ess m en ts   th an   ex p er ass ess m en ts .   Ge m in i   a n d   C h at GPT   s h o w   r el ati v ely   g o o d   le v els   o f   a cc u r ac y   wi th   r ati n g s   t en d i n g   to   b e   cl o s t o   e x p e r s co r es  i n   s o m an s we r s .   H o we v er ,   v ar i a tio n s   i n   s c o r i n g   w er als o   v is ib l e,   es p e cia ll y   in   an s w er s   1 2   an d   1 3 ,   w h er th e r e   was   a   s i g n i f ic an d i f f e r e n c e   b etw ee n   th s c o r es  g i v e n   b y   th e   e x p e r ts   a n d   th s co r es   g i v e n   b y   Pe r p le x it y   ( 9 5   v s .   7 1 ) .   T h ese   d i f f er e n ce s   h i g h li g h t   t h e   im p o r ta n c e   o f   e n s u r in g   t h at   AI   t r ai n i n g   d at is   r el e v a n a n d   c o v e r s   wid r a n g e   o f   e v al u a ti o n   s c e n ar i o s   t o   i m p r o v e   ass ess m e n t   a cc u r ac y .   C h atGP T   an d   Ge m i n i' s   f ee d b ac k   q u al it y   is   r at ed   h i g h e r   t h a n   t h at   o f   o t h e r   m et h o d s ,   wit h   m o r e   d etai le d   a n d   r ele v a n t   ass ess m e n ts .   H o w e v e r ,   t h e r a r e   a ls o   s i tu ati o n s   w h e r e   GA I   ca n n o t   p r o v i d e   an   ev al u a ti o n ,   as  i n d i ca t ed   b y   t h "N/A an d   "N /B in d i ca t o r s .   T h is   h a p p e n e d   t o   s o m e   a n s w er s ,   esp ec iall y   t o   B in g   a n d   Y o u ,   s u g g es ti n g   t h a t   th e r ar l im ita ti o n s   i n   th AI   alg o r it h m   th at   m ay   n o h a n d l all   t y p es  o f   q u est io n s   o r   c o n te x ts   wel l.   B ased   o n   th r esu lts   o f   th W ilco x o n   test ,   th er is   s ig n if i ca n d if f er e n ce   b etwe en   th e   a s s es s m en ts   g iv en   b y   th f iv GAI   m eth o d s   ( C h atGPT ,   Per p lex ity ,   Ge m in i,  B in g ,   an d   Yo u )   an d   th e   ass e s s m en ts   o f f er ed   b y   e x p er ts .   T h e   GAI   m eth o d   ten d s   to   p r o v id e   s tatis ti ca lly   s ig n if ican tly   h ig h er   r a tin g s   th an   ex p e r t   ass es s m en ts ,   in d icatin g   GAI ' s   p o ten tial  to   p r o v id e   m o r p o s itiv ev alu atio n   o f   s tu d en t   p er f o r m an ce .   T h e   I C C   an aly s is   s h o ws  m o d er ate  lev el  o f   co n s is ten cy   b etwe en   th ass ess m en ts   o f   th v ar io u s   GAI   m eth o d s   wh en   th av er a g o f   th ass ess m en ts   i s   co n s id er ed .   Desp ite  th is ,   v ar iatio n   in   s co r in g   was  s till   s ig n if ican t,  in d icatin g   th e   n ee d   f o r   im p r o v in g   s co r in g   m eth o d s   o r   r ater   tr ain in g   to   ac h iev h ig h e r   r eli ab ilit y .   Ass ess m en t   u s in g   Kap p a n d   Ken d all' s   W   s h o ws  lo ag r ee m en b et wee n   ex p er ass ess m en ts   an d   th GAI   m eth o d ,   esp ec ially   in d icate d   b y   th e   n e g ativ v al u o f   Ka p p a.   Ho we v er ,   Ke n d all' s   W   v alu s h o ws   co n s is ten cy   i n   h o v ar io u s   GAI   m eth o d s   s o r t o r   g r ad s tu d en t a s s ig n m en ts ,   ev e n   th o u g h   it is   n o p er f ec t.   T h C r o s s tab   tab le  s h o ws  th at  Gem in g av th s am ac cu r ate  an d   f alse  r atin g s   as  e x p er ts   with     1 6   a n s wer s ,   C h atGPT   h ad   1 2   an s wer s ,   Per p lex ity   h a d   1 0   a n s wer s ,   an d   B in g   an d   Yo u   h ad   9   an s wer s .   T h is   s h o ws  th at  Gem in i's   an d   C h atGPT 's  tr u an d   f alse  ju d g m e n ts   m o r co m p r e h en s iv ely   ap p r o ac h   ex p er ts '   tr u e   an d   f alse ju d g m en ts .   Alth o u g h   n o n o f   th GAI   m eth o d s   ac h iev ed   ex p e r t ju d g m e n t a cc u r ac y ,   Gem in i sh o wed   th clo s est  ac cu r ac y   r ate  at  8 0 %.  C h atGPT ,   wh ile  n o as  ac c u r ate  as  Gem in i,  is   s till   q u ite  r eliab le  with   6 0 ac cu r ac y   r ate.   Ho wev er ,   h ig h e r   v ar iatio n s   in   C h atGPT   s co r in g   ar wo r th   n o tin g ,   as th ey   m ay   af f ec t its   o v er all   r eliab ilit y .   T h ese  r esu lts   in d i ca te  th at  alth o u g h   GAI   h as  ex ce llen p o te n tial  in   th e   ac ad em ic  ev alu atio n   p r o ce s s ,   s ev er al  lim itatio n s   m u s b co n s id er ed .   T h r e liab ilit y   an d   co n s is ten cy   o f   AI   in   p r o v id in g   ass es s m en ts   s till   r eq u ir im p r o v em en t,  m ain l y   to   en s u r th at  th ev alu atio n s   co m p ly   with   th ac ad em ic  s tan d ar d s   ap p lied   b y   ex p er ts .   Ad d itio n ally ,   AI ' s   lim itatio n s   in   g iv in g   ju d g m e n in   ce r tain   s itu atio n s   h ig h lig h t   th n ee d   f o r   f u r th er   d ev elo p m en t o f   th al g o r ith m s   an d   tr ain in g   d ata  u s ed .     4 . 2 .     F ee db a c k   q ua lity   Ap ar f r o m   ac cu r ac y ,   GAI ' s   f ee d b ac k   q u ality   is   also   ess en t ial  in   ed u ca tio n al   ev alu atio n .   Feed b ac k   q u ality   in v o lv es  h o in s ig h tf u an d   h elp f u th e   f ee d b ac k   i s   f o r   s tu d e n ts .   Hig h - q u ality   f ee d b ac k   p o in ts   o u t   er r o r s   an d   p r o v i d es  ex p lan a tio n s   th at  h elp   s tu d en ts   u n d er s tan d   th e   co r r ec co n ce p ts .   E m p h asize   th e   im p o r tan ce   o f   clea r ,   s p ec if ic,   r elev an f ee d b ac k   to   im p r o v s tu d en lear n in g   o u tco m es   [ 4 3 ] [ 4 4 ] .   I n   th is   r esear ch ,   f ee d b ac k   f r o m   GAI   is   as s es s ed   b ased   o n   h o m u ch   f ee d b ac k   ca n   h elp   s tu d en ts   u n d er s tan d   th e   m ater ial  b etter   an d   c o r r ec t th ei r   m is tak es.   B ased   o n   th av er ag ass ess m en r esu lts   g iv en   b y   e x p er ts ,   C h atGPT   s h o ws  th b est  p e r f o r m a n ce   with   an   av er ag ass es s m en o f   4 . 2 2 .   T h is   in d icate s   th at  th f ee d b ac k   g en e r ated   b y   C h atGPT   is   co n s id er ed   th m o s ac cu r ate  an d   v alu a b le  in   leg al  ed u ca tio n .   Fo r   ex a m p le ,   in   an s wer   n u m b er   1 ,   C h atGPT   r ec eiv ed   s co r o f   4 . 8   f r o m   e x p er ts ,   in d icatin g   th at  th e   f ee d b ac k   p r o v i d ed   b y   C h atGPT   is   co n s id er e d   v er y   in s ig h t f u an d   r elev an t.  C h atGPT ' s   co n s is ten cy   in   d eliv er in g   h ig h - q u ality   f ee d b ac k   ac r o s s   an s wer s   s h o ws  its   p o ten tial  as  an   ef f ec tiv to o l   in   h elp in g   s tu d en ts   u n d er s tan d   an d   co r r ec t h eir   m is tak es.   Gem in f o llo w s   with   an   av e r ag r atin g   o f   4 . 1 5 .   T h ese  r esu lts   s h o th at  th f ee d b ac k   p r o v i d ed   b y   Gem in is   also   co n s id er ed   q u ite  g o o d   b y   ex p er ts .   On   s o m e   an s wer s ,   s u ch   as  n u m b er s   2   a n d   5 ,   Gem i n r ec eiv ed   h ig h   m ar k s ,   4 . 6   ea ch ,   wh ich   s h o ws  its   ab ilit y   to   p r o v id e   ac cu r ate   an d   v alu a b le  f ee d b ac k .   W ith   alm o s eq u iv alen t   p er f o r m an ce   to   C h atGPT ,   Gem in ca n   b r eliab le  alter n ativ f o r   g iv in g   f ee d b ac k   o n   s tu d en t a s s ig n m en ts   in   th leg al  f ield .   B in g   an d   Per p lex ity   s h o wed   in ter m e d iate  s co r es  w ith   av er ag e   r atin g s   o f   4 . 0 9   a n d   3 . 9 9 ,   r esp ec tiv ely .   Alth o u g h   th f ee d b ac k   f r o m   b o th   GAI s   was c o n s id er ed   q u i te  g o o d ,   t h er wer s ev er al  an s wer s   to   th q u esti o n   o f   wh er e   th q u ality   o f   th ei r   f ee d b ac k   co u l d   b e   im p r o v e d .   Fo r   e x am p le,   in   a n s wer   n u m b er   1 ,   B in g   s co r ed   3 . 8 ,   w h ich   s h o ws  th at   its   f ee d b ac k   is   s till   less   in - d ep th   th an   C h atGPT   o r   Gem in i.  P er p lex ity ,   with   th e   s ec o n d   lo west  av er ag v alu e,   also   s h o wed   v ar iab ilit y   in   th q u ality   o f   its   f ee d b ac k ,   in d icatin g   th n ee d   f o r   im p r o v em en t s   in   its   a lg o r ith m   o r   tr ain in g   d ata.   Yo u   r ec eiv e d   th lo west  r atin g   with   an   av er a g o f   3 . 9 0 ,   in d icatin g   th at  th e   f ee d b ac k   p r o v i d ed   b y   Yo u   was  co n s id er ed   in a d e q u ate  o r   n o as  ac cu r ate  as  o t h er   GAI s   in   ass ess in g   s tu d en ass ig n m en ts .   On   s o m an s wer s ,   s u ch   as  n u m b e r s   1 2   a n d   2 0 ,   Y o u   s co r e d   as  l o as  3 . 2 ,   in d icatin g   th at  th e   f ee d b ac k   was  o f ten   n o in s ig h tf u o r   r elev an t   en o u g h   to   h elp   s tu d en ts   co r r ec t h eir   m is tak es.  T h is   h ig h lig h ts   Yo u ' s   lim itatio n s   in   th co n tex o f   ac ad e m ic  ev alu atio n   an d   t h n ee d   f o r   s ig n if ic an t im p r o v em en t to   c o m p ete  with   o th er   GAI s .     Evaluation Warning : The document was created with Spire.PDF for Python.