I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 ,   p p .   4 5 7 9 ~ 4 5 8 9   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 14 .i 6 . p p 4 5 7 9 - 4 5 8 9          4579       J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   A comp a ra tive st udy  of larg e lang ua g e mo dels with   cha in - of - thoug ht  pro mp tin g  f o r auto ma ted  p ro g ra m repa ir       E k o   Da rwiy a nto 1 , 3 ,   Rizky   A k ba G us na en 1 ,   Rio   Nurt a nty a na 1, 2, 4   1 I n f o r mat i c s S t u d y   P r o g r a m ,   S c h o o l   o f   C o m p u t i n g ,   Te l k o m   U n i v e r si t y ,   B a n d u n g ,   I n d o n e s i a   2 R e s e a r c h   C e n t e r   f o r   D a t a   a n d   I n f o r m a t i o n   S c i e n c e s,  N a t i o n a l   R e s e a r c h   a n d   I n n o v a t i o n   A g e n c y ,   B a n d u n g ,   I n d o n e si a   3 C e n t e r   o f   E x c e l l e n c e   H U M I C ,   S c h o o l   o f   C o m p u t i n g ,   T e l k o m U n i v e r s i t y ,   B a n d u n g ,   I n d o n e si a   4 C e n t e r   o f   E x c e l l e n c e   o f   A r t i f i c i a l   I n t e l l i g e n c e   f o r   Le a r n i n g   a n d   O p t i mi z a t i o n ,   T e l k o m U n i v e r si t y ,   B a n d u n g ,   I n d o n e si a         Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J an   2 8 ,   2 0 2 5   R ev is ed   J u l 1 1 ,   2 0 2 5   Acc ep ted   Oct  1 9 ,   2 0 2 5       Au to m a ti c   c o d e   re p a ir  is  a n   i m p o rtan tas k   in   so ftwa re   d e v e lo p m e n to   re d u c e   b u g e fficie n tl y .   T h is  re se a rc h   fo c u se o n   d e v e l o p i n g   a n d   e v a lu a ti n g   c h a in - of - th o u g h t   (Co T)   p r o m p ti n g   a p p r o a c h   t o   im p ro v e   t h e   a b il i t y   o larg e   lan g u a g e   m o d e ls  (L LM s)  i n   a u t o m a ted   p r o g ra m   re p a ir  (APR)   t a sk s.  Co T   p ro m p ti n g   is  a   tec h n iq u e   th a t   g u i d e LL M   to   g e n e ra te  ste p - by - ste p   e x p lan a ti o n b e fo re   p r o v id i n g   th e   fin a a n sw e r,   so   it   is  e x p e c ted   t o   imp r o v e   th e   a c c u ra c y   a n d   q u a li t y   o c o d e   re p a ir.   T h is  re se a rc h   u se t h e   Qu ix Bu g d a tas e to   e v a lu a te  th e   p e rf o rm a n c e   o se v e ra LL M   m o d e ls,  in c lu d in g   De e p S e e k - V3   a n d   G P T - 4 o ,   with   two   p ro m p ti n g   m e th o d s,  n a m e ly   sta n d a rd   a n d   C o p ro m p t in g .   T h e   e v a l u a ti o n   is  b a se d   o n   th e   a v e ra g e   n u m b e o p lau sib le   p a tch e g e n e ra ted   a w e ll   a th e   e stim a ted   to k e n   u sa g e   c o st.  T h e   re su lt sh o th a Co p ro m p ti n g   imp ro v e p e rfo rm a n c e   in   m o st  m o d e ls  c o m p a re d   with   th e   sta n d a rd .   De e p S e e k - V3   re c o rd e d   th e   h i g h e st p e rfo rm a n c e   with   a n   a v e ra g e   o 3 6 . 6   p lau sib le  p a tch e a n d   th e   lo we st  c o st  o $ 0 . 0 0 6 .   G P T - 4 o   a lso   sh o we d   c o m p e ti ti v e   re su lt wit h   a n   a v e ra g e   o f   3 5 . 8   p lau sib le  p a tch e a n d   a   c o st   o f   $ 0 . 2 2 6 .   Th e se   re su lt c o n firm t h a t   Co T   p ro m p ti n g   is  a n   e ffe c ti v e   tec h n iq u e   to   imp ro v e   L LM   re a so n i n g   a b il it y   i n   APR  tas k s.   K ey w o r d s :   Au to m ated   p r o g r a m   r ep air   C h ain - of - th o u g h t   p r o m p tin g   L ar g lan g u ag m o d els   Qu ix b u g s   Stan d ar d   p r o m p tin g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R io   Nu r tan ty an a   R esear ch   C en ter   f o r   Data   an d   I n f o r m atio n   Scien ce s Natio n a l Res ea r ch   an d   I n n o v atio n   Ag en cy   ( B R I N)   B an d u n g ,   I n d o n esia   E m ail:  ak u n er io @ g m ail. co m       1.   I NT RO D UCT I O N   So f twar e   d ev elo p m e n is   an   in h er en tly   co m p lex   p r o ce s s   p r o n to   er r o r s .   B u g s   o r   d e f ec ts   in   s o f twar ca n   r esu lt  in   s er io u s   co n s eq u en ce s ,   r an g i n g   f r o m   u s er   i n co n v e n ien ce   to   s ig n if ica n f in an cial  lo s s es  [ 1 ]   T h u s ,   b u g   f ix i n g   is   cr itical  t ask   in   th s o f twar d ev elo p m e n life cy cle.   Ho wev er ,   m an u al   b u g   f ix in g   is   o f ten   tim e - co n s u m in g   an d   r eso u r ce - in ten s iv [ 2 ] .   T h is   is   wh er e   au to m ated   p r o g r am   r ep air   ( A PR )   p lay s   cr u cial  r o le  in   en h an cin g   ef f icien c y   a n d   r ed u cin g   b u g - f ix in g   co s ts .   I n   r ec en y ea r s ,   APR   h as  b ec o m an   ac tiv ar ea   with   v ar io u s   ap p r o ac h es  p r o p o s ed ,   in clu d in g     s ea r ch - b ased ,   co n s tr ain t - b ase d ,   tem p late - b ased ,   an d   lear n in g - b ased   m et h o d s   [ 3 ] ,   [ 4 ] .   On o f   t h latest  ad v an ce m e n ts   in   APR   in v o l v es  th u tili za tio n   o f   la r g la n g u ag e   m o d els  ( L L Ms)   s u ch   a s   GPT - 3   an d   C o d ex   [ 5 ] .   C o d ex   is   m o d el  d ev elo p ed   b y   O p en AI   an d   d esig n e d   to   h an d le   v ar i o u s   p r o g r a m m i n g   task s ,   in cl u d in g   co d g en er atio n ,   p r o b lem - s o lv in g ,   an d   b u g   f ix in g   [ 6 ] .   Ad d iti o n ally ,   C o d ex   s er v es  as  th b a ck b o n o f   GitHu b   C o p ilo t,  to o th at  aim s   d ev elo p er s   in   wr itin g   co d m o r q u ic k ly   an d   e f f icien tly   [ 5 ] .   Desp ite  th ese  ad v an ce m e n ts ,   th p er f o r m a n ce   o f   L L Ms  in   b u g   f ix in g   ca n   b f u r th er   im p r o v e d .   Pre n n er   et  a l [ 7 ]   ev alu ate d   C o d ex ' s   b u g - f ix in g   ca p a b ilit ies  u s in g   th Qu ix B u g s   d atas et  an d   f o u n d   th at  p r o m p ts   s ig n if ican tly   im p ac t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 4 5 7 9 - 4 5 8 9   4580   C o d ex ' s   p er f o r m an ce .   C o n v e r s ely ,   in ap p r o p r iate  p r o m p ts   m ay   ca u s C o d ex   to   p r o d u ce   in co r r ec f ix es.   T h er ef o r e,   d e v elo p in g   ef f ec tiv p r o m p tin g   tech n iq u es is   ess en tial to   en h an ce   L L p er f o r m an ce   in   APR .   A   p r o m p t   i s   a   s e t   o f   i n s t r u c t i o n s   p r o v i d e d   t o   a n   L L M   t o   g e n e r a t e   s p e c i f i c   r e s p o n s e s   o r   o u t p u t s   [ 8 ] .   I n   t h e   c o n t e x t   o f   L L M ,   p r o m p t s   a r e   o f t e n   d e s i g n e d   w i t h   a   t e c h n i q u e   k n o w n   a s   p r o m p t   e n g i n e e r i n g .   P r o m p t   e n g i n e e r i n g   i n v o l v e s   s y s t e m at i c al l y   d e s i g n i n g   p r o m p t s   t o   g u i d e   L L M s   i n   g e n e r a t i n g   d e s i r e d   o u t p u ts   o r   a c h i e v i n g   p a r t i c u l a r   g o a l s   [ 8 ] .   T h i s   t ec h n i q u e   i n v o lv e s   c r a f t i n g   e f f e ct i v e   p a t te r n s   o r   t e m p l a t es   t o   h e l p   m o d e l s   u n d e r s t a n d   t h e   g i v e n   t a s k ,   es p e c i al l y   i n   c as e s   t h a t   r e q u i r e   r e a s o n i n g   o r   c o m p l e x   p r o b l e m - s o l v i n g .   H o w e v e r ,   t h e   p r o m p t   e n g i n e e r i n g   c o n c e p t   t h a t   h a s   y e t   t o   b e   e x t e n s i v e l y   e x p l o r e d   i n   A P R   is   c h ai n - of - t h o u g h t   ( C o T )   p r o m p t i n g .   C o T   p r o m p t i n g   i s   a   t e c h n i q u e   t h a t   g u i d es   L L M s   t o   p r o d u c e   s t e p - by - s t e p   e x p l an a t i o n s   b e f o r e   p r o v i d i n g   a   f i n a l   a n s w e r   [ 9 ] ,   [ 1 0 ] T h i s   a p p r o a c h   h a s   p r o v e n   e f f e c t i v e   i n   e n h a n ci n g   L L M   p e r f o r m a n c e   i n   v a r i o u s   t as k s ,   s u ch   a s   a r i t h m et i c   a n d   p r o b l e m - s o l v i n g   [ 1 1 ] .   C o T   p r o m p t i n g   e n a b l e s   L L Ms   t o   d e c o m p o s e   c o m p l e x   p r o b l e m s   i n t o   s i m p l e r   s u b - p r o b l e m s   a n d   p r o v i d e   m o r e   s t r u c t u r e d   e x p l a n a t i o n s   [ 1 2 ] .   I n   t h e   c o n t e x t   o f   A P R ,   C o T   p r o m p t i n g   c a n   a s s is L L M s   i n   b e tt e r   u n d e r s ta n d i n g   th e   b u g   c o n t e x t ,   i d e n t i f y i n g   i ts   c a u s es ,   a n d   g e n e r a t i n g   c o r r e c t   f i x e s .   Hen ce ,   th is   s tu d y   aim s   t o   e x p lo r t h p o ten tial  a n d   d esig n   ef f ec ti v C o T   p r o m p tin g   t ec h n iq u es,  b ased   o n   r elev an liter atu r e   to   im p r o v e   L L p e r f o r m an ce   i n   APR .   I n   th is   s tu d y ,   th p r o p o s ed   C o T   p r o m p t   s tr u ctu r will  b c o m p ar e d   wi th   th s tan d ar d   p r o m p tin g   a p p r o ac h   to   ev alu ate   p er f o r m an c e   im p r o v em en a n d   co s ef f icien cy .   Stan d ar d   p r o m p tin g   is   s tr aig h tf o r war d   a p p r o ac h   wh er m o d el  is   g iv en   q u esti o n   o r   p r o b lem   an d   d ir ec tly   p r o d u ce s   f in al  an s wer .   C o n v er s ely ,   C o T   p r o m p tin g   g u id es  th m o d el  to   p r o v id s tep - by - s tep   ex p la n atio n   b e f o r g en er atin g   th f i n al  an s wer .   T h ev al u atio n   will  u s th e   Qu ix B u g s   d ataset  [ 1 3 ] ,   wh ic h   is   b en ch m a r k   d esig n ed   to   test   APR   ca p ab ilit i es.  Fu r th er m o r e,   t h Qu ix B u g s   d ataset  h as  b ee n   wid ely   u s ed   in   v ar io u s   APR   s t u d ies  to   ass ess   co d r ep air   tec h n iq u es  [ 1 4 ] .   I n   th is   s tu d y ,   th ev alu atio n   r esu lts   in clu d an   an aly s is   o f   th L L M' s   p er f o r m a n ce   in   g e n er atin g   co r r ec co d r e p air s   o n   th Qu ix B u g s   d ataset,   as  well  as  co s esti m ate  b ased   o n   th n u m b e r   o f   to k en s   u s ed .   T h e r ef o r e,   th e   co n tr ib u tio n   o f   th is   s tu d y   is   to   d ev elo p   th e   s tr u ctu r e   o f   C o T   p r o m p tin g   f o r   APR   an d   to   c o m p ar t h p er f o r m an ce   o f   v ar io u s   L L m o d els   u s in g   th s tan d ar d   p r o m p tin g   an d   o u r   p r o p o s ed   C o T   p r o m p t in g .       2.   M E T H O D   2 . 1 .     Da t a s et   T h e   d a t a s e t   e m p l o y e d   i n   t h i s   s t u d y   i s   Q u i x B u g s ,   a   b e n c h m a r k   c o m p r i s i n g   4 0   p r o g r a m s   w i t h   b u g s   i m p l e m e n t e d   i n   b o t h   P y t h o n   an d   J a v a   [ 1 5 ] .   Q u i x B u g s   w as   s e l e c t e d   b ec a u s i p r o v i d e s   w el l - d e f i n e d   t es c as e s   t h a t   c a n   b e   u ti l i ze d   t o   e v a l u a t t h e   o u t c o m es   o f   c o d e   r e p a i r s   [ 1 4 ] .   T h e   b u g s   p r e s e n t   i n   Q u ix B u g s   e n c o m p as s   w i d e   r a n g e   o f   c o m m o n   e r r o r s   in   s o f t w a r e   d e v e l o p m e n t ,   s u c h   a s   l o g i c al ,   a r i t h m et i c ,   a n d   f u n c ti o n   c a l l   e r r o r s .     2 . 2 .     Ut ilizin g   t he  L L M s   m o dels   wit h AP I   T h is   s tu d y   u tili ze s   v ar io u s   L L Ms  to   ass e s s   th ef f ec tiv en ess   o f   C o T   p r o m p tin g   f o r   AP R   task s ,   a s   lis ted   in   T ab le  1 .   W u s ed   1 0   p u b lic  L L Ms  th at  wer r elea s ed   f r o m   m id   u n til  th en d   o f   2 0 2 4   an d   it  co u l d   b ac ce s s ed   v ia  API ,   s u ch   as  G PT - 4 o ,   o 1 - Pre v iew ,   o 1 - m i n i,  C lau d e - 3 . 5 - So n n et L lam a - 3 . 3 - 70 B Gem in i - 1 . 5 - Pro Gem in i - 1 . 5 - Flas h Gr o k - B eta ,   an d   Gr o k - 2 .   T h ese  m o d els  wer s elec ted   b ased   o n   th q u ality   in d ex   p u b lis h ed   b y   ar tific ial  an aly s i s   [ 1 6 ] .   Ad d itio n ally ,   th is   s tu d y   in co r p o r ates  th Dee p Seek - V3   m o d el,   n ew  m o d el  d em o n s tr atin g   s ig n if ic an p o ten tial  in   co d r e p air   task s   [ 1 7 ] .   Hen ce ,   th is   s tu d y   ca n   ev alu ate  th ef f ec tiv en ess   o f   C o T   p r o m p tin g   ac r o s s   m o d els with   d if f e r en t   ap p r o ac h es.       T ab le  1 .   T h L L m o d els u s ed   in   th is   s tu d y   M o d e l   A P I   p r o v i d e r   To t a l   p a r a ms   O p e n   so u r c e   R e l e a s e   d a t e   ( 2 0 2 4 )   K n o w l e d g e   c u t o f f   P r i c e / 1 M   T o k e n   ( U S D )   A P I   e n d p o i n t   I n p u t   O u t p u t   G P T - 4o   A z u r e   -   No   0 6   A u g .   O c t .   2 3   2 . 5   10   h t t p s : / / r i a k g u . o p e n a i . a z u r e . c o m   G r o k - B e t a   x A I   -   No   1 3   A u g .   -   5   15   h t t p s : / / a p i . x . a i   G r o k - 2   x A I   -   No   1 3   A u g .   -   2   10   h t t p s : / / a p i . x . a i   o1 - m i n i   O p e n A I   -   No   1 2   S e p .   O c t .   2 3   3   12   h t t p s : / / a p i . o p e n a i . c o m   o1 - P r e v i e w   O p e n A I   -   No   1 2   S e p .   O c t .   2 3   15   60   h t t p s : / / a p i . o p e n a i . c o m   G e mi n i - 1 . 5 - F l a s h   G o o g l e   -   No   2 4   S e p .   A u g .   2 4   . 0 7 5   .3   h t t p s : / / g e n e r a t i v e l a n g u a g e . g o o g l e a p i s . c o m   G e mi n i - 1 . 5 - Pro   G o o g l e   -   No   2 4   S e p .   A u g .   2 4   1 . 2 5   5   h t t p s : / / g e n e r a t i v e l a n g u a g e . g o o g l e a p i s . c o m   C l a u d e - 3 - 5 - S o n n e t   A n t h r o p i c   -   No   2 2   O c t .   A p r .   2 4   3   15   h t t p s : / / a p i . a n t h r o p i c . c o m   Ll a m a - 3 . 3 - 7 0 B   A z u r e   70   B   Y e s   0 6   D e c .   -   . 7 1   . 7 1   h t t p s : / / r i a k g u 2 . s e r v i c e s.a i . a z u r e . c o m   D e e p S e e k - V3   D e e p s e e k   6 7 0   B   Y e s   2 7   D e c .   -   . 0 1 4   . 2 8   h t t p s : / / a p i . d e e p se e k . c o m   N o t e s :   Th e   s y mb o l   " - "   i n d i c a t e u n k n o w n   d a t a ;   d a t a   h a b e e n   u p d a t e d   a n d   p r o c e sse d   b y   t h e   r e s e a r c h e r   a o f   J a n u a r y   1 6 ,   2 0 2 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   co mp a r a tive  s tu d o f l a r g l a n g u a g mo d els w ith   ch a in - of - th o u g h t p r o mp tin g   …  ( E ko   Da r w iya n to )   4581   T h p ar am eter   s ettin g s   in   th is   s tu d y   ad o p Gr ee d y   s am p lin g   ap p r o a ch   [ 1 8 ] ,   wh er th te m p er atu r e   is   s et  to   0 . 0   an d   to p _ p   t o   0 . 0 1 .   T h is   ap p r o ac h   en s u r es  th at   th m o d el  co n s is ten tly   s elec ts   th to k en   with   th e   h ig h est  p r o b ab ilit y   at   ea ch   s tep ,   r esu ltin g   in   co n s is ten o u tp u t.  Gr ee d y   s am p lin g   h as  b ee n   u s ed   b y     L ee   et  a l [ 1 9 ]   an d   h as p r o v e n   to   b s u p er i o r   in   a u to m atic  s co r in g   task s   u s in g   th e   C o T   tech n iq u e.     2 . 3 .     T he  s t ruct ure  o f   t he  pro po s ed  Co T   pro m pt  a nd   s t a n da rd  pro m pt   T h p r o p o s ed   o f   th C o T   p r o m p in   th is   s tu d y   is   m o d if icatio n   o f   th ap p r o ac h   in   [ 1 9 ] ,   [ 2 0 ] ;   wh ich   im p lem en ted   f ew - s h o p r o m p tin g   f o r   APR   task s .   T h is   r esear ch   ad a p ts   th at  ap p r o ac h   b y   co n v e r tin g   it  i n to   C o T   p r o m p tin g   d esig n ed   to   g u id th m o d el  in   r eso lv in g   p r o b lem s   in cr em e n tally .   Fig u r 1   s h o ws  th d if f er en ce   p r o m p t   s tr u ctu r es .   T h C o T   p r o m p t u s ed   in   th is   s tu d y   c o m p r is es  two   m ain   s ec tio n s   s u ch   as  b u g   f ix   ex am p le  an d   b u g   f ix   task ,   as  i llu s tr ated   in   Fig u r 1 ( a ) .   Me an wh ile  th s tan d ar d   p r o m p was  u s ed   as  s tan d ar d   co m p ar is o n   as illu s tr ated   in   Fi g u r 1 ( b ) .         ( a)       ( b )     Fig u r 1 .   T h d if f er en ce   p r o m p t stru ctu r es,  s u ch   as ( a)   t h p r o p o s ed   C o T   p r o m p t a n d   ( b )   th s tan d ar d   p r o m p t       T h b u g   f i x   ex am p le  s ec tio n   c o n s is ts   o f   two   m an u ally   cr ea ted   co d r ep air   e x am p les,  ea ch   co n tain in g   th r ee   p r im ar y   elem en ts   s u ch   a s   ex am p le  b u g ,   ex am p le  C o T   s tep s ,   an d   ex am p le  f ix .   E x am p le  b u g   in cl u d es  a   co d s n ip p et  with   b u g   t h at  r eq u ir es  co r r ec tio n .   E x a m p le  C o T   s tep s   b eg in   with   th p h r ase  "L et's  th in k   s tep   b y   s tep , as  p r o p o s ed   b y   K o jim et  a l [ 2 1 ] ,   f o llo wed   b y   f iv s tep s   ad o p ted   f r o m   th e   d eb u g g in g   p r o ce s s   ex am in ed   b y   Asad o llah   et  a l [ 2 2 ]   s u ch   as  i )   b u g   id e n tific atio n ,   ii )   ty p o f   b u g   i d en ti f icatio n ,   iii )   ca u s e   id en tific atio n ,   iv )   e x p lo r in g   c o r r ec tio n s ,   a n d   v )   f ix in g   b u g .   I n   th e   last   p ar t,   th e x am p le  f ix   is   th s n ip p et  o f   co d th at  h as  b ee n   co r r ec ted   f o llo win g   th C o T   p r o ce s s .   Fu r th er m o r e,   th en tire   b u g   f ix   ex am p le  s ec tio n   is   o r g an ized   in   s tr u ctu r e d   f o r m at  u s in g   <e x am p les>  an d   <e x am p le>   tag s ,   in   lin wi th   An th r o p ic' s   [ 2 3 ]   r ec o m m en d atio n s   to   en h an ce   clar ity   an d   o r g an izatio n   in   th p r o m p t stru ct u r e.   T h e   b u g   f i x   t a s k   s e c t i o n   c o n s t i t u t es   t h e   m a i n   p o r t i o n   o f   t h e   p r o m p t   p r o v i d e d   t o   t h e   m o d e l .   I n   t h i s   s e c ti o n ,   t h e   m o d e l   i s   t as k e d   w i t h   a p p l y i n g   t h e   r e p a i r   s t e p s   l e a r n e d   f r o m   t h e   b u g   f i x   e x a m p l e   t o   t h e   c o d e   c o n t a i n i n g   a   b u g .   T h e   m o d e l   i s   e x p e c t e d   t o   a d h e r e   t o   t h e   C o T   a p p r o a c h   b y   s y s t e m a t i c al l y   a n a l y z i n g   t h e   b u g ,   b e g i n n i n g   w i t h   b u g   i d e n t i f i c a ti o n ,   d e t e r m i n i n g   t h e   t y p e   o f   b u g ,   i d e n t i f y i n g   t h e   c a u s e ,   e x p l o r i n g   s o l u t i o n s ,   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 4 5 7 9 - 4 5 8 9   4582   i m p l e m e n t i n g   t h e   f i x .   C o n s eq u e n t l y ,   t h e   m o d e n o t   o n l y   p r o d u c e s   c o r r e c te d   c o d e   b u t   a ls o   p r o v i d e s   a     s t e p - by - s t e p   e x p l a n at i o n   o f   t h e   s o l u t i o n   o f f e r e d .   T h i s   e n s u r es  t h a t   c o d e   c o r r e c t i o n s   a r e   c a r r ie d   o u t   w i t h   a   d e e p   u n d e r s t a n d i n g   a n d   a   s t r u c t u r e d   a n a l y t i ca l   p r o c es s ,   r e s u lt i n g   i n   m o r e   a c c u r a t s o l u ti o n s .   C o n v e r s e l y ,   t h e   s t a n d a r d   p r o m p t   u s e d   i n   t h i s   s t u d y ,   w h ic h   a d o p t s   a   g e n e r a l   a p p r o a c h   li k e   z e r o - s h o t   p r o m p t i n g   [ 2 4 ] .   I n   t h i s   a p p r o a c h ,   t h m o d e l   i s   as s i g n e d   t h e   t as k   o f   r e p a i r i n g   b u g g y   c o d e   w i t h o u t   a d d i t i o n a l   g u i d a n c e   o r   p r i o r   e x am p l e s .     2 . 4 .     T he  s y s t em   dev elo pm en t   o f   t he  a uto ma t ed  pro g ra m   re pa ir   T h e   APR   s y s te m   was   d e v e lo p e d   u s i n g   th e   Py th o n   p r o g r a m m i n g   l an g u a g e   an d   t h e   AP R   p r o c ess   is   v is u al iz ed   t h r o u g h   a   f l o wc h ar t ,   as  i n   Fi g u r 2 ,   w h i ch   o u tli n e s   t h e   wo r k f l o f r o m   d atas et   r e ad i n g   to   g e n e r a ti n g   to k e n   u s a g e   s ta tis ti ca l   s u m m a r ies  f o r   c o s esti m a ti o n .   T h p r o ce s s   b e g i n s   b y   r ea d i n g   a   d at ase c o n ta in in g   co l le cti o n   o f   b u g g y   f i les .   I f   t h d atas et  is   e m p ty ,   t h s y s t em   i m m e d i atel y   te r m in at es  t h p r o ce s s   wit h o u p r o ce e d i n g   w it h   s u b s e q u e n t st ep s .   H o w ev e r ,   if   t h d atas et  co n ta in s   f iles ,   th s y s te m   will   r ea d   t h f ir s t a v ail ab le   b u g g y   f ile .   O n c e   t h e   b u g g y   f il e   is   r ea d ,   t h e   s y s te m   c o n s tr u cts   a   p r o m p t   u s i n g   a   p r e - p r e p a r e d   te m p l ate .     T h e   C o T   o r   s t a n d ar d   p r o m p t   t em p l ate   is   s u b m itt e d   t o   t h e   L L M   th r o u g h   a n   AP I   t o   g e n e r a te   a   r es p o n s e   co n s is t in g   o f   t h r e p ai r e d   c o d e .   T h r esp o n s is   e x t r a cte d   t o   o b tai n   th r el ev a n t c o d s eg m e n t t h at  s e r v es  as t h e   s o l u ti o n   f o r   t h e   i d e n ti f i ed   b u g .   T h is   r ep ai r e d   co d is   s a v e d   f o r   v a li d at io n   in   t h e   s u b s eq u en t stag e.   A d d iti o n a ll y ,   th e   APR   s y s te m   r e co r d s   t h n u m b er   o f   t o k en s   u s e d   b y   th m o d el  in   g e n e r at in g   t h e   r esp o n s e   t o   esti m at th e   co s t   o f   L L M   s e r v ic u s ag b as ed   o n   t h e   a p p li ca b l t o k e n   p r i c in g   ac co r d i n g   t o   t h e   L L Ms .             Fig u r 2 .   APR   w o r k f lo w       2 . 5 .   T he  v a lid a t io n a nd   ev a l ua t io n m et ho ds   T h v alid atio n   s tag aim s   to   ev alu ate  th co d p r o d u ce d   b y   th APR   p r o ce s s   to   en s u r th at  th b u g s   h av b ee n   co r r ec tl y   f ix ed .   T h wo r k f lo f o r   th v alid atio n   p r o ce s s   is   s y s tem atica l ly   d ep icted   in   t h e   f lo wch ar t ,   as   in   Fig u r 3 ,   s tar tin g   f r o m   c o d r ea d in g   to   t h e   s to r ag o f   test   r esu lts .   B ef o r v alid atio n   b eg i n s ,   th co d ex tr ac ted   f r o m   th L L r esp o n s is   m an u ally   r ev iewe d   to   en s u r th at  o n ly   r e lev an s ec tio n s   ar e   u s ed .   T h is   s tep   is   cr u cial  b ec au s L L r esp o n s es o f ten   lack   s tr u ctu r o r   co n tain   ad d itio n a l in f o r m atio n   t h at  is   n o p er tin e n to   th test in g .   On ce   th r e v iew  is   co m p lete   an d   t h co d is   ad ju s ted ,   v a lid atio n   p r o ce ed s   b y   r ea d in g   th c o d f o r   test in g .   I n   d etail,   th v alid atio n   p r o ce s s   em p lo y s   Py test   [ 2 5 ]   to   ev al u ate  th co d ag ai n s s er ies  o f   test   ca s es  p r o v id e d   in   th Q u ix B u g s   d ataset.   Py t est  g en er ates  test in g   lo g   th a r ec o r d s   d etails  o f   ea ch   test   ca s e,   in clu d in g   th n u m b er   o f   test   ca s es p as s ed   o r   f ailed .   Up o n   co m p letio n   o f   all  test s ,   th Py te s t lo g   is   p r o ce s s ed   th r o u g h   p ar s in g   s tag to   p r o d u ce   s tr u ct u r ed   r ep o r t.             Fig u r 3 .   T h v alid atio n   wo r k f lo w       I n   ter m s   o f   e v alu atio n ,   th is   s tu d y   ev alu ates  th o u tco m es  o f   co d r ep air   u s in g   th m etr ic  o f   p lau s ib le  p atch es  [ 2 6 ] .   A   p atch   is   d ee m ed   p lau s ib le  if   th e   r esu ltin g   c o d co r r ec tio n   p ass es  all  th test   ca s es  p r o v id e d   in   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   co mp a r a tive  s tu d o f l a r g l a n g u a g mo d els w ith   ch a in - of - th o u g h t p r o mp tin g   …  ( E ko   Da r w iya n to )   4583   th test   s u ite  [ 2 7 ] .   B y   em p lo y in g   p lau s ib le  p atch es  as  m et r ic,   th is   r esear ch   ca n   ass ess   th m o d el' s   ab ilit y   to   p r o d u ce   co d e   r ep air s   th at  c o n f o r m   to   th e   s p ec if icatio n s   with o u t in tr o d u cin g   n ew  b u g s .       3.   RE SU L T S AN D I SCU SS I O N   T h e   r esu lts   wer co n d u cted   b y   co m p a r in g   two   p r o m p tin g   m eth o d s ,   s u ch   as  s tan d ar d   p r o m p tin g   an d   p r o p o s ed   C o T   p r o m p tin g .   E ac h   m o d el  was  test ed   f iv tim es  o n   th Qu ix B u g s   d ataset,   wh ich   co n tain s     4 0   b u g g y   p r o g r am s .   T h ev al u atio n   in v o lv e d   ca lcu latin g   th av er ag n u m b er   o f   p lau s ib l p atch es  p r o d u ce d   an d   th a v er ag to k en   u s ag f o r   ea ch   test in g   s ce n ar i o .     3 . 1 .     T he  co m pa riso n o f   mo del per f o rm a nce  ba s ed  o n t he  nu m ber  o f   pla us ibl pa t ches   Mo d el  p er f o r m a n ce s   wer m ea s u r ed   b y   th n u m b er   o f   p lau s ib le  p atch es  p r o d u ce d ,   d ef in ed   as   p atch es  th at  s u cc ess f u lly   f ix   t h b u g s   an d   p ass   all  test   ca s es.  T h g r ea ter   th n u m b e r   o f   p lau s ib le  p atch es  g en er ated ,   th b etter   th m o d el's  p er f o r m an ce .   Fig u r 4   illu s tr ates  th o v er all  p er f o r m a n ce   co m p ar is o n   o f   b o th   clo s ed - s o u r ce   an d   o p en - s o u r ce   m o d els  with in   th s tan d ar d   an d   C o T   p r o m p ti n g   s ce n a r io s .   Dee p Seek - V3   an d   GPT - 4 o   e x h ib it  th b est  p er f o r m an ce ,   with   s ig n if ican t   im p r o v e m en ts   n o ted   u n d e r   t h C o T   p r o m p tin g   m eth o d ,   wh ile  s o m m o d els,  s u ch   as  o 1 - m in an d   Gem in i - 1 . 5 - Pro   ex p er ien ce   d ec lin in   p er f o r m an ce .   I n   ter m s   o f   o p e n - s o u r ce   m o d el  p er f o r m an ce ,   Dee p Seek - V3   a n d   L lam a - 3 . 3 - 7 0 B   m o d els  d e m o n s tr ate  en h a n ce d   p er f o r m an ce   with   C o T   p r o m p tin g ,   with   Dee p Seek - V3   ac h iev in g   th e   h ig h est  r esu lts .   C o n v er s ely ,   in   th e   clo s ed - s o u r ce   m o d el  p er f o r m an ce ,   m o s m o d els  s h o im p r o v ed   p er f o r m an ce   with   C o T   p r o m p tin g ,   s u ch   as   GPT - 4 o   an d   G r o k - 2.             Fig u r 4 .   T h co m p ar is o n   o f   t h n u m b er   o f   p lau s ib le  p atc h e s   u s in g   L L m o d els       T h p er f o r m a n ce   test   r esu lts   in d icate   th at  th e   u s o f   C o T   p r o m p tin g   g en e r ally   en h an ce s   th p er f o r m an ce   o f   L L m o d els   f o r   APR   ta s k s .   I al s o   r ev ea ls   s u b s tan tial   p er f o r m an ce   d if f er en ce s   am o n g   th L L m o d els,  esp ec ially   r eg a r d in g   th n u m b er   o f   p lau s ib le  p atch es  g en er ated   an d   t h co s t   ef f icien cy   o f   to k en   u s ag e.   C lo s ed - s o u r ce   m o d els  ex h ib it  v ar ie d   o u tco m es  in   A PR   task s   with   C o T   p r o m p tin g .   Mo s m o d els,  s u c h   as  GPT - 4 o   an d   Gr o k - 2 ,   e x p er ien ce   s ig n if ican p e r f o r m an ce   im p r o v em en ts .   Fo r   i n s tan ce ,   GPT - 4 o   r ec o r d s   an   in cr ea s f r o m   3 1 . 4   to   3 5 . 8   p l au s ib le  p atch es,  wh ile  Gr o k - 2   r is es  f r o m   2 6 . 2   to   2 9 . 8   p la u s ib le  p atch es.  T h is   im p r o v em e n s u g g ests   th at  C o T   p r o m p tin g   s u cc ess f u lly   g u id es  m o d els  in   tack lin g   r ea s o n in g   task s   m o r e   s tr u ctu r ally ,   as e x p lain e d   b y   W h ite   et  a l .   [ 8 ] .   Ho wev er ,   n o all  m o d els  d is p lay   p o s itiv r esu lts   with   C o T   p r o m p tin g .   So m m o d els,  s u ch   as    o1 - m in i   an d   o 1 - p r ev iew,   s h o d ec lin e   in   p er f o r m a n ce .   p r im ar y   r ea s o n   f o r   t h is   i s   th in ter n al  C o T   ch ar ac ter is tic  in h er en to   t h ese  m o d els.  As  d escr ib ed   in   th e   Op en AI   d o cu m en tatio n   [ 2 8 ] ,   th o 1   m o d els  ar e   d esig n ed   to   p er f o r m   co m p le x   r ea s o n in g   in d ep en d en tly   u s in g   in ter n al  m ec h an is m s   b e f o r a r r iv in g   at  a n   an s wer .   T h is   ca p a b ilit y   allo w s   th m o d el   to   s o lv e   co m p le x   p r o b lem s   with o u n ee d in g   ad d itio n al  g u id an ce   f r o m   th p r o m p t.  Sin ce   th e   C o T   p r o m p tin g   is   ap p lied   t o   m o d els  lik e   o 1 ,   th e   s tep - by - s tep   in s tr u ctio n s   p r o v id e d   in   th p r o m p m ig h d is r u p th m o d el' s   alr ea d y   o p tim ized   in te r n al  r ea s o n in g   p r o ce s s .   T h is   m is alig n m en lead s   to   d ec r ea s ed   p er f o r m a n ce   b ec au s th p r o m p s tr u ctu r d o es  n o ali g n   with   th m o d el' s   n ativ r ea s o n in g   ap p r o ac h .   Ho wev er ,   o p e n - s o u r ce   m o d el s   s u ch   as  Dee p Seek - V3   an d   L lam a - 3 . 3 - 7 0 B   d em o n s tr ate  s ig n if ican p er f o r m an ce   d if f er e n ce s   with   C o T   p r o m p tin g .   T h e   p o s s ib le  r ea s o n   is   th e   Dee p Seek - V 3   h as  v er y   lar g e   m o d el  s ize  with   to tal  o f   6 7 1   b illi o n   p ar am eter s ,   wh er ea s   L lam a - 3 . 3 - 7 0 B   h as  o n ly   7 0   b illi o n   p ar am ete r s .   T h s u p er io r   p er f o r m a n ce   o f   Dee p Seek - V3   alig n s   with   th e   f in d in g s   o f   Yu   et  a l [ 2 9 ] ,   wh o   n o ted   th at  lar g e r   m o d els ten d   to   e x h ib it si g n if ic an t p er f o r m an ce   lea p s   with   C o T   p r o m p tin g .   T h is   is   b ec au s lar g er   m o d els h av e   g r ea ter   ca p ac ity   to   u n d er s tan d   an d   s o lv co m p lex   p r o b lem s .   I n   ad d itio n ,   tr ain i n g   d ata  also   p lay s   s u b s tan tial  r o le  in   Dee p Seek - V3 ' s   p er f o r m an ce ,   wh ich   is   tr ain ed   u s in g   1 4 . 8   tr illi o n   to k e n s   f r o m   d i v er s an d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 4 5 7 9 - 4 5 8 9   4584   h ig h - q u ality   d ata  [ 1 7 ] .   Su c h   r ich   tr ain in g   d ata  en d o ws  th m o d el  with   b r o ad   k n o wled g an d   en h a n ce d   r ea s o n in g   ca p ab ilit ies,  p ar ticu lar ly   in   task s   in v o lv i n g   C o T   p r o m p tin g Yu   et  a l .   [ 2 9 ]   ass er th at  tr ain in g   d ata   co v er in g   a   wid r a n g e   o f   r ea s o n in g   m ater ials   an d   r ele v an k n o wled g e   ca n   s ig n if ican tly   i n f lu en ce   m o d el' s   r ea s o n in g   a b ilit y   in   C o T   p r o m p tin g   task s .     3 . 2 .     T o k en  us a g co s t s   Fig u r 5   p r esen ts   co m p ar i s o n   o f   to k e n   u s ag c o s ts   f o r   all  L L m o d els.  Dee p See k - V3   an d   Gem in i - 1 . 5 - Flas h   r ec o r d   th e   lo west  co s ts ,   wh ile  o 1 - p r e v iew  in cu r s   th e   h ig h est  co s ts   f o r   b o th   m eth o d s .   Gen er ally ,   C o T   p r o m p tin g   in cr ea s es  to k en   u s ag co s ts ,   alth o u g h   ce r tain   m o d els  lik o 1 - m in ex p er ie n ce   co s t r ed u ctio n .   T h r esu lts   s h o wed   th at  Dee p Seek - V3   r ec o r d s   th m o s t e f f icien t c o s ts   in   b o th   s ce n ar io s ,   wh ile  L lam a - 3 . 3 - 7 0 B   s h o ws a  s lig h t c o s t in cr ea s u n d er   C o T   p r o m p tin g   f o r   o p e n - s o u r ce   m o d el s .   C o n v er s ely ,   in   th co m p ar is o n   o f   to k en   u s ag c o s ts   f o r   clo s ed - s o u r c m o d els,  m o d els  lik Gem in i - 1 . 5 - Flas h   h av th e   lo west  co s ts   f o r   b o t h   m eth o d s ,   wh e r ea s   o 1 - p r e v iew  r ec o r d s   th h i g h est  co s ts .   Alth o u g h   C o T   p r o m p tin g   g en er ally   in cr ea s es  to k en   co s ts ,   ce r tain   m o d els,  s u ch   as  o 1 - m in i,  ex p er ien ce   d ec r ea s in   co s ts .   T h is   in cr ea s ca n   b attr ib u ted   to   th n at u r o f   C o T   p r o m p tin g ,   wh ich   r eq u ir es  m o r ex ten d ed ,   s tep - by - s tep   r ea s o n in g   p r o ce s s ,   r esu ltin g   in   m o r d etailed   o u tp u an d   g r ea ter   to k e n   u s ag e,   a s   n o ted   b y   Ko jim a   et  a l [ 2 1 ] .   Ho wev er ,   i n   m o d els   lik o 1 - m in i,   C o T   p r o m p tin g   r ed u ce s   to k en   c o s ts   b ec au s th p r o m p d esig n   lim its   th r ea s o n in g   s tep s   to   f iv e   s p ec if ic  s tep s ,   th er eb y   p r o d u ci n g   m o r e   co n cise  r esp o n s es  co m p ar ed   to   s tan d ar d   p r o m p ts   t h at  allo th e   m o d el   f u ll  f r ee d o m .   I n   d etail,   o p en - s o u r ce   m o d els  lik Dee p Seek - V3   r ec o r d   th m o s co s t - ef f icien p er f o r m an c e   with   o n ly   $ 0 . 0 0 6   f o r   C o T   p r o m p tin g .   C o n v er s ely ,   m o d els  s u ch   as  o 1 - p r ev iew  in cu r   th h ig h est  co s ts   with   b o th   m et h o d s ,   r ea c h in g   $ 6 . 7 7 5   with   C o T   p r o m p tin g .   T h i s   an aly s is   u n d er s co r es  th at  t o k en   co s ef f icien cy   d ep en d s   n o o n ly   o n   th p r o m p tin g   m eth o d   b u also   o n   t h m o d el' s   ar ch itectu r al  d esig n .   Fu r th er m o r e,   th e   r ep o r f r o m   Ar tific ial  An aly s is   also   m en tio n ed   th at  th er w er th r ee   h ig h lig h ts   ab o u L L m o d el,   s u ch   as   th in tellig en ce ,   s p ee d ,   an d   p r ice  [ 1 6 ] .   Hen ce ,   th p r ac ti ca d ev elo p m en o f   APR   in   th ed u ca tio n al  o r   co m m er cial  u s ag es  s h o u ld   b e   awa r ab o u p r ice  o r   to k en   u s ag co s s in ce   it  r eq u ests   t o   th clo s ed   s o u r ce   L L m o d el  f r o m   p aid   API   e n d p o in t   o r   c o s to   r u n   th e   o p e n   s o u r ce   L L M   m o d el  in   th e   s er v er   with   g r ap h ics   p r o ce s s in g   u n it  ( GPU ) .             Fig u r 5 .   T h co m p ar is o n   o f   t h to k en   u s ag co s t       3. 3   I dentif ica t io n o f   f a ilu re   pa t t er ns   T h d ata  p r esen ted   in   T ab le  2   ( s ee   in   Ap p en d ix )   ar d er i v ed   f r o m   th h ig h est  p er f o r m an ce   test   r esu lts   f o r   ea ch   m o d el,   b ased   o n   f iv test s   co n d u cted   u s in g   C o T   p r o m p tin g .   T h h ig h est  p er f o r m an ce   is   d eter m in ed   b y   th n u m b er   o f   p lau s ib le  p atch es   s u cc ess f u lly   g en er ated .   E ac h   p r o g r am   in   th Qu ix B u g s   b en ch m ar k   is   ev alu ate d ,   with   ch ec k m ar k   ( )   i n d icatin g   t h m o d el' s   s u cc ess   in   f ix in g   b u g   an d   c r o s s   ( in d icatin g   f ailu r e.   T h is   v al u r ep r esen ts   th to tal  n u m b er   o f   b u g s   s u cc ess f u lly   f i x e d   b y   th m o d el  in   Qu ix B u g s ,   b ased   o n   th e   p lau s ib le  p atch es  p r o d u ce d .   Fo r   ex am p le,   th Dee p Seek - V3   m o d el  r ec o r d e d   t o tal  o f   3 6 . 6   p lau s ib le  p atch es  in   av er ag o r   3 7   f ailu r e   p atter n s   in   to tal,   wh ic h   is   th e   h ig h e s n u m b er   o f   b u g s   s u cc ess f u lly   f ix ed   b y   th is   m o d el.   Fu r th er m o r e,   b ased   o n   T a b le  2 ,   th d is tr ib u tio n   o f   m o d el  f ailu r es  b ased   o n   th ty p es  o f   b u g s   id e n tifie d   in   th Qu ix B u g s   b en c h m ar k   is   illu s tr ated   in   Fig u r 6 .   T h n u m b er   o f   f ailu r es  f o r   ea ch   p r o g r am   is   ca lcu lated   b y   s u m m in g   th m o d el  f ailu r es  f o r   th at  s p ec if ic  p r o g r am .   T h e   p r o g r a m   with   th h ig h est  n u m b er   o f   f ailu r es  i s   "lcs_ len g th ( 9   f ailu r es),   i n d icatin g   t h at  th is   p r o g r am   is   am o n g   th e   m o s t   ch allen g in g   f o r   th m o d els  to   r ep air ,   as  s h o wn   in   Fig u r 6 ( a ) .   On   th o th er   h an d ,   th n u m b er   o f   f ailu r es  f o r   ea ch   ty p o f   b u g   is   ca lcu lated   b y   s u m m in g   th f ailu r es  ac r o s s   all  p r o g r am s   th at  co n tain   th s am ty p o f   b u g .   T h b u g   ty p es  with   th e   h ig h e s n u m b er   o f   f ailu r es  ar e   "M i s s in g   lin es  with   f u n ctio n   ca l l"  ( 1 3   f ailu r es)  a n d   "M is s in g   f u n ctio n   ca ll" ( 1 2   f ai lu r es),   as sh o wn   in   Fig u r 6 ( b )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   co mp a r a tive  s tu d o f l a r g l a n g u a g mo d els w ith   ch a in - of - th o u g h t p r o mp tin g   …  ( E ko   Da r w iya n to )   4585   T h ese   r esu lts   alig n   with   th f in d in g s   o f   Ye   et  a l [ 1 5 ] ,   wh o   id en tifie d   th at   f ix in g   th ese  b u g s   r eq u ir es   m o r co m p lex   a p p r o ac h   c o m p ar ed   to   o th er   b u g   ty p es.   T h "M is s in g   lin es  with   f u n ctio n   ca ll"  b u g   n ec ess itates   th at  th m o d el  n o o n ly   d etec ts   th b u g ' s   lo ca tio n   b u also   in s er ts   o n o r   m o r e   n ew  lin es  o f   co d e.   Me an wh ile,   th "M is s in g   f u n ctio n   ca ll"  b u g   r eq u ir es  th m o d el  to   ca ll  s p ec if ic  f u n ctio n   th at  m ay   n o b e   r ea d ily   av ailab le  in   th c o d e   c o n tex t.  T h p r o g r am   "lcs_ len g th ex h i b its   th h i g h est  f ailu r e   r ate,   with   9   o u t   o f   1 0   m o d els  f ailin g   to   r eso lv i t.  Ye  et  a l .   [ 1 5 ]   n o ted   t h at  th is   p r o g r am   co n tain s   two   b u g s ,   s u ch   as  "I n co r r ec t   ar r ay   s lice"   an d   "M is s in g   b o o lean   ex p r ess io n . T h is   p r o g r am   is   ch allen g in g   to   f ix   b ec au s it in v o lv es a   m u lti - lo ca tio n   p atc h ,   r e q u ir in g   ch a n g es  in   s ev er al  i n ter d ep e n d en t   p ar ts   o f   t h co d e.   I is   d if f ic u lt  n o o n ly   to   d etec t   b u also   to   r e p air   s im u ltan eo u s ly .   As  h ig h lig h ted   b y   Ye  e a l .   [ 1 5 ] ,   m u lti - lo ca tio n   an d   m u lti - b u g   p atch es   p r esen t sig n if ican t c h allen g es in   APR   r esear ch .         ( a)       ( b )     Fig u r 6 .   T h d etailed   d is tr ib u tio n   o f   m o d el  f ailu r es b ased   o n :   ( a)   th p r o g r am   n am an d   ( b )   th b u g   ty p e       4.   CO NCLU SI O N   T h is   s tu d y   s u cc ess f u lly   d ev elo p ed   an   ef f ec tiv C o T   p r o m p tin g   s tr u ctu r to   en h a n ce   th p er f o r m a n ce   o f   L L Ms  in   AP R   task s .   T h d esig n ed   C o T   p r o m p tin g   s tr u ctu r h as  b ee n   g en er ally   s h o wn   to   im p r o v th ab ilit y   o f   L L m o d els  to   g e n er ate  s o lu tio n s   f o r   APR   task s .   T h Dee p Seek - V 3   m o d el  r ec o r d ed   th h ig h est  p er f o r m an ce   with   an   av e r ag e   o f   3 6 . 6   p la u s ib le  p atch es   in   t h C o T   p r o m p tin g   s ce n ar io ,   f o llo wed   b y   GPT - 4 o   with   an   av e r ag o f   3 5 . 8   p la u s ib le  p atch es.  Ad d itio n ally ,   Dee p Seek - V3   d e m o n s tr ated   th b est  co s ef f icien cy .   T h ese  r esu lts   co n f ir m   t h at  C o T   p r o m p tin g   is   an   ef f ec tiv m eth o d   f o r   im p r o v in g   th e   ac cu r ac y   an d   q u ality   o f   s o lu tio n s   g en er ated   b y   L L Ms.   T h lim itatio n s   o f   th is   s tu d y   in clu d th u s o f   d ataset  r estricte d   to   o n ly   th e   Py th o n   v er s io n   o f   th Qu ix B u g s   d ataset,   as  wel as  th u s o f   L L m o d els  th at  ar o n l y   p u b licly   ac ce s s ib le  th r o u g h   API s .   Fu tu r s tu d ies   co u ld   ex p lo r t h d etailed   q u alitativ an aly s is   o f   C o T   p r o ce s s   in   APR   with   m o r v ar ian ts   o f   L L Ms  m o d el  as  well.   On e   p o s s ib le  i m p lem en tatio n   is   th d e v elo p m en o f   AI - b ased   p latf o r m s ,   s u ch   as in ter ac tiv d ash b o ar d s   f o r   co d i n g   ed u ca tio n .   I n   a d d itio n ,   th in v esti g atio n   o f   c o m p lex   b u g s   s u ch   as  m u ltip le  b u g s   in   m u lti - f iles   an d   th lib r ar y   u p d ates  is s u s e s   in   th s y n tax   co d es  co u ld   also   ad d r ess   in   th f u tu r s tu d y .   I co u ld   ac h i ev b y   u s in g   th e   API   th r e ad s   o r   b atc h   m ec h an is m   to   s en d   t h r eq u est  at  o n ce   r ath er   th an   o n e - by - o n r eq u e s t.  Fu r th er m o r e,   th u s o f   r e ter iv al - au g m e n ted   g en e r atio n   ( R AG)   m ec h an is m   with   C o T   f o r   APR   ca n   b ex p lo r in   f u tu r s tu d y   with   m o r test in g   s ce n ar io s ,   m etr i cs,  an d   q u alitativ e   an aly s is   as we ll.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 4 5 7 9 - 4 5 8 9   4586   ACK NO WL E DG E M E NT S   T h is   r esear ch   was  s u p p o r ted   b y   th Dir ec to r ate  o f   R esear ch   an d   C o m m u n ity   Ser v ice,   T elk o m   Un iv er s ity   an d   R esear ch   C en t er   f o r   Data   an d   I n f o r m atio n   Scien ce s ,   B R I N.   W al s o   th an k s   f o r   th co m m en ts   an d   s u g g esti o n s   o f   th f u tu r s tu d y   f r o m   th e   r ev iewe r s .       F UNDING   I NF O R M A T I O N   T h is   r esear ch   was  s u p p o r ted   b y   Dir ec to r ate   o f   R esear ch   an d   C o m m u n ity   Ser v ice,     T elk o m   Un iv e r s ity .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al   u s es  th C o n t r ib u to r   R o les  T a x o n o m y   ( C R ed iT)   to   r ec o g n ize   in d iv i d u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   E k o   Dar wiy an to                               R izk y   Ak b ar   Gu s n ae n                               R io   Nu r tan ty an a                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   Der iv ed   d ata   s u p p o r tin g   t h f in d in g s   o f   th is   s tu d y   ar e   av ailab le  f r o m   th c o r r esp o n d i n g   au t h o r ,   [ R N] ,   o n   r eq u est.       RE F E R E NC E S   [ 1 ]   H .   Zh o n g   a n d   Z.   S u ,   A n   e mp i r i c a l   st u d y   o n   r e a l   b u g   f i x e s,   I n t e r n a t i o n a l   C o n f e re n c e   o n   S o f t w a r e   E n g i n e e ri n g ,   v o l .   1 ,     p p .   9 1 3 9 2 3 ,   2 0 1 5 ,   d o i :   1 0 . 1 1 0 9 / I C S E. 2 0 1 5 . 1 0 1 .   [ 2 ]   T.   B r i t t o n ,   L.   Je n g ,   G .   C a r v e r ,   P .   C h e a k ,   a n d   T .   K a t z e n e l l e n b o g e n ,   R e v e r si b l e   d e b u g g i n g   s o f t w a r e :   q u a n t i f y   t h e   t i me   a n d   c o st   sav e d   u s i n g   r e v e r si b l e   d e b u g g e r s,   S t u d e n t   E d u c a t i o n a l   Pr o j e c t ,   U n i v e r si t y   o f   C a m b r i d g e ,   C a mb r i d g e ,   E n g l a n d ,   2 0 1 3 .   [ 3 ]   K .   H u a n g   e t   a l . ,   A   s u r v e y   o n   a u t o ma t e d   p r o g r a m r e p a i r   t e c h n i q u e s,   a rX i v : 2 3 0 3 . 1 8 1 8 4 2 0 2 3 .   [ 4 ]   K .   Li u   e t   a l . ,   A   c r i t i c a l   r e v i e w   o n   t h e   e v a l u a t i o n   o f   a u t o mat e d   p r o g r a r e p a i r   s y st e ms,   J o u rn a l   o f   S y s t e m a n d   S o f t w a re   v o l .   1 7 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . j ss . 2 0 2 0 . 1 1 0 8 1 7 .   [ 5 ]   J.  F . - A n s l e y ,   P .   D e n n y ,   A .   L . - R e i l l y ,   E.   A .   S a n t o s,   J.  P r a t h e r ,   a n d   B .   A .   B e c k e r ,   M y   A I   w a n t s   t o   k n o w   i f   t h i w i l l   b e   o n   t h e   e x a m:   t e st i n g   O p e n A I c o d e x   o n   C S 2   p r o g r a mm i n g   e x e r c i ses ,   i n   AC I n t e r n a t i o n a l   C o n f e re n c e   Pr o c e e d i n g   S e ri e s ,   2 0 2 3 ,     p p .   9 7 1 0 4 ,   d o i :   1 0 . 1 1 4 5 / 3 5 7 6 1 2 3 . 3 5 7 6 1 3 4 .   [ 6 ]   J.  F . - A n s l e y ,   P .   D e n n y ,   B .   A .   B e c k e r ,   A .   L . - R e i l l y ,   a n d   J .   P r a t h e r ,   T h e   r o b o t a r e   c o m i n g :   e x p l o r i n g   t h e   i mp l i c a t i o n o f   O p e n A I   c o d e x   o n   i n t r o d u c t o r y   p r o g r a m mi n g ,   i n   AC I n t e r n a t i o n a l   C o n f e re n c e   Pr o c e e d i n g   S e r i e s ,   2 0 2 2 ,   p p .   1 0 1 9 ,     d o i :   1 0 . 1 1 4 5 / 3 5 1 1 8 6 1 . 3 5 1 1 8 6 3 .   [ 7 ]   J.  A .   P r e n n e r ,   H .   B a b i i ,   a n d   R .   R o b b e s,  C a n   O p e n A I c o d e x   f i x   b u g s? :   a n   e v a l u a t i o n   o n   Q u i x B u g s ,   i n   I n t e r n a t i o n a l   W o rks h o p   o n   A u t o m a t e d   Pr o g r a m   Re p a i r ,   AP 2 0 2 2 ,   2 0 2 2 ,   p p .   6 9 7 5 ,   d o i :   1 0 . 1 1 4 5 / 3 5 2 4 4 5 9 . 3 5 2 7 3 5 1 .   [ 8 ]   J.  W h i t e   e t   a l . ,   A   p r o mp t   p a t t e r n   c a t a l o g   t o   e n h a n c e   p r o m p t   e n g i n e e r i n g   w i t h   C h a t G P T ,   PL o P   ' 2 3 :   Pr o c e e d i n g o f   t h e   3 0 t h   C o n f e re n c e   o n   P a t t e r n   L a n g u a g e s   o f   Pro g ra m s ,   2 0 2 3 ,   p p .   1 - 3 1 .   [ 9 ]   J.  W e i   e t   a l . ,   C h a i n - of - t h o u g h t   p r o mp t i n g   e l i c i t r e a s o n i n g   i n   l a r g e   l a n g u a g e   m o d e l s,”   A d v a n c e s   i n   N e u ra l   I n f o rm a t i o n   Pro c e ssi n g   S y s t e m s ,   v o l .   3 5 ,   2 0 2 2 .   [ 1 0 ]   Z .   A l   N a z i ,   M .   R .   H o s s a i n ,   a n d   F .   A l   M a m u n ,   E v a l u a t i o n   o f   o p e n   a n d   c l o s e d - s o u r c e   L L M s   f o r   l o w - r e s o u r c e   l a n g u a g e   w i t h   z e r o - s h o t ,   f e w - s h o t ,   a n d   c h a i n - of - t h o u g h t   p r o m p t i n g ,   N a t u r a l   L a n g u a g e   P r o c e s s i n g   J o u r n a l ,   v o l .   1 0 ,   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . n l p . 2 0 2 4 . 1 0 0 1 2 4 .   [ 1 1 ]   A .   Le w k o w y c z   e t   a l . ,   S o l v i n g   q u a n t i t a t i v e   r e a s o n i n g   p r o b l e ms  w i t h   l a n g u a g e   m o d e l s,”   A d v a n c e i n   N e u ra l   I n f o rm a t i o n   Pro c e ssi n g   S y s t e m s ,   v o l .   3 5 ,   2 0 2 2 .   [ 1 2 ]   M .   L u ,   F .   G a o ,   X .   T a n g ,   a n d   L .   C h e n ,   A n a l y s i a n d   p r e d i c t i o n   i n   S C R   e x p e r i me n t s   u s i n g   G P T - 4   w i t h   a n   e f f e c t i v e   c h a i n - of - t h o u g h t   p r o m p t i n g   s t r a t e g y ,   i S c i e n c e ,   v o l .   2 7 ,   n o .   4 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . i s c i . 2 0 2 4 . 1 0 9 4 5 1 .   [ 1 3 ]   D .   L i n ,   A .   C h e n ,   J.   K o p p e l ,   a n d   A .   S . - Le z a ma,   Q u i x B u g s :   a   m u l t i - l i n g u a l   p r o g r a r e p a i r   b e n c h mark   s e t   b a s e d   o n   t h e   Q u i x e y   c h a l l e n g e ,   i n   S PLA S H   C o m p a n i o n   2 0 1 7   -   Pr o c e e d i n g C o m p a n i o n   o f   t h e   2 0 1 7   A C M   S I G PLA N   I n t e rn a t i o n a l   C o n f e r e n c e   o n   S y s t e m s,   Pr o g r a m m i n g ,   L a n g u a g e s ,   a n d   A p p l i c a t i o n s:   S o f t w a r e   f o r   H u m a n i t y ,   2 0 1 7 ,   p p .   5 5 5 6 ,   d o i :   1 0 . 1 1 4 5 / 3 1 3 5 9 3 2 . 3 1 3 5 9 4 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   co mp a r a tive  s tu d o f l a r g l a n g u a g mo d els w ith   ch a in - of - th o u g h t p r o mp tin g   …  ( E ko   Da r w iya n to )   4587   [ 1 4 ]   Q .   Zh a n g ,   C .   F a n g ,   Y .   M a ,   W .   S u n ,   a n d   Z.   C h e n ,   A   su r v e y   o f   l e a r n i n g - b a sed   a u t o ma t e d   p r o g r a r e p a i r ,   A C M   T ra n sa c t i o n o n   S o f t w a re  En g i n e e ri n g   a n d   Me t h o d o l o g y ,   v o l .   3 3 ,   n o .   2 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 4 5 / 3 6 3 1 9 7 4 .   [ 1 5 ]   H .   Y e ,   M .   M a r t i n e z ,   T .   D u r i e u x ,   a n d   M .   M o n p e r r u s ,   A   c o mp r e h e n s i v e   st u d y   o f   a u t o m a t i c   p r o g r a m   r e p a i r   o n   t h e   Q u i x B u g s   b e n c h mar k ,   J o u rn a l   o f   S y s t e m s   a n d   S o f t w a re ,   v o l .   1 7 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . j s s. 2 0 2 0 . 1 1 0 8 2 5 .   [ 1 6 ]   A r t i f i c i a l   A n a l y s i A I ,   A r t i f i c i a l   a n a l y si s   A I   r e v i e w :   2 0 2 4   h i g h l i g h t s ,   a rt i f i c i a l a n a l y si s. a i ,   2 0 2 5 .   A c c e sse d :   D e c .   0 9 ,   2 0 2 4 [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / a r t i f i c i a l a n a l y s i s. a i / d o w n l o a d s/ a i - r e v i e w / 2 0 2 4 / A r t i f i c i a l - A n a l y si s - AI - R e v i e w - 2 0 2 4 - H i g h l i g h t s . p d f   [ 1 7 ]   D e e p S e e k - A I   e t   a l . ,   D e e p S e e k - V 3   t e c h n i c a l   r e p o r t ,   a r Xi v : 2 4 1 2 . 1 9 4 3 7 ,   2 0 2 5 .   [ 1 8 ]   Y .   Z h u ,   J .   L i ,   G .   L i ,   Y .   F .   Z h a o ,   Z .   J i n ,   a n d   H .   M e i ,   H o t   o r   c o l d ?   a d a p t i v e   t e m p e r a t u r e   s a m p l i n g   f o r   c o d e   g e n e r a t i o n   w i t h   l a r g e   l a n g u a g e   m o d e l s ,   i n   A A A I   C o n f e r e n c e   o n   A r t i f i c i a l   I n t e l l i g e n c e ,   2 0 2 4 ,   v o l .   3 8 ,   n o .   1 ,   p p .   4 3 7 4 4 5 ,   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 8 i 1 . 2 7 7 9 8 .   [ 1 9 ]   G .   G .   Le e ,   E.   L a t i f ,   X .   W u ,   N .   Li u ,   a n d   X .   Z h a i ,   A p p l y i n g   l a r g e   l a n g u a g e   m o d e l s   a n d   c h a i n - of - t h o u g h t   f o r   a u t o m a t i c   sc o r i n g ,   C o m p u t e rs   a n d   E d u c a t i o n :   Ar t i f i c i a l   I n t e l l i g e n c e ,   v o l .   6 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c a e a i . 2 0 2 4 . 1 0 0 2 1 3 .   [ 2 0 ]   J.  S u n ,   F .   Li ,   X .   Q i ,   H .   Z h a n g ,   a n d   J.   Ji a n g ,   Em p i r i c a l   e v a l u a t i o n   o f   l a r g e   l a n g u a g e   m o d e l s   i n   a u t o m a t e d   p r o g r a m   r e p a i r ,   a rXi v : 2 5 0 6 . 1 3 1 8 6 ,   2 0 2 5 .   [ 2 1 ]   T.   K o j i ma,   S .   S .   G u ,   M .   R e i d ,   Y .   M a t s u o ,   a n d   Y .   I w a sawa,   L a r g e   l a n g u a g e   m o d e l s   a r e   z e r o - sh o t   r e a s o n e r s,”   N I P S ' 2 2 :   Pro c e e d i n g o f   t h e   3 6 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   N e u r a l   I n f o rm a t i o n   Pro c e ssi n g   S y s t e m s ,   v o l .   1 7 ,   p p .   3 0 2 ,   Ja n .   2 0 2 3 ,   d o i :   1 0 . 5 5 5 5 / 3 6 0 0 2 7 0 . 3 6 0 1 8 8 3 .   [ 2 2 ]   S .   A .   A s a d o l l a h ,   D .   S u n d m a r k ,   S .   E l d h ,   H .   H a n s s o n ,   a n d   W .   A f z a l ,   1 0   y e a r s   o f   r e s e a r c h   o n   d e b u g g i n g   c o n c u r r e n t   a n d   m u l t i c o r e   s o f t w a r e :   a   s y s t e m a t i c   m a p p i n g   s t u d y ,   S o f t w a r e   Q u a l i t y   J o u r n a l ,   v o l .   2 5 ,   n o .   1 ,   p p .   4 9 8 2 ,   2 0 1 7 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 2 1 9 - 0 1 5 - 9 3 0 1 - 7.   [ 2 3 ]   C l a u d e   D o c s ,   C r a f t i n g   e f f e c t i v e   e x a mp l e s ,”   d o c s. c l a u d e . c o m ,   2 0 2 4 .   A c c e ss e d :   O c t .   3 1 ,   2 0 2 4 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / d o c s.c l a u d e . c o m / e n / d o c s / b u i l d - w i t h - c l a u d e / p r o mp t - e n g i n e e r i n g / mu l t i s h o t - p r o m p t i n g # c r a f t i n g - e f f e c t i v e - e x a m p l e s   [ 2 4 ]   Y .   Li ,   A   p r a c t i c a l   s u r v e y   o n   z e r o - s h o t   p r o m p t   d e si g n   f o r   i n - c o n t e x t   l e a r n i n g ,   i n   I n t e r n a t i o n a l   C o n f e r e n c e   Re c e n t   Ad v a n c e s   i n   N a t u r a l   L a n g u a g e   Pro c e ss i n g ,   RA N L P ,   2 0 2 3 ,   p p .   6 4 1 6 4 7 ,   d o i :   1 0 . 2 6 6 1 5 / 9 7 8 - 954 - 452 - 0 9 2 - 2 _ 0 6 9 .   [ 2 5 ]   B .   O k k e n ,   P y t h o n   t e st i n g   w i t h   p y t e st ,   S e c o n d   e d i .   P r a g m a t i c   B o o k s h e l f ,   2 0 2 2 .   [ 2 6 ]   B .   Y a n g   a n d   J .   Y a n g ,   E x p l o r i n g   t h e   d i f f e r e n c e s   b e t w e e n   p l a u s i b l e   a n d   c o r r e c t   p a t c h e a t   f i n e - g r a i n e d   l e v e l ,   i n   I BF  2 0 2 0   -   2 0 2 0   I EEE  2 n d   I n t e rn a t i o n a l   W o rks h o p   o n   I n t e l l i g e n t   Bu g   Fi x i n g ,   2 0 2 0 ,   p p .   1 8 ,   d o i :   1 0 . 1 1 0 9 / I B F 5 0 0 9 2 . 2 0 2 0 . 9 0 3 4 8 2 1 .   [ 2 7 ]   R .   G h a r i b i ,   M .   H .   S a d r e d d i n i ,   a n d   S .   M .   F a k h r a h m a d ,   T5 A P R :   e m p o w e r i n g   a u t o m a t e d   p r o g r a r e p a i r   a c r o ss  l a n g u a g e t h r o u g h   c h e c k p o i n t   e n se mb l e ,   J o u r n a l   o f   S y s t e m a n d   S o f t w a re ,   v o l .   2 1 4 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . j ss . 2 0 2 4 . 1 1 2 0 8 3 .   [ 2 8 ]   O p e n A I ,   Le a r n i n g   t o   r e a s o n   w i t h   LL M s,”   o p e n a i . c o m ,   2 0 2 5 .   A c c e ss e d :   Ja n .   1 5 ,   2 0 2 5 [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / o p e n a i . c o m/ i n d e x / l e a r n i n g - to - r e a s o n - w i t h - l l ms / .   [ 2 9 ]   Z.   Y u ,   L .   H e ,   Z.   W u ,   X .   D a i ,   a n d   J.   C h e n ,   T o w a r d s   b e t t e r   c h a i n - of - t h o u g h t   p r o mp t i n g   st r a t e g i e s:   a   s u r v e y ,   a rXi v : 2 3 1 0 . 0 4 9 5 9 ,   2 0 2 3 .       AP P E NDI X     T ab le  2 .   T h L L m o d els test   r esu lts   o n   v ar io u s   b u g s   in   t h Qu ix B u g s   b en ch m a r k   Bu g g y   p r o g ram   n am e   Bu g   t y p e   G PT - 4o   o1 - Prev i e w   o1 - mi n i   Cl a u d e - 3 - 5 - So n n et   G emi n i - 1 . 5 - Fl a s h   G e m i n i - 1 . 5 - Pr o   G ro k - Bet a   G ro k - 2   D ee p See k - V3   L l am a - 3 . 3 - 7 0 B   T o t a l   b i t c o u n t   In c o rr ect   l o g i ca l   o p era t o r                       1   b rea d t h _ fi r s t _ s earc h   Mi s s i n g   b o o l ea n   ex p re s s i o n                       0   b u c k et s o r t   Refere n c t o   an   i n c o rre ct   v ar i a b l e                       0   d e p t h _ f i r s t _   s ear ch   Mi s s i n g   l i n e s   w i t h   fu n c t i o n   c al l                       1   d e t ec t _ c y cl e   Mi s s i n g   b o o l ea n   ex p re s s i o n                       0   f i n d _ fi rs t _ i n _ s o r t e d   In c o rr ect   l o g i ca l   o p era t o r                       2   fi n d _ i n _   s o rt ed   Mi s s i n g   ‘+ 1                       0   fl a t t en   Mi s s i n g   fu n c t i o n   c al l                       0   g c d   E x p res s i o n   s w a p                       0   g e t _ fac t o rs   W r o n g   co n s t r u c t o cal l                       3   h a n o i   Refere n c t o   an   i n c o rre ct   v ar i a b l e                       1   i s _ v a l i d _ p ar en t h es i za t i o n   O t h er  c o d rep l ac eme n t                       0   k h ea p s o r t   Mi s s i n g   fu n c t i o n   c al l                       4       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   6 ,   Dec em b er   2 0 2 5 4 5 7 9 - 4 5 8 9   4588   T ab le   2 .   T h L L m o d els test   r esu lts   o n   v ar io u s   b u g s   in   t h Qu ix B u g s   b en ch m a r k   ( c o n tin u ed )   Bu g g y   p r o g ram   n am e   Bu g   t y p e   G PT - 4o   o1 - Prev i e w   o1 - mi n i   Cl a u d e - 3 - 5 - So n n et   G emi n i - 1 . 5 - Fl a s h   G e m i n i - 1 . 5 - Pr o   G ro k - Bet a   G ro k - 2   D ee p See k - V3   L l am a - 3 . 3 - 7 0 B   T o t a l   k n a p s a ck   In c o rr ect   co m p a ri s o n   o p era t o r                       0   k t h   Refere n c t o   an   i n c o rre ct   v ar i a b l e                       3   l c s _ l e n g t h   In c o rr ect   arra y   s l i ce   Mi s s i n g   b o o l ea n   ex p re s s i o n                       9   l e v e n s h t e i n   Mi s s i n g   ‘+ 1                       0   l i s   Mi s s i n g   l o g i c                       1   l o n g e s t _ c o m mo n _ s u b s eq u e n ce   Mi s s i n g   fu n c t i o n   c al l                       2   max _ s u b l i s t _ s u m   Mi s s i n g   fu n c t i o n   c al l                       6   mer g e s o r t   In c o rr ect   ari t h me t i ex p re s s i o n                       1   mi n i m u m _ s p an n i n g _ t r ee   Mi s s i n g   l o g i c                       1   n e x t _ p a l i n d r o me   Mi s s i n g   - 1’                       3   n e x t _ p er mu t at i o n   In c o rr ect   co m p a ri s o n   o p era t o r                       0   p a s ca l   Mi s s i n g   ‘+ 1                       0   p o s s i b l e _ c h a n g e   Mi s s i n g   b o o l ea n   ex p re s s i o n                       1   p o w ers et   Mi s s i n g   l o g i c                       2   q u i c k s o rt   In c o rr ect   co m p a ri s o n   o p era t o r                       0   rev e rs e_ l i n k ed _ l i s t   Mi s s i n g   as s i g n me n t                       1   rp n _ ev al   E x p res s i o n   s w a p                       2   s h o r t e s t _ p a t h _ l en g t h   O t h er  c o d rep l ac eme n t                       4   s h o r t e s t _ p a t h _ l en g t h s   E x p res s i o n   s w a p                       0   s h o r t e s t _   p a t h s   Mi s s i n g   fu n c t i o n   c al l                       0   s h u n t i n g _   y ar d   Mi s s i n g   l i n e s   w i t h   fu n c t i o n   c al l                       0   s i ev e   In c o rr ect   met h o d   cal l e d                       0   s q rt   In c o rr ect   ari t h me t i ex p re s s i o n                       0   s u b s e q u e n ce s   Mi s s i n g   l i n e s   w i t h   fu n c t i o n   c al l                       7   t o _ b a s e   E x p res s i o n   s w a p                       0   t o p o l o g i ca l _ o r d er i n g   In c o rr ect   met h o d   cal l e d                       8   w ra p   Mi s s i n g   l i n e s   w i t h   fu n c t i o n   c al l                       5   T o t a l     36   37   33   34   30   29   32   31   37   33   -   N o t e:   T h e   d at re p r es en t   t h h i g h e s t   p er f o rm an ce  r es u l t s   fo ea ch   m o d t h a t   o b t a i n e d   fr o f i v t e s t   i t er at i o n s   u s i n g   C o T   p ro m p t i n g .     Evaluation Warning : The document was created with Spire.PDF for Python.