I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   1 Feb r u ar y   2 0 2 6 ,   p p .   788 ~ 797   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 1 . p p 7 8 8 - 7 9 7           788     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   no v el  BE RT - lo ng  sho rt - te rm me mo ry   hy brid mo d el f o eff ec tive cr edit  card fraud  det ectio n       O us s a m a   Nda m a 1 ,   Sa f a Nd a m a 1 ,   I s ma il B ens a s s i 1, 2 ,   E M o k hta E n - Na im i 1   1 D S A I 2 S   R e sea r c h   Te a m,   C 3 S   L a b o r a t o r y ,   F a c u l t y   o f   S c i e n c e s a n d   T e c h n i q u e o f   T a n g i e r ,   A b d e l m a l e k   Ess a â d i   U n i v e r si t y ,     Te t o u a n ,   M o r o c c o   2 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   F a c u l t y   o f   S c i e n c e o f   R a b a t ,   M o h a m me d   V   U n i v e r s i t y ,   R a b a t ,   M o r o c c o       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   1 ,   2 0 2 4   R ev is ed   De c   2 1 ,   2 0 2 5   Acc ep ted   J an   1 0 ,   2 0 2 6       In   th e   ra p i d ly   e v o lv in g   lan d sc a p e   o fin a n c ial  tran sa c ti o n s,  th e   d e tec ti o n   o f   fra u d u le n a c ti v it ies   re m a in a   c rit ica c h a ll e n g e   fo fi n a n c ial  i n stit u t io n wo rld wi d e .   Th is  st u d y   in tro d u c e a   n o v e b i d irec ti o n a e n c o d e r   re p re se n tatio n   fr o m   tran sf o rm e rs  (BERT ) l o n g   sh o rt - term   m e m o ry   (LS TM )   h y b rid   m o d e l   th a t   in teg ra tes   b o th   te x tu a l   a n d   n u m e rica d a ta  t o   e n h a n c e   c re d it   c a rd   fra u d   d e tec ti o n .   Lev e ra g in g   BERT   f o d e e p   c o n tex t u a e m b e d d in g a n d   LS T M   f o r   se q u e n c e   a n a ly sis,   th e   m o d e l   p r o v i d e a   c o m p re h e n siv e   a p p r o a c h   t h a s u rp a ss e trad it io n a fra u d   d e tec ti o n   sy ste m p rima ril y   b a se d   o n   n u m e rica a n a ly sis.  O n   th e   v a li d a ti o n   se t,   t h e   m o d e l   a c h iev e d   a   re c a ll   o f   1 0 0 %   a n d   a n   a c c u ra c y   o f   9 9 . 1 1 % ,   h ig h li g h ti n g   stro n g   e ffe c ti v e n e ss   in   i d e n ti f y in g   fra u d u l e n tran sa c ti o n u n d e c las i m b a lan c e .   Th ro u g h   rig o ro u e v a lu a ti o n ,   th e   m o d e d e m o n stra ted   e x c e p ti o n a l   a c c u ra c y   a n d   re li a b i li ty ,   p r o m isin g   imp r o v e m e n ts  in   fra u d   d e tec ti o n   a n d   m it ig a ti o n .   Th is  p a p e d e tails  t h e   d e v e l o p m e n a n d   v a li d a ti o n   o t h e   h y b rid   m o d e l,   e m p h a siz in g   it u se   o f   m ix e d   d a ta  ty p e to   c a p tu re   c o m p lex   p a tt e rn in   tran sa c ti o n   d a ta.   Th e   re su lt s   in d ica te  a   n e fr o n t ier  i n   fra u d   d e t e c ti o n   b y   c o m b in i n g   n a t u ra lan g u a g e   p r o c e ss in g   (NLP a n d   se q u e n ti a d a t a   a n a ly sis  to   c re a te  a   ro b u st  so l u ti o n   fo r   r eal - wo rld   a p p l ica ti o n s,  s u p p o rti n g   t h e   se c u rit y   a n d   in teg rit y   o f   fin a n c ial  sy ste m s g lo b a ll y .   K ey w o r d s :   B E R T - L STM   h y b r id   C r ed it c ar d   f r au d   d etec tio n   Fin an cial  s ec u r ity   Hy b r id   m o d els   Natu r al  lan g u ag e   p r o ce s s in g   Seq u en ce   an aly s is   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ou s s am Nd am a   DSAI 2 S R esear ch   T ea m ,   C 3 S   L ab o r ato r y ,   Facu lty   o f   Scien c es a n d   T ec h n i q u es o f   T a n g ier   Ab d elm alek   E s s d i U n iv er s ity   T eto u an ,   M o r o cc o   E m ail: o u s s am a. n d am a@ etu . u ae . ac . m a       1.   I NT RO D UCT I O N   As  th d ig ital  ag p r o g r ess es,  cr ed it  ca r d   t r an s ac tio n s   h av in cr ea s in g ly   b ec o m ce n tr a to   d aily   co m m er ce ,   p r o m o tin g   co n v e n ien ce   an d   ef f icien cy   ac r o s s   g lo b al   m ar k ets.  W ith   m illi o n s   o f   tr an s ac tio n s   o cc u r r in g   ev er y   m in u te,   th f in an cial  ec o s y s tem   h ea v ily   d ep en d s   o n   th tr u s an d   s ec u r ity   ass o ciate d   wi th   th ese  in ter ac tio n s   [ 1 ] Ho we v er ,   th is   s u r g in   o n lin e   tr a n s ac tio n s   h as  also   led   t o   a   m ar k ed   in cr ea s in   f r au d u le n ac tiv ities .   C r ed it  ca r d   f r au d   n o o n ly   in f licts   s u b s tan tial  f in a n cial  lo s s es  o n   co n s u m er s   an d   f in an cial  in s titu tio n s   b u also   er o d es  tr u s in   th p ay m en s y s tem ,   p r esen tin g   f o r m id ab le  th r ea to   th g lo b al  ec o n o m y   [ 2 ] Dete ctin g   f r au d u len tr an s ac tio n s   is   a   co m p l ex   an d   ch allen g in g   task   d u t o   th e   d y n am ic  a n d   ev o lv in g   n atu r o f   f r au d   s tr ateg ies  [ 3 ] Fra u d s ter s   co n tin u o u s ly   ad ap an d   em p l o y   s o p h is ti ca ted   tech n iq u es  to   b y p ass   tr ad itio n al  s ec u r ity   m ea s u r es   [ 4 ] ,   [ 5 ] .   C o n s eq u e n tly ,   th er is   p r ess in g   n ee d   f o r   ad v a n ce d   an d   ad ap tiv e   f r a u d   d etec tio n   s y s tem s   th at  ca n   ef f ec tiv ely   id en tif y   an d   m itig ate  f r au d u len t a ctiv ities   in   r ea l - tim e.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   n o ve l B E R T - lo n g   s h o r t - term me mo r h yb r id   mo d el  fo r   effe ctive   cred it c a r d     ( Ou s s a ma   N d a ma )   789   R ec e n a d v a n ce m e n ts   i n   m a ch i n l ea r n in g   ( M L )   a n d   ar tifi ci al  i n t ell ig e n ce   ( AI )   h a v o p en e d     n ew   av e n u es   f o r   d e v el o p i s n g   s o p h is t ica te d   m o d e ls   ca p a b le   o f   i d e n ti f y i n g   s u b tl e   p att er n s   a n d   a n o m a lies   in d ic ati v o f   f r a u d .   T h ese   m o d els   l e v e r a g e   v as am o u n ts   o f   t r a n s a cti o n al   d a ta   t o   le ar n   a n d   p r e d i ct   f r au d u l en t   b e h a v i o r   w it h   h i g h   ac c u r ac y .   Ho w ev er ,   th a v ail ab ilit y   a n d   q u ali ty   o f   r e al  tr an s ac ti o n al  d a ta  f o r   tr ai n i n g   t h ese   m o d els  a r e   o f t en   li m it ed   d u e   to   p r i v a cy   c o n ce r n s ,   r eg u l at o r y   r es tr ict io n s ,   a n d   t h in h e r e n s en s iti v it y   o f   f i n a n c ial   d at [ 6 ] ,   [ 7 ] .   T o   ad d r ess   th ese  lim itatio n s ,   r esear ch er s   h av tu r n e d   to   s im u lated   d atasets ,   wh ich   ca n   m im ic  th co m p lex ity   an d   v a r iab ilit y   o f   r ea l - wo r ld   d ata  with o u co m p r o m is in g   in d iv i d u al  p r iv ac y .   Simu lated   d ataset s   p r o v id e   co n tr o lled   e n v ir o n m en to   test   an d   v alid ate  ML   m o d els,  o f f e r in g   v alu ab le  i n s ig h ts   an d   en ab lin g   th e   d ev elo p m e n o f   m o r r o b u s f r au d   d etec tio n   s y s tem s .   I n   th is   s tu d y ,   s im u lated   cr e d it - ca r d   tr an s ac tio n   d ataset  p r o d u ce d   b y   th e   Sp ar k o v   d ata   g en e r atio n   to o l   is   em p lo y ed   [ 8 ] h y b r i d   f r au d - d etec tio n   m o d el  is   p r o p o s ed   th at  co u p les  b id ir ec tio n al  en c o d er   r ep r esen tatio n   f r o m   tr an s f o r m er s   ( B E R T )   f o r   n atu r al  la n g u ag p r o ce s s in g   ( NL P)  with   lo n g   s h o r t - ter m   m em o r y   ( L STM )   n etwo r k s   f o r   s eq u e n ce   m o d elin g .   B E R T   is   u s ed   to   en co d e   tex tu al  f ield s ,   s p ec if ically   m e r ch an n am es  a n d   tr a n s ac tio n   c ateg o r ies,  ca p tu r i n g   r ich   co n te x tu al  r elatio n s h ip s   [ 9 ] ,   [ 1 0 ] wh ile  L STM   ca p tu r es  tem p o r al   d ep e n d en cies  p r esen in   tr a n s ac tio n   s eq u e n ce s   [ 1 1 ] ,   [ 1 2 ] B y   in teg r atin g   th ese  c o m p o n en ts ,   th m o d el  lev er a g es  co m p le m en tar y   tex t u al  an d   s eq u en ti al  s ig n als  to   b etter   d etec t c o m p lex   f r au d   p atter n s   an d   cu r b   f alse p o s itiv es.   T h p u r p o s o f   th is   p ap er   is   to   p r esen th d ev elo p m en t,   im p lem en tatio n ,   a n d   v alid atio n   o f   o u r   h y b r id   B E R T - L STM   m o d el  f o r   f r a u d   d etec tio n .   T h e   m o d e l's   ef f ec tiv en ess   will  b d em o n s tr ated   u s in g   th e   s im u lated   d ataset,   s h o wca s in g   its   p o ten tial  to   s ig n if ican tly   im p r o v f r au d   d etec tio n   r ate s .   Ad d itio n ally ,   th im p licatio n s   o f   o u r   f in d in g s ,   t h s tr en g th s   a n d   lim itatio n s   o f   o u r   ap p r o ac h ,   a n d   p o ten tial  av en u es  f o r   f u tu r e   r esear ch   in   th is   cr itical  d o m ai n   will b d is cu s s ed .       2.   RE L AT E WO RK S   2 . 1 .     T ra ditio na m a chine le a rning   a nd   im ba la nce  ha nd li ng   Ad d r ess in g   im b ala n ce   r e m ain s   ce n tr al  to   f r a u d   d etec tio n .   B r esk u v ien ė  an d   Dze m y d a   [ 1 3 ]   p r o p o s f ea tu r im p o r tan ce d r iv e n   ( F I D)   s elf - o r g an izin g   m ap s   ( S OM ) ,   SOM - b ased   f ea t u r s elec tio n   tailo r ed   to   s k ewe d   d ata,   alig n in g   well  wi th   m o d er n   tr ee /b o o s tin g   p ip eli n es.  C h u n g   an d   L ee   [ 1 4 ]   em p h asize  r ec all  v ia  a   lig h tweig h k - n ea r est  n eig h b o r s   ( KNN) ,   lin ea r   d is cr im in a n t   an aly s is   ( L DA) - lin ea r   r e g r es s io n   en s em b le  with   s im p le  r u le   lo g ic   to   f av o r   m i n o r ity   d etec tio n .   Af r iy ie   et  a l .   [ 1 5 ]   r ea f f ir m   th e   p r ac ticality   o f   class ical  b aselin es   u n d er   u n d e r s am p lin g ,   n o tab l y   r an d o m   f o r est.  Ou r   wo r k   co m p lem en ts   th ese  d ir ec tio n s   b y   in tr o d u cin g   a   u n if ied   tex t n u m e r ic  f u s io n   ( B E R T   em b ed d in g s   p lu s   am o u n t)   with in   s in g le  en d - to - e n d   m o d el.     2 . 2 .     Dee p sequ ence   m o dels   S e q u e n c e - a w a r e   m e t h o d s   c a p t u r e   t e m p o r a l   r e g u l a r i t i e s   i n   t r a n s a c t i o n   s t r e a m s .   F o r o u g h   a n d   M o m t a z i   [ 1 6 ]   ca s f r au d   d etec tio n   as  s eq u e n ce   lab elin g   v ia  L STM   co n d i tio n al  r an d o m   f ield   ( CRF )   s tack ,   o u tp e r f o r m in g   L STM ,   g ated   r ec u r r en u n it  ( GR U) ,   an d   ar tific ial  n eu r al  n etwo r k   ( ANN)   b aselin es  an d   in tr o d u cin g   a   s eq u en ce - awa r u n d er s am p li n g   m eth o d   ( Seq - US)   th at  p r eser v es  p r e - f r a u d   co n tex t.   C o m p lem en tar ily ,   B o u lier is   et  a l.   [ 1 7 ]   in teg r at ex p lain ab le  A I   with   L ST ar ch itectu r es  to   e n h an ce   tr an s p ar en cy ,   wh ile   Mie n y an d   J er e   [ 1 8 ]   s u r v e y   co n v o l u tio n al  n e u r al  n etwo r k   ( C NN ) ,   r ec u r r en n eu r al  n etwo r k   ( R NN) ,   L STM ,   an d   GR ad v an ce s   t h at  m o d el  co m p le x   s eq u e n tial  p atter n s .   E x ten d in g   b ey o n d   p u r el y   s eq u en tial  v iews,   C h er if   et  a l.   [ 1 9 ]   em p lo y   a n   en co d er d ec o d er   g r a p h   n e u r al  n etwo r k   o n   lar g Sp ar k o v   d ata  to   ex p lo it   cu s to m er m er c h an r elatio n s ,   u s in g   g r ap h   co n v er ter   an d   b atch   n o r m aliza tio n   to   s ta b ilize  tr ain in g   an d   r ep o r tin g   g ain s   in   p r ec is io n ,   r ec all,   F1 - s co r e ,   an d   r ec eiv er   o p er atin g   ch ar ac ter is tic  ( R OC ) th ey   f u r th er   u n d er s co r e   g eo s p atial  m er c h a n t cu s to m er   d is tan ce   as a n   in f o r m ativ s ig n al  f o r   f r au d .     2 . 3 .    T ra ns f o rm er - ba s ed  a nd   hy brid m o dels     R ec en wo r k   co m b in es  tr an s f o r m er   r ep r esen tatio n s   with   o t h er   lear n e r s .   I leb er i   an d   Su n   [ 2 0 ]   p r esen s tack in g   en s em b le  ( C NN,   L STM ,   T r an s f o r m er )   with   an   e x tr em g r ad ie n t b o o s tin g   ( XG B o o s t )   m eta - lear n er ,   ac h iev in g   h i g h   s en s itiv ity ,   s p ec if icity ,   an d   ar ea   u n d er   t h cu r v ( AUC )   o n   E u r o p ea n   an d   T aiwa n   d atasets .   Hew ap ath ir an et  a l.  [ 2 1 ]   i n v esti g ate  T ab B E R T   f o r   tr a n s ac tio n al  d ep e n d en cies,  a n d   N L P - ce n tr ic  lin es  b y   [ 2 2 ] ,   [ 2 3 ]   lev er a g lan g u ag t ec h n o lo g ies ( in clu d in g   ch atb o ts )   to   d etec t o r   m itig ate  f r au d .   Mo s h y b r id   s y s tem s   ar c o m p u te - h ea v y   an d   eith er   c o n v er tex f ield s   in to   p u r el y   n u m er ic  s u r r o g ates  o r   f u s m o d alities   o n ly   at  t h s co r lev el.   Ou r   n o v elty   is   s in g le - b r an c h ,   r ep r esen tatio n - lev el   f u s io n   th at  p r eser v es  th NL P   s ig n al  b y   u s in g   co n tex tu al  B E R T   em b ed d in g s   o f   m e r ch an t   an d   ca teg o r y ,   an d   in teg r ates  th is   with   th n u m er ic  am o u n in   o n e n d - to - en d   ( B E R T →f u s io n →L STM )   ar ch itectu r r ath er   th a n   f latten in g   ev er y t h in g   in to   n u m er ic .   T h is   p r eser v es  m o d alit y - s p ec if ic  in f o r m atio n   an d   a v o id s   h ea v y   s tack in g ,   wh ich   d is tin g u is h es o u r   a p p r o ac h   f r o m   p r io r   wo r k   th at  h o m o g en izes a ll in p u ts   in to   n u m er ic  v ec to r s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  15 ,   No .   1 Feb r u ar y   2 0 2 6 :   788 - 7 9 7   790   3.   M E T H O D   T h is   s ec tio n   d etails  th d ata  s o u r ce s ,   p r ep r o ce s s in g   s tep s ,   an d   th m eth o d o l o g ies  em p lo y ed   in   d ev elo p in g   th cr ed it  ca r d   f r au d   d etec tio n   m o d el.   T h d ataset  is   f ir s d escr ib e d ,   f o llo wed   b y   th e   p r ep r o ce s s in g   tech n iq u es  a p p l ied   to   p r e p ar th e   d ata  f o r   m o d elin g .   Su b s eq u en tly ,   t h im p lem en tatio n   d etails  ar o u tlin ed ,   in clu d in g   th al g o r ith m s   u s ed   a n d   th a r ch it ec tu r o f   p r o p o s ed   B E R T - L STM   h y b r i d   m o d el.   Fig u r 1   illu s tr ates  th h y b r id   m o d el  ar ch itectu r d iag r am ,   wh ich   v is u ally   r ep r esen ts   all  th s tep s   f o llo wed   to   b u ild   th m o d el  an d   p r o v id es  f r am ewo r k   f o r   th d is cu s s io n s   in   th is   s ec tio n .           Fig u r 1 .   T h ar ch itectu r d ia g r am   o f   th B E R T - L STM   h y b r id   m o d el  f o r   c r ed it c ar d   f r au d   d etec tio n       3 . 1 .     Da t a s et   T h d ataset  u s ed   in   th is   s tu d y   is   s im u lated   cr ed it  ca r d   tr an s ac tio n   d ataset  g en er ated   u s in g   th e   Sp ar k o v   Data   Gen er ati o n   t o o l .   I c o n tain s   tr a n s ac tio n s   f r o m   1 , 0 0 0   cu s to m er s   an d   8 0 0   m er ch an ts ,   s p a n n in g   th p er io d   f r o m   J an u ar y   1 ,   2 0 1 9   to   Dec em b er   3 1 ,   2 0 2 0   with   to tal  o f   1 , 2 9 6 , 6 7 5   r ec o r d s .   T h d ataset  in clu d es   b o th   leg itima te  an d   f r au d u len tr an s ac tio n s ,   with   f ea tu r e s   s u ch   as  tr an s ac tio n   am o u n t,  m er ch an n am e,   ca teg o r y ,   a n d   b in a r y   f r a u d   la b el  in d icatin g   wh eth er   tr a n s ac tio n   is   f r au d u len t,  t h f ea tu r es in   th d ataset  ar as p r esen ted   in   T ab le  1 .   T h is   d iv er s s et  o f   f ea tu r es   p r o v id es  r ich   co n te x f o r   ea ch   tr an s ac tio n ,   ca p tu r in g   n o o n l y   tr an s ac tio n al  d etails  b u also   d em o g r ap h ic  an d   s p atial  in f o r m atio n   ab o u b o th   ca r d h o ld e r s   an d   m er c h an ts .   B y   co m b in in g   tex tu al,   ca teg o r ica l,  an d   n u m er ic  attr ib u tes,  th e   d ataset  en ab les  in ter ac tio n s   th at  r ev ea s u b tle   p atter n s   ass o ciate d   with   f r au d .   T h is   r ich n ess   allo ws  f o r   co m p r eh en s iv a n aly s is   an d   m o r r o b u s m o d elin g   o f   f r au d u le n t b eh a v io r .       T ab le  1 .   Data s et  f ea tu r es   F e a t u r e   D e scri p t i o n   Ty p e   t r a n s _ d a t e _ t r a n s _ t i me   Th e   d a t e   a n d   t i m e   o f   t h e   t r a n sa c t i o n   o b j e c t   c c _ n u m   Th e   c r e d i t   c a r d   n u m b e r   u s e d   i n   t h e   t r a n sa c t i o n   i n t 6 4   merch a n t   Th e   n a me   o f   t h e   m e r c h a n t   w h e r e   t h e   t r a n sa c t i o n   o c c u r r e d   o b j e c t   c a t e g o r y   Th e   c a t e g o r y   o f   t h e   m e r c h a n t   o b j e c t   a mt   Th e   a m o u n t   o f   t h e   t r a n s a c t i o n   f l o a t 6 4   f i r st   Th e   f i r st   n a me   o f   t h e   c a r d h o l d e r   o b j e c t   l a st   Th e   l a st   n a me  o f   t h e   c a r d h o l d e r   o b j e c t   g e n d e r   Th e   g e n d e r   o f   t h e   c a r d h o l d e r   o b j e c t   st r e e t   Th e   st r e e t   a d d r e ss  o f   t h e   c a r d h o l d e r   o b j e c t   c i t y   Th e   c i t y   o f   t h e   c a r d h o l d e r   o b j e c t   st a t e   Th e   st a t e   o f   t h e   c a r d h o l d e r   o b j e c t   z i p   Th e   ZI P   c o d e   o f   t h e   c a r d h o l d e r   i n t 6 4   l a t   Th e   l a t i t u d e   o f   t h e   c a r d h o l d e r 's  l o c a t i o n   f l o a t 6 4   l o n g   Th e   l o n g i t u d e   o f   t h e   c a r d h o l d e r 's  l o c a t i o n   f l o a t 6 4   c i t y _ p o p   Th e   p o p u l a t i o n   o f   t h e   c i t y   w h e r e   t h e   c a r d h o l d e r   r e s i d e s   i n t 6 4   j o b   Th e   o c c u p a t i o n   o f   t h e   c a r d h o l d e r   o b j e c t   d o b   Th e   d a t e   o f   b i r t h   o f   t h e   c a r d h o l d e r   o b j e c t   t r a n s _ n u m   Th e   t r a n sa c t i o n   n u m b e r   o b j e c t   u n i x _ t i m e   Th e   t r a n sa c t i o n   t i me  i n   U n i x   t i me   f o r mat   i n t 6 4   merch _ l a t   Th e   l a t i t u d e   o f   t h e   merc h a n t 's  l o c a t i o n   f l o a t 6 4   merch _ l o n g   Th e   l o n g i t u d e   o f   t h e   mer c h a n t 's  l o c a t i o n   f l o a t 6 4   i s_ f r a u d   A   b i n a r y   l a b e l   i n d i c a t i n g   w h e t h e r   t h e   t r a n s a c t i o n   i s   f r a u d u l e n t   i n t 6 4   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   n o ve l B E R T - lo n g   s h o r t - term me mo r h yb r id   mo d el  fo r   effe ctive   cred it c a r d     ( Ou s s a ma   N d a ma )   791   3 . 2 .     P re pro ce s s ing   Data s et  p r ep r o ce s s in g   is   cr u cial  s tep   in   p r ep ar in g   t h d a ta  f o r   m o d el  tr ain i n g .   T h p r e p r o ce s s in g   s tep s   f o r   th is   s tu d y   in clu d e:   i)   Data   s am p lin g t h o r ig in al  d a taset  co n tain s   1 , 2 9 6 , 6 7 5   r ec o r d s ,   wh ich   ca n   b co m p u tatio n ally   in ten s iv e   to   p r o ce s s .   T o   b alan ce   c o m p u tatio n al  ef f icien cy   with   m o d el   p er f o r m an ce ,   r a n d o m   s am p le  o f   1 0 0 , 0 0 0   r ec o r d s   was  s elec ted   f o r   a n a ly s is .   T h is   s am p lin g   en s u r es  th at  th s u b s et  o f   d ata  r etai n s   th o v er all   ch ar ac ter is tics   an d   d is tr ib u tio n   o f   th e   en tire   d ataset,   f ac ilit atin g   ef f ec tiv e   m o d el  tr ain i n g   a n d   e v alu atio n .   Fro m   th is   s am p le d   d ata,   o n l y   th e   r elev a n co l u m n s   ' m er ch an t' ,   ' ca teg o r y ' ,   ' am t ' ,   an d   ' is _ f r au d '   wer e   s elec ted .   T h is   s tep   f o cu s ed   th an aly s is   o n   th f ea tu r es  d ir ec tly   p er tin e n to   d etec ti n g   f r a u d u len t   tr an s ac tio n s ,   s im p lify in g   th d ataset ,   an d   en h an ci n g   co m p u ta tio n al  ef f icien cy .   ii)   Han d lin g   m is s in g   v alu es a n y   m is s in g   v alu es  in   th d atase t   wer h an d led   u s in g   ap p r o p r i ate  im p u tatio n   tech n iq u es  to   m ain tain   d ata  in teg r ity   [ 2 4 ] T h is   s tep   en s u r es  th at  th d ataset  is   co m p lete   an d   s u itab le  f o r   m o d el  tr ain in g   with o u t in t r o d u cin g   b ias o r   in ac cu r ac ies.   iii)   Featu r en g i n ee r in g t o   en h a n ce   th m o d el' s   p er f o r m an ce ,   a d d itio n al  f ea tu r es  wer e   en g in e er ed   f r o m   th e   ex is tin g   d ata.   T h g o al  o f   f e atu r en g in ee r in g   is   to   cr ea te  n ew  in p u f ea tu r es  th at  ca n   im p r o v th e   p r ed ictiv p o wer   o f   th e   m o d el   [ 2 5 ] ,   [ 2 6 ] .   I n   th is   s tu d y ,   te x tu al  f ea tu r es  s u ch   as  ' m er ch an t'   an d   ' ca teg o r y '   wer co m b in ed   to   cr ea te  s in g le,   en r ich ed   tex tu al  in p u t.  T h is   co m b in ed   f ea tu r en ca p s u lates  th e   id en tity   o f   th m er ch a n an d   th ty p o f   tr an s ac tio n ,   p r o v id in g   a   r ich e r   co n tex f o r   t h m o d el.   B y   m er g in g   th ese  two   co lu m n s ,   we  aim   to   ca p tu r e   th e   r elatio n s h ip   b etwe en   wh er e   th tr a n s ac tio n   to o k   p lace   an d   wh at  k in d   o f   tr an s ac tio n   it  was,  wh ich   ca n   b cr u cial  f o r   id en tify in g   f r au d   p atter n s .   T h is   n ew   tex tu al  f ea tu r was th en   p r ep a r ed   f o r   f u r th er   p r o ce s s in g   an d   em b ed d in g .   iv )   T o k en izatio n   an d   em b e d d in g t h co m b in ed   tex tu al  f ea tu r e s   wer to k en ize d   an d   em b ed d ed   u s in g   th e   B E R T   to k en izer   an d   m o d el  [ 2 7 ] T o k en izatio n   is   th p r o ce s s   o f   co n v er tin g   tex in t o   s m aller   u n its   ca lle d   to k en s   [ 2 8 ] T h e   B E R T   to k en izer   b r ea k s   d o wn   th e   co m b in ed   tex tu al   in p u t   in to   to k e n s   a n d   m a p s   ea ch   to k en   t o   a   u n iq u n u m er ical   i d en tifie r ,   c r ea tin g   to k en   I Ds.  T h ese  to k en   I Ds  ar e   th en   f e d   in to   th e   B E R T   m o d el,   wh ich   g en er ates  n u m e r ical  em b ed d in g s   f o r   ea ch   to k en .   B E R T   em b ed d in g s   ar e   co n tex tu ally   r ic h   v ec to r   r ep r esen tatio n s   th at   ca p tu r th e   s em an tic  m ea n in g   a n d   r elatio n s h ip s   with in   th e   te x [ 2 9 ] T h is   p r o ce s s   tr an s f o r m s   th tex tu al  d ata  in to   f o r m at  th at  th m o d el  ca n   ef f ec tiv ely   u s e,   allo win g   it  to   u n d er s tan d   an d   le v er ag th e   c o n tex tu al  n u an ce s   o f   th in p u t   tex t.   v)   C o m b in in g   f ea tu r es th e   g e n er ated   te x em b ed d in g s   we r co m b in ed   with   th e   n u m er ical  f ea tu r e,   tr an s ac tio n   am o u n ( a m t) .   T h is   s tep   in teg r ates  th c o n te x tu ally   r ich   tex tu al  in f o r m at io n   with   th e   q u an titativ d ata,   f o r m in g   c o m p r eh e n s iv f ea tu r s et  f o r   ea ch   tr an s ac tio n .   T h e   co m b in atio n   o f   tex tu a l   an d   n u m er ical  d ata  allo ws  th m o d el  t o   co n s id er   b o th   th e   s em an tic  co n tex t   o f   th tr a n s ac tio n   an d   its   m o n etar y   v alu e.   B y   m e r g in g   th ese  d iv er s f ea tu r es,  th m o d el  g ain s   h o lis tic  v iew  o f   ea c h   tr an s ac tio n ,   en h an cin g   its   ab ilit y   to   id en tif y   f r au d u len ac tiv ities   b ased   o n   b o th   th n atu r o f   th tr an s ac tio n   an d   its   f in an cial  attr ib u tes.   v i)   C las s   im b alan ce   h an d li n g th d ataset  ex h ib ited   class   im b alan ce ,   with   f r a u d u len t   tr an s ac tio n s   b ein g   s ig n if ican tly   f ewe r   th an   leg itima te  o n es.  Fra u d u len t   r ec o r d s   r ep r esen t   ap p r o x im ately   0 . 6 0 o f   th e   en tir e   d ataset.   C lass   im b alan ce   ca n   n eg ativ ely   im p ac th e   m o d e l's   p er f o r m a n ce ,   as  it  m ay   b ec o m b iased   to war d s   th m aj o r ity   class   ( le g itima te  tr an s ac tio n s )   an d   f ail   to   d etec t   f r au d u len t   o n es.  T o   ad d r ess   th is   is s u e,   th s y n th etic  m in o r ity   o v er - s am p lin g   tec h n iq u ( SMOT E )   was  ap p lied .   SMO T E   g en er ate s   s y n th etic  s am p les  f o r   th m in o r ity   class   ( f r au d u len tr a n s ac tio n s )   b y   in ter p o latin g   b et wee n   ex is tin g   m in o r ity   class   s am p les  [ 3 0 ] T h is   tech n iq u e n s u r es  b al an ce d   r ep r esen tatio n   o f   b o t h   class es  d u r in g   m o d el  tr ain in g ,   en ab lin g   t h m o d el  to   lear n   an d   d etec f r au d u len tr an s ac tio n s   m o r ef f ec tiv ely   [ 3 1 ] B y   ad d r ess in g   class   im b alan ce ,   th m o d el' s   s en s i tiv ity   to   f r au d u le n ac tiv ities   is   im p r o v ed ,   an d   th e   lik elih o o d   o f   f alse n eg ativ es is   r ed u ce d .   T h ese  p r ep r o ce s s in g   s tep s   p r e p ar th e   d ataset  f o r   ef f e ctiv m o d el  tr ain i n g .   B y   co n s o lid ati n g   r ele v an t   f ea tu r es,  g en e r atin g   B E R T - r e ad y   tex em b ed d i n g s ,   an d   c o r r ec tin g   class   im b alan ce ,   th ey   im p r o v s ig n al   q u ality   an d   s tab ilit y .   C o n s eq u en tly ,   th m o d el  lear n s   m o r r o b u s tly   an d   d etec ts   f r a u d u le n tr an s ac tio n s   with   h ig h er   ac c u r ac y .     3 . 3 .     Det a ils   o f   im plem ent a t i o n   T h im p lem en tatio n   o f   o u r   B E R T - L STM   h y b r id   m o d el  f o r   cr ed it  ca r d   f r au d   d etec tio n   was  ca r r ied   o u o n   Go o g le  C o lab ,   u tili zin g   th p o wer f u NVI DI A1 0 0   g r ap h ics  p r o ce s s in g   u n it  ( GPU )   to   m ee th e   co m p u tatio n al  n ee d s   o f   d ee p   l ea r n in g .   Py t h o n   s er v ed   as  th p r im ar y   la n g u a g e,   s u p p o r ted   b y   lib r ar ies  s u ch   a s   Pan d as  an d   Nu m Py   f o r   d ata   p r o ce s s in g ,   Py T o r ch   f o r   m o d el   d ev elo p m en t,   an d   Hu g g in g   F ac e’ s   tr an s f o r m e r s   lib r ar y   f o r   e f f icien h a n d lin g   o f   tex t u al  d ata  with   B E R T .   Scik it - lear n   was  u s ed   f o r   d ata  s p litt in g   an d   ev alu atio n ,   w h ile  im b alan ce d - lear n   an d   SMOT E   ad d r ess ed   class   im b alan ce .   T h is   s etu p   en s u r e d   ef f icien t,   ef f ec tiv m o d el  d ev elo p m en t,  lev er ag in g   s tate - of - th e - ar t   to o l s   f o r   lar g e - s ca le  d ata  a n d   d ee p   lear n in g .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  15 ,   No .   1 Feb r u ar y   2 0 2 6 :   788 - 7 9 7   792   3 . 4 .     Alg o rit hm s   T h d e v elo p m e n o f   t h cr e d i ca r d   f r au d   d etec tio n   m o d el   em p lo y ed   two   m ain   alg o r ith m s B E R T   an d   L STM .   E ac h   o f   th ese  al g o r ith m s   p la y s   cr itical  r o le  in   h a n d lin g   d if f e r en asp ec ts   o f   t h d ataset  an d   m o d elin g   c h allen g es.  B E R T   en co d es  co n te x tu al  s em an tics   f r o m   m er c h an a n d   ca teg o r y   te x t,  wh er ea s   L STM   ca p tu r es  tem p o r al  d ep en d en ci es  ac r o s s   tr an s ac tio n s ,   allo win g   th e   h y b r id   to   ad d r ess   co m p l em en tar y   f ac ets  o f   f r au d   d etec tio n .     3 . 4 . 1 .   B idi re ct io na l e nco der  re presenta t io ns   f ro m   t ra ns f o rm er s   T h B E R T ,   d ev el o p ed   b y   G o o g le,   is   g r o u n d b r ea k in g   m o d el  in   th e   f ield   o f   NL P.  I u s es  a   m ec h an is m   k n o wn   as  t r an s f o r m er s   to   u n d er s tan d   th co n te x t o f   wo r d   with in   tex t,  r ath er   th an   ju s t th wo r d   in   is o latio n   [ 3 2 ] T h is   ab ilit y   m ak es  B E R T   ex tr em ely   ef f ec tiv f o r   task s   th at  r ely   o n   th e   co n tex tu al  u s o f   wo r d s ,   s u ch   as  s en tim en an aly s is ,   n am ed   en tity   r ec o g n itio n ,   an d   in   o u r   ca s e,   p r o ce s s in g   an d   u n d er s tan d in g   tex tu al  d ata  r elate d   to   tr a n s ac tio n s   [ 3 3 ] I n   th is   p r o ject,   B E R T   was  u tili ze d   to   p r o ce s s   tex t u al  f ea tu r es  s u ch   as  m er ch an n a m es  an d   tr an s ac t io n   ca teg o r ies.  B y   tr an s f o r m i n g   th ese  tex tu al  in p u ts   in to   em b ed d e d   v ec to r s ,   B E R T   p r o v id ed   a   n u a n ce d   r ep r esen tatio n   o f   th e   tex t,   ca p tu r in g   s u b tle  m ea n i n g s   th at   co u l d   in d icate   f r a u d u le n t   ac tiv ity .   T h e   em b e d d in g s   g en er ated   b y   B E R T   s er v e   as  a   s o p h is ticated   in p u t   to   th s u b s eq u en s tag es  o f   th e   m o d el,   en h an cin g   its   ab ilit y   to   d is ce r n   p atter n s   in d icativ o f   f r au d .     3 . 4 . 2 .   L o ng   s ho rt - t er m m e mo ry   T h L STM   n etwo r k s   ar e   ty p o f   R N N   s p ec if ically   d esig n ed   to   h an d le   s eq u en ce   p r ed ictio n   p r o b lem s   [ 3 4 ] L STM s   ar ca p ab le  o f   lear n in g   lo n g - te r m   d e p en d en cies  in   s eq u en ce   d ata,   wh ich   is   cr u cial  f o r   ap p licatio n s   lik tim e - s er ies  an aly s is ,   s p ee ch   r ec o g n itio n ,   an d   im p o r tan tly ,   tr a n s ac tio n   s eq u en ce   an aly s is   [ 3 5 ] I n   th co n tex o f   cr e d it  ca r d   f r au d   d etec tio n ,   L STM   n etwo r k s   wer em p lo y ed   to   an aly ze   th s eq u en ce s   o f   tr an s ac tio n s ,   co n s id er in g   th tem p o r al  r elatio n s h ip s   an d   p atter n s   th at  em er g o v er   ti m e.   B y   in teg r atin g   L STM   with   B E R T   em b ed d in g s ,   th m o d el  c o u ld   e f f ec tiv ely   lev er ag b o th   th e   co n tex t u al  an d   s eq u e n tial   in f o r m atio n   in   th d ataset.   T h i s   in teg r atio n   allo ws  th e   L ST to   in ter p r et  th e   em b ed d ed   tex in   th e   co n te x o f   tr an s ac tio n   s eq u en ce s ,   en h a n c in g   its   ab ilit y   to   p r ed ict  f r au d u len tr a n s ac tio n s   b ased   o n   b eh av io r al   p atter n s   th at  u n f o ld   o v er   tim e.   T o g eth e r ,   B E R T   an d   L STM   f o r m   p o wer f u l c o m b in atio n   f o r   tack lin g   th co m p lex ities   o f   f r a u d   d etec tio n   in   tr a n s ac tio n   d ata.   B E R T s   d ee p   u n d er s t an d in g   o f   tex tu al  c o n tex t,  c o u p led   with   L STM s   p r o f icien c y   in   s eq u en ce   m o d elin g ,   p r o v id es  a   co m p r eh e n s iv ap p r o ac h   to   i d en tify in g   f r au d u len t   ac tiv ities   with   h ig h er   ac c u r ac y   a n d   ef f ic ien cy .       4.   T H E   P RO P O SE B E RT - L ST M   H YB R I M O D E L   I n   th is   s tu d y ,   h y b r id   m o d el   was  d ev elo p ed   th at  co m b in e s   th s tr en g th s   o f   B E R T   an d   L STM   to   en h an ce   c r ed it  ca r d   f r a u d   d etec tio n   ca p ab ilit ies.  T h is   s ec tio n   d etails  th m o d el  ar c h itectu r an d   th tr ai n in g   an d   v alid atio n   m eth o d o lo g ies   u s ed   to   co n s tr u ct  a n d   d e p lo y   th s y s tem   ef f ec tiv ely .   I also   h ig h lig h ts   th e   d esig n   ch o ices  th at  d is tin g u is h   o u r   a p p r o ac h ,   p r eser v in g   t o k en - lev el  B E R T   r ep r esen tatio n s   f o r   L STM - b ased   s eq u en ce   m o d elin g   an d   m itig a tin g   class   im b alan ce .     4 . 1 .     M o del  a rc hite ct ure   T h B E R T L STM   h y b r id   m o d el  lev er ag es  B E R T   to   p r o d u ce   d ee p   co n te x tu al  em b ed d in g s   f r o m   tex tu al  in p u ts ,   wh ile  L STM   c ap tu r es  tem p o r al  d ep e n d en cie s   to   an aly ze   tr an s ac tio n   p atter n s   o v er   tim e.   T h ese  f u s io n   p r eser v es   to k e n - lev el   s em an tics   an d   s eq u en tial  d y n am ics,  en ab lin g   th d etec to r   to   ex p lo it  co m p lem en tar y   cu es  f o r   f r au d   id en tific atio n ,   esp ec ially   u n d er   class   im b alan ce .   At  h ig h   lev el,   th p ip elin p r o ce ed s   th r o u g h   tex t f ea t u r p r o ce s s in g ,   s eq u en ce   m o d elin g ,   an d   f in al  in teg r atio n   an d   cla s s if icatio n .     4 . 1 . 1 .   T ex t   f ea t ure  pro ce s s in g   Fo r   ea ch   tr an s ac tio n ,   th two   tex tu al  f ield s ,   m er ch an an d   ca teg o r y ,   ar c o n ca ten ated   i n to   s in g le  in p u s tr in g .   T h is   tex is   to k en ized   with   th s tan d ar d   B E R T   t o k en izer   an d   p ass ed   th r o u g h   th B E R T   en co d er .   T h [ C L S]  to k en   em b ed d i n g   is   u s ed   as   f ix ed - len g th   r ep r esen tatio n   o f   th tr an s ac ti o n   tex t,  ca p tu r in g   co n tex tu al  in f o r m atio n   ab o u t t h m er ch a n t a n d   t h p u r ch ase  ty p in   7 6 8 - d im en s io n al  v ec to r .     4 . 1 . 2 .   Sequ ence   m o delin g   T h [ C L S]  em b ed d i n g   is   co n ca ten ate d   with   t h tr an s ac tio n   am o u n ( am t) ,   y ield in g   a     769 - d im en s io n al  f ea tu r v ec t o r .   T h is   v ec to r   is   p r esen ted   to   an   L STM   lay er   as  s i n g le - s tep   s eq u en ce   ( s eq u en ce   len g t h =1 ) ,   w h ich   f u n ctio n s   as  g ated   p r o jectio n   th at  ca n   m o d el  n o n lin ea r   i n ter ac tio n s   b etwe en   tex tu al  co n tex a n d   a m o u n t.  Alth o u g h   n o   tem p o r al  s eq u e n ce   ac r o s s   to k en s   o r   tr an s ac tio n s   is   u s ed   in   t h e   cu r r en im p lem en tatio n ,   t h L STM s   g atin g   s till   p r o v id e s   lear n ab le  tr an s f o r m atio n   th at  ca n   im p r o v e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   n o ve l B E R T - lo n g   s h o r t - term me mo r h yb r id   mo d el  fo r   effe ctive   cred it c a r d     ( Ou s s a ma   N d a ma )   793   s ep ar ab ilit y   r elativ to   p u r ely   lin ea r   h ea d .   T h is   s in g le - s tep   d esig n   is   ju s t if ied   b y   o u r   p er - tr a n s ac tio n   s cr ee n in g   o b jectiv an d   th e   a b s en ce   o f   r eliab le,   s ess io n - lev el  o r d er i n g   ac r o s s   tr an s ac tio n s ,   wh er f a b r icatin g   win d o ws  co u ld   i n tr o d u ce   s p u r io u s   d y n am ics.  I also   k ee p s   laten cy   an d   p ar am eter   co u n t   lo w,   wh ich   h elp s   cu r b   o v er f itti n g   u n d er   class   im b alan ce ,   wh ile  leav in g   a   clea r   p ath   to   m u lti - s tep   s eq u en ce s   wh en   co n s is ten in ter - tr an s ac tio n   o r d er in g   b ec o m es a v ailab le.     4 . 1 . 3 .   I nte g ra t io n a nd   o utput   T h L STM   o u tp u ts   a   co m p a ct  r ep r esen tatio n   th at  in te g r a tes  co n tex tu al  m ea n in g   with   tem p o r al   s tr u ctu r e,   wh ich   is   s u b s eq u en t ly   f ed   to   a   f u lly   co n n ec ted   cl ass if icatio n   h ea d .   s ig m o id   ac tiv atio n   m ap s   th e   o u tp u to   a   p r o b ab ilit y   o f   f r au d ,   en a b lin g   th r esh o ld - b ase d   d ec is io n   m ak in g   alig n e d   w ith   o p er atio n al  r is k   p r ef er en ce s .   T h is   en d - to - en d   d esig n   allo ws  th m o d el  to   co m b in n u an ce d   tex u n d er s tan d i n g   with   s eq u en tial  p atter n   r ec o g n itio n   i n   s in g le  tr ain ab le  p ip elin e.     4 . 2 .     M o del  co ns t ruct io n a nd   t ra ini ng   m et ho do lo g ies   C o n s tr u ctin g   an d   tr ai n in g   th e   B E R T L STM   h y b r id   m o d el  i n v o lv e d   p r ag m atic   ch o ices  to   m ax im ize  p er f o r m an ce   u n d er   class   im b alan ce   wh ile  p r eser v in g   g e n e r aliza tio n .   p r e - tr ain e d   B E R T - b ase - u n ca s ed   is   f in e - tu n e d   to   o b tain   d o m ain - s p ec if ic  tex t   em b ed d in g s   an d   m o d el  t o k en - le v el  s eq u e n ce s   with   an   L STM .   An   im b alan ce - awa r o b jectiv an d   h eld - o u t v alid atio n   s p lit g u id iter ativ r ef in em e n ts   an d   e ar ly   s to p p in g .     4 . 2 . 1 .   P re - t r a ini ng ,   f ine - t un ing   a nd   s eque ntia l da t a   ha nd lin g   B E R T   is   in itia lized   with   p u b licly   av ailab le  p r e - tr ain ed   weig h ts   to   en co d e   s tr o n g   le x ical  an d   s em an tic  p r io r s .   I is   th en   f in e - tu n ed   o n   tr an s ac tio n   te x ( m er ch an t+c ateg o r y )   s o   t h e m b ed d in g s   ad ap to   d o m ain - s p ec if ic,   f r au d - r elev a n r eg u lar ities .   T h is   two - s tag tr an s f er   ac ce ler ates  co n v er g e n ce ,   ad d s   m in im al  ex tr p ar am eter s ,   a n d   y ield s   m o r d is cr im in ativ r e p r esen tatio n s   f o r   f r au d   cu es.   T h L STM   lay er   is   tr ain ed   o n   th to k e n - lev el  em b ed d in g s   to   m o d el  tem p o r al  d e p en d e n cies  with in   ea ch   tex tu al  s eq u en ce .   B y   le ar n in g   h o m ea n in g   u n f o ld s   ac r o s s   to k en s ,   th n etwo r k   e x p o s es  b eh av io r ally   r elev an s ig n als  th at   s tatic  p o o lin g   m i g h o v er lo o k .   T h is   s eq u en tial  tr ea tm e n co m p lem en ts   th co n tex tu al   p o wer   o f   B E R T   an d   s u p p o r ts   h ig h er   r ec all  o n   m i n o r ity   f r au d   ca s es.     4 . 2 . 2 .   H y perpa ra m et er s   a nd   t ra ini ng   s et t ing s   Fo r   th h y b r id   m o d el,   b er t - b ase - u n ca s ed   is   u s ed   as  f r o ze n   tex en c o d er ,   with   to k en izatio n   co n f ig u r ed   f o r   p ad d in g   an d   tr u n ca tio n   at  t h d ef a u lt  m ax im u m   len g th .   T h e   f u s ed   r ep r esen tatio n   co n ca ten ates   th B E R T   [ C L S]  v ec to r   ( 7 6 8   d im en s io n s )   with   th n u m er i am o u n to   f o r m   7 6 9 - d im e n s io n al  in p u t.  T h e   class if ier   h ea d   is   s in g le - lay er   L STM   with   h id d en   s ize  2 5 6 ,   b atch _ f ir s t=T r u e,   u n id ir ec tio n al,   an d   d r o p o u s et  to   0 ,   f o llo wed   b y   s ig m o id   o u tp u t.  Op tim izatio n   u s es  Ad am   with   a   lear n in g   r ate  o f   0 . 0 0 1   an d   b in a r y     cr o s s - en tr o p y   lo s s .   T r ain in g   u s es  f u ll - b atch   u p d ates  ( b atch   s ize  eq u al  to   t h n u m b er   o f   tr ai n in g   ex a m p les)  f o r   5 0 0   e p o ch s ,   a n d   e v alu atio n   is   p er f o r m e d   o n   an   8 0 /2 0   r an d o m   t r ain - v alid atio n   s p lit.   T o   ad d r ess   class   im b alan ce ,   SMOT E   is   ap p lie d   to   th co m b in ed   f ea t u r m atr ix   b ef o r th s p lit.  Un less   o th er wis n o ted ,   m etr ics ar co m p u te d   at  d ec i s io n   th r esh o ld   o f   0 . 5 .     4 . 2 . 3 .   Va lid a t io n a nd   it er a t iv im pro v e m ent   Mo d el  d e v elo p m e n f o llo ws  h eld - o u v alid atio n   s ch em e   to   ass ess   g en er aliza tio n   t o   u n s ee n   d ata   an d   g u id ea r ly   s to p p i n g .   Sta n d ar d   m et r ics  s u ch   as  ac cu r ac y ,   p r ec is io n ,   r ec all,   a n d   F1 - s co r ar m o n ito r ed ,   an d   h y p er p ar am eter s   an d   ar ch itectu r al  d etails  ar ad j u s ted   in   r esp o n s to   v alid atio n   tr en d s .   I ter ativ e   r ef in em en ts   f o cu s   o n   s tab iliz in g   tr ain in g ,   i m p r o v in g   m in o r ity - class   s en s itiv ity ,   an d   e n s u r in g   th p ip elin e   r em ain s   r o b u s t u n d er   class   im b alan ce .       5.   RE SU L T S AN D I SCU SS I O N   T h B E R T - L STM   h y b r id   m o d el  s h o wca s ed   o u ts tan d i n g   p er f o r m a n ce   o n   th v alid atio n   s et,   ac h iev in g   an   ac c u r ac y   o f   9 9 . 1 1 %.  T h is   h ig h   lev el   o f   ac cu r a cy   h ig h lig h ts   th m o d el' s   r o b u s ab ilit y   to   class if y   tr an s ac tio n s   ef f ec tiv ely .   Pre ci s io n   was  n o tab l y   h i g h   at  9 8 . 2 7 %,  wh ile  th e   m o d el  ac h ie v e d   p er f ec t   r ec all  o f   1 0 0 %,  in d icatin g   its   s u cc ess   in   id en tify in g   all  f r a u d u len t   tr an s ac tio n s   with in   th d ataset.   T h F1 - s co r e,   b alan cin g   p r ec is io n   an d   r ec all ,   s to o d   im p r ess iv ely   at  9 9 . 1 3 %.  T h f o llo win g   is   co n cise  s u m m ar y   o f   th k ey   p er f o r m an ce   m etr ics,  as illu s tr ated   in   T ab le  2 .   T h m o d el  also   m ain tain ed   l o v alid atio n   lo s s   o f   0 . 0 3 7 5 ,   f u r th er   v alid atin g   its   ef f icien cy   in   f r au d   d etec tio n .   T h is   b len d   o f   h i g h   p r ec is io n ,   r ec all,   an d   ac cu r ac y   u n d er s co r es  th m o d el’ s   ca p ab ilit ies  in   ef f ec tiv ely   d etec tin g   f r au d ,   p o s itio n in g   it  as  p o ten to o in   f in an cial  s ec u r ity   s y s tem s .   T h class if icatio n   r ep o r f u r th e r   d etails  th ese  r esu lts   in   Fig u r 2 ,   p r o v i d in g   c o m p r e h en s iv b r ea k d o wn   o f   th m o d el’ s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  15 ,   No .   1 Feb r u ar y   2 0 2 6 :   788 - 7 9 7   794   p er f o r m an ce   ac r o s s   d if f er e n class es.  T h i s   v is u aliza tio n   en h an ce s   u n d er s tan d in g   o f   th m o d el' s   p r ec is io n   an d   r ec all  b y   class ,   illu s tr atin g   its   b alan ce d   ef f ec tiv en ess   in   f r au d   d etec tio n .       T ab le  2 .   Per f o r m an ce   m etr ics o f   th B E R T - L STM   h y b r i d   m o d el   M o d e l   A c c u r a c y   A c c u r a c y   0 . 9 9 1 1   P r e c i s i o n   0 . 9 8 2 7   R e c a l l   F 1   sc o r e   1 . 0 0 0 0   0 . 9 9 1 3           Fig u r 2 .   C lass if icatio n   r ep o r o f   th B E R T - L STM   h y b r i d   m o d el       T h B E R T - L STM   h y b r id   m o d el  ef f ec tiv ely   co m b in es  B E R T ' s   co n tex tu al  em b ed d in g s   wi th   L STM 's   s eq u en ce   an aly s is   ca p ab ilit ies,  o f f er in g   r o b u s ap p r o ac h   to   f r au d   d etec tio n .   T h i s   m o d el  n o o n ly   d em o n s tr ates  s tr o n g   s tatis tica p er f o r m a n ce   b u also   ex h i b its   d ee p   u n d er s tan d in g   o f   c o m p lex   tr an s ac tio n   p atter n s   ess en tial  f o r   id en tify in g   f r au d u len ac tiv ities .   I ts   h ig h   r ec all  r ate  is   c r u cial  in   f r au d   d etec tio n   co n tex t,  en s u r i n g   n o   f r a u d u len tr an s ac tio n   is   m is s ed ,   wh ich   co u ld   o th er wis h av s ev er f in an cial   im p licatio n s .   Ad d itio n ally ,   th m o d el’ s   im p r ess iv p r ec is io n   m in im izes  f alse  p o s itiv es,  th er eb y   p r eser v i n g   cu s to m er   tr u s t a n d   o p er atio n al   ef f icien cy .   Fo r   ex ter n al  co n tex t,   T ab le   3   co n tr asts   o u r   r esu lts   with   r ep r esen tativ ex is tin g   m et h o d s   e v alu ated   o n   th s am d ataset  f am ily .   R elat iv to   r an d o m   f o r est  b aselin es   [ 1 3 ] ,   [ 1 5 ] ,   lig h tweig h class ical  en s em b le  [ 1 4 ] ,   an d   an   en co d er - d ec o d er   GNN  [ 1 9 ] ,   th p r o p o s ed   B E R T - L STM   f u s io n   attain s   th h ig h est  F1 - s co r e   an d   r ec all   wh ile  p r eser v in g   s tr o n g   p r ec is io n .   T h ese  co m p ar is o n s   s u g g e s t th at  u n if y in g   tex tu al  m er ch a n t/categ o r y   s ig n als  with   n u m er ic  a m o u n in s id o n m o d el   ca n   b ad v an tag eo u s .   Pro to co ls   an d   r esam p lin g   s t r ateg ies  v ar y   ac r o s s   s tu d ies,  s o   th n u m b e r s   ar in d icativ r ath er   th a n   s tr ictly   co m p ar ab le.   Ho wev er ,   th m o d el  f ac es  ch allen g es,  p ar ticu lar ly   with   th ad ap tab ilit y   to   s o p h is ticated   o r   p r ev io u s ly   u n s ee n   f r au d   tactics  as  f r au d s ter s   co n tin u ally   ev o lv th eir   s tr ateg ies.  T o   en h a n ce   its   ad ap tab ilit y ,   f u tu r en h an ce m e n ts   co u ld   i n clu d d y n am ic  lear n i n g   an d   u p d atin g   m ec h an is m s   to   b et ter   r esp o n d   t o   n ew  f r au d   p atter n s .   Fu r th e r   r esear ch   m ig h also   ex p lo r in te g r atin g   ad d itio n al  d ata  ty p es   s u ch   as  cu s to m er   b eh av io r   o r   m ac r o ec o n o m ic  in d icato r s   to   b o o s th m o d el's  p r ed ictiv p o wer .   Dep lo y in g   th is   m o d el  in     r ea l - wo r ld   f in a n cial  s y s tem s   wo u ld   n ec ess itate  r o b u s in f r astru ctu r f o r   r ea l - tim a n a ly s is   an d   s ea m les s   in teg r atio n   with   ex is tin g   m o n i to r in g   f r am ewo r k s ,   alo n g s id en s u r in g   c o m p lian ce   with   s tr i n g en d ata  p r iv ac y   r eg u latio n s   an d   m ain tain in g   h i g h   d ata  s ec u r ity   s tan d ar d s .       T ab le  3 .   C o m p a r is o n   with   ex i s tin g   m eth o d s   ( Sp ar k o v   d ataset  f am ily )   M o d e l   A c c u r a c y   P r e c i s i o n   R e c a l l   F 1   sc o r e   O u r   mo d e l   ( B ER T - LST M )   0 . 9 9 1 1   0 . 9 8 2 7   1 . 0 0 0 0   0 . 9 9 1 3   R a n d o m F o r e s t   [ 1 3 ]   -   -   -   0 . 8 3 5 0   K N N ,   LD A ,   L R   [ 1 4 ]   R a n d o f o r e s t   [ 1 5 ]   -   0 . 9 6 0 0   -   0 . 0 9 0 0   0 . 9 7 0 1   0 . 9 7 0 0   -   0 . 1 7 0 0   En c o d e r - d e c o d e r   G N N   [ 1 9 ]   0 . 9 7 0 0   0 . 8 2 0 0   0 . 9 2 0 0   0 . 8 6 0 0       6.   CO NCLU SI O N   T h B E R T - L STM   h y b r id   m o d el  d ev elo p ed   in   th is   s tu d y   r ep r esen ts   s ig n if ican s tep   f o r war d   in   cr ed it  ca r d   f r au d   d etec tio n   b y   in teg r atin g   b o th   te x tu al  an d   n u m e r ical  d ata.   B y   co m b i n in g   B E R T s   d ee p   co n tex tu al  em b e d d in g s   with   L STM s   s eq u en ce   an aly s is ,   t h ap p r o ac h   o u t p er f o r m s   tr ad itio n al  m o d els  th at  o n ly   u s n u m er ical  f ea t u r es,  s ettin g   n ew  b en c h m ar k   f o r   h an d lin g   h eter o g en e o u s   d ata   in   f r a u d   d etec tio n .   Ho wev er ,   th s tu d y   is   lim ited   b y   its   r elian ce   o n   s y n th etic  d ata,   ab s en ce   o f   tr u tr an s ac tio n   s eq u en ce s ,   an d   a   n ar r o f ea tu r s et  ( m er ch an t,   ca teg o r y ,   am o u n t) .   T o   ad v a n ce   f u r th er ,   f u tu r wo r k   s h o u l d   test   th m o d el  o n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   n o ve l B E R T - lo n g   s h o r t - term me mo r h yb r id   mo d el  fo r   effe ctive   cred it c a r d     ( Ou s s a ma   N d a ma )   795   r ea tr an s ac tio n   d ata  with   p r iv ac y   s af e g u ar d s ,   ap p ly   e x p lain ab le  AI   m eth o d s   lik e   S h ap ley   a d d itiv ex p lan atio n s   ( SHAP )   an d   lo c al  in ter p r etab le  m o d el - ag n o s tic  ex p lan atio n s   ( LIME )   f o r   d e cisi o n   au d itin g ,   an d   ex p er im en t   with   tr an s f o r m er - b ased   tab u lar   m o d els  ( e. g . ,   T ab T r an s f o r m er   a n d   FT - T r an s f o r m er )   f o r   r ich e r   in p u h an d lin g .   Ad d itio n ally ,   d ep lo y in g   r ea l - tim s tr ea m in g   p ip elin with   m o d el - d r if m o n ito r in g   will  b cr u cial  f o r   m ain tain i n g   r o b u s t   an d   co m p lia n p er f o r m an ce   as  f r au d   tactics  ev o lv e.   T h ese   d ir ec tio n s   ar k ey   f o r   tr an s latin g   t h ap p r o ac h   i n to   r eliab le  f r a u d   d etec tio n   s o lu tio n   in   r ea l - w o r ld   f i n an cial  s y s tem s .       F UNDING   I NF O R M A T I O   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ou s s am Nd am a                               Saf ae   Nd am a                               I s m ail  B en s as s i                               E l M o k h tar   E n - Naim i                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h d ataset  u s ed   in   th is   s tu d y   is   p u b licly   av ailab le  an d   o b tain ed   f r o m   well - estab lis h ed   r ep o s ito r y .   T h d ata  s u p p o r tin g   th cr ed it  ca r d   f r au d   d etec tio n   ( C C FD)   ex p er im en ts   ar o p en ly   av ail ab le  o n   GitHu b   at:  h ttp s ://g ith u b . co m /n a m eb r an d o n /Sp ar k o v _ Data _ Gen er ati o n .       RE F E R E NC E S   [ 1 ]   H .   M .   A l z o u b i ,   M .   T.   A l s h u r i d e h ,   B .   A K u r d i ,   K .   M .   K .   A l h y a sa t ,   a n d   T .   M .   G h a z a l ,   Th e   e f f e c t   o f   e - p a y me n t   a n d   o n l i n e   sh o p p i n g   o n   sal e g r o w t h :   e v i d e n c e   f r o b a n k i n g   i n d u st r y ,   I n t e r n a t i o n a l   J o u rn a l   o f   D a t a   a n d   N e t w o r k   S c i e n c ,   v o l .   6 ,   n o .   4 ,     p p .   1 3 6 9 1 3 8 0 ,   2 0 2 2 ,   d o i :   1 0 . 5 2 6 7 / j . i j d n s. 2 0 2 2 . 5 . 0 1 4 .   [ 2 ]   M .   H .   U .   S h a r i f   a n d   M .   A .   M o h a m med ,   A   l i t e r a t u r e   r e v i e w   o f   f i n a n c i a l   l o ss e st a t i s t i c f o r   c y b e r   se c u r i t y   a n d   f u t u r e   t r e n d ,   Wo r l d   J o u r n a l   o f   A d v a n c e d   Re s e a r c h   a n d   Re v i e w s ,   v o l .   1 5 ,   n o .   1 ,   p p .   1 3 8 1 5 6 ,   J u l .   2 0 2 2 ,   d o i :   1 0 . 3 0 5 7 4 / w j a r r . 2 0 2 2 . 1 5 . 1 . 0 5 7 3 .   [ 3 ]   O .   A .   B e l l o   a n d   K .   O l u f e m i ,   A r t i f i c i a l   i n t e l l i g e n c e   i n   f r a u d   p r e v e n t i o n :   e x p l o r i n g   t e c h n i q u e s   a n d   a p p l i c a t i o n c h a l l e n g e a n o p p o r t u n i t i e s,   C o m p u t e r   S c i e n c e   a n d   I n f o rm a t i o n   T e c h n o l o g y   Re s e a rc h   J o u r n a l ,   v o l .   5 ,   n o .   6 ,   p p .   1 5 0 5 1 5 2 0 ,   Ju n .   2 0 2 4 ,     d o i :   1 0 . 5 1 5 9 4 / c si t r j . v 5 i 6 . 1 2 5 2 .   [ 4 ]   S .   C h e r n i a v s k y i ,   V .   B a b a n i n a ,   I .   V a r t y l e t s k a ,   a n d   O .   M y k y t c h y k ,   P e c u l i a r i t i e s o f   t h e   e c o n o m i c   c r i mes   c o mm i t t e d   w i t h   t h e   u s e   o f   i n f o r mat i o n   t e c h n o l o g i e s,   Eu r o p e a n   J o u r n a l   o f   S u st a i n a b l e   D e v e l o p m e n t ,   v o l .   1 0 ,   n o .   1 ,   F e b .   2 0 2 1 ,     d o i :   1 0 . 1 4 2 0 7 / e j s d . 2 0 2 1 . v 1 0 n 1 p 4 2 0 .   [ 5 ]   J.  R o b i n s o n   a n d   M .   E d w a r d s ,   F r a u d st e r t a r g e t   t h e   e l d e r l y :   b e h a v i o u r a l   e v i d e n c e   f r o r a n d o mi s e d   c o n t r o l l e d   sca m - b a i t i n g   e x p e r i me n t s,   S e c u r i t y   J o u r n a l ,   v o l .   3 7 ,   n o .   4 ,   p p .   1 1 7 3 1 1 9 6 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 1 0 5 7 / s4 1 2 8 4 - 0 2 3 - 0 0 4 1 0 - 4.   [ 6 ]   S .   W a n g ,   M .   A s i f ,   M .   F .   S h a h z a d ,   a n d   M .   A sh f a q ,   D a t a   p r i v a c y   a n d   c y b e r sec u r i t y   c h a l l e n g e s   i n   t h e   d i g i t a l   t r a n sf o r mat i o n   o f   t h e   b a n k i n g   sec t o r ,   C o m p u t e rs &   S e c u ri t y ,   v o l .   1 4 7 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c o s e . 2 0 2 4 . 1 0 4 0 5 1 .   [ 7 ]   M .   C a n a y a z ,   I .   K a n t o r o v i t c h ,   a n d   R .   M i h e t ,   C o n s u mer   p r i v a c y   a n d   v a l u e   o f   c o n s u m e r   d a t a ,   S S R N   El e c t r o n i c   J o u rn a l ,   2 0 2 1 ,   d o i :   1 0 . 2 1 3 9 / s sr n . 3 9 8 6 5 6 2 .   [ 8 ]   B H a r r i s ,   G i t H u b   -   n a me b r a n d o n / sp a r k o v _ d a t a _ g e n e r a t i o n :   sy n t h e t i c   c r e d i t   c a r d   t r a n sa c t i o n   g e n e r a t o r   u s e d   i n   t h e   s p a r k o v   p r o g r a m ,   G i t H u b .   A c c e sse d :   J u n .   2 6 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / g i t h u b . c o m/ n a m e b r a n d o n / S p a r k o v _ D a t a _ G e n e r a t i o n   [ 9 ]   S .   S i n g l a ,   P r i y a n sh u ,   A .   Th a k u r ,   A .   S w a mi ,   U .   S a w a r n ,   a n d   P .   S i n g l a ,   A d v a n c e me n t s   i n   n a t u r a l   l a n g u a g e   p r o c e ssi n g :   B E R T   a n d   t r a n sf o r mer - b a se d   m o d e l f o r   t e x t   u n d e r s t a n d i n g ,   i n   2 0 2 4   S e c o n d   I n t e r n a t i o n a l   C o n f e re n c e   o n   Ad v a n c e d   C o m p u t i n g   &   C o m m u n i c a t i o n   T e c h n o l o g i e s (I C AC C T e c h ) ,   I EEE,   N o v .   2 0 2 4 ,   p p .   3 7 2 379 ,   d o i :   1 0 . 1 1 0 9 / I C A C C T e c h 6 5 0 8 4 . 2 0 2 4 . 0 0 0 6 8 .   [ 1 0 ]   A .   Tu r c h i n ,   S .   M a s h a r sk y ,   a n d   M .   Z i t n i k ,   C o mp a r i s o n   o f   B E R i mp l e m e n t a t i o n f o r   n a t u r a l   l a n g u a g e   p r o c e s si n g   o f   n a r r a t i v e   med i c a l   d o c u me n t s ,   I n f o rm a t i c i n   Me d i c i n e   U n l o c k e d ,   v o l .   3 6 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i mu . 2 0 2 2 . 1 0 1 1 3 9 .   [ 1 1 ]   S .   N o s o u h i a n ,   F .   N o s o u h i a n ,   a n d   A .   K K h o s h o u e i ,   A   r e v i e w   o f   r e c u r r e n t   n e u r a l   n e t w o r k   a r c h i t e c t u r e   f o r   s e q u e n c e   l e a r n i n g :   c o m p a r i so n   b e t w e e n   LST M   a n d   G R U ,   Pr e p r i n t s ,   2 0 2 1 ,   d o i :   1 0 . 2 0 9 4 4 / p r e p r i n t s 2 0 2 1 0 7 . 0 2 5 2 . v 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  15 ,   No .   1 Feb r u ar y   2 0 2 6 :   788 - 7 9 7   796   [ 1 2 ]   Y .   C h e n   a n d   M .   D u ,   F i n a n c i a l   f r a u d   t r a n sa c t i o n   p r e d i c t i o n   a p p r o a c h   b a se d   o n   g l o b a l   e n h a n c e d   G C N   a n d   b i d i r e c t i o n a l   LST M ,   C o m p u t a t i o n a l   Ec o n o m i c s ,   v o l .   6 6 ,   n o .   2 ,   p p .   1 7 4 7 1 7 6 6 ,   A u g .   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 6 1 4 - 0 2 4 - 1 0 7 9 1 - 2.   [ 1 3 ]   D .   B r e s k u v i e n ė   a n d   G .   D z e my d a ,   En h a n c i n g   c r e d i t   c a r d   f r a u d   d e t e c t i o n :   h i g h l y   i m b a l a n c e d   d a t a   c a s e ,   J o u rn a l   o f   B i g   D a t a   v o l .   1 1 ,   n o .   1 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 3 7 - 0 2 4 - 0 1 0 5 9 - 5.   [ 1 4 ]   J.  C h u n g   a n d   K .   Le e ,   C r e d i t   c a r d   f r a u d   d e t e c t i o n :   a n   i mp r o v e d   st r a t e g y   f o r   h i g h   r e c a l l   u s i n g   K N N ,   LD A ,   a n d   l i n e a r   r e g r e ssi o n ,   S e n so rs ,   v o l .   2 3 ,   n o .   1 8 ,   S e p .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / s2 3 1 8 7 7 8 8 .   [ 1 5 ]   J.  K .   A f r i y i e   e t   a l . ,   A   su p e r v i s e d   mac h i n e   l e a r n i n g   a l g o r i t h m   f o r   d e t e c t i n g   a n d   p r e d i c t i n g   f r a u d   i n   c r e d i t   c a r d   t r a n s a c t i o n s,”   D e c i s i o n   An a l y t i c s   J o u r n a l ,   v o l .   6 ,   M a r .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . d a j o u r . 2 0 2 3 . 1 0 0 1 6 3 .   [ 1 6 ]   J.  F o r o u g h   a n d   S .   M o mt a z i ,   S e q u e n t i a l   c r e d i t   c a r d   f r a u d   d e t e c t i o n :   a   j o i n t   d e e p   n e u r a l   n e t w o r k   a n d   p r o b a b i l i st i c   g r a p h i c a l   m o d e l   a p p r o a c h ,   Ex p e rt   S y s t e m s ,   v o l .   3 9 ,   n o .   1 ,   Ja n .   2 0 2 2 ,   d o i :   1 0 . 1 1 1 1 / e x s y . 1 2 7 9 5 .   [ 1 7 ]   P .   B o u l i e r i s,   J.   P a v l o p o u l o s,   A .   X e n o s,  a n d   V .   V a ssa l o s ,   F r a u d   d e t e c t i o n   w i t h   n a t u r a l   l a n g u a g e   p r o c e ssi n g ,   M a c h i n e   L e a rn i n g v o l .   1 1 3 ,   n o .   8 ,   p p .   5 0 8 7 5 1 0 8 ,   A u g .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s1 0 9 9 4 - 0 2 3 - 0 6 3 5 4 - 5.   [ 1 8 ]   I .   D .   M i e n y e   a n d   N .   J e r e ,   D e e p   l e a r n i n g   f o r   c r e d i t   c a r d   f r a u d   d e t e c t i o n :   a   r e v i e w   o f   a l g o r i t h ms,  c h a l l e n g e s,  a n d   so l u t i o n s ,   I EEE   Ac c e ss ,   v o l .   1 2 ,   p p .   9 6 8 9 3 9 6 9 1 0 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 4 . 3 4 2 6 9 5 5 .   [ 1 9 ]   A .   C h e r i f ,   H .   A mm a r ,   M .   K a l k a t a w i ,   S .   A l s h e h r i ,   a n d   A .   I mi n e ,   E n c o d e r d e c o d e r   g r a p h   n e u r a l   n e t w o r k   f o r   c r e d i t   c a r d   f r a u d   d e t e c t i o n ,   J o u rn a l   o f   K i n g   S a u d   U n i v e rs i t y C o m p u t e r   a n d   I n f o r m a t i o n   S c i e n c e s ,   v o l .   3 6 ,   n o .   3 ,   M a r .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . j k s u c i . 2 0 2 4 . 1 0 2 0 0 3 .   [ 2 0 ]   E.   I l e b e r i   a n d   Y .   S u n ,   A   h y b r i d   d e e p   l e a r n i n g   e n se mb l e   mo d e l   f o r   c r e d i t   c a r d   f r a u d   d e t e c t i o n ,   I EEE   Ac c e ss ,   v o l .   1 2 ,     p p .   1 7 5 8 2 9 1 7 5 8 3 8 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 4 . 3 5 0 2 5 4 2 .   [ 2 1 ]   I .   H e w a p a t h i r a n a ,   N .   K e k a y a n ,   a n d   D .   D i y a se n a ,   A   s y s t e m a t i c   i n v e st i g a t i o n   o n   t h e   e f f e c t i v e n e ss   o f   t h e   t a b b e r t   m o d e l   f o r   c r e d i t   c a r d   f r a u d   d e t e c t i o n ,   i n   2 0 2 2   I n t e r n a t i o n a l   Re s e a r c h   C o n f e re n c e   o n   S m a rt   C o m p u t i n g   a n d   S y st e m s   E n g i n e e r i n g   ( S C S E) ,   I EEE,   S e p .   2 0 2 2 ,   p p .   9 6 1 0 1 ,   d o i :   1 0 . 1 1 0 9 / S C S E5 6 5 2 9 . 2 0 2 2 . 9 9 0 5 2 0 8 .   [ 2 2 ]   J.  R a v a l   e t   a l . ,   R a K S h A :   a   t r u s t e d   e x p l a i n a b l e   LST M   m o d e l   t o   c l a ssi f y   f r a u d   p a t t e r n o n   c r e d i t   c a r d   t r a n sa c t i o n s,”   M a t h e m a t i c s v o l .   1 1 ,   n o .   8 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / m a t h 1 1 0 8 1 9 0 1 .   [ 2 3 ]   J. - W .   C h a n g ,   N .   Y e n ,   a n d   J.  C .   H u n g ,   D e si g n   o f   a   N LP - e m p o w e r e d   f i n a n c e   f r a u d   a w a r e n e ss  m o d e l :   t h e   a n t i - f r a u d   c h a t b o t   f o r   f r a u d   d e t e c t i o n   a n d   f r a u d   c l a ss i f i c a t i o n   a a n   i n st a n c e ,   J o u rn a l   o f   Am b i e n t   I n t e l l i g e n c e   a n d   H u m a n i ze d   C o m p u t i n g ,   v o l .   1 3 ,     n o .   1 0 ,   p p .   4 6 6 3 4 6 7 9 ,   O c t .   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s1 2 6 5 2 - 021 - 0 3 5 1 2 - 2.   [ 2 4 ]   Y .   H a n y f   a n d   H .   S i l k a n ,   A   me t h o d   f o r   mi ssi n g   v a l u e i m p u t a t i o n   o f   m a c h i n e   l e a r n i n g   d a t a se t s,   I AE S   I n t e r n a t i o n a l   J o u r n a l   o f   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   1 3 ,   n o .   1 ,   pp 8 8 8 - 898 M a r .   2 0 2 4 ,   d o i :   1 0 . 1 1 5 9 1 / i j a i . v 1 3 . i 1 . p p 8 8 8 - 8 9 8 .   [ 2 5 ]   T.   V e r d o n c k ,   B .   B a e s e n s ,   M .   Ó sk a r sd ó t t i r ,   a n d   S .   V .   B r o u c k e ,   S p e c i a l   i ss u e   o n   f e a t u r e   e n g i n e e r i n g   e d i t o r i a l ,   M a c h i n e   L e a r n i n g ,   v o l .   1 1 3 ,   n o .   7 ,   p p .   3 9 1 7 3 9 2 8 ,   Ju l .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 9 9 4 - 0 2 1 - 0 6 0 4 2 - 2.   [ 2 6 ]   E.   K a t y a ,   E x p l o r i n g   f e a t u r e   e n g i n e e r i n g   s t r a t e g i e s   f o r   i m p r o v i n g   p r e d i c t i v e   m o d e l i n   d a t a   sc i e n c e ,   R e se a rc h   J o u r n a l   o f   C o m p u t e r   S y st e m s E n g i n e e ri n g ,   v o l .   4 ,   n o .   2 ,   p p .   2 0 1 2 1 5 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 5 2 7 1 0 / r j c se. 8 8 .   [ 2 7 ]   F .   C .   S o u z a ,   R .   F .   N o g u e i r a ,   a n d   R .   A .   Lo t u f o ,   B ER mo d e l f o r   b r a z i l i a n   p o r t u g u e se :   p r e t r a i n i n g ,   e v a l u a t i o n   a n d   t o k e n i z a t i o a n a l y si s ,   Ap p l i e d   S o f t   C o m p u t i n g ,   v o l .   1 4 9 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . a s o c . 2 0 2 3 . 1 1 0 9 0 1 .   [ 2 8 ]   A .   N a y a k ,   H .   T i mm a p a t h i n i ,   K .   P o n n a l a g u ,   a n d   V .   G V e n k o p a r a o ,   D o m a i n   a d a p t a t i o n   c h a l l e n g e s   o f   B E R T   i n   t o k e n i z a t i o n   a n d   su b - w o r d   r e p r e se n t a t i o n s   o f   O u t - of - V o c a b u l a r y   w o r d s,”   i n   F i rst   Wo r k sh o p   o n   I n si g h t s   f r o m   N e g a t i v e   Re su l t s   i n   N L P S t r o u d s b u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s,  2 0 2 0 ,   p p .   1 5 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . i n s i g h t s - 1 . 1 .   [ 2 9 ]   G .   P u c c e t t i ,   A .   M i a s c h i ,   a n d   F .   D e l l O r l e t t a ,   H o w   d o   B E R T   e m b e d d i n g s   o r g a n i z e   l i n g u i s t i c   k n o w l e d g e ? ,   i n   P r o c e e d i n g s   o f   D e e p   L e a r n i n g   I n s i d e   O u t   ( D e e L I O ) :   T h e   2 n d   W o r k s h o p   o n   K n o w l e d g e   E x t r a c t i o n   a n d   I n t e g r a t i o n   f o r   D e e p   L e a r n i n g   A r c h i t e c t u r e s S t r o u d s b u r g ,   P A ,   U S A :   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 2 1 ,   p p .   4 8 57 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 1 . d e e l i o - 1 . 6 .   [ 3 0 ]   F .   A .   G h a l e b ,   F .   S a e e d ,   M .   A l - S a r e m,  S .   N .   Q a sem ,   a n d   T.   A l - H a d h r a m i ,   E n sem b l e   s y n t h e s i z e d   m i n o r i t y   o v e r sam p l i n g - b a s e d   g e n e r a t i v e   a d v e r sari a l   n e t w o r k a n d   r a n d o m   f o r e s t   a l g o r i t h f o r   c r e d i t   c a r d   f r a u d   d e t e c t i o n ,   I EE Ac c e ss ,   v o l .   1 1 ,     p p .   8 9 6 9 4 8 9 7 1 0 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 3 0 6 6 2 1 .   [ 3 1 ]   H .   H a i r a n i ,   T.   W i d i y a n i n g t y a s,   a n d   D .   D P r a s e t y a ,   A d d r e ssi n g   c l a ss   i m b a l a n c e   o f   h e a l t h   d a t a :   a   sy s t e m a t i c   l i t e r a t u r e   r e v i e w   o n   mo d i f i e d   s y n t h e t i c   m i n o r i t y   o v e r sa mp l i n g   t e c h n i q u e   ( S M O TE)   st r a t e g i e s,”   J O I V   I n t e r n a t i o n a l   J o u rn a l   o f   I n f o rm a t i c s   a n d   Vi su a l i z a t i o n ,   v o l .   8 ,   n o .   3 ,   S e p .   2 0 2 4 ,   d o i :   1 0 . 6 2 5 2 7 / j o i v . 8 . 3 . 2 2 8 3 .   [ 3 2 ]   B .   G h o j o g h   a n d   A .   G h o d s i ,   A t t e n t i o n   me c h a n i sm,   t r a n sf o r mers ,   B ER T,   a n d   G P T :   t u t o r i a l   a n d   s u r v e y ,   O S F   Pre p r i n t s   D e c .   2 0 2 0 d o i :   1 0 . 3 1 2 1 9 / o sf . i o / m 6 g c n .   [ 3 3 ]   L.   Z h a o ,   L .   Li ,   X .   Z h e n g ,   a n d   J.  Z h a n g ,   A   B E R b a se d   s e n t i m e n t   a n a l y si s   a n d   k e y   e n t i t y   d e t e c t i o n   a p p r o a c h   f o r   o n l i n e   f i n a n c i a l   t e x t s,   i n   2 0 2 1   I EE 2 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e S u p p o rt e d   C o o p e r a t i v e   W o r k   i n   D e si g n   ( C S C WD) ,   I EEE,   M a y   2 0 2 1 ,   p p .   1 2 3 3 1 2 3 8 ,   d o i :   1 0 . 1 1 0 9 / C S C W D 4 9 2 6 2 . 2 0 2 1 . 9 4 3 7 6 1 6 .   [ 3 4 ]   R .   D i P i e t r o   a n d   G .   D .   H a g e r ,   D e e p   l e a r n i n g :   R N N a n d   LS TM ,   i n   H a n d b o o k   o f   M e d i c a l   I m a g e   C o m p u t i n g   a n d   C o m p u t e r   Assi st e d   I n t e r v e n t i o n ,   El s e v i e r ,   2 0 2 0 ,   p p .   5 0 3 519 ,   d o i :   1 0 . 1 0 1 6 / B 9 7 8 - 0 - 12 - 8 1 6 1 7 6 - 0 . 0 0 0 2 6 - 0.   [ 3 5 ]   C .   U b a l ,   G .   D . - G i o r g i ,   J.  E.   C . - R e y e s,  a n d   R .   S a l a s ,   P r e d i c t i n g   t h e   l o n g - t e r d e p e n d e n c i e i n   t i me  ser i e s   u si n g   r e c u r r e n t   a r t i f i c i a l   n e u r a l   n e t w o r k s,   M a c h i n e   L e a r n i n g   a n d   K n o w l e d g e   Ex t ra c t i o n ,   v o l .   5 ,   n o .   4 ,   p p .   1 3 4 0 1 3 5 8 ,   O c t .   2 0 2 3 ,     d o i :   1 0 . 3 3 9 0 / ma k e 5 0 4 0 0 6 8 .       B I O G RAP H I E S O F   AUTH O RS       O u ss a m a   Nd a m a           is  a   d o c to P h . D .   in   C o m p u ter  S c ien c e   a n d   Artifi c ial  In telli g e n c e   with   th e   DSAI 2 S   ( Da ta  S c ien c e ,   Artifi c ial  In tell ig e n c e   a n d   S m a rt  S y ste m s)   Re se a rc h   Tea m ,   C3 S   Lab o ra to r y ,   F a c u lt y   o S c ien c e a n d   Tec h n o lo g ies ,   Tan g ier,  M o r o c c o .   He   is  a lso   a   b u si n e ss   in tell ig e n c e   e n g i n e e with   m o re   t h a n   6   y e a rs  o e x p e rien c e   in   m u lt in a ti o n a c o m p a n ies .   H is  re s e a rc h   in tere sts  in c lu d e   sm a rt  sy ste m s,  m a c h in e   lea rn in g ,   d e e p   lea rn in g n a tu ra l   lan g u a g e   p r o c e ss in g   (NLP ),   a rti ficia l   n e u ra l   n e two rk (AN N),   se n ti m e n t   a n a ly sis,  a n d   sm a rt  c it ies He   c a n   b e   c o n tac ted   a e m a il o u ss a m a . n d a m a @e tu . u a e . a c . m a .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       A   n o ve l B E R T - lo n g   s h o r t - term me mo r h yb r id   mo d el  fo r   effe ctive   cred it c a r d     ( Ou s s a ma   N d a ma )   797     S a fa e   N d a m a           is  a   P h . D .   st u d e n i n   DSAI 2 S   (Da ta  S c ie n c e ,   Arti ficia In telli g e n c e   a n d   S m a rt  S y ste m Re se a rc h   Tea m ),   C3 S   Lab o ra to ry ,   F a c u lt y   o f   S c ien c e a n d   Tec h n o l o g ies   (F S T),   Tan g ier,  M o r o c c o .   S h e   e a r n e d   h e m a ste r' in   C o m p u ter  S c i e n c e   a n d   B ig   Da ta  fro m   th e   F S o Tan g ier.  Wi th   two   y e a rs  o e x p e rien c e   a a   d a ta  sc ien ti st,   h e re se a rc h   in tere sts  in c lu d e   sm a rt  sy ste m s,  d a ta  sc ien c e ,   a rti ficia in tell ig e n c e ,   se n ti m e n t   a n a ly sis,  a n d   sm a rt  c it ies .   S h e   c a n   b e   c o n tac ted   a t   e m a il sa fa e . n d a m a @e tu . u a e . a c . m a .         Is m a il   Be n sa ss i           is  a   d o c to r   in   DSAI2 S   (Da ta  S c ien c e ,   Artif icia In telli g e n c e   a n d   S m a rt  S y ste m Re se a rc h   Tea m ) ,   C3 S   La b o ra t o ry ,   F a c u lt y   o S c ien c e a n d   Tec h n o lo g ies ,   Tan g ier,   M o r o c c o .   He   is  a n   e n g i n e e in   Co m p u ter  S c ien c e ,   lau re a te   o F S T   o f   Tan g ier.  His   re se a rc h   in tere sts  in c lu d e   sm a rt  c o n n e c ti o n   o f   u se p ro fi les   in   a   b i g   d a ta   c o n te x t,   m u lt i - a g e n t   sy ste m (M AS),   c a se - b a se d   re a s o n i n g   (CBR),   o n to l o g y ,   m a c h in e   lea rn in g ,   sm a rt  c it ies ,   a n d   e Lea rn in g /M OO C/ S P OC.  He   c a n   b e   c o n tac ted   a e m a il b e n sa ss i. is m a il @g m a il . c o m .         Dr .   El  Mo k h t a r   En - Na i m         is  a   fu ll   p ro fe ss o in   t h e   Un iv e rsi ty   o A b d e lma lek   Essa â d (UA E),   F a c u lt y   o S c ie n c e a n d   Tec h n o l o g ies   (F S T)   o Tan g ier,   De p a rtme n o f   Co m p u ter   S c ien c e s.  He   wa tem p o ra ry   p r o fe ss o fr o m   1 9 9 9   to   2 0 0 3   a n d   p e rm a n e n t   p ro fe ss o r   sin c e   2 0 0 3 /2 0 0 4   u n ti l   n o w.  He   is   a   F u ll   P r o fe ss o i n   UA E,   F S T   o f   Tan g ier.  He   wa a   h e a d   i n   De p a rtme n o f   Co m p u ter   S c ien c e s,  sin c e   Oc to b e 2 0 1 6   u n ti l   t h e   e n d   o f   De c e m b e 2 0 2 0 .   He   wa re sp o n sib le  fo r   a   Li c e n se   o S c ien c e   a n d   Tec h n o lo g y ,   L S Co m p u ter   En g in e e rin g   (“ Li c e n c e   LS T - G I ),   fro m   Ja n u a ry   2 0 1 2   to   Oc to b e 2 0 1 6 .   He   is  a   c h ief  o Da ta  S c i e n c e ,   Artifi c ial  In telli g e n c e   a n d   S m a rt  S y ste m (DSAI2 S Re se a rc h   Tea m   sin c e   th e   a c a d e m ic  y e a r   2 0 2 2 / 2 0 2 3 .   He   is also   a   fo u n d in g   m e m b e o th e   b o t h   lab o ra to ries Lab o ra to ire  d ' In fo rm a ti q u e ,   S y stè m e e Télé c o m m u n ica ti o n (LI S T)  Lab o ra to r y   (fro m   2 0 0 8   to   2 0 2 2 a n d   C o m p u ter   S c ien c e   a n d   S m a rt  S y ste m (C3 S Lab o ra to r y   sin c e   th e   a c a d e m ic  y e a 2 0 2 2 / 2 0 2 3   u n t il   n o w,   th e   Un i v e rsity   o f   Ab d e lma lek   Essa â d i,   F S T   o f   Tan g ier,  M o ro c c o .   He   is  a lso   a n   e x p e r t   e v a lu a to with   t h e   AN EAQ,  sin c e   th e   a c a d e m ic   y e a 2 0 1 6 / 2 0 1 7   u n ti n o w ,   t h a a n   e x p e rt  o f   th e   p ri v a te  e sta b li sh m e n ts  b e l o n g in g   to   th e   territ o ry   o t h e   UA E   a n d   a lso   a n   e x p e rt   o t h e   in it ial  o f u n d a m e n tal  fo rm a ti o n a n d   fo rm a ti o n c o n t in u o u a th e   M in istr y   o Hig h e r   Ed u c a ti o n ,   S c ien ti f ic  Re se a rc h   a n d   E x e c u ti v e   Train in g   a n d   a ls o   a t   t h e   UA U n iv e rsit y   a n d   th e   F S Tan g ier  sin c e   2 0 1 2 /2 0 1 3   u n ti l   n o w.  He   is  a n   a u t h o r/co - a u th o rs  o se v e ra a rti c les ,   p u b li sh e d   i n   T h e   In tern a ti o n a J o u r n a ls  in   Co m p u ter  S c ien c e s,  i n   p a rti c u lar,  i n   m u lt i - a g e n t   sy ste m (M AS),   c a se s - b a se d   re a so n in g   (CBR) ,   a rti ficia l   in telli g e n (AI),   m a c h in e   lea rn in g   (M L),   d e e p   lea rn in g   (DL),   e Lea r n in g ,   M OO C/S P OC,  b i g   d a ta,  d a ta - m in in g ,   wire les se n so r   n e two rk ,   VA Ne t,   M AN e t,   a n d   s m a rt  c it y .   He   wa s/is  a lso   d irec to r   o se v e ra d o c to ra th e se in   c o m p u ter  sc ien c e s.  He   h a t o o   s e rv e d   a a   g e n e ra c h a ir,   tec h n ic a p ro g ra m   c h a ir,   tec h n ica p ro g ra m   c o m m it tee   m e m b e r,   o rg a n izin g   c o m m it tee   m e m b e r,   se ss io n   c h a ir ,   a n d   re v iew e fo r   m a n y   i n tern a ti o n a c o n fe re n c e a n d   wo rk s h o p s.  I n   a d d i ti o n ,   h e   is  a n   a ss o c iate   m e m b e o f   th e   IS CN - In stit u te   o f   Co m p lex   S y ste m in   N o rm a n d y ,   th e   U n iv e rsit y   o t h e   Ha v re ,   F ra n c e ,   si n c e   2 0 0 9   u n t il   n o w.  He   c a n   b e   c o n tac ted   a e m a il e n - n a imi@u a e . a c . m a .     Evaluation Warning : The document was created with Spire.PDF for Python.