I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   3 J u n e   20 25 ,   p p .   3118 ~ 3 1 2 6   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 15 i 3 . pp 3 1 1 8 - 3 1 2 6           3118       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   SIGAN A   g enera tive a dv ersa ria l n etwork archi tec tu re f o sketch  to pho to sy nthesis       B ud da nn a g a ri  L a t ha ,   At hiy o o K a nn a n Ve lm urug a n   D e p a r t me n t   o f   C o mp u t e r   S c i e n c e   a n d   En g i n e e r i n g ,   K o n e r u   La k s h ma i a h   E d u c a t i o n   F o u n d a t i o n ,   G u n t u r ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 1 3 ,   2 0 2 4   R ev is ed   Dec   2 2 ,   2 0 2 4   Acc ep ted   Ma r   4 ,   2 0 2 5     Of  late ,   with   th e   rise   o a rti ficia in telli g e n c e   (AI)  a n d   d e e p   lea r n in g   (DL)  m o d e ls,  ima g e   tran sla ti o n   h a b e c o m e   a   v e ry   imp o rtan p h e n o m e n a   wh ich   c o u ld   p r o d u c e   re a li stic  p h o to g ra p h ic  re su lt s .   S y n t h e siz in g   n e i m a g e is   wid e ly   u se d   in   d iffere n t   a p p li c a ti o n in c lu d i n g   th e   o n e s   u se d   b y   in v e stig a t io n   a g e n c ies .   Im a g e   g e n e ra ti o n   fr o m   h a n d - d ra wn   sk e tch   to   re a li stic  p h o to s   a n d   v ice   v e rsa   is  re q u ired   in   d iffere n c o m p u ter  v isi o n   a p p li c a ti o n s.   G e n e r a ti v e   a d v e rsa rial  n e two r k   ( G A N)  a rc h it e c tu re   is  e x ten siv e l y   e m p lo y e fo g e n e ra ti n g   ima g e s.  Ho we v e r,   th e re   is  n e e d   fo in v e stig a ti n g   f u rth e o n   imp ro v isi n g   G AN   a r c h it e c tu re   a n d   t h e   u n d e rly i n g   lo ss   fu n c ti o n to wa rd lev e ra g in g   p e rfo rm a n c e .   I n   t h is   p a p e r,   we   p u f o rt h   a   G AN   a rc h it e c tu re   k n o w n   a sk e tc h - ima g e   G AN   (S IG AN fo sy n t h e siz in g   re a li stic  p h o to s   fro m   h a n d - d ra wn   s k e tch e s.  B o th   g e n e ra to r   (G a n d   d isc rimi n a to r   (D)  c o m p o n e n ts  a re   d e sig n e d   b a se d   o n   DL   m o d e ls   fo ll o win g   a   n o n - c o o p e ra ti v e   g a m e   th e o ry   t o wa rd imp r o v i n g   ima g e   g e n e ra ti o n   p e rfo rm a n c e .   S IG AN   e x p lo it imp r o v ise d   i m a g e   re p re se n tatio n   a n d   lea rn i n g   o f   d a ta  d i strib u ti o n .   Th e   a lg o rit h m   we   h a v e   p ro p o se d   is  k n o wn   a lea rn in g - b a se d   sk e t c h - ima g e   g e n e ra ti o n   (L b S IG ).   T h is  a l g o rit h m   e x p l o it S IG AN   a rc h it e c tu re   fo r   e fficie n tl y   g e n e ra ti n g   re a li stic  p h o to   fr o m   g iv e n   h a n d - d ra wn   sk e tc h .   S IG AN   is  a ss e ss e d   u sin g   a   b e n c h m a rk   d a tas e c a ll e d   CUH fa c e   sk e tch   d a tab a se   (CUFS ).   F r o m   th e   e m p iri c a stu d y ,   it   is  o b se rv e d   th a t   th e   p ro p o se d   S IG AN   a rc h it e c tu re   with   u n d e rl y in g   d e e p   lea rn in g   m o d e ls  c o u ld   o u tp e rfo r m   e x isti n g   G A N m o d e ls i n   term s o f   F c h e in c e p ti o n   d istan c e   (F ID) wit h   3 8 . 2 3 4 6 % .   K ey w o r d s :   Ar tific ial   in tellig en ce   Dee p   lear n in g   Gen er ativ e   ad v e r s ar ial   n etwo r k   I m ag g e n er atio n   Sk etch - p h o t o   s y n th esis   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   B u d d an n ag a r i L ath   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   K o n er u   L ak s h m aiah   E d u ca tio n   Fo u n d atio n   Gr ee n   Field s ,   Vad d eswar am ,   Gu n tu r ,   An d h r Pra d esh ,   I n d i a   E m ail:  lath a. r ed d y 5 8 0 8 @ g m a il.c o m       1.   I NT RO D UCT I O N   T h f ield   o f   co m p u ter   v is io n   an d   p atter n   r ec o g n itio n   h a s   in cr ea s in g ly   f o cu s ed   o n   f a ce   s k etch   s y n th esis   in   r ec en y ea r s .   T h is   is   d u to   its   s ig n if ican u s ef u ln ess   in   d ig ital  en ter t ain m en an d   law   en f o r ce m e n t.  W h en   it  co m es  to   cr im in al  p r o s ec u tio n s ,   th q u an tity   an d   q u ality   o f   s u r v ei llan ce   ca m er as  ca n   leav m u ch   in f o r m atio n   ab o u th s u s p ec ts   u n r eliab le.   I n   s u ch   ca s es,  ar tis ts   cr ea te  s k etch es  b ased   o n   ey ewitn ess es  m em o r ies  ar ty p ically   u s ed   as  s tan d - in   f o r   th d ef en d a n ts '   id en titi e s .   B y   o b tain in g   th f ac e   d atab ases   f r o m   law  e n f o r ce m en ag e n cies  o r   co m b in in g   th s k etch es  with   s ec u r ity   ca m e r v id e o ,   th p o lice   ca n   u s e   th s k etch es   to   r ed u ce   th n u m b er   o f   p o te n tial  s u s p ec ts   o n   th eir   lis [ 1 ] .   Ad d itio n ally ,   th e   f ac ia l   s k etch es  ar u tili ze d   in   th cr e atio n   o f   an im atio n s   a n d   as  s o c ial  m ed ia  av atar s .   Ma tch i n g   f a ce   s k etch   p ictu r es   to   p h o to   im ag es  in   f ac e   s k etc h   to   p h o to   r ec o g n itio n   p o s es  a   g r ea ter   ch allen g c o m p ar e d   t o   h o m o g e n o u s   f ac e   r ec o g n itio n   b ec a u s o f   th s ig n if ican m o d ality   d is p ar ity   b e twee n   d ig ital  p h o to s   an d   f ac e   d r awin g s .   Va r io u s   m eth o d o l o g ies  h av b ee n   em p lo y ed   to   tack le  th is s u o f   m o d ality   d is p ar ity   in   f ac s k etch   r ec o g n itio n ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S I GA N :   a   g e n era tive  a d ve r s a r ia l n etw o r a r ch itectu r fo r     ( B u d d a n n a g a r i La th a )   3119   in clu d in g   tech n iq u es  in clu d in g   p ictu r t o   s k etch   s y n th es is ,   co m m o n   s u b s p ac e   p r o jectio n ,   a n d   m o d ality - in v ar ian f ea tu r e   ex tr ac tio n .   T h s y s tem   u tili ze s   p h o to - s k etc h   im ag e   p air s   as  tr ain in g   d ata  to   tr an s f o r m   f ac ial   r ep r esen tatio n s   f r o m   p h o to g r ap h s   to   s k etch es,  ef f ec tiv ely   m in im izin g   th d if f er en ce s   b etwe en   th ese  two   f ac ial  m o d alities .   C o n v en tio n al  h o m o g en o u s   f ac e   r ec o g n it io n   tech n iq u es  m ay   b u s ed   to   r ec o g n ize   f ac es   s k etch ed   af ter   th e y   h av e   b ee n   cr ea ted   f r o m   d ig ital p ictu r es  [ 2 ] .   T h er ar m an y   ap p r o ac h es  f o u n d   in   th liter atu r to   s o lv e   th p r o b lem s   o f   im ag tr an s latio n   b ased   o n   g en er ativ ad v er tis ed   n etwo r k   ( GAN)   ar ch itectu r [ 3 ] ,   [ 4 ] .   Yan   et  a l.   [ 5 ]   in tr o d u ce d   th id en tific atio n - s en s itiv g en er ativ ad v er s ar i al  n etwo r k   ( I SGAN)   as  s o lu tio n   to   th p r o b lem   o f   p r eser v in g   id e n tific atio n   in f o r m atio n   in   f ac p h o to - s k etch   s y n th esis .   Su b s eq u en r esear ch   en d ea v o r s   to   au g m en ef f icac y   an d   b r o ad e n   th m eth o d o l o g y   f o r   cr ea tin g   ca r icatu r es.  B et  a l.   [ 6 ]   ex am in ed   th ap p licatio n   o f   co n d itio n al  g en er ativ e   ad v er s ar ial  n etwo r k s   ( cGA N)   f o r   tr a n s latin g   f ac es  in to   s k e tch es.  W an   et  a l.   [ 7 ]   d is cu s s ed   th r eten tio n   o f   f ac ial  in f o r m atio n   i n   f ac s k e tch   s y n th esis   an d   s u g g ests   GAN - b ased   m eth o d .   W an   et  a l.   [ 8 ]   p r esen ted   s tr u ctu r f o r   s im u ltan e o u s   f a ce   s k etch   g en er atio n   an d   r ec o g n itio n   u s in g   r esid u al  d e n s U - Net  g en er ato r ,   wh ich   is   b ased   o n   GANs.  m u lti - task   d is cr im in ato r   e x tr ac ts   d is cr im in ativ ch a r ac t er is tics   an d   d ir ec ts   s y n th esis .   Z h en g   et  a l.   [ 9 ]   th p r o p o s ed   en co d er   g u id ed   g en er ativ ad v e r s ar ial  n etwo r k   ( E GGAN )   m o d el   u tili ze s   cy cle - co n s is ten G AN  ar ch itectu r e,   em p lo y i n g   two   g en er ato r s   an d   two   d is c r im in ato r s ,   f o r   f ac e   p h o to - s k etc h   s y n th esis .   T h liter atu r in d icate s   th at  b ec au s o f   th eir   lear n in g - b ased   m eth o d o l o g ies,  th cu r r en GAN  m o d els  u s ed   f o r   im ag tr an s latio n   co u ld   p er f o r m   b etter .   Ho wev er ,   t h GAN  m o d els  n ee d   to   b e   im p r o v e d   f u r th er   to war d s   g en er atin g   m o r r ea lis tic  im ag es f r o m   g iv e n   h a n d - d r awn   s k etch es  [ 1 0 ] [ 1 3 ]   An   ex ten d ed   U - Net,   two   d is cr im in ato r s ,   an d   an   id en tity   co n s tr ain t a r th co m p o n en ts   o f   t h id en tity   m ain tain ed   ad v er s ar ial  m o d el   ( I PAM) ,   wh ich   tack les  th p r o b lem   o f   f ac s k etch - p h o to   s y n th esis   [ 1 4 ] [ 1 8 ] B etter   f ac ial  r ec o g n itio n   r esu lts   ar s h o wn .   Haja r o lasv a d in clu d e d   a n   ap p licatio n   [ 1 9 ]   s u c h   as  f ac ial  ex p r ess io n ,   v o ice,   an d   cr o s s - m o d al  s y n th esis   ar co v er ed   i n   g r ea d etail  b y   g en e r ativ m o d els,  s p ec if ically   GANs,  in   th f ield   o f   h u m an   em o tio n   s y n th esis .   Kh an   et  a l.   [ 2 0 ]   h i g h lig h ts   im p r o v ed   f in d in g s   an d   p r esen ts   a   f u lly   tr ain ed   GAN  f o r   te x t - to - f ac s y n th esis .   T h tech n iq u th at  h as  b ee n   s u g g ested   in teg r ates  m an y   d atasets   to   co n d u ct  th o r o u g h   ass ess m e n ts   an d   y ield s   en co u r ag in g   r e s u lts .   Den s er   f ac e - r elate d   in f o r m atio n   is   th g o a l   o f   f u t u r in v esti g atio n .   L et  a l.   [ 2 1 ]   p r o v i d ed   f ac s k et ch   s y n th esis   tech n iq u e   ca lled   r eg u lar ize d   b r o ad   lear n in g   s y s tem   ( R B L S)   th at   u s es  an   in cr e m en tal  lear n i n g   m eth o d o lo g y   to   p r eser v e   r ic h   f ea tu r es.  Desp ite  s ev er al  lim its   in   co m p licated   cir cu m s tan ce s ,   ex p e r im en ts   s h o its   u s ef u ln ess   an d   ef f icien cy .   Su b s eq u en t   wo r k   will  f o cu s   o n   im p r o v in g   s p atial  co r r esp o n d en ce ,   h a n d lin g   p r o b lem s ,   a n d   in v esti g atin g   n ew  d atasets   with   in tr icate   s ce n er ies  an d   d ep th .   Z h an g   [ 2 2 ]   ad d r ess ed   th s h o r tco m in g s   o f   p r e v io u s   s y s tem s   b y   in tr o d u cin g   ca s ca d ed   f ac s k etch   g en er ati o n   m eth o d   th at   is   r esis tan to   d if f er en lig h tin g   co n d itio n s .   T h e   o u tco m es o f   th ex p er im en ts   i n d icate   n o ta b le  en h a n ce m en t a n d   p o s s ib ilit y   f o r   u s ef u o p t ical  s y s tem s .   T h ap p r o ac h   e n s u r es  ae s th etica lly   p leasin g   v is u als  b y   co m b in in g   tex t u al  an d   v is u al  asp ec ts .   KO  et   al  s u g g ested   Su p er s tar   GAN,   an   en h an ce d   Star GAN  v ar ian f o r   ex p a n s iv d o m ai n s   th at  u s es  C o n tr o lGAN  to   o v er co m e   d r aw b ac k s .   I m p r o v ed   p er f o r m a n ce   o n   v ar iety   o f   d atasets   with   r ed u ce d   F r éc h e in ce p tio n   d is tan ce   ( FID )   an d   lear n ed   p e r ce p tu al   im ag p atch   s im ilar ity   ( L PIPS) .   Fro m   th liter atu r e,   it  is   o b s er v ed   th at  th ex is tin g   GAN  m o d els  u s ed   f o r   im ag tr an s latio n   co u ld   i m p r o v p e r f o r m an ce   d u to   th eir   lear n in g - b ased   ap p r o ac h es.  Ho wev er ,   th G AN  m o d els  n ee d   to   b im p r o v ed   f u r th er   t o war d s   g en er at in g   m o r r ea lis tic  im ag es f r o m   g iv en   h an d - d r aw n   s k etch es  [ 2 3 ] [ 2 9 ] .       2.   M E T H O D   T h is   s ec tio n   p r esen ts   th p r o p o s ed   m eth o d o lo g y   wh ich   in clu d es  o u r   SIG AN  ar ch itectu r e,   d etails  ab o u g en er at o r   a n d   d is cr im in ato r ,   p r o p o s ed   alg o r ith m   an d   ev alu atio n   m eth o d o lo g y .   A   g e n er ativ a d v er s ar ial   n etwo r k   is   m ad u p   o f   two   p a r ts ,   th g en er ato r   an d   th e   d is cr im in ato r ,   th at  ar tr ai n ed   to g et h er   v ia  ad v er s ar ial  tr ain in g .   T h d is cr im in ato r   is   u s ed   to   im p r o v its   ab ilit y   t o   d is ce r n   b etwe en   ac tu al   an d   f ak d ata,   an d   th e   g en er ato r   tak es r an d o m   n o is as in p u t a n d   g en er ates sy n th eti d ata  clo s to   th r ea d ata.     2 . 1 .   P r o blem   d ef ini t io n   Pro v id ed   h an d - d r awn   s k etch ,   d ev elo p in g   n o v el  GAN  ar c h itectu r wh ich   ex p lo its   DL   m o d els  f o r   b u ild in g   g en e r ato r   a n d   d is cr im in ato r   with   a   n o n - co o p er ativ g am b etwe en   th e m   f o r   a u to m atic  g en er atio n   o f   r ea lis tic  p h o to   f r o m   th e   g iv e n   s k etch   is   th ch allen g in g   p r o b lem   co n s id er ed .   Gen er ativ e   ad v er s ar ial  n etwo r k s   ( GANs)   h av em er g ed   as  p o wer f u to o r a p id ly   ad v an cin g   th s tate - of - th e - a r in   n u m e r o u s   d o m ain s .   T h is   p ap er   c o n d u cts  c o m p r e h en s iv r ev iew   to   a n aly s es  th ap p licatio n s   o f   GANs  in   th e   co n s tr u ctio n   in d u s tr y   o v er   th e   y ea r s ,   a n d   th e   r ev ie aim s   to   en r ich   t h b o d y   o f   k n o wled g o n   th is   em er g i n g   d ee p   lear n in g   ( DL )   alg o r ith m   in   t h co n s tr u cti o n   s ec to r .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 :   3 1 1 8 - 3 1 2 6   3120   2 . 2 .   P r o po s ed  G AN  a rc hite ct ure   R ec en r esear ch   in   s em an tic  in p ain tin g   r eg ar d s ,   in p ain tin g   as  task   o f   lim ited   p ictu r g en er atio n   is s u e   [ 3 0 ]   it   is   co n s id er ed   e s s en tial  th at  th g e n er ated   c o n ten m ai n tain s   s em an tic  c o h er en ce   with in   th o b s er v ed   co n tex an d   s ea m less ly   in teg r ates  with   th s u r r o u n d in g   p i x els.  Similar ly ,   we  f r am th p r o b lem   o f   p ictu r p r o d u ctio n   as  o n o f   im ag co m p leten ess ,   with   s k etch   ac tin g   as  wea k   co n te x tu al  co n s tr ain t.  T h GAN  ar ch itectu r s u g g ested   in   [ 3 1 ]   s er v es  as  th f o u n d atio n   f o r   o u r   d ee p   m o d el,   with   th f o llo win g   tech n o lo g ical  m o d if icatio n s .     2 . 2 . 1 .   I m a g e   re presenta t io n   W s u g g est  m o d elin g   s k etch   an d   p ictu r in   co m b in e d   in p u s p ac e,   as  o p p o s ed   to   th co n v en tio n al   m eth o d s   o f   s ep ar atin g   th em .   Sp ec if ically ,   we  s p atially   co m b in g en u i n p h o to g r ap h s   ( B )   with   th ei r   co r r esp o n d in g   s k etch   s ty les  ( A)   to   f o r m   jo in t   s k etch - im a g p air s   ( AB )   b ased   o n   c o r p u s   o f   s am p les.  T h is   jo in im ag in h er en tly   ca p tu r es  th co n tex tu al  r elatio n s h ip   b etwe en   th s k etch   an d   th p h o to   co m p o n e n ts ,   aid in g   in   u n d e r s tan d in g   o f   th e ir   co m b in e d   d is tr ib u tio n   th r o u g h   GAN.   W co m m en ce   t h tr ain in g   p r o ce s s   o f   a   GAN  m o d el  u s in g   th ese  co m b in ed   im ag es,  allo win g   it  to   lev er ag th c o n tex tu al  in f o r m ati o n   p r o v id e d   b y   th e   s k etch   co m p o n en to   au to m at ically   p r ed ict  an d   r ec o n s tr u ct   th m is s in g   p ar ts   o f   th im ag e.   I n   co n tr ast  to   ea r lier   wo r k   [ 3 2 ] )   wh er e   z   was  s o lely   an   im ag em b ed d in g ,   th e   g en er at o r   p r o d u ce s   co n s o lid ated   r ep r esen tatio n   b y   m ap p i n g   th m er g ed   s k etch   an d   im ag i n to   n o n - lin ea r   jo in s p ac c alled   z.   I n s tead   o f   d ir ec tly   lim itin g   th g en er ated   im ag with   th co m p lete  z,   w ca n   in d ir ec tly   im p o s r estrictio n s   o n   it  b y   o n ly   u s in g   th s k etch   o f   th e   jo in e m b ed d in g   o f   th i n p u t.  T h is   allo ws  u s   to   m ain tain   f aith f u ln ess   wh ile  allo win g   f o r   ce r tain   lev el  o f   f lex ib ilit y   in   th v is u al  p r esen tatio n   o f   th r esu ltin g   im ag e .     2 . 2 . 2 .   O bje ct iv f un ct io n   Ou r   p u r p o s is   to   d is co v er   g en er ated   jo in im ag e,   (   ^ ) ,   th at  clo s ely   r esem b les  th in p u s k e tch ,   to   ac co m p lis h   th m o s ac cu r ate  m ap p in g   b etwe en   th d is to r ted   an d   r ec o v er ed   j o in im a g es.  Ou r   g o al  is   to   co n s tr u ct  th lo s s   f u n ctio n   to   i n co r p o r ate  two   lo s s es,  u tili zin g   th r an d o m ly   s elec ted   in p u   _ .   T o   ass ess   th co n tex t u al  r esem b lan ce   b etwe en   th u n af f ec te d   s ec tio n s   th at  is   th in p u s k etc h   alo n g   with   th e   r ec o n s tr u cted   d r awin g   we  u tili ze   co n tex tu al  l o s s   [ 2 0 ] ,   w h ich   is   ex p r ess ed   as in   ( 1 ) .     _     ( ) = _    ( , ( ) )   ( 1 )     wh er r ep r esen ts   th Had am ar d   p r o d u ctio n   an d   is   th b i n ar y   m ask   o f   th d am ag ed   j o in p ictu r e.   Un lik [ 2 0 ] ,   we  em p lo y   th KL - d iv er g en ce   to   m ea s u r e   th s im ilar it y   b etwe en   th d is tr ib u tio n   o f   two   d r awin g s .   T h is   ap p r o ac h   en h an ce s   th alig n m en t o f   s k etch es,  tak in g   in to   ac co u n t th at  s k etch   is   b in ar y   im ag e”   in s tead   o f   n atu r al  im ag e .   I n   an   id ea s c en ar io ,   ea c h   p i x el  in   th e   s k et ch   ar ea s   o f   b o th   y   an d   ( )   wo u ld   h av e   b ee n   in d is tin g u is h ab le,   r esu ltin g   in   _      ( ) = 0 .   C o n s eq u e n tly ,   we   im p o s p en alty   o n   ( )   f o r   its   f ailu r to   g e n er ate  d r awin g   t h at  m o s clo s ely   m atch es  th o b s er v ed   in p u s k etch   y .   W u s ed   th ad v e r s ar ial  lo s s   o f   th n etwo r k th p er ce p tu al  lo s s   p r eser v es  th s em an tic  in f o r m atio n   o f   th a n ticip ated   “im ag as  in   ( 2 ) .     _       ( ) =  ( 1 ( ( ) ) )   ( 2 )     T h d esire d   f u n ctio n   f o r   z^  i s   f o r m u lated   b y   c o m b in i n g   t h two   lo s s es  th r o u g h   weig h ted   s u m m atio n ,   as   elu cid ated   in   ( 3 ) .       ^ =    ( )   ( _      ( ) +  _       ( ) )   ( 3 )     wh er λ   is   a   h y p er p ar am eter   th at  u s es  th in p u to   r estrict  t h o u tp u p ictu r e .   m o d est  λ   will  en s u r th at  th in p u t a n d   o u t p u t lo o k   th s am e.     2 . 2 . 3 .   O ur  s k et ch - ima g G A N   ( SI G AN)   T h e   t r a i n i n g   a n d   c o m p l e ti o n   s ta g e s   m a k u p   o u r   GA N .   E x ce p t   f o r   u s i n g   j o i n p i c t u r es   f o r   o u r   t r a i n i n g   s a m p l es ,   t h e   p h as e   o f   a   t r a i n i n g   i s   i d e n ti c a t o   c l ass i c   t r a i n i n g   o f   a   G A N .   A f t e r   c o m p le t i n g   th e   t r a i n i n g   p r o c e s s ,   w e   s e le c t   a   g e n e r at i v e   n e t wo r k   G   t h a t   e f f e c t i v e l y   r e p r o d u c e s   t h e   c o m b i n e d   d i s t r i b u t i o n   o f   i m a g e   d a t a   b y   c o n v e r t i n g   s a m p l es   f r o m   t h e   n o i s e   d i s t r i b u t i o n   _   i n t o   t h e   d a ta   d i s t r i b u ti o n   _   .   T o   a c h i e v e   o u r   d e s i r e d   o u t c o m e s ,   w m u s p r o v i d e   e it h e r   t h e   i n p u t   i m a g e   o f   t h e   d am a g e d   j o i n t   o r   t h e   m a s k e d - out   i m a g e   c o m p o n e n t .   T h i s   r e p r es e n t at i o n   wi l e n a b l u s   t o   c h o o s t h e   i m a g e   o n   t h m a n i f o l d   o f   G   t h at   is   c l o s es in   t h e   l at e n t   s p a c e .   W e   d e te r m i n e   t h e   ^     v e c t o r   i n   ( 3 )   t h a t   m i n i m i z es   o u r   o b j e c t i v f u n c t i o n   r a t h e r   t h a n   m a x i m i zi n g   ( ) .   T h i s   s h o w s   t h a t h e   d i s t o r t e d   i n p u is   b e i n g   p r o je c t e d   o n t o   t h e   g e n e r a t o r ' s   z   s p a c e   b y   r e p e t it i v e   b a c k   p r o p a g a t i o n .   I n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S I GA N :   a   g e n era tive  a d ve r s a r ia l n etw o r a r ch itectu r fo r     ( B u d d a n n a g a r i La th a )   3121   p a r t i c u l a r ,   t h e   i n p u t   c o m p r is e s   a   c o m b i n e d   i m a g e   f e a t u r i n g   s o l e l y   t h e   le f t - s i d e   d r a w i n g ,   w h i l e   t h e   r i g h t - s i d i m a g e   r e m a i n s   c o n c e a l e d ,   a n d   a   v e c t o r   z   s ta r t e d   wi t h   e v e n l y   d i s t r i b u te d   r a n d o m   n o i s e .     T o   m o d if y   th r an d o m ly   c h o s en   in p u z   o f   n etwo r k   G,   we  ap p ly   t h lo s s   f u n ctio n   d escr i b ed   in   ( 3 ) At  p r esen t,  ju s th in p u v ec to r   is   m o d if ied   b y   u s in g   g r ad ien d escen t,  wh er ea s   th r elativ weig h ts   o f   n etwo r k s   an d   s tay   u n c h a n g ed .   Fig u r 1   illu s tr ates  th p r o ce s s   o f   tr a v er s in g   th late n s p ac d u r in g   b ac k - p r o p a g atio n ,   s h o wca s in g   f o u r   iter atio n s .   Kee p   in   m in d   th at  [ 3 3 ]   u s es  an   an alo g o u s   o p tim iz atio n   tech n iq u o f   g r ad ien d escen f o r   in v e r s m ap p in g .   Fo llo win g   th e   b ac k - p r o p a g atio n   p r o ce s s ,   th e   co r r u p ted   i n p u ( y )   is   m ap p ed   to   th cl o s est  v ec to r     ^     in   th laten s p ac e.   T h is   v ec to r   is   th en   f ed   in to   th n etwo r k   to   g e n er at e   ( ) .   T h im ag is   cr ea ted   b y   u tili zin g   (   ^   )   to   co m p lete  th ab s en v alu es  o f   y ,   wh ich   r ep r esen t s   th im ag s ec tio n :     _    = + ( 1 ) (   ^   )   ( 4 )     W u tili ze   n o is v ec to r   th at  is   u n if o r m ly   s am p led   as  i n p u t.  T h in f lu en ce   o f   th i n itializatio n   o n   t h r esu ltan im ag is   clea r   co n ce r n .   I f   th in itial  s k etch   s ec tio n   o f   ( )   p er ce p tu ally   d ev iate s   s ig n if ican tly   f r o m   th in p u s k etch ,   g r ad ien d escen will  f ac ch allen g es  in   m ap p in g   th d a m ag ed   p ict u r to   th clo s est  z   in   th laten s p ac e.   Fai lu r s am p les  will  ar i s f r o m   th is ,   ev en   if   we  estab lis h   a   m in u s cu le    in   ( 3 ) .   W im p r o v th in itializatio n   as  f o llo ws  to   s o lv th is   is s u e:  W u s f o r war d   p ass   to   s am p le  n o is v ec to r s   u n if o r m ly   at  r an d o m   an d   ex tr ac th in itialized   d r awin g s   f o r   ea ch   o n e .   Nex t,  we  d eter m in th p air wis KL - d iv er g en ce   b etwe en   th ese  in itialized   d r awin g s   an d   th in p u s k etch .   Ou o f   all  th s am p les,  th in itial   s k etch   will  b th o n with   th least  KL - d iv er g en ce ,   s ig n if y in g   th b est  in itializatio n .   I n   Fig u r 1 ,   th en tire   n etwo r k   is   v is ib le.   Gen er ato r   r ec eiv es  1 0 0 - r an d o m   n o is v ec to r   wh ich   is   u n if o r m l y   s am p led   f r o m   −1   to   1 .   T h i is   d o n e   in   c o m p lia n ce   with   [ 8 ] Af ter war d ,   th e   in p u is   r esh a p ed   to   4 ×8 × 5 1 2   u s in g   an   8 1 9 2 × lin ea r   lay er .           Fig u r 1 .   Ar c h itectu r al  o v e r v i ew  o f   SIG AN       W em p lo y   f i v u p - co n v o lu ti o n al  lay er s   with   a   s tr id o f   t wo   an d   k er n el  s ize  o f   f iv e.   T o   s p ee d   u p   tr ain in g   an d   s tab ilize  lear n in g ,   af ter   ev er y   u p - c o n v o lu tio n al   lay er ,   ex ce p f o r   th f in al  o n e,   we  ad d   b atch   n o r m aliza tio n   lay er .   Ad d itio n ally ,   all  lay e r s   u tili ze   th e   leak y   r ec tifie d   lin ea r   u n it  ( L R eL U)   ac tiv atio n .   T an h   is   ap p lied   at  th o u tp u lay e r   a th en d .   h i g h er   r eso lu tio n   p ictu r m ea s u r i n g   6 4 × 1 2 8   is   p r o d u ce d   v ia  n o n lin ea r   weig h te d   u p   s am p lin g   o f   th laten s p ac e   th r o u g h   s eq u e n ce   o f   u p - co n v o lu tio n s   an d   n o n - lin ea r ities .   A   p ictu r with   d im en s io n s   o f   6 4   b y   1 2 8   b y   3   is   u s ed   as  th d is cr im in ato r ' s   in p u t.  I is   f o llo wed   b y   f o u r   co n v o l u tio n al  lay er s ,   ea c h   o f   wh ich   h as twice   as m an y   ch an n els as th lay er   b ef o r it  an d   h alf   th f ea tu r m ap ' s   d im en s io n .   T o   g en e r ate   4 × 8 ×5 1 2   o u tp u t,   we  s p ec if i ca lly   ad d   4   c o n v o lu tio n al  la y e r s   with   k er n el   s ize   5   an d   s tr id 2 .   Af ter   r esh a p in g   th o u tp u to   o n d im e n s io n   with   f u lly   co n n ec te d   lay e r ,   we  co m p u te  lo s s   u s in g   So f tMa x   lay e r .   Gen u in f r ee h an d   d r awin g s   co m in   wid e   r an g o f   s ty les  an d   ca n   d if f er   s ig n if ica n tly   f r o m   s y n th esis   d r awin g s   th at   ar e   m ec h an ically   cr ea te d   f r o m   p ict u r es.  W en h an ce   o u r   tr ain i n g   d ata  b y   em p lo y in g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 :   3 1 1 8 - 3 1 2 6   3122   s ev er al  k in d s   o f   d r awin g s   as  t h tr ain in g   s et  to   p r e v en o v er f itti n g   to   ce r tain   s ty le  o f   s k e tch   im ag e   p air in g s   an d   to   in cr ea s th g en er ality   o f   th n etwo r k .   T o   m ak d iv er s ty p es  o f   d r awin g s ,   we  s p ec i f ically   em p lo y   th e   FDo f ilter   p r o v id ed   in   [ 1 0 ] ,   th Ph o to co p y   ef f ec [ 1 ]   in   P h o to s h o p ,   an d   th XDo ed g d etec to r   p r o p o s ed   in   [ 1 1 ] .   W also   u s [ 1 2 ]   to   s im p lify   th e d g p ictu r es  s o   th at  th e y   m o r clo s ely   r esem b le  h an d - d r awn   d r awin g s .   T o   tr ain   d is tin ct  s ty le  m o d els,  we  d iv id th e   d ata  i n   ea ch   s ty le  i n to   tr ain i n g   a n d   t esti n g   s ets.  Firstl y ,   we  r etr iev th e   p r e - t r ain ed   X Do s ty le  m o d el,   r ath er   th an   tr ain in g   all  s ty le  m o d els  f r o m   s tar t.  T h n etwo r k s   ar th en   r ef in e d   u s in g   d r awin g s   in   d if f er en t sty les,  s u ch   as FDo G,   th s im p lific atio n ,   an d   t h co p ier   s ty le.   T h e   r atio n ale  is   th at  XDo G,   in   o u r   o p in io n ,   is   m o r d etailed   an d   m o r ak in   to   th o r i g in al  p h o to g r a p h ic  im ag e.   T h is   en s u r es  th at  th n etwo r k   is   tr ain ed   o n   h ig h - q u ality   lo c al  m in im b ef o r in co r p o r atin g   ad d itio n al  s k etch   s ty les.  Du r in g   th e x p er im e n t,  we  d em o n s tr ate  h o w   th e   au g m en tin g   s ty les  allo f o r   s o m e   d eg r ee   o f   ap p ea r an ce   f lex ib ilit y   wh ile  al s o   im p r o v in g   th g en er aliza tio n   o f   th e   s k etch - im ag r elatio n s h ip .     2 . 3 .   I m ple m ent a t io d et a ils   U s i n g   SG A N ,   w e   p r e t r a i n   t h e   n e t w o r k   f o r   e v e r y   c a t e g o r y .   B o t h   t h e   g e n e r a t o r   a n d   d i s c r i m i n a t o r   n e t w o r k s   e m p l o y   t h e   A d a m   o p t i m i z e r   [ 1 3 ]   w it h   a   b e t a   v a l u e   o f   0 . 5   a n d   a   l e a r n i n g   r a t e   o f   0 . 0 0 0 2 .   T h e   t r a i n i n g   d u r a t i o n   v a r i e s   b as e d   o n   t h e   d a t a s et' s   m a g n it u d e ,   s p a n n i n g   f r o m   6   t o   4 8   h o u r s .   T h i s   i s   a cc o m p l i s h e d   b y   u t i li z i n g   a   b a t c h   s i z e   o f   6 4   a n d   r u n n i n g   t h e   t r a i n i n g   p r o c e s s   f o r   2 0 0   e p o c h s .   O n c e   w e   h a v e   a c q u i r e d   a   h i g h l y   s k i l l e d   v e r s i o n   o f   t h e   X D o G   s t y l e ,   we   u t i l iz e   t h s a m e   n e t w o r k   s tr u c t u r e   t o   t r a i n   o t h e r   d r a w i n g   s t y l es   s e q u e n t i al l y .   T h i s   i s   a c h i e v e d   b y   e m p l o y i n g   a   l o w e r   le a r n i n g   r a t ( e . g . ,   1 e^ ( - 5 ) )   t o   p r o d u c e   m o d e ls   f o r   t h e s e   d i f f e r e n t   s t y l es .   T h r o u g h o u t   t h e   c o m p l e t i o n   p r o c e s s ,   t h i n p u t   is   m o d i f i e d   th r o u g h   t h e   i n c o r p o r a t i o n   o f   co n t e x t u a l   l o s s   a n d   p e r c e p t u a l   l o s s .   T h c o n t e x t u a l o s s   a n d   p e r c e p t u a l o s s   a r e   ass i g n e d   λ   v a l u o f   0 . 0 1   a n d   m o m e n t u m   v a l u e   o f   0 . 9 ,   r e s p e c t i v e l y .   B a c k - p r o p a g a t i o n   u t i l i ze s   s t o c h as t i c   cl ip p i n g .   W e   o p t i m i z e   a t   te s t - t im e   t o   m a x i m i z e   t h s k e t c h   p a r t   i n   t h e   p r o d u c e d   p i ct u r e   t h a t m o s t c l o s e l y   r e s e m b les   t h o r i g i n a l d r a w i n g   b y   s et t i n g   a   r e l at i v e l y   s m al λ ,   w h i c h   m a k e s   c o n t e x t u a l   l o s s   m o r e   s i g n i f i c a n t .   D u r i n g   b a c k - p r o p a g a t i o n ,   t h e   d i s c r i m i n a to r   a n d   g e n e r a t o r   a r e   f i x e d .   T h i s   u p d a t e   m a y   b e   co m p l e t e d   i n   5 0 0   i t e r at i o n s   b a s e d   o n   t h e   e x p e r i m e n ta l   f i n d i n g s   ( t h e   l o s s   ( 3 )   c o n v e r g e s   q u i c k l y   w i t h   o u r   r ev i s e d   i n i t i al i z at i o n ,   u s u al l y   r ea c h i n g   s t a b i l it y   w it h i n   1 0 0   it e r at i o n s   i n   l es s   t h a n   1   s e c o n d ) .   F o r   e a c h   o f   t h e   t h r e e   ca t e g o r i e s ,   w e   e m p l o y   t h e   s a m e   n e t w o r k   d e s i g n .     2 . 4 .   P r o po s ed  a lg o rit hm     Ou r   p r o p o s itio n   e n tails   an   alg o r ith m   r ec o g n ized   as  l ea r n in g - b ased   s k etch - im a g e   g en er atio n   ( L b SIG ) .   T h is   alg o r ith m   ex p lo its   SIG AN  ar ch itectu r f o r   ef f icien tly   g en e r atin g   r ea lis tic  p h o to   f r o m   g iv en   h an d - d r awn   s k etch .   As   p r esen ted   in   alg o r ith m   1 ,   it  h as  lear n in g - b ased   ap p r o ac h   f o r   g en e r atin g   im ag es  f r o m   s k etch es,  u s in g   th e   C UHK  f ac s k etch   d atab ase  ( C UFS)   d ataset  as  in p u t.  T h o u tp u o f   th alg o r ith m   in clu d es  th g en er ated   im ag r esu lts   ( R )   an d   p er f o r m an ce   s tati s tics   ( P).   T h p r o ce s s   b eg in s   with   d ata  au g m en tatio n   o f   th C UFS  d ataset  ( D) ,   wh ich   is   th en   s p lit  in to   two   s u b s ets  k n o wn   as  tr ain in g   s et  ( T 1 )   a n d   test   s et  ( T 2 ) .   T h e   co r e   o f   th e   alg o r ith m   is   th c r ea tio n   an d   t r ain in g   o f   th SIG AN  m o d el.   T h ar c h itectu r o f   SIG AN  is   co n f ig u r ed   as  s h o wn   in   Fig u r 1 ,   an d   th m o d e is   th en   co m p iled .   T h tr ain i n g   p r o ce s s   in v o lv es  u s in g   th e   f ir s s u b s et  ( T 1 )   t o   tr ain   th SIG AN  m o d el  ( m ) ,   wh ich   is   th en   p er s is ted   f o r   f u tu r u s e.   O n ce   th e   m o d el  is   tr ain ed ,   it  is   lo ad e d ,   an d   th s ec o n d   s u b s et  ( T 2 )   is   u s ed   to   g e n er ate  im ag es  with   th tr ain ed   m o d el   ( m ' ) .   T h p er f o r m an ce   o f   th e   g en er ated   im ag es  is   e v alu ated   ag ain s th e   g r o u n d   tr u th ,   an d   b o th   t h r esu lts   ( R )   an d   th p er f o r m an ce   s tatis tics   ( P)  ar d is p lay ed .   I n   s u m m a r y ,   th alg o r ith m   f o llo ws  s tr u ctu r ed   a p p r o ac h   to   tr ain   n e u r al  n etwo r k   o n   au g m en ted   d ata,   g e n er ate  im ag es  f r o m   s k etch es,   an d   ev alu ate  t h g en er ate d   im ag es   b ased   o n   th eir   f i d elity   to   th e   g r o u n d   tr u th .   T h e   k ey   co m p o n e n ts   in clu d e   d ata   p r e p ar atio n ,   m o d el  c o n f ig u r atio n   an d   tr ain in g ,   im ag g en er atio n ,   an d   p er f o r m an ce   e v alu atio n .     Alg o r ith m   1 .   L ea r n in g   b ased   s k etch - im ag g en er atio n       Input: CUFS dataset D   Output: Image  generation results R, performance statistics P   1.   Begin   2.   D' = Data Augmentation(D)   3.   (T1, T2) = Split Data(D')   Building and Training SIGAN   4.   Configure SIGAN architecture (as shown in Figure 1)   5.   Compile SIGAN model m   6.   m’ =    Train SIGAN(T1)   7.   Persist model m'   Image Generation   8.   Load m'   9.   R=Image Generation (T2, m')   10.   P=Evaluation (R, ground truth)   11.   Display R   12.   Display P13.   End   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S I GA N :   a   g e n era tive  a d ve r s a r ia l n etw o r a r ch itectu r fo r     ( B u d d a n n a g a r i La th a )   3123   2 . 5   Da t a s et   d et a ils   C UFS  d ata s et  [ 1 4 ]   is   u s ed   f o r   th em p ir ical  s tu d y   in   th is   p ap er .   T h is   d ataset  is   wid el y   u s ed   f o r   im ag tr an s latio n   an d   co m p u t er   v is io n   ap p licatio n s .   T h is   d ataset  it  h as   6 0 6   f ac es  an d   th er is   co r r esp o n d in g   s k etch   f o r   ea ch   f ac e.   An o t h er   d ataset  n am ed   C UFSF   [ 1 5 ] [ 3 4 ]   is   also   u s ed   in   th ex p er i m en tal  s tu d y   o f   t h is   p ap er .   I t h as 1 , 1 9 4   s am p les.     2 . 6 .   E v a lua t i o m et ho do lo g y   T h r ea lis m   an d   d iv er s ity   o f   s y n th etic  p h o to g r ap h s   an d   d r a win g s   ar ass e s s ed   in   th i s   s tu d y   u s in g   th ( FID ) Fré ch et   in ce p tio n   d is tan ce .   Giv en   its   g r ea d eg r ee   o f   ag r ee m en with   h u m a n   v is io n ,   FID   h as  f o u n d   wid esp r ea d   u s in   p ictu r e   g en er atin g   ap p licatio n s .   R ea an d   s y n th etic  d ata  d is tr ib u tio n s   a r clo s er   wh en   th e   FID   v alu is   lo wer .       3.   E XP E R I M E N T A L   RE SUL T S   I n   o u r   ex p er im en ts ,   s h o wn   in   Fig u r es  2   to   4   an d   T ab le s   1   a n d   2 .   we  m ak u s o f   all  th tes s am p les   an d   ca lcu late  th e   FID   u s in g   t h 2 0 4 8 - d im en s io n al  f e atu r es   ex tr ac ted   f r o m   th I n ce p tio n - v 3   n etwo r k .   T h is   n etwo r k   h as  b ee n   s u b jecte d   to   p r e - tr ain in g   o n   I m a g eNe t.  T o   im p ar tially   ev alu ate  th q u ality   o f   th e   s y n th esized   p ictu r e,   we  u tili z th f ea tu r s im ilar ity   in d ex   m etr ic  ( FS I M)   f o r   c o n tr asti n g   th s y n th etic  im ag e   with   th co r r esp o n d i n g   g r o u n d - tr u th   im ag e .   I n ter esti n g ly ,   wh ile  FS I h as  g ain ed   p o p u l ar ity   in   th r ea lm   o f   f ac p h o to - s k etch   s y n th esis   an d   h as   p r o v en   e f f ec tiv in   ass ess in g   th q u ality   o f   r ea im ag es,  it  f alls   s h o r in   ter m s   o f   alig n in g   with   h u m a n   p er ce p tio n   w h en   it  c o m es  to   s y n th esized   f ac p h o to s   an d   d r awin g s .   B y   u tili zin g   th ar tific ially   g en er ated   p h o to s /s k etch es  as  t h im ag es  in   th g aller y   an d   th au th en ti c   p h o to s /s k etch es  as  th p r o b im ag e,   we  u ltima tely   c o n d u ct   s tatis tical  ev alu atio n   o f   th ac cu r ac y   o f   f ac e   r ec o g n itio n .   Nu ll - s p ac lin ea r   d is cr im in an an aly s is   ( NL DA)   is   em p lo y ed   t o   co n d u ct  t h f ac r ec o g n itio n   test s .   B ef o r r ep o r tin g   th av e r ag ac cu r ac y ,   we  c o n d u ct  ev er y   s in g le  f ac e   r ec o g n itio n   e x p er im en 2 0   tim es,   r an d o m l y   p ar titi o n i n g   th d ata   d u r in g   ea ch   iter atio n .           Fig u r 2 .   C o m p u te  L 2 - n o r m   a n d   SS I M       T ab le  1 Per f o r m an ce   co m p a r is o n   with   C UFS d ataset   S k e t c h - i ma g e   g e n e r a t i o n   me t h o d   P e r f o r ma n c e   ( %)   F I D   F S I M   N LD A   BP - GAN   8 6 . 1 8 6 1   6 9 . 1 6 9 1   9 3 . 1 9 3 1   C o n d i t i o n a l   G A N   4 3 . 2 4 3 2   7 1 . 1 7 1 1   9 5 . 5 9 5 5   S I G A N   ( P r o p o s e d )   3 8 . 2 3 4 6   7 1 . 2 5 3 1   9 5 . 6 8 5 4       Tab le 2 .   P e rfo rm a n c e   c o m p a riso n   with   CUF S F   d a tas e t   S k e t c h - i ma g e   g e n e r a t i o n   me t h o d   P e r f o r ma n c e   ( %)   F I D   F S I M   N LD A   BP - GAN   4 2 . 9 4 2 9   6 8 . 2 6 8 2   6 7 . 5 6 7 5   C o n d i t i o n a l   G A N   2 9 . 2 2 9 2   7 2 . 8 7 2 8   8 0 . 9 8 0 9   S I G A N   ( P r o p o s e d )   2 0 . 3 1 4 2   7 2 . 8 9 6 5   7 8 . 0 1 4 3   9 0 . 6 8 9 2 . 3 8 9 3 . 4 5 9 3 . 6 2 89 8 9 . 5 90 9 0 . 5 91 9 1 . 5 92 9 2 . 5 93 9 3 . 5 94 A x i s   T i t l e M odel s L2 - n o rm   G e n e r a t e d _ Pi x e l_ 1 Ge n e r a t e d _ P i x e l_8 Ge n e r a t e d _ P i x e l_5 G e n e r a t e d _ Pi x e l_ 2 Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 :   3 1 1 8 - 3 1 2 6   3124       Fig u r 3 .   Per f o r m an c co m p ar is o n   with   C UFS d ataset           Fig u r 4 .   Per f o r m an c co m p ar is o n   with   C UFS d ataset       4.   DIS CU SS I O N   W i t h   t h e   e m e r g e n c e   o f   A I   an d   D L   m o d e l s ,   t h e r e   h a s   b ee n   a n   i n c r e a s e d   s u c c es s   r at i n   s o l v i n g   p r o b l e m s   i n   m a n y   r e a l - w o r l d   d o m a i n s .   C o m p u t e r   v i s i o n   ap p l i c a t i o n s   a r w i d el y   u s e d   to   s i m p li f y   c o m p l e x   a p p l i c a t i o n s .   I m a g t r a n s l a ti o n   i s   o n e   o f   t h e   i m p o r t a n t   a p p l ic at i o n s   d es i r e d   b y   m a n y   d o m a i n s .   T h e   g e n e r a ti o n   o f   a   s k e t c h   i m a g e   f r o m   a   g i v e n   r e a l   i m a g e   a n d   a l s o   g e n e r a ti o n   o f   a   r e a l   i m a g e   f r o m   t h e   g i v e n   s k e t c h   i m a g e   a r e   t w o   i m p o r t a n t   a c t i v it i es   o f   i m a g e   s y n t h e s is .   T r a d i t i o n a l   a p p r o ac h e s   f o r   i m a g e   s y n t h e s is   c o u l d   n o t   p r o v i d e   t h e   r e q u i r e d   p e r f o r m a n c e .   I n   o t h e r   w o r d s ,   i m a g e   p r o c ess i n g   a n d   h e u r i s ti c   a p p r o a c h es   s h o w e d   l i m i t at i o n s   i n   p r o d u c i n g   a c c u r a t e   o u t c o m e s .   O f   l a t e ,   l e a r n i n g   b as e d   ap p r o a c h e s   c a m e   i n t o   e x is t e n c e   t o   h a v e   m o r e   c o m p r e h e n s i v e   a p p r o a c h   i n   l e ar n i n g   f r o m   i n p u t   i m a g es   a n d   to   g e n e r a t e   d es i r e d   o u t c o m es   wi t h   b e t te r   a c c u r a c y .   P a r t i c u l a r l y ,   G AN   a r c h i te c t u r e s   w e r e   d e v el o p e d   f o r   d a t a   a u g m e n t a t i o n   a n d   s y n t h e s i s   o f   n e w   i m a g e s   i n   t h c o m p u t e r   v i s i o n   d o m a i n .   T h i s   p a p e r   f o c u s e s   o n   g e n e r at i o n   o f   r e a l   i m a g e   f r o m   t h e   g i v e n   h a n d - d r a w n   s k e t c h .   T h G A N   a r c h i te c t u r e   p r o v i d e d   i n   [ 8 ]   s e r v e s   a s   b a s i s   f o r   o u r   w o r k   i n   p r o p o s i n g   a   n o v e l   G A N   a r c h i t e c t u r e   k n o w n   a s   S I G A N .   S I GA N   is   f o u n d   t o   h a v e   b e t t e r   e f f e c ti v e n e s s   c o m p a r e d   t o   s t at e - of - t h e - a r t   a r c h it e c t u r e s .       5.   CO NCLU SI O AND  F U T U RE   WO RK     GAN  ar ch itectu r k n o wn   a s   s k etch - im ag GAN  ( SIG AN )   was  p r o p o s ed   f o r   s y n th esizin g   r ea lis tic  p h o to s   f r o m   h an d - d r aw n   s k etch es.  B o th   g en er ato r   ( G)   a n d   d is cr im in ato r   ( D)   co m p o n e n ts   ar d esig n ed   b ased   o n   DL   m o d els  f o llo win g   n o n - co o p er ativ g a m th eo r y   to war d s   im p r o v i n g   im ag g en er atio n   p er f o r m an ce .   SIG AN  ex p lo its   im p r o v is ed   im ag r ep r esen tatio n   an d   lear n in g   o f   d ata  d is tr ib u t io n .   Ou r   p r o p o s al  en co m p ass es  an   alg o r ith m   tit led   lear n in g - b ased   s k etch - im a g g en e r atio n   ( L b SIG ) .   T h is   alg o r ith m   e x p lo its   SIG AN  ar ch itectu r f o r   ef f ici en tly   g en er atin g   r ea lis tic  p h o to   f r o m   g i v en   h an d - d r awn   s k e tch .   T h co n tex t u al  in f o r m atio n ,   o r   th r elatio n s h i p   b etwe en   th s k etch   an d   p ictu r co m p o n e n ts ,   is   au to m atica lly   ca p tu r ed   b y   th e   jo in im ag e   in   o u r   s y s tem ,   a n d   th is   is   u s ef u l   f o r   lear n in g   th eir   co llectiv d is tr ib u tio n   u tili zin g   GAN.   I n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         S I GA N :   a   g e n era tive  a d ve r s a r ia l n etw o r a r ch itectu r fo r     ( B u d d a n n a g a r i La th a )   3125   p ar ticu lar ,   we  u s jo i n p ictu r es  to   tr ain   GAN  m o d el,   w h ich   th en   u s es  th co n tex o f   t h m atch in g   s k etch   co m p o n en to   au to m atica lly   p r ed ict  th d a m ag ed   im ag p ar t.  SIG AN  is   ass e s s ed   u s in g   b en ch m ar k   d ataset  ca lled   C UHK  f ac s k etch   d atab ase  ( C UFS).   Fro m   th em p ir ical  s tu d y ,   it  is   o b s er v e d   th at  th p r o p o s ed   SIG AN  ar ch itectu r with   u n d er ly in g   d ee p   lear n in g   m o d els  co u ld   o u t p er f o r m   ex is tin g   GA m o d els  in   ter m s   o f   Fré ch et   in ce p tio n   d is tan ce   ( FID )   with   3 8 . 2 3 4 6 %.  I n   f u tu r e,   we  in ten d   to   im p r o v o v er   SIG AN  ar ch itectu r with   an   en co d er   f o r   f ac ap p ea r an ce   an d   an   en co d er   f o r   f ac lab els  to war d s   b etter   p er f o r m an ce .   An o th er   d ir ec tio n   f o r   f u tu r wo r k   is   to   s tack   GAN  m o d els to war d s   im p r o v i n g   p e r f o r m an ce   f u r th er .       F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   B u d d an n ag a r i L ath a                                 Ath iy o o r   Kan n an   Velm u r u g an                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   No   co n f lict o f   in ter est.       DATA AV AI L AB I L I T Y   D a t a   a v a il a b i li t y   is   n o t   a p p l i ca b l e   t o   t h is   p a p e r   a s   n o   n e w   d at w e r e   c r e a t e d   o r   a n al y z e d   i n   t h is   s t u d y .       RE F E R E NC E S   [ 1 ]   M .   S i g a l a ,   A .   B e e r ,   L .   H o d g so n ,   a n d   A .   O C o n n o r ,   B i g   d a t a   f o m e a su ri n g   t h e   i m p a c t   o f   t o u r i sm   e c o n o m i c   d e v e l o p m e n t   p ro g r a m m e s:   A   p r o c e ss  a n d   q u a l i t y   c ri t e r i a   f r a m e w o rk  f o u si n g   b i g   d a t a .   2 0 1 9 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 981 - 13 - 6 3 3 9 - 9 _ 4 .   [ 2 ]   G .   N g u y e n   e t   a l . ,   M a c h i n e   l e a r n i n g   a n d   d e e p   l e a r n i n g   f r a mew o r k s a n d   l i b r a r i e f o r   l a r g e - sc a l e   d a t a   mi n i n g :   A   s u r v e y ,   Ar t i f i c i a l   I n t e l l i g e n c e   Re v i e w ,   v o l .   5 2 ,   n o .   1 ,   p p .   7 7 1 2 4 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 4 6 2 - 0 1 8 - 0 9 6 7 9 - z.   [ 3 ]   M .   S .   S a n n i d h a n ,   G .   A n a n t h   P r a b h u ,   D .   E .   R o b b i n s ,   a n d   C .   S h a s k y ,   E v a l u a t i n g   t h e   p e r f o r m a n c e   o f   f a c e   s k e t c h   g e n e r a t i o n   u s i n g   g e n e r a t i v e   a d v e r s a r i a l   n e t w o r k s ,   P a t t e r n   R e c o g n i t i o n   L e t t e r s ,   v o l .   1 2 8 ,   p p .   4 5 2 4 5 8 ,   D e c .   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 1 9 . 1 0 . 0 1 0 .   [ 4 ]   W .   C h a o ,   L.   C h a n g ,   X .   W a n g ,   J.  C h e n g ,   X .   D e n g ,   a n d   F .   D u a n ,   H i g h - F i d e l i t y   F a c e   S k e t c h - To - P h o t o   S y n t h e si s   U si n g   G e n e r a t i v e   A d v e r sari a l   N e t w o r k ,   i n   2 0 1 9   I EE I n t e r n a t i o n a l   C o n f e re n c e   o n   I m a g e   Pr o c e ssi n g   ( I C I P) ,   S e p .   2 0 1 9 ,   p p .   4 6 9 9 4 7 0 3 .   d o i :   1 0 . 1 1 0 9 / I C I P . 2 0 1 9 . 8 8 0 3 5 4 9 .   [ 5 ]   L.   Y a n ,   W .   Z h e n g ,   C .   G o u ,   a n d   F . - Y .   W a n g ,   I sG A N :   i d e n t i t y - se n si t i v e   g e n e r a t i v e   a d v e r sari a l   n e t w o r k   f o r   f a c e   p h o t o - s k e t c h   sy n t h e si s,”   P a t t e r n   R e c o g n i t i o n ,   v o l .   1 1 9 ,   p .   1 0 8 0 7 7 ,   N o v .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 2 1 . 1 0 8 0 7 7 .   [ 6 ]   H .   B i ,   N .   L i ,   H .   G u a n ,   D .   L u ,   a n d   L .   Y a n g ,   A   m u l t i - s c a l e   c o n d i t i o n a l   g e n e r a t i v e   a d v e r s a r i a l   n e t w o r k   f o r   f a c e   s k e t c h   s y n t h e s i s ,   i n   2 0 1 9   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I m a g e   P r o c e s s i n g   ( I C I P ) ,   S e p .   2 0 1 9 ,   p p .   3 8 7 6 3 8 8 0 .   d o i :   1 0 . 1 1 0 9 / I C I P . 2 0 1 9 . 8 8 0 3 6 2 9 .   [ 7 ]   W .   W a n ,   Y .   Y a n g ,   a n d   H .   J.   Le e ,   G e n e r a t i v e   a d v e r sar i a l   l e a r n i n g   f o r   d e t a i l - p r e ser v i n g   f a c e   sk e t c h   sy n t h e si s,   N e u ro c o m p u t i n g v o l .   4 3 8 ,   p p .   1 0 7 1 2 1 ,   M a y   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 2 1 . 0 1 . 0 5 0 .   [ 8 ]   W .   W a n   a n d   H .   J.  L e e ,   G e n e r a t i v e   a d v e r sar i a l   mu l t i - t a s k   l e a r n i n g   f o r   f a c e   sk e t c h   s y n t h e s i a n d   r e c o g n i t i o n ,   i n   Pr o c e e d i n g -   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I m a g e   P ro c e ssi n g ,   I C I P ,   2 0 1 9 ,   v o l .   2 0 1 9 - S e p t e ,   p p .   4 0 6 5 4 0 6 9 .   d o i :   1 0 . 1 1 0 9 / I C I P . 2 0 1 9 . 8 8 0 3 6 1 7 .   [ 9 ]   J.  Z h e n g ,   W .   S o n g ,   Y .   W u ,   R .   X u ,   a n d   F .   Li u ,   F e a t u r e   e n c o d e r   g u i d e d   g e n e r a t i v e   a d v e r sari a l   n e t w o r k   f o r   f a c e   p h o t o - s k e t c h   sy n t h e si s,”   I EEE   Ac c e ss ,   v o l .   7 ,   p p .   1 5 4 9 7 1 1 5 4 9 8 5 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 9 . 2 9 4 9 0 7 0 .   [ 1 0 ]   K .   D u ,   H .   Z h o u ,   L.   C a o ,   Y .   G u o ,   a n d   T.   W a n g ,   M H G A N :   mu l t i - h i e r a r c h i e g e n e r a t i v e   a d v e r sari a l   n e t w o r k   f o r   h i g h - q u a l i t y   f a c e   sk e t c h   s y n t h e si s,”   I EEE   Ac c e ss ,   v o l .   8 ,   p p .   2 1 2 9 9 5 2 1 3 0 1 1 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 3 0 4 1 2 8 4 .   [ 1 1 ]   Z.   Li ,   C .   D e n g ,   E.   Y a n g ,   a n d   D .   Ta o ,   S t a g e d   s k e t c h - to - i m a g e   sy n t h e si v i a   sem i - su p e r v i s e d   g e n e r a t i v e   a d v e r sari a l   n e t w o r k s,   I EEE  T r a n s a c t i o n o n   M u l t i m e d i a ,   v o l .   2 3 ,   p p .   2 6 9 4 2 7 0 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / T M M . 2 0 2 0 . 3 0 1 5 0 1 5 .   [ 1 2 ]   D .   W a d h w a ,   U .   M a h a r a n a ,   D .   S h a h ,   V .   Y a d a v ,   a n d   P .   P a n d e y ,   H u ma n   sk e t c h   r e c o g n i t i o n   u si n g   g e n e r a t i v e   a d v e r sari a l   n e t w o r k s   a n d   o n e - sh o t   l e a r n i n g ,   i n   2 0 1 9   T w e l f t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o n t e m p o ra r y   C o m p u t i n g   ( I C 3 ) ,   A u g .   2 0 1 9 ,   p p .   1 6 .   d o i :   1 0 . 1 1 0 9 / I C 3 . 2 0 1 9 . 8 8 4 4 8 8 5 .   [ 1 3 ]   L.   W a n g ,   W .   C h e n ,   W .   Y a n g ,   F .   B i ,   a n d   F .   R .   Y u ,   A   s t a t e - of - t h e - a r t   r e v i e w   o n   i m a g e   s y n t h e s i w i t h   g e n e r a t i v e   a d v e r sari a l   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 J u n e   20 25 :   3 1 1 8 - 3 1 2 6   3126   n e t w o r k s,”   I EEE   Ac c e ss ,   v o l .   8 ,   p p .   6 3 5 1 4 6 3 5 3 7 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 2 9 8 2 2 2 4 .   [ 1 4 ]   J.  Z h a o ,   X .   X i e ,   L.   W a n g ,   M .   C a o ,   a n d   M .   Z h a n g ,   G e n e r a t i n g   p h o t o g r a p h i c   f a c e s   f r o m   t h e   sk e t c h   g u i d e d   b y   a t t r i b u t e   u si n g   G A N ,   I EEE   Ac c e ss ,   v o l .   7 ,   p p .   2 3 8 4 4 2 3 8 5 1 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / A C C ES S . 2 0 1 9 . 2 8 9 9 4 6 6 .   [ 1 5 ]   J.  Z h e n g ,   Y .   W u ,   W .   S o n g ,   R .   X u ,   a n d   F .   Li u ,   M u l t i - sca l e   f e a t u r e   c h a n n e l   a t t e n t i o n   g e n e r a t i v e   a d v e r sar i a l   n e t w o r k   f o r   f a c e   sk e t c h   s y n t h e si s,”   I EEE   Ac c e ss ,   v o l .   8 ,   p p .   1 4 6 7 5 4 1 4 6 7 6 9 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 3 0 1 5 3 1 2 .   [ 1 6 ]   Y .   F a n g ,   W .   D e n g ,   J.  D u ,   a n d   J.  H u ,   I d e n t i t y - a w a r e   C y c l e G A N   f o r   f a c e   p h o t o - s k e t c h   sy n t h e si a n d   r e c o g n i t i o n ,   P a t t e rn   Re c o g n i t i o n ,   v o l .   1 0 2 ,   p .   1 0 7 2 4 9 ,   Ju n .   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 2 0 . 1 0 7 2 4 9 .   [ 1 7 ]   M .   Zh u ,   J.   L i ,   N .   W a n g ,   a n d   X .   G a o ,   A   d e e p   c o l l a b o r a t i v e   f r a m e w o r k   f o r   f a c e   p h o t o - sk e t c h   s y n t h e si s ,   I EEE   T ra n s a c t i o n o n   N e u ra l   N e t w o rks   a n d   L e a r n i n g   S y st e m s ,   v o l .   3 0 ,   n o .   1 0 ,   p p .   3 0 9 6 3 1 0 8 ,   O c t .   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / TN N LS.2 0 1 8 . 2 8 9 0 0 1 8 .   [ 1 8 ]   Y .   Li n ,   S .   Li n g ,   K .   F u ,   a n d   P .   C h e n g ,   A n   i d e n t i t y - p r e ser v e d   m o d e l   f o r   f a c e   sk e t c h - p h o t o   sy n t h e si s,   I E EE  S i g n a l   Pro c e ss i n g   L e t t e rs ,   v o l .   2 7 ,   p p .   1 0 9 5 1 0 9 9 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / LSP . 2 0 2 0 . 3 0 0 5 0 3 9 .   [ 1 9 ]   N .   H a j a r o l a s v a d i ,   M .   A .   R a mi r e z ,   W .   B e c c a r o ,   a n d   H .   D e m i r e l ,   G e n e r a t i v e   a d v e r sari a l   n e t w o r k i n   h u m a n   e m o t i o n   sy n t h e si s :   a   r e v i e w ,   I EEE   Ac c e ss ,   v o l .   8 ,   p p .   2 1 8 4 9 9 2 1 8 5 2 9 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 3 0 4 2 3 2 8 .   [ 2 0 ]   M .   Z.   K h a n   e t   a l . ,   A   r e a l i st i c   i m a g e   g e n e r a t i o n   o f   f a c e   f r o t e x t   d e s c r i p t i o n   u si n g   t h e   f u l l y   t r a i n e d   g e n e r a t i v e   a d v e r sari a l   n e t w o r k s,”   I EEE   Ac c e ss ,   v o l .   9 ,   p p .   1 2 5 0 1 2 6 0 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / A C C E S S . 2 0 2 0 . 3 0 1 5 6 5 6 .   [ 2 1 ]   P .   Li ,   B .   S h e n g ,   a n d   C .   L.   P .   C h e n ,   F a c e   s k e t c h   s y n t h e si s   u s i n g   r e g u l a r i z e d   b r o a d   l e a r n i n g   s y st e m,   I EE T ra n s a c t i o n o n   N e u ra l   N e t w o rks   a n d   L e a r n i n g   S y st e m s ,   v o l .   3 3 ,   n o .   1 0 ,   p p .   5 3 4 6 5 3 6 0 ,   O c t .   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / TN N LS.2 0 2 1 . 3 0 7 0 4 6 3 .   [ 2 2 ]   M .   Z h a n g ,   Y .   L i ,   N .   W a n g ,   Y .   C h i ,   a n d   X .   G a o ,   C a s c a d e d   f a c e   s k e t c h   sy n t h e s i s u n d e r   v a r i o u s i l l u mi n a t i o n s,”   I E EE  T ra n s a c t i o n s   o n   I m a g e   Pro c e ss i n g ,   v o l .   2 9 ,   p p .   1 5 0 7 1 5 2 1 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / TI P . 2 0 1 9 . 2 9 4 2 5 1 4 .   [ 2 3 ]   Q .   Li u ,   H .   Z h a o ,   Y .   W a n g ,   F .   Z h a n g ,   a n d   M .   R a mas a my ,   S k e t c h   t o   p o r t r a i t   g e n e r a t i o n   w i t h   g e n e r a t i v e   a d v e r sar i a l   n e t w o r k s   a n d   e d g e   c o n s t r a i n t ,   C o m p u t e rs  a n d   El e c t ri c a l   E n g i n e e r i n g ,   v o l .   9 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . c o m p e l e c e n g . 2 0 2 1 . 1 0 7 3 3 8 .   [ 2 4 ]   X .   Li ,   F .   G a o ,   a n d   F .   H u a n g ,   H i g h - q u a l i t y   f a c e   sk e t c h   s y n t h e s i v i a   g e o met r i c   n o r ma l i z a t i o n   a n d   r e g u l a r i z a t i o n ,   i n   2 0 2 1   I EEE   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Mu l t i m e d i a   a n d   Ex p o   ( I C M E) ,   J u l .   2 0 2 1 ,   p p .   1 6 .   d o i :   1 0 . 1 1 0 9 / I C M E 5 1 2 0 7 . 2 0 2 1 . 9 4 2 8 3 4 8 .   [ 2 5 ]   J.  G u o   a n d   Y .   Li u ,   F a c i a l   p a r t s   sw a p p i n g   w i t h   g e n e r a t i v e   a d v e r sari a l   n e t w o r k s,   J o u r n a l   o f   V i su a l   C o m m u n i c a t i o n   a n d   I m a g e   Re p r e se n t a t i o n ,   v o l .   7 8 ,   p .   1 0 3 1 5 2 ,   Ju l .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . j v c i r . 2 0 2 1 . 1 0 3 1 5 2 .   [ 2 6 ]   H .   B i ,   Z .   L i u ,   L.   Y a n g ,   K .   W a n g ,   a n d   N .   Li ,   F a c e   s k e t c h   s y n t h e s i s:   a   s u r v e y ,   M u l t i m e d i a   T o o l s   a n d   A p p l i c a t i o n s ,   v o l .   8 0 ,   n o .   1 2 ,   p p .   1 8 0 0 7 1 8 0 2 6 ,   M a y   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 2 0 - 1 0 3 0 1 - 0.   [ 2 7 ]   S .   Ji a n g ,   Z.   Ta o ,   a n d   Y .   F u ,   G e o m e t r i c a l l y   e d i t a b l e   f a c e   i ma g e   t r a n sl a t i o n   w i t h   a d v e r sari a l   n e t w o r k s,”   I E EE   T ra n s a c t i o n o n   I m a g e   Pr o c e ssi n g ,   v o l .   3 0 ,   p p .   2 7 7 1 2 7 8 3 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / TI P . 2 0 2 1 . 3 0 5 2 0 8 4 .   [ 2 8 ]   K .   K .   B a b u   a n d   S .   R .   D u b e y ,   C S G A N :   c y c l i c - s y n t h e s i z e d   g e n e r a t i v e   a d v e r sar i a l   n e t w o r k s   f o r   i ma g e - to - i ma g e   t r a n sf o r mat i o n ,   Ex p e rt   S y st e m s w i t h   Ap p l i c a t i o n s ,   v o l .   1 6 9 ,   p .   1 1 4 4 3 1 ,   M a y   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 2 0 . 1 1 4 4 3 1 .   [ 2 9 ]   W .   X i a ,   Y .   Y a n g ,   a n d   J. - H .   X u e ,   C a l i - s k e t c h :   s t r o k e   c a l i b r a t i o n   a n d   c o mp l e t i o n   f o r   h i g h - q u a l i t y   f a c e   i m a g e   g e n e r a t i o n   f r o m   h u m a n - l i k e   sk e t c h e s,   N e u ro c o m p u t i n g ,   v o l .   4 6 0 ,   p p .   2 5 6 2 6 5 ,   O c t .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . n e u c o m. 2 0 2 1 . 0 7 . 0 2 9 .   [ 3 0 ]   N .   A .   M a sh u d i ,   N .   A h ma d ,   a n d   N .   M o h d   N o o r ,   L i W G A N :   a   l i g h t   me t h o d   t o   i m p r o v e   t h e   p e r f o r m a n c e   o f   g e n e r a t i v e   a d v e r sar i a l   n e t w o r k ,   I EEE   Ac c e ss ,   v o l .   1 0 ,   p p .   9 3 1 5 5 9 3 1 6 7 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 2 . 3 2 0 3 0 6 5 .   [ 3 1 ]   U .   O sah o r   a n d   N .   M .   N a sr a b a d i ,   T e x t - g u i d e d   sk e t c h - to - p h o t o   i m a g e   s y n t h e s i s,”   I EEE   Ac c e ss ,   v o l .   1 0 ,   p p .   9 8 2 7 8 9 8 2 8 9 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 2 . 3 2 0 6 7 7 1 .   [ 3 2 ]   K .   K o ,   T.   Y e o m,  a n d   M .   Le e ,   S u p e r st a r G A N :   g e n e r a t i v e   a d v e r sar i a l   n e t w o r k f o r   i m a g e - to - i m a g e   t r a n sl a t i o n   i n   l a r g e - sc a l e   d o m a i n s,   N e u ra l   N e t w o rks ,   v o l .   1 6 2 ,   p p .   3 3 0 3 3 9 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . n e u n e t . 2 0 2 3 . 0 2 . 0 4 2 .   [ 3 3 ]   X .   W a n g   a n d   X .   Ta n g ,   F a c e   p h o t o - sk e t c h   s y n t h e s i a n d   r e c o g n i t i o n ,   I EEE   T ra n s a c t i o n s   o n   P a t t e r n   A n a l y si a n d   M a c h i n e   I n t e l l i g e n c e ,   v o l .   3 1 ,   n o .   1 1 ,   p p .   1 9 5 5 1 9 6 7 ,   2 0 0 9 ,   d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 0 8 . 2 2 2 .   [ 3 4 ]   W .   Zh a n g ,   X .   W a n g ,   a n d   X .   Ta n g ,   C o u p l e d   i n f o r ma t i o n - t h e o r e t i c   e n c o d i n g   f o r   f a c e   p h o t o - s k e t c h   r e c o g n i t i o n ,   i n   Pr o c e e d i n g o f   t h e   I EE C o m p u t e S o c i e t y   C o n f e re n c e   o n   C o m p u t e V i si o n   a n d   Pa t t e r n   R e c o g n i t i o n ,   2 0 1 1 ,   p p .   5 1 3 5 2 0 .   d o i :   1 0 . 1 1 0 9 / C V P R . 2 0 1 1 . 5 9 9 5 3 2 4 .       B I O G RAP H I E S O F   AUTH O RS          Bu d d a n n a g a r i   La th a           is  p u r su in g   h e P h . D .   i n   a rti ficia i n tel li g e n c e   a Ko n e ru   Lak sh m a i a h   E d u c a ti o n   F o u n d a ti o n ,   Vijay a wa d a ,   A n d h ra   P ra d e s h .   S h e   h o l d a n   M . Tec h   i n   Co m p u ter  S c ie n c e   En g i n e e rin g   f ro m   JN TUH  (2 0 1 5 a n d   a   B. Te c h   in   C o m p u ter  S c ien c e   &   En g i n e e rin g   fr o m   S ri d e v W o m e n ' En g in e e rin g   Co ll e g e ,   JN TU (2 0 0 8 ).   S h e   is  p re se n tl y   wo rk i n g   a a n   a ss istan t   p r o fe ss o r   in   th e   De p a rtme n o C o m p u ter   S c ien c e   a n d   En g in e e rin g   a t   Ra ji v   G a n d h Un iv e rsit y   o Kn o wle d g e   Tec h n o l o g ies   -   Ba sa r,   Te lan g a n a ,   a n d   h a 1 0   y e a rs  o f   tea c h in g   e x p e rien c e .   He re se a rc h   in tere sts  i n c lu d e   d e e p   lea rn i n g   a n d   m a c h in e   lea rn i n g .   S h e   c a n   b e   c o n tac ted   a e m a il lath a . re d d y 5 8 0 8 @ g m a il . c o m .         Athi y o o r   K a n n a n   Ve l m u r u g a n           g ra d u a ted   i n   c o m p u ter   sc ien c e   a n d   e n g in e e rin g   fro m   Aru n a E n g in e e rin g   Co l leg e ,   a ffil iate d   wit h   t h e   Un iv e rsit y   o M a d ra s,  Ch e n n a i.   H e   o b tai n e d   h is  M . Tec h .   in   c o m p u t e sc ien c e   a n d   e n g i n e e rin g   fr o m   Dr.  M G Ed u c a ti o n a a n d   Re se a rc h   In stit u te  (De e m e d   Un i v e rsity ),   C h e n n a i,   a n d   e a rn e d   h is   P h . D.   in   Co m p u ter  S c ie n c e   a n d   En g in e e rin g   fro m   S t .   P e ter’s   In stit u te  o Hi g h e Ed u c a ti o n   a n d   Re se a rc h   (De e m e d   Un iv e rsity ) ,   Ch e n n a i.   He   is  c u rr e n tl y   w o rk i n g   a a   p ro f e ss o in   t h e   De p a rtme n o C o m p u ter   S c ien c e   a n d   E n g i n e e rin g   a De e m e d   to   b e   Un i v e rsity ,   Va d d e s wa ra m ,   Vijay a wa d a ,   An d h ra   P ra d e sh .   He   h a 2 3   y e a rs  o a c a d e m ic  e x p e rien c e   a n d   h a p u b li sh e d   n u m e ro u s   re se a rc h   a rti c les   in   r e p u ted   j o u r n a ls,  b o o k   c h a p ter s,  a n d   c o n fe re n c e   p r o c e e d in g s .   His  a re a o in tere st  in c l u d e   wire les se n so n e two r k s,   in ter n e o f   th in g s,  a rti ficia l   in telli g e n c e ,   a n d   m a c h in e   lea rn in g .   H e   c a n   b e   c o n tac ted   a e m a il :   a k v e lm u ru g a n 7 4 @g m a il . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.