I nte rna t io na l J o urna l o f   Appl ied P o w er   E ng ineering   ( I J AP E )   Vo l.  14 ,   No .   3 Sep tem b er   20 25 ,   p p .   60 0 ~ 61 2   I SS N:  2252 - 8792 DOI 1 0 . 1 1 5 9 1 /i j ap e . v 14 . i 3 . pp 60 0 - 61 2           600       J o ur na l ho m ep a g e h ttp : // ija p e. ia esco r e. co m/   Ba tt ery cy cle li fe  a nd t hro ug hput  opti m i z a tion in  w ir eless   co m m uni ca tion s y ste m  w ith  energy  harv esting  capa bility       O m a E na s s ir i,  Yo us s ef   Ro c hd i,  O ua do ud Z y t o un e   EN S A ,   I b n   T o f a i l   U n i v e r si t y ,   K e n i t r a ,   M o r o c c o       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Ma y   3 ,   2 0 2 4   R ev i s ed   Ma r   1 8 ,   2 0 2 5   A cc ep ted   J u n   2 3 ,   2 0 2 5       T h is   re se a rc h   p a p e p r o p o se a   n o v e a p p ro a c h   to   a d d re ss   t h e   e n e rg y   c h a ll e n g e f a c e d   b y   in tern e o f   th in g (Io T d e v ice s.  T h e   w irel e ss   c o m m u n ica ti o n   s y ste m   in v o lv e a   tr a n s m it ter  e q u ip p e d   w it h   e n e rg y   h a rv e stin g   m o d u le   th a c h a rg e b o th   a   re c h a rg e a b le  b a tt e r y   a n d   a   c a p a c it o r   th ro u g h   a n   e n e rg y   sto ra g e   m a n a g e m e n sy st e m   ( E S M S ).   T h is   E S M S   is  b a se d   o n   a   re in f o rc e m e n lea rn in g   a lg o rit h m   to   d y n a m ica ll y   s w it c h   b e tw e e n   th e   b a tt e ry   a n d   th e   c a p a c it o r ,   e n su rin g   e ff icie n p o w e u ti li z a ti o n .   T h is   re in f o rc e m e n lea rn in g   a lg o r it h m   e n a b les   t h e   d e v ice   to   lea rn   a n d   a d a p it e n e rg y   c o n su m p ti o n   p a t tern b a s e d   o n   e n v iro n m e n tal  c o n d it io n a n d   u sa g e ,   o p ti m izin g   e n e rg y   u sa g e   o v e r   t im e .   A d d it io n a ll y ,   th e   s y ste m   e m p lo y a   ra in f lo w   c o u n ti n g   m e th o d   to   e stim a te  th e   sta te - of - h e a lt h   (S o H)  o f   th e   b a tt e ry ,   e n su rin g   it lo n g e v it y   a n d   o v e ra ll   s y ste m   p e r f o r m a n c e .   B y   c o m b in in g   th e se   a p p r o a c h e s,  th e   p ro p o se d   sy ste m   a i m to   sig n if ica n tl y   im p ro v e   th e   e n e rg y   e ff icie n c y   a n d   li f e sp a n   o f   Io d e v ice s,  a s   w e ll   a th e   a m o u n o f   d a ta  se n f o r   d if f e r e n tem p e r a tu re   ra n g e s,  u lt im a tel y   e n h a n c i n g   th e ir  c o st - e f fe c ti v e n e ss   a n d   p e rf o rm a n c e .   K ey w o r d s :   B atter y   C ap ac ito r   E n er g y   h ar v esti n g   I n ter n et  o f   t h i n g s   R ein f o r ce m e n t le ar n in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   O m ar   E n a s s ir i   E NS A ,   I b n   T o f ail  Un iv er s it y   Ken itra ,   Mo r o cc o   E m ail:  o . en a s s ir i @ u m 5 r . ac . m a       1.   I NT RO D UCT I O   On o f   th m ai n   c h alle n g e s   i n   th i n ter n et   o f   t h i n g s   ( I o T )   a r ea   lies   i n   t h n ee d   f o r   en er g y   w h er ev er   d ev ices  ar e   in s talled ,   ac r o s s   a ll  f ield s   o f   ap p licatio n   [ 1 ] ,   [ 2 ] .   T h is   ch al len g is   p ar tic u lar l y   p r o n o u n ce d   f o r   s en s o r   n o d es  p lace d   in   i n ac ce s s ib le  ar ea s ,   s u c h   as   b io m ed i ca s en s o r s   i m p lan ted   i n   t h h u m a n   b o d y ,   w h er e   b atter y   r ep lace m en is   e x ce ed in g l y   d i f f ic u lt.  I n   s u c h   ca s e s ,   b atter y   li f is   cr u cial  to   e n s u r co n tin u o u s   p o w er   f o r   th ese  d ev ice s ,   ex e m p li f ied   b y   p ac e m a k er s   an d   i m p la n tab le  d ef ib r illato r s .   T o   a d d r ess   th is   is s ue ,   s i g n i f ica n t   atten tio n   h a s   b ee n   g i v en   to   r en e w ab le  en er g ies  to   ex te n d   th lif e s p an   o f   b atter ie s   p o w er i n g   th e s d ev ice s .   I n   th is   co n te x t,  en er g y   h ar v est in g   e m er g es   as  h i g h l y   p r o m i s in g   s o l u tio n ,   p ar tic u lar l y   f o r   d ev ices  w i th   lo w er   en er g y   co n s u m p tio n   [ 3 ] .   C o m b in ed   w it h   h y b r id   s to r ag e   s y s te m   co m p o s ed   o f   b atter ie s   an d   ca p ac ito r s ,   th ese   s y s te m s   ar ca p ab le  o f   p o w er in g   w ir eles s   s e n s o r   n et w o r k s   ( W SNs ) .   Var io u s   to p o lo g ies  an d   co n f ig u r atio n s   co m b i n i n g   b atter ies  a n d   ca p ac ito r s   ar d is cu s s ed   i n   [ 4 ] [ 5 ] .   T h k e y   a s p ec i n v o l v es   th e   m an a g e m e n o f   th e   s to r ag e   s y s te m   o f   t h h ar v e s ted   en er g y   b ased   o n   t h r e q u ir e m e n ts   a n d   co n d itio n s   o f   t h I o T   d ev ices .   T h er ef o r e,   ef f ec ti v en er g y   s t o r ag m an a g e m e n t s y s te m s   ( E SMS)   m u s t b e m p lo y ed   [ 6 ] [ 7 ] .     Sin ce   I o T   de v ices  r eq u ir co n tin u o u s   p o w er   a n d   m o s t   o f   th e m   ar b atter y - p o w er ed ,   t h e y   ar f ac i n g   f i n ite  b atter y   li f an d   h ig h   e n er g y   co n s u m p tio n ,   esp ec iall y   in   i n ac ce s s ib le  o r   h az ar d o u s   lo ca tio n s .   E n er g y   h ar v e s tin g   tec h n o lo g y   ad d r ess es  t h is   b y   co n v er ti n g   e n er g y   f r o m   s o u r ce s   li k s o l ar ,   th er m al,   w in d ,   m ec h a n ical,   p y r o elec tr ic,   a n d   R F   i n to   u s ab le  e lectr ical  e n er g y ,   e n h an c in g   th e   ef f icie n c y ,   d u r ab ilit y ,   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A p p l P o w er   E n g   I SS N:   2252 - 8792       B a tter cy cle  life a n d   th r o u g h p u t o p timiz a tio n   in   w ir eless   co mmu n ica tio n   s ystem  … ( Oma r   E n a s s ir i )   601   lif eti m e   o f   I o T   d ev ices  [ 8 ] .   Se v er al  s tu d ie s   h av e   ad d r ess ed   t h p r o b le m   o f   e n er g y   m a n a g e m en i n   th e   I o T .   I n   [ 9 ] ,   th e   au th o r s   h a v p r o p o s ed   to   m i n i m ize  th v o lu m o f   d ata  th at  m a y   b tr an s m it ted   th r o u g h   th I o T   en v ir o n m e n a n d   s ch ed u le   t h w o r k   o f   cr it ical  en er g y   I o T   n o d es  f o r   b etter   en er g y   e f f ic ien c y .   Als o ,   f a u lt   to ler an ce   s ce n ar io   is   ap p lied   to   ad d r ess   th en er g y   p r o b le m s   f ac ed   b y   I o T   n o d es.   I n   [ 1 0 ] ,   th au th o r s   p r o p o s ed   r ein f o r ce m e n lea r n in g   m et h o d   to   d ea w it h   th b atter y   leak a g f o r   w ir el ess   co m m u n icatio n   s y s te m s .   T h r esear c h   p ap er   [ 1 1 ]   ad d r ess ed   s et  o f   al g o r ith m s   t h at  s tu d y   e n er g y   m a n ag e m en i n   t h e   f ie ld   o f   I o T .   I lis ted   th e   ad v a n tag e s   a n d   li m itatio n s   o f   ea c h   o n e   an d   r aised   s et   o f   q u est io n s   r eg a r d in g   t h q u alit y   o f   s er v ices   in   t h I o T   an d   h o to   ex te n d   its   li f esp a n   f r o m   an   e n er g y   p er s p ec tiv e.   Fi n all y ,   it  co n clu d ed   b y   cr ea tin g   co m p ar ati v tab le  b et w ee n   t h ese   alg o r it h m s .   An o th er   s t u d y   r elied   o n   p r ed ictin g   th b atter y   li f o f   I o T   d ev ices   u s in g   t h r an d o m   f o r est  r eg r es s io n   a lg o r it h m   is   p r o p o s ed   in   [ 1 2 ] .   T h m o d el  is   test ed   u s i n g   t h e   ' B ea ch   W ater   Qu a lit y     Au t o m a ted   Se n s o r s '   d ata s et,   w h i ch   co m es  f r o m   s e n s o r s   i n   a n   I o T   n et w o r k   i n   C h ica g o ,   US A .   T h m o d el  in c o r p o r ates  v ar io u s   p r e - p r o ce s s in g   tec h n iq u es  a n d   ac h ie v e s   p r ed ictiv ac cu r ac y   o f   9 7 i n   p r ed ictin g   t h b atte r y   li f o f   I o T   d ev ices.  I n   [ 1 3 ] ,   p latf o r m   is   in tr o d u ce d   t h at   co m b in e s   s e n s in g   p r o ce s s in g ,   an d   w ir e les s   co m m u n icat io n   f ea t u r es   f o r   lo w - p o w er   I o T   b ased   s y s te m s .   I in cl u d es  a n   e n er g y   m an a g e m e n i n teg r ated   cir c u i ( IC )   d esig n ed   f o r   h i g h l y   ef f i cien e n er g y   h ar v est in g ,   m ak i n g   it  id ea f o r   lo w - p o w er   an d   co m p ac e n er g y   s o u r ce s .   T h is   p lat f o r m   ac c o m m o d ates   v ar io u s   p o w er   s u p p l y   o p tio n s   a n d   in te g r ates   a   h y b r id   en er g y   s to r ag s y s te m .   An   e n er g y   m an a g e m en s tr ateg y   u tili z in g   a   r ein f o r ce m e n lear n i n g   alg o r ith m   is   o u tli n ed   i n   [ 1 4 ] .   T h is   E SMS   f u l f ill s   s ev er al  s tr i n g e n cr i ter ia,   in c lu d i n g   lo w   p o w er   co n s u m p tio n ,   h ig h   r eliab ilit y ,   s el f - s u f f icie n c y   in   p o w er   s u p p l y ,   an d   d ata  b ac k u p   to   h an d le  u n ex p ec ted   f ailu r e s .   E n er g y   is   co llected   v ia  s o lar   p a n els  a n d   s to r ed   in   s u p er ca p ac ito r s .   T h d ev elo p ed   s y s te m   w a s   a p p lied   to   p h y s ica l   E SMS  d ev ice   an d   te s ted   in   r ea l - w o r ld   co n d itio n s   to   g a th er   p r ac tical  d ata.   A   s tu d y   ex p lo r es  m u lt ip le  ap p r o ac h es  to   o p tim ize  en er g y   s y s te m s   a n d   i m p r o v b atter y   p er f o r m an ce   a n d   lif e s p an   is   p r esen ted   in   [ 1 5 ] .   I t   ex a m in e s   t h p o w er   r eq u ir e m en ts   f o r   telec o m   s ite   b ac k u p s   an d   ev al u ate s   t h i m p ac ts   o f   v ar io u s   p ar a m eter s   o n   b atter y   li f e,   p r o p o s in g   m e th o d s   to   o p ti m ize  b atter y   c h a r g in g   m a n ag e m e n t   f o r   e n h a n ce d   lo n g e v it y   a n d   p er f o r m a n ce .   I n   [ 1 6 ] ,   an   ad v an ce d   f o r ec asti n g   m o d el,   s u c h   as  lo n g   s h o r t - ter m   m e m o r y   ( L ST M)   an d   b ac k   p r o p ag atio n   n eu r al  n et w o r k   ( B P NN) ,   ar u ti lized   to   p r ed ic s o lar   p lan p o w er   o u tp u t,  d em o n s tr atin g   r es u lts   clo s el y   ali g n ed   w it h   ac tu al  p o w er   p r o d u ctio n .   Dh ak ed   an d   B ir la   [ 1 7 ]   im p le m e n ted   s o lar - t h er m al  d is h - Sti r lin g   s y s te m   w it h   b atter y   s t o r ag in   a n   i s lan d ed   m icr o g r i d ,   in te g r atin g   co n tr o l   s c h e m to   m an a g p o w er .   T h s y s te m   ac h ie v es  3 0 e f f icien c y ,   r eliab l y   s u p p l y in g   e n er g y   i n   s tead y - s ta te  co n d itio n s ,   w h i le  th e   b atter y   ef f ec tiv e l y   s u p p o r ts   th lo ad   d u r in g   tr an s ie n t p er io d s .   T o   ad d r ess   th ese  is s u es,  th i s   p ap er   p r o p o s es   an   en er g y   h ar v est in g   s y s te m   t h at  ex p lo r es  th co m b i n atio n   o f   ca p ac ito r s   an d   b atter ies  to   s to r en er g y   a n d   p o w er   s e n s o r   n o d es.  T h r ain f lo w   a lg o r it h m   is   u s ed   to   e s ti m ate  b atter y   l if e,   w h ile   th e   r ein f o r ce m e n lear n in g   al g o r ith m   d eter m i n es  t h e   o p ti m al  s tate  o f   a   w ir ele s s   s en s o r   n o d b as ed   o n   av a ilab le  en er g y ,   b atter y   s ta tu s ,   an d   i n f o r m atio n   c ap ac it y   d u r i n g   th e   d esig n ated   tr an s m i s s io n   p er io d .   T h is   ap p r o ac h   h elp s   ad ap t h m o d el  to   d y n a m ic  w o r k i n g   e n v ir o n m en an d   ex ten d   t h b atter y   li f esp a n .   T h o r g an izatio n   o f   t h is   p ap er   is   as  f o llo w s T h m et h o d s   s ec tio n   p r o v id es   d etailed   d es cr ip tio n   o f   th p r o ce d u r es  f o llo w ed   i n   th i s   w o r k ,   i n cl u d in g   th j u s t if icat io n   f o r   th ch o s e n   al g o r ith m .   T h is   is   f o llo w ed   b y   r esu lt s   an d   d is cu s s io n   s ec tio n ,   w h er o u r   f in d i n g s   an d   i n ter p r etatio n s   o f   t h r esu l ts   ar e   p r esen ted .   Fi n all y ,   t h e   p ap er   co n clu d es  w it h   t h co n c lu s io n   s ec tio n .       2.   M E T H O DS   A   s ig n i f ica n ch a llen g w it h i n   th e s E SMS  i s   b atter y   d eg r ad atio n   d u to   d ee p   d is ch ar g an d   h i g h   cu r r en d e m a n d   [ 9 ] .   Hig h   ch a r g e/d is ch ar g r ates  ar i n f lu e n ce d   b y   t h t y p es   an d   c h ar ac ter is tics   o f   b atter ie s   an d   ca p ac ito r s   [ 1 1 ] ,   [ 1 2 ] .   I n   th is   s t u d y ,   o u r   f o cu s   is   o n   w ir e l ess   n o d es  o f   an   I o T   b ased   s y s t e m ,   ass u m i n g   th eir   tr an s m itter s   ar eq u ip p ed   w it h   a n   e n er g y   r ec o v er y   s y s te m .   T h co llected   en er g y   ca n   b s to r ed   eith er   i n   t h e   b atter y   o r   i n   th ca p ac ito r   v i p r e - in s talled   ( s ee   Fi g u r 1 ) .   C o m m u n icatio n s   o cc u r   with i n   li m ited   ti m e   in ter v a ls ,   w it h   tr a n s m itter s   co n d u cti n g   tr an s m is s io n s   o v er   e q u al  ti m d u r atio n s ,   ca lled   ti m e - s lo a n d   d en o ted   as  .   I is   ass u m ed   th a d ata  p ac k ets  ar r i v p er io d icall y   a n d   ar tr an s m itted   i n   t h s u b s eq u en t   ti m e - s lo   A   g e n er ated   d ata  p ac k et  i s   tr a n s m itted   i n   t h f o llo w i n g   ti m e   s lo u n le s s   d ee m ed   u n n ec ess a r y   ( e. g . ,   f o r   co n tr o ap p licatio n s ) .   T h tr an s m is s i o n   ch a n n el  r e m ai n s   co n s ta n t   d u r in g   ea ch   tr a n s m is s io n   p er io d .   E ac h   n o d e   tr an s m itter   i s   eq u ip p ed   w ith   a n   en er g y   h ar v esti n g   s to r ag s y s te m   a n d   h ar v ested   e n er g y   is   s to r ed   in   eit h er   th e   b atter y   o r   th ca p ac ito r   an d   ca n   b d ir ec tl y   u s ed   f o r   th n ex p er io d ,   b y   p o w er   m an a g e m e n t   s y s te m   b ased   o n   th e n er g y   le v e ls   s to r ed   in   b o th   d ev ice s   ( b atter y /cap ac ito r ) T h E SMS  s elec t s   t h ap p r o p r iate  s to r ag u n it,   eith er   th b atter y   o r   th ca p ac ito r ,   d ep en d in g   o n   th r e m ai n in g   q u a n tit y   o f   e n er g y   i n   ea ch   u n it.  C u r r en t l y m o s o f   t h s e n s o r   n o d es  t h at  ar p o w er ed   b y   h ar v e s ted   en e r g y   r eq u ir p o w er   m a n a g e m en s y s te m   ( P MS)   to   ad ap th s to r ed   en er g y   to   th r elate d   elec tr o n ic  cir cu it s   d u r in g   v ar io u s   o p er atio n s   ( s u ch   as  p r o ce s s in g   a n d   tr an s m itti n g   ca p tu r ed   d ata) .   I n d ee d ,   th elec tr ical  e n er g y   p r o v id ed   b y   th e n er g y   h ar v ester   o f te n   ex h ib its   u n s tab le  v o lta g e,   cu r r en t,  an d   p o w er   lev els  t h at  ar n o d ir e ctl y   s u itab le  f o r   s u p p l y i n g   th e   elec tr o n ic  s y s te m .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8792   I n t J   A p p l P o w er   E n g Vo l.  14 ,   No .   3 ,   Sep tem b er   20 25 :   60 0 - 61 2   602   Mo r eo v er ,   d u to   th in ter m i t ten n a tu r o f   s ca v e n g ed   en er g y   s o u r ce s ,   t h p o w er   m a n a g e m en cir cu it  m u s t   d etec th h ar v e s ted   p o w er   l e v el  a n d   p o ten tiall y   s w itc h   t o   an   id le  s tate  w h e n   t h q u an tit y   o f   p o w er   i s   in s u f f icien t ( i.e . ,   w h e n   t h p o w er   co n s u m ed   b y   t h m a n ag e m en t c ir cu it e x ce ed s   t h s ca v e n g ed   p o w er ) .     2 . 1 .     E nerg y   ha r v esting   T h r en e w ab le  en er g y   c a n   b h ar v ested   f r o m   v ar io u s   ex t er n al  s o u r ce s   [ 1 8 ] .   T h ese  s o u r ce s   ar e   class i f ied   ac co r d in g   to   h a r v es t - s to r e - u s an d   h ar v e s t - u s [ 1 9 ].   T h h ar v ested   en er g y   i s   d en o te as   .   Sin ce   th p r ese n ce   o f   th e s e n er g y   s o u r ce s   is   d i s co n ti n u o u s   in   n at u r e,   elec tr o n ic  s y s te m s   p o w er ed   b y   e n er g y   h ar v e s tin g   m u s i n clu d P MS  an d   s to r ag d ev ice  to   s to r th s ca v e n g ed   en er g y .   So ,   co n v er s io n   o f   th e   r ec o v er ed   en er g y   is   n ec es s ar y   to   m a k it  co m p atib le  a n d   r ea d y   f o r   u s e.   I n d ee d ,   th e   u s a g e   o f   tr an s d u ce r   is   ess e n tial  to   ad ap t h o b tain ed   en er g y   to   t h u s u al  s to r ag d ev ice ;   t h d i f f er en tr an s d u ce r s   ar m e n tio n ed   i n   [ 20 ] [ 21 ] .   T h s ch e m atic   o f   t y p ical   m o b ile   s e n s o r   s y s te m   p o w er ed   b y   e n er g y   h ar v es tin g   i s   p r ese n ted   i n   Fig u r 2 .   T h en er g y   s o u r ce   is   s ca v en g ed   b y   t h e n er g y   h ar v esti n g   tr an s d u ce r   an d   co n v er ted   to   elec tr ical   en er g y ,   ev e n   th o u g h   it c a n n o b u s ed   in   t h ac tu al  f o r m   to   p o w er   th elec tr o n ic  s y s te m .           Fig u r 1.   Sto r ag an d   m a n ag e m en t s y s te m   o f   e n er g y   h ar v est in g           Fig u r 2 .   E n er g y   h ar v e s ti n g   m an ag e m e n t       2 . 2 .     B a t t er y   f e a t ures a na ly s is   I n   t h f ield   o f   t h w ir ele s s   s e n s o r   n et w o r k ,   th e   b atter y   is   th e   co r n er s to n e   f o r   co n tin u it y   o f   s er v ice  o f   co n n ec ted   o b j ec ts   in   d ail y   li f e,   w h ic h   m a k es  th e   m o s cr it ical  co m p o n e n ts   o f   a n y   I o T   d ep lo y m en t   is   t h ch o ice  o f   b atter ies.  T h at  i s   w h y   ch o o s i n g   t h r ig h t b atter y   f o r   th s m ar t d ev ice  is   c h alle n g in g   ta s k   b ec au s e   it   d ep en d s   o n   s e v er al  p ar a m e te r s   [ 22 ] .   A ls o ,   b atter y   p er f o r m an ce   g e ts   r ed u ce d   b y   t w o   s id es,  p h y s ica an d   ch e m ical.   Ge n er all y ,   th e   e n d   o f   li f f o r   b atter ies  i s   d e f in ed   as  8 0 o f   th e   n o m i n al  ca p ac it y ( i.e . ,   th e   b atter y   i s   co n s id er ed   as  d ea d   w h e n   it  l o s es  8 0 o f   th e   n o m i n al  ca p ac it y ) .   I n   g e n er al,   t h ca p ac it y   o f   b atter ies  f ad es   m ai n l y   w i th   t h f o llo w i n g   s tr ess   f ac to r s   [ 23 ] ,   as  th te m p er atu r e,   n u m b er   o f   c y cle s   o f   ch ar g an d   d is ch ar g e,   th s tate  o f   c h ar g ( So C )   s w i n g ,   th C - r ate,   th w aiti n g   p er io d s ,   an d   th So in   w aiti n g   p er io d s .   T h b atter ies   ar ch ar ac ter ized   b y   s ev er al  p ar a m eter s   s u c h   as  v o lta g an d   ca p ac it y .   T h v o ltag m ai n l y   d ep en d s   o n   th So C   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A p p l P o w er   E n g   I SS N:   2252 - 8792       B a tter cy cle  life a n d   th r o u g h p u t o p timiz a tio n   in   w ir eless   co mmu n ica tio n   s ystem  … ( Oma r   E n a s s ir i )   603   an d   th te m p er at u r o f   t h b atter y ,   w h ile  t h ca p ac it y   r ep r esen ts   t h a m o u n o f   ch ar g d eliv er ed   b y   t h e   b atter y   at  t h r ated   v o lta g e.   T h is   r elatio n s h ip   is   e x p lain ed   i n   ( 1 ) .     = .   ( 1 )     W h er k   is   th P eu k er ex p o n en ( t y p icall y   k   ϵ   {1 . 0 ,   1 . 3 as  s tated   in   [ 24 ] ,     is   th c ap ac ity ,     is   th d is ch ar g e   cu r r en t ,   an d     is   th ti m at  t h m i n i m u m   d i s ch ar g e.   T h b atter y   So C   is   d ef in ed   as  t h e   p er ce n tag o f   t h b atter y   ca p ac it y   av ai lab le  f o r   d is ch ar g e.   I t c an   b e   ex p r es s ed   as ( 2 ) .      =  0    ( 2 )     T h ca p ac ity     is   m ea s u r ed   in   am p er e - h o u r s   ( Ah ) ,   0   is   th b atter y   v o ltag e ,   an d     is   en er g y   o f   b atter y .   An o t h er   p ar a m eter   t h at   i s   also   i m p o r tan t   is   th e   d ep th   o f   d is c h ar g e   ( Do D) .   I is   d e f in ed   a s   t h e   p er ce n tag o f   t h b atter y   ca p ac it y   t h at  h a s   b ee n   d is c h ar g ed .      =  .   .   ( 3 )     T h So C   a n d   Do D   s i g n if ican t l y   a f f ec b atter y   l if e,   alo n g   w i th   o t h er   f ac to r s   l ik e   o p er atin g   ti m a n d   te m p er atu r e.   So C   a n d   Do ar th p r im ar y   f ac to r s   d ete r m in in g   ca len d ar   an d   c y cle  ag in g   o f   b atter ies.   C alen d ar   ag i n g   r elate s   to   ca p ac it y   r ed u ctio n   o v er   ti m e,   w h il cy c le  ag i n g   i s   lin k ed   to   th f r eq u en c y   a n d   d ep th   o f   ch ar g e - d is c h ar g c y cle s   [ 25 ] .   B o th   ty p es  o f   ag i n g   ar i n ter r elate d   an d   cr u cial  f o r   u n d er s tan d in g   b atter y   d eter io r atio n .   I n   [ 2 6 ] ,   [ 2 7 ] ,   th au th o r s   g i v th b atter ie s   lo s ca p ac it y   o v er   ti m a n d   u s e .   T h ca p ac ity   f ad e   f o r   ca len d ar   an d   c y cle  a g in g ,   r esp ec tiv el y ,   is   g iv e n   as   ( 4 )   an d   ( 5 ) .     .  ( , ) = × × ×   ( 4 )     . (  , ) =  ×  × ×   ( 5 )     Th eq u atio n s   p ar a m et e r s   ar e   d ef in ed   as  f o llo w   is   th ti m in   m o n th ,     is   t h te m p er atu r e   i n   Kelv i n ,   an d      is   th n u m b er   o f   c y cles.  T h r est  o f   p ar a m eter s   ar co ef f icien ts   f o r   lith i u m   ir o n   p h o s p h at e   ( LF P   o r   L iFeP O4 )   b atter y   ar as α t = 3 . 087 . 10 7 α NC = 6 . 87 . 10 5 β t = 0 . 05146 β NC = 0 . 027 ,   an d   n = 0 . 5 R ec all  th at  t h m ain   o b j ec tiv h er is   to   esti m ate  t h lif e ti m o f   b atter y   b y   s u itab l m e th o d .   T h r ain f lo w - co u n ti n g   ( R F C )   alg o r ith m   is   u s ef u m eth o d   th esti m ate  t h b atter y   c y cles   n u m b er   [ 28 ] .   R FC   p r o ce s s es  ea ch   So C   c u r v to   r e tu r n   t h e x p er ien ce d   n u m b er   o f   c y cles  a d if f er en Do D.   C o m b i n i n g   r ai n f lo w   w it h   t h r u le  o f   P al m g r en   M i n er   [ 29 ] ,   [ 30 ] ,   th b atter y   d eg r ad atio n   d u r in g   g i v e n   ti m p er io d   is   ex p r ess ed     as   ( 6 ) .     ( % ) = (  ) (  )  = 100  = 1   ( 6 )     W h er D   is   th e   to tal  d a m a g t h at  is   w h e n   = 1 ,   th b atter y   m u s b r ep lace d .     is   th e   n u m b er   o f   c y cle s   r etu r n ed   b y   t h r ain f lo w   alg o r ith m   f o r   ea ch   a m p lit u d e ,   th Do D ,   w h ile  t h N m ax   is   t h n u m b e r   o f   c y cles  t h e   b atter y   ca n   e n d u r f o r   ea ch   g i v en   Do D A cc o r d in g   to   th c u r v e s   th at  g i v es  t h n u m b er   o f   c y cle s   v er s u s   t h e   Do D   p r o v id ed   b y   th d atas h ee o f   m an u f ac t u r er   f o r   th b atter y   VL 3 0 P   ce lls   t y p f r o m   S A FT   b atter ies   co n s id er ed   in   th i s   p ap er   an d   b ased   o n   [ 3 1 ] th n u m b er   o f   c y cles  ( N ma x   is   r ea ch ed   i f   th c ap ac it y   d eg r ad atio n   attain s   3 0 %)  ca n   b ap p r o x i m ated   as ( 7 ) .      ( DoD ) = 3 . 10 7 ×  ( % ) 1 . 825   ( 7 )     T h n u m b er   o f   c y cles  ca n   b ca lcu lated   u s i n g   t h cu r v p r o v id ed   b y   t h m an u f ac t u r er   o f   th V L 3 0 P   b atter y ,   as sh o w n   i n   ( 8 ) .      ( 80 % ) = ( % ) × 10000 100%   ( 8 )     B y   esti m ati n g   t h r e m ai n ed   c ap ac it y   o f   t h b atter y   at  p er ce n tag e   R C %,   it  w i ll  b p o s s i b le  to   d eter m i n t h en d   o f   lif o f   th b atter y   ( E O L )   in   y ea r s   as e x p lain ed   i n   ( 9 ) .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8792   I n t J   A p p l P o w er   E n g Vo l.  14 ,   No .   3 ,   Sep tem b er   20 25 :   60 0 - 61 2   604   1  = × . × (  12 ) + [  ×  . ×  ] ×    ( 9 )     T h s o lu tio n   o f   ( 9 )   ca n   ex p ec t   th lif e ti m o f   th b atter y   in   y ea r s .   T h b atter y   li f eti m i s   ca lcu lated   b ased   o n   th s tep s   il lu s tr ated   in   A l g o r it h m   1 .     A l g o r ith m   1 .   B atter y   li f eti m esti m atio n   p r o ce s s   I n p u t:   -   SOC   v ec to r   ( ti m s er ies o f   s ta te  o f   ch ar g e)   I n itializatio n :   -   Set r e m ai n i n g   ca p ac it y : R C     7 0 %   -   E s ti m a te  Nc y cl   ( DO D)   u s i n g   r ain f lo w   co u n tin g   ( R FC )   ap p lied   to   SOC   C o m p u tatio n   s tep s :   -   Use  e q u atio n   ( 6 )   to   co m p u te  t h d eg r ad atio n   p er ce n ta g ( D%)   -   R ep lace   D% in to   e q u atio n   ( 8 )   to   ca lcu late  th n u m b er   o f   c y c les   ( NC )   -   So lv e q u atio n   ( 9 )   to   d eter m in th b atter y   li f eti m e     2 . 3 .     C a pa ci t o f e a t ures   C ap ac ito r s   ar h ig h l y   v er s a til en er g y   s to r ag d ev ice s   w it h   ap p licatio n s   in   elec tr ic  v eh ic l es,  en er g y   h ar v e s tin g ,   an d   g r id   s tab iliza tio n ,   o f f er i n g   ad v an tag e s   li k h ig h   p o w er   d en s it y ,   lo n g   l if ec y cle,   an d   w id o p er atin g   te m p er atu r e   r an g e.   T h eir   k e y   c h ar ac ter is tic s   i n clu d e   n o m i n al  ca p ac ita n ce ,   w o r k i n g   v o lta g e,   to ler an ce ,   leak a g c u r r en t,   w o r k i n g   te m p er atu r e,   p o lar i za tio n ,   an d   eq u i v alen s er ie s   r esi s tan ce   [ 32 ] .   C ap ac ito r s   h a v th p o ten tial t o   r ep lace   b atter ies d u to   th eir   s u p er io r   p o w er   d en s it y ,   w h ich   s h o r ten s   c h ar g i n g   ti m e s   an d   lo n g er   l if c y cle  [ 33 ] .   T h ey   ar f o r g i v i n g   w h e n   o v er u s ed   a n d   en v ir o n m e n tall y   f r ien d l y ,   m a k i n g   th e m   id ea f o r   I o T   ap p licatio n s .   C ap ac ito r s   ca n   s er v e   as   i n te r m ed iate  s to r ag e   d ev ice s ,   p r o v id in g   p o w er   d u r i n g   b atter y   c h a n g e s   o r   o f f l in p er i o d s ,   an d   as  u n in ter r u p tib le  p o w er   s u p p lies   ( UP S)  in   e m er g e n cies.  A d d itio n al l y ,   h y b r id   ap p licatio n s   co m b in in g   ca p ac ito r s   w it h   b atter ies  c an   o p ti m ize  e n er g y   u s a g a n d   in c r ea s b atter y   lif esp a n .   T h eq u iv ale n t c ir cu i t o f   ca p ac ito r   is   s h o w n   i n   Fi g u r 3.           Fig u r 3.   E q u iv ale n t c ir cu it o f   ca p ac ito r       T h lif esp a n   o f   ca p ac ito r   is   in f lu e n ce d   b y   f ac to r s   s u ch   as  o p er atin g   v o ltag e   an d   te m p er atu r [ 34 ] ,   w it h   lea k ag r esi s ta n ce   ,   eq u iv a len s er ies  r esis tan ce    ,   an d   eq u iv ale n s er ie s   in d u cta n ce s      p lay in g   k e y   r o les.  T h d ielec t r ic  in   r ea ca p ac ito r   m u s h a v h ig h   li m ited   r esis ta n ce   t o   m i n i m ize  cu r r en t   f lo w   b et w ee n   t h p late s   w h e n   v o lta g i s   ap p lied .   L ea k a g r esis ta n ce   t y p icall y   r a n g e s   f r o m   1   MΩ   to   1 0 0   MΩ   an d   ca n   i m p ac ca p ac ito r   p er f o r m a n ce .   E x p er i m e n tal   test s   a n d   m an u f ac t u r er   d ata  ar es s e n tial   f o r   e s ti m ati n g   ca p ac ito r   lif esp an .   T h A r r h e n iu s   eq u atio n   is   k e y   r ef er e n ce   f o r   p r ed ictin g   ca p ac ito r   lif esp a n   [ 35 ] ,   w it h   ag in g   b ein g   i n f lu e n ce d   b y   o p er atin g   co n d itio n s   a n d   te m p er at u r e.     = × ×   ( 1 0 )     W h er   is   th ab s o l u te  te m p er atu r in   ( Kel v e n ) ,     is   t h r ea cti o n   ti m f o r     in   ( ) ,     is   th p ar am eter   to   b e   d eter m in ed   ( ) ,   an d     is   th e n er g y   ac ti v atio n   in    .   W h er ea s     is   g iv e n   by   ( 1 1 ) .     = × ln ( 1 2 ) 1 1 1 2   ( 1 1 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A p p l P o w er   E n g   I SS N:   2252 - 8792       B a tter cy cle  life a n d   th r o u g h p u t o p timiz a tio n   in   w ir eless   co mmu n ica tio n   s ystem  … ( Oma r   E n a s s ir i )   605   T h v alu e s   o f     is   cited   i n   [ 3 6 ] ,   w h ile  e m p ir ical  s a f et y   f ac t o r ,   d ef in ed   as:  I f   0 = 105   th e n   f o r   > 0 ,   = 4 ,   an d   if   0 = 105 ,   th en   f o r   < 0 = 2 ,   also   if   0 = 85   th e n   = 2 .   I n   i n d u s tr y ,   th li f o f   elec tr o l y t ic  ca p ac ito r   is   g i v en   i n   ( 1 2 ) .     = 0 × 2 0  10   ( 1 2 )     W h er   is   th li f o f   t h ca p ac ito r   at  th o p er atin g   te m p er at u r    an d     is   th li f at  t h r ated   te m p er atu r e   .   T h is   m ea n s   t h at  f o r   ev er y   10   in cr ea s in   o p er atin g   te m p er at u r e,   th lif o f   t h elec tr o l y ti ca p ac ito r   r ed u ce s   b y   h al f   [ 3 7 ] .   T h p r ed ictio n   o f   ca p ac ito r   ag in g   is   o f ten   b ased   o n   ex p er i m e n tal   ex tr ac ts   b ased   o n   f ail u r p h y s ics.  A cc o r d in g   t o   A r r h e n iu s '   la w ,   t h li f esp a n   o f   ca p ac ito r   is   i n f lu e n c ed   b y   t h a m b ie n t   te m p er atu r e,   th c u r r en p ass in g   t h r o u g h   it,  an d   th ap p lied   elec tr ical  v o ltag e .   C ap ac ito r   m a n u f ac tu r er s     o f f er ,   in   th eir   ca talo g u es,  f o r m u la  to   esti m ate  th li f es p an   o f   ca p ac ito r s   ( )   ac c o r d i n g   to   th v ar io u s   co n s tr ain ts   [ 3 8 ].     = 0 × × ×   ( 1 3 )     W ith   0   is   th p ar ticu lar   li f ( h o u r s )   i n   ex tr e m o p er atin g   co n d itio n s   ( m ax i m u m   allo w a b le  te m p er atu r e) .   W h ile  t h o th er   co ef f ic ien t s   ar   is   t h te m p er at u r f ac to r   an d   K T = 2 T 0 T c 10   w it h   0   is   u p p er   ca teg o r y   te m p er atu r e.   T h   is   th a m b i en te m p er at u r in   t h ap p lica tio n .     is   t h r ip p le  cu r r en f ac t o r   = 0 10   w it h   = 1 ( 0 ) 2   an d   =  1 . 4 ,   w h er    an d     ar r esp ec tiv el y   th r ip p le  cu r r en in   ap p licatio n s   a n d   th e   f r eq u en c y - n o r m alize d   r ip p le  c u r r en t,  0   is   th n o m i n al  r ip p le  c u r r en at  u p p er   ca teg o r y   te m p er atu r e,   an d   ∆T 0   is   c o r te m p er atu r i n cr ea s o f   elec tr o l y tic  ca p ac ito r s .     is   th v o ltag f ac to r   is   e x p r ess e d   b y   = ( 0 ) w h er V 0   an d   V x   ar r e s p ec tiv el y   t h r ated   v o lta g a n d   a ctu al  o p er atin g   v o lta g e.   O n   t h o t h er   h a n d ,   t h e   ex p o n en n   ca n   v ar y   b et w ee n   1   an d   6 ,   alth o u g h   f o r   m o s d atash ee t s   cited   in   [ 3 8 ] [ 3 9 ].   T h ex p o n en i s   g i v e n   b y   t h f o llo w in g   co n d itio n   0 . 5 0 0 . 8 = 3  0 . 8 0 1 = 5   cit ed   in   [ 40 ].     2 . 4 .     E nerg y   s t o r a g m a na g e m e nt  s y s t e m   T h p r o p o s ed   s y s te m   ai m s   to   f in d   o p ti m al  ac tio n s   t h at  le a d   to   o p tim ize  d ata  tr an s m is s i o n   an d   th b atter y   lif e ti m as  w ell.   At  e ac h   ti m s lo d en o ted   as   n ,   t h s y s te m   d ec id es  ab o u t h s to r ag d esti n atio n   ( b atter y   o r   ca p ac ito r ) ,   th tr a n s m i s s io n   ( tr a n s m it  o r   n o t) ,   an d   th s o u r ce   o f   e n er g y   i f   it  d ec id es  to   tr an s m it .   F ig u r 4   illu s tr ates t h to p o lo g y   o f   t h p r o p o s ed   s y s te m .     T h s et  o f   ac tio n s   i s   as  f o llo ws:   i)   0 { 0 , 1 }   is   th i n d icato r   o f   t h s to r ag in   th b atter y   f o r   0   1 ,   in   th ca p ac ito r   f o r   0   0   at  t h m o m en n ;   ii)  T h p o w er   s o u r ce   in d icato r   is   1 { 0 , 1 }   w h er 1   1   in d icate s   p o w er   f r o m   th b atter y   an d   1   0   in d icate s   p o w er   f r o m   th ca p ac ito r a n d   iii)  T h d ata   tr an s m is s io n   in d icato r   i s   2 { 0 , 1 }   in d i ca tes  t h p ac k et   is   d r o p p ed   if   2   0   o r   is   tr an s m itted   i f   2   1 .   P o w er i n g   t h s y s te m   w it h   b atter y   co m b i n ed   w ith   ca p ac ito r   d ir ec tly   in f l u e n ce s   th e   b atter y s   li f esp a n ,   po ten tiall y   r ed u ci n g   t h n u m b er   o f   c y cle s   a n d   i n cr ea s i n g   t h q u a n ti t y   o f   d ata   t h at  ca n   b tr an s m i tted .   T h is   o p tim izatio n   i s   ill u s tr ated   in   F ig u r 5 .           Fig u r 4 .   S y n o p tic  e n er g y   m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8792   I n t J   A p p l P o w er   E n g Vo l.  14 ,   No .   3 ,   Sep tem b er   20 25 :   60 0 - 61 2   606   ( a)     ( b )       Fig u r 5.   C o m p ar is o n   o f   s y s te m   w it h   b atter y   o n l y   v s .   b atte r y   ca p ac ito r ( a)   d ata  tr an s m is s io n   co m p ar is o n   an d   ( b )   d ata  s en t c o m p ar is o n       I n   th f o llo w i n g ,   en er g y   o p tim izatio n   is   ad d r ess ed   th r o u g h   th in teg r atio n   o f   r ein f o r ce m e n lear n i n g .   T h ap p r o ac h   b eg in s   w i th   t h estab lis h m en o f   s y s te m   o p ti m izatio n   f r a m e w o r k ,   w h ic h   s er v es  as  a   f o u n d atio n   f o r   in telli g e n co n tr o l.  R ei n f o r ce m e n lear n i n g   is   t h en   le v er a g ed   to   en h an ce   th s y s te m s   p er f o r m a n ce   a n d   ad ap tab ilit y .     2 . 4 . 1 .   O pti m iza t io n a nd   f o rm u la t io s y s t e m   T h m ai n   g o al  is   to   in cr ea s t h b atter y   lif et i m e .   It   also   ai m s   to   tr an s m i th w h o le  d ata  w ith o u lo s s   d u r in g   th r eq u ir ed   ti m e,   as ill u s tr ated   in   ( 1 4 ) .     ma x { } = 0 l im = 0   ( 1 4 )     W h er 0     γ   1   is   t h p r o b ab ilit y   f ac to r   o f   t h tr a n s m it ter   to   ac co m p lis h   it s   o p er atio n   i n   t h s p ec i f ied   ti m e   s lo t.  I n   r ea ti m th s y s te m   c h ec k s   th b atter y   s ta te  B n ,   th ca p ac ito r   C n ,   th s ize  o f   d ata  D n ,   an d   th ch an n el   s tate.   T h s y s te m   w ill  e s ti m at th a m o u n t   o f   t h r eq u ir ed   en er g y   to   tr a n s m it   th e   in co m i n g   d ata,   in   o r d er   to   s elec t th u s ed   eq u ip m en t to   p o w er   th tr a n s m itter ,   t h is   e n er g y   n o ted     m u s m ee t t h f o llo w i n g   co n d itio n s :     0 . 1 + ( 1 1 )   ( 1 5 )     0   ( 1 6 )     0    ( 1 7 )     Du r in g   ea ch   p h ase ,   t h tr an s m itter   n ee d s   E n T   am o u n o f   p o w er   t o   tr an s m it  d ata  f r o m   B n   o r   C n   ( in   th b atter y   o r   th ca p ac ito r ) .   I n   t h n e x ep o ch ,   th d e v ices  r e ce iv B n+ 1   o r   C n+ a m o u n o f   en er g y .   T h u s ,   th is   en er g y   at  ea ch   ep o ch   ca n   b u p d ated   ( 1 8 )   an d   ( 1 9 ) .     + 1 = { 1 2 + 0 , }   ( 1 8 )     + 1 = { ( 1 1 ) 2 + ( 1 0 ) ;  }   ( 1 9 )     T h p r o b lem   d e f in ed   ab o v i s   NP - h ar d   s i n ce   v ar iab le s X n 0 ,   X n 1 ,   an d   X n 2   ar b in ar y .   B ec au s t h e   r ef er en ce d   p r o b lem   h as  a f f i n o b j ec tiv an d   co n s tr ain ed   f u n c tio n s ,   it   is   co n s id er ed   as  m i x ed   i n te g er   li n ea r   p r o g r a m   ( MI L P ) .   B r an ch   an d   B o u n d   is   co m m o n l y   u s ed   alg o r ith m   t o   s o lv th is   k i n d   o f   p r o b lem s   [ 4 1 ] .   Ho w e v er ,   to   u s t h is   al g o r ith m ,   all  t h f u t u r d ata,   ch an n el  s tate  a n d   en er g y   ar r iv als  m u s b k n o wn   in   ad v a n ce .   I n   t h liter atu r lo o f   w o r k s   w er p r o p o s ed   to   s o lv MI L P   b ased   o n   m ac h i n lear n i n g   an d   r ein f o r ce m en lear n i n g   i s   p o w er f u l so lu tio n   to   d ea w it h   s u ch   t h i s   s t y le  o f   p r o b le m   [ 4 2 ].     2 . 4 . 2 .   Reinf o rc e m ent   lea rnin g   R ein f o r ce m e n lear n i n g   ( R L )   is   p r o p o s ed   as  s o l u tio n   f o r   en er g y   o p ti m izatio n   in   p o i nt - to - p o in t   w ir ele s s   co m m u n icatio n .   T h m et h o d   in v o lv e s   an   e n er g y   m an a g e m e n s y s te m   th at   d y n a m icall y   o p ti m izes   p o w er   f lo w   b et w ee n   b atter ies   an d   ca p ac ito r s   in   I o T   co m m u n ica tio n   s y s te m s .   T h is   ap p r o ac h   lear n s   o p ti m al   d ec is io n s   o v er   ti m w i th o u t p r io r   k n o w led g e   o f   e n er g y   d e m a n d s ,   u s i n g   o n l y   e n v ir o n m e n tal   s tate  o b s er v at io n s   ( e. g . ,   b atter y   c y cle s   an d   li f eti m e) .   B asicall y ,   R L   s y s te m   i s   m o d eled   b y   th i n ter ac tio n   b e t w ee n   en v ir o n m e n t   an d   th m o d el  co m p o n e n t s   as  illu s tr ated   in   Fi g u r 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A p p l P o w er   E n g   I SS N:   2252 - 8792       B a tter cy cle  life a n d   th r o u g h p u t o p timiz a tio n   in   w ir eless   co mmu n ica tio n   s ystem  … ( Oma r   E n a s s ir i )   607       Fig u r 6 .   R ein f o r ce m e n lear n in g   a n d   in ter ac t io n   m o d el       Q - lear n in g   i s   v alu e   b ased   l ea r n in g   al g o r ith m   i n   r ei n f o r ce m en lear n i n g .   T h m ai n   o b j ec tiv o f   r ein f o r ce m en lear n in g   is   to   d eter m i n th b est  Q - v al u f o r   ea ch   s tate  u s in g   lear n i n g   r a te  co ef f icie n α n   in   th n t h   lear n i n g   iter atio n   a n d   d is co u n f ac to r   0     γ    1 .   T h is   ap p r o ac h   en s u r es  t h at  t h tr an s m itter   h a s   a   p r o b a b ilit y   o f   1   −  γ   to   o p er ate  s u cc e s s f u ll y   i n   ea ch   t i m s lo T s .     ( , ) = ( 1 ) 1 ( , ) + [  ( , ) +   1 ( , ) ]   ( 2 0 )     T h u s ed   q - lear n i n g   n o tatio n s   ar e:   -   T h s tate  s et  S<B n ,   H n ,   C n ,   D n >,   w h er B n   r ep r esen ts   t h b atter y   en er g y   at  t h m o m en n ,   H n   is   th s tate  o f   ch an n e l,  C n   r ep r esen ts   t h ca p ac ito r   en er g y   at  t h m o m e n n ,   an d   D n   a m o u n o f   co llected   d ata   in   th ti m e   p er io d   n   -   Set o f   ac tio n s   A ={ < X n 0 , X n 1 , X n 2 > } .   -   T h r ew ar d   f u n ctio n   i s   ex p lai n ed   b y   th f o llo w i n g   f u n ct io n R t ( S n , S n + 1 ) = X n D n .   A l g o r ith m   2   r ep r esen ts   t h p s e u d o - co d e   o f   th Q - lear n i n g   al g o r ith m .     A l g o r ith m   2 . Q - lear n i n g   al g o r ith m   I n itializatio n   -   Fo r   ea ch   s tate  S i     S   an d   ea c h   ac tio n   x j     A ,   d o :   Q( S i , x j )   ←  0   -   E v alu a te  th i n itial  s tate  S i     S   L ea r n i n g   p r o ce s s   W h ile   th m a x i m u m   n u m b er   o f   iter atio n s   is   n o t r ea ch ed ,   do :   -   C h o o s a n   ac tio n   x j     A   u s i n g   th ε - g r ee d y   p o lic y   b ased   o n   t h cu r r en t Q - v al u es.   -   E x ec u te  ac tio n   x j   a n d   o b s er v e:     T h e   i m m ed iate  r e w ar d   R t     T h n ex s tate  S′   -   Up d ate  th Q - v al u u s in g   t h Q - lear n in g   u p d ate  r u le :   Q t+ 1 (S i , x j )   ←  Q( S i , x j )   α   [ R t   γ   m a x x, J   Q t ( S′ ,   x j )   −  Q( S i , x j )]   -   Set th c u r r en t sta te:  S i   ←  S′   E n d   w h ile     T h Q - lear n i n g   al g o r ith m   d et er m in e s   t h o p ti m a s tate   b y   e s ti m ati n g   th n e x Q - v alu e,   Q n+ ( Si,   x i) .   T h is   esti m atio n   i s   ac h iev ed   b y   co m b i n in g   t h p r ev io u s   est i m ate,   Q n - 1   ( Si,   x i) ,   w it h   th esti m ated   ex p ec ted   v alu o f   t h b est  ac tio n   at  th s u b s eq u e n s tate  S n +1 .   Du r in g   e ac h   ti m s lo ( ) ,   th alg o r ith m   r ef i n e s   its   esti m ates a cc o r d in g   to   th f o ll o w i n g   s tep s :   -   No tices th c u r r en t sta te  S n =S ϵ   S .   -   Selects a n d   ex ec u tes an   ac t io n   X n =x i   ϵ   A .   -   Ob s er v es t h n e x t s tate  an d   th co r r esp o n d in g   r e w ar d ,   th e n   u p d ates its   es ti m ate  o f   u s i n g   ( 2 0 ) .       3.   RE SU L T AND   D I SCU SS I O N   T h s i m u latio n   a n al y s is   o f   t h e   p r o p o s ed   m et h o d   is   p r esen te d   in   th is   s ec tio n .   T h p ar am et er s   u s ed   in   th is   w o r k   ar as   f o llo w s T h s y s te m   m o d el  h as   m ax i m u m   en er g y   ca p ac it y   o f   b atter y   t h at  i s   lo ca ted   in   B m a x   {2 0 .   2 . 5 10 −5 ,   5 0 .   2 . 5 10 −5 , 1 0 0 .   2 . 5 10 −5 } J .   T h en er g y   lev e in   th b atter y   is   B n   {0 ,   B m a x }.   T h p ac k et  s izes  ar {3 0 0 ,   6 0 0 b its   w i th   tr an s itio n   s tate  p r o b ab ilit ies  p d   ( d 1 ,   d 1 )   =   p d   ( d 2 ,   d 2 )   0 . 9 9   an d   th c h an n el  s tate  Hn   =   {0 . 0 1   0 . 0 2 }.   T h en er g y   h ar v es te d   in   t i m e - s lo tted   T s   1 0 0   s ,   w h ic h   is   w o r th   is     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8792   I n t J   A p p l P o w er   E n g Vo l.  14 ,   No .   3 ,   Sep tem b er   20 25 :   60 0 - 61 2   608   E n T   0 . 5 ×1 0 5   J .   T h n o is p o w er   d en s it y   i s   N0   −1 6 7   d B m /Hz,   t h tr a n s m it  ti m is   Δ T x   0 . 0 0 5   s .   T h ca p ac ito r   ca p ac ity   r an g e s   f r o m   0   to   2 4 0   µF.   T h Q - lear n i n g   p ar a m eter s   ar e:  th lear n i n g   r ate  f i x ed   at  α   0 . 8 5 ,   th ex p lo r atio n   p r o b ab ili t y   is   ε  0 . 1 ,   an d   th d is co u n f a cto r   γ   0 . 9 9 .   Fig u r 7   d ep ic ts   th e x p ec ted   tr an s m itted   d ata  b y   t h s y s te m   as  f u n ct io n   o f   th ca p ac it o r   ca p ac ity   at  d if f er en te m p er atu r v al u es.  Desp ite  t h te m p er atu r p ar a m eter   d ir ec tl y   i n f l u en ci n g   th d eg r ad atio n   o f   b atter y   ca p ac it y ,   h o w e v er ,   t h e   p r o p o s ed   m e th o d   d e m o n s tr at es  th at   th q u an tit y   o f   tr a n s m i tted   d ata  in cr ea s es   w it h   t h ca p ac it y   o f   t h ca p a cito r .   No tab ly ,   b e y o n d   ce r tain   ca p ac it y   v al u e,   t h d ata  tr a n s m i s s io n   b ec o m es   al m o s t li n ea r .     Fig u r 8   illu s tr ates  th i n cr ea s in   b atter y   ca p ac it y   a s   f u n ctio n   o f   ca p ac ito r   ca p ac it y   a d if f er e n te m p er atu r v al u es,  d e m o n s tr atin g   t h ef f ec ti v e n es s   o f   t h p r o p o s ed   m o d el.   T h b atter y s   li f eti m i n cr ea s es   lin ea r l y   b ef o r s tab ilizi n g   w it h   s lig h a u g m e n tat io n .   T h is   in d icate s   th at   th m et h o d   u s ed   in   t h is   s y s te m   o p tim izes  th e   b atter y s   li f esp a n   b y   co m p ar i n g   it  w it h   o th er   s o lu tio n s   in v o lv in g   o n l y   t h b atter y ,   w it h o u t h in cl u s io n   o f   ca p ac ito r   o r   th r ein f o r ce m en t le ar n i n g   al g o r it h m   m e n tio n ed   ea r lier .         ( a)       ( b )       ( c)       ( d )         Fig u r 7 .   T h am o u n t o f   d ata  t r an s m itted   w it h   th p r o p o s ed   m et h o d   at  d if f er e n t te m p er at u r v alu e s   ( a)   2 0 °C ,   ( b )   2 5 °C ,   ( c)   3 5 °C ,   an d   ( d )   4 5 °C   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A p p l P o w er   E n g   I SS N:   2252 - 8792       B a tter cy cle  life a n d   th r o u g h p u t o p timiz a tio n   in   w ir eless   co mmu n ica tio n   s ystem  … ( Oma r   E n a s s ir i )   609   ( a)     ( b )     ( c )     ( d )       Fig u r e   8 .   T h lif eti m o f   th b atter y   w it h   th p r o p o s ed   m e th o d   f o r   d if f er en t te m p er atu r v alu es,  i n   f u n ctio n   th ca p ac it y   o f   th ca p ac ito r ( a)   2 0 °C ,   ( b )   2 5 °C ,   ( c)   3 5 °C ,   an d   ( d )   4 5 °C       Ou r   n u m er ical  r es u lts   h av ill u s tr ated   th r elev a n ce   o f   th l ea r n in g   th eo r etic  ap p r o ac h   f o r   p r ac tical   s ce n ar io s .   T h p r o p o s ed   m o d el  lead s   to   an   i m p r o v e m en t   i n   t h q u a n tit y   o f   d ata  tr a n s m itted   w ith o u b ein g   in f lu e n ce d   b y   te m p er atu r e.   T h is   m e th o d   e n h a n ce s   t h e f f e ctiv e n ess   o f   t h co m m u n icati o n   s y s te m   eq u ip p ed   b y   d ev ice  o f   e n er g y   h ar v est in g   an d   s to r es  it s   en er g y   in   b atter y   o r   ca p ac ito r ,   alo n g s i d r ein f o r ce m en t   lear n in g   al g o r ith m .   T h is   ad ap tati o n   o f   tr an s m itted   d ata  s u r p a s s es t h p er f o r m a n ce   o f   t h p r ev io u s   s y s te m s .   As   f o r   th e   b atter y - ca p ac ito r   co m b in atio n   f o r   en er g y   s to r ag e,   th is   E SM h a v ex p an d ed   th e   b atter y   li f esp a n   b y   r ed u cin g   t h c h ar g d i s ch ar g e   c y cle s .   U n li k t h ap p r o ac h   p r esen ted   in   [ 9 ] ,   w h ic h   f o cu s es  o n   r ed u c in g   d ata  tr an s m is s io n   to   en h an ce   en er g y   e f f ic ien c y ,   o u r   m et h o d   in cr ea s es  d ata  tr a n s m is s io n   th r o u g h   th u ti lizatio n   o f   h y b r id   s to r ag s y s te m .   A d d itio n all y ,   o u r   o n lin e   o p ti m izatio n   m o d el  d e m o n s tr ates   s u p er io r   p er f o r m an c e   co m p ar ed   t o   o f f li n r e g r ess io n   al g o r ith m s ,   p ar tic u lar l y   i n   d y n a m ic  e n v ir o n m en t s   w h er e   p r e - p r o ce s s in g   i s   n ec es s ar y   [ 1 2 ] .   Of f lin e   m o d e ls   o f te n   r eq u ir u p d ates  w h e n   en v ir o n m e n tal  co n d itio n s   c h an g e,   w h er ea s   o u r   ap p r o ac h   ad ap ts   to   th en v ir o n m en t   T h p r o p o s ed   s y s te m   e f f ec ti v el y   m ee ts   it s   o b j ec tiv es  b y   o p ti m izi n g   e n er g y   e f f icie n c y   th r o u g h   t w o   k e y   s tr ateg ie s .   First,  it  e x te n d s   th b atter y   l if e s p an   b y   i m p le m e n ti n g   ad v an ce d   en er g y   m an a g e m en t   tech n iq u es,   w h ich   r ed u ce   t h r ate  o f   b atter y   d eg r ad atio n   an d   i m p r o v o v er al lo n g e v it y .   Seco n d ,   it  e n h an ce s   d ata  tr an s m i s s io n   ca p ab ilit ies  b y   le v er ag i n g   h y b r id   s to r ag s y s te m   t h at  b alan ce s   p er f o r m a n ce   an d   ef f icien c y .   T h is   d u al  ap p r o ac h   n o o n l y   en s u r es  t h at  en er g y   co n s u m p tio n   is   m i n i m ized   b u t   also   th at  g r ea ter   v o lu m o f   d ata  ca n   b t r an s m itted   w it h o u co m p r o m is i n g   s y s te m   p er f o r m a n ce .   As  a   r esu lt,  th s y s te m   ac h iev e s   r o b u s b alan ce   b etw ee n   m ai n tai n i n g   h i g h   en er g y   e f f icie n c y   a n d   m ee ti n g   d ata   tr an s m is s io n   n ee d s ,   p r o v id in g   s u s ta in ab le  s o l u tio n   th at  ad ap ts   to   v ar y i n g   o p er atio n al  d e m a n d s.       4.   CO NCLU SI O N   I n   th i s   p ap er ,   an   en er g y   h ar v e s tin g   s y s te m   is   p r o p o s ed   t o   ex p lo r e   th co m b in atio n   o f   ca p a cito r s   an d   b atter ies  to   s to r h ar v es ted   en er g y   an d   t h en   p o w er   w ir eless   tr an s m itter   n o d e T h r ain f lo w   a lg o r it h m   esti m ate s   b atter y   li f e w h ile  t he   Q - lear n i n g   al g o r ith m   d eter m i n e s   th o p ti m al  s tr ateg y ,   to   tr an s m it  d ata  o r   to   s to r g at h er ed   en er g y   i n   a   n o d b ased   o n   t h e   a v ailab le   en er g y ,   b atter y   s tate ,   a n d   t h c h an n el   in f o r m a tio n   d u r in g   t h d esi g n a ted   tr an s m i s s io n   p er io d .   Ou r   r es u lt s   d e m o n s tr ate  th ap p licab ilit y   o f   t h ap p r o ac h   p r o p o s ed   to   ex ten d   th b atter y   li f esp a n   b y   i m p le m en t in g   ad v a n ce d   en er g y   m an a g e m en tech n iq u e s ,   w h ich   r ed u ce   t h e   r ate  o f   b atter y   d eg r ad atio n   a n d   i m p r o v o v er all  lo n g e v it y   an d   en h a n ce s   d ata  tr an s m is s io n   ca p ab ilit ies  b y   lev er ag i n g   h y b r id   s to r ag s y s te m   th at   b alan ce s   p er f o r m a n ce   a n d   ef f icie n c y .   T h is   d u al   ap p r o ac h   n o o n l y   en s u r es  t h at  e n er g y   u s ag e   is   o p tim ized   b u al s o   t h at  g r e ater   v o lu m o f   d ata   ca n   b t r an s m itted   w i th o u t   co m p r o m is i n g   s y s te m   p er f o r m an ce .   F u t u r s t u d ies  co u ld   f o llo w   u p   o n   w o r k   d o n w it h   r ea l - w o r ld   d ep lo y m en t s   to   v al id ate  t h e   th eo r etica l   m o d els   an d   o p ti m izatio n   al g o r ith m s   p r o p o s ed   u n d er   d i f f er en t   en v ir o n m e n tal   an d   o p er atio n al  co n d i tio n s .   I n   ad d itio n ,   m ac h in e   lear n i n g   m o d els  p o s s ib l y   tr ain ed   o n   o p er atio n al  d ata  co u ld   p r ed ic en er g y   a v ailab ilit y ,   allo w i n g   tr an s m i s s io n   s ch ed u le  o p tim izatio n   to   b ec o m e   m o r d y n a m ic   an d   p o ten t iall y   i m p r o v i n g   s y s te m   p er f o r m an ce .   A l s o ,   ex a m i n i n g   h o w   e n e r g y   h ar v e s ti n g   an d   Evaluation Warning : The document was created with Spire.PDF for Python.