Hei acolo! Sunt un furnizor de Shed Locks, iar astăzi vreau să discut despre cum puteți utiliza Shed Locks într-un sistem bazat pe Kafka. S-ar putea să sune puțin tehnic, dar nu vă faceți griji, vă voi descompune într-un mod simplu.
În primul rând, să trecem rapid peste ce sunt Kafka și Shed Locks. Kafka este o platformă de streaming distribuită, foarte populară pentru gestionarea fluxurilor de date în timp real. Vă permite să publicați, să vă abonați, să stocați și să procesați fluxuri de înregistrări. Pe de altă parte,Încuietoarea magazieieste un instrument excelent atunci când vine vorba de a vă asigura că numai o instanță a unei sarcini rulează la un moment dat într-un sistem distribuit.
Deci, de ce ați dori să utilizați un Shed Lock într-un sistem bazat pe Kafka? Ei bine, într-o configurație Kafka, aveți adesea mai mulți consumatori care procesează mesaje din subiecte. Uneori, este posibil să aveți sarcini care nu ar trebui să ruleze concomitent. De exemplu, ați putea avea o sarcină care actualizează o resursă partajată pe baza mesajelor Kafka. Dacă mai multe instanțe ale acestei sarcini rulează în același timp, ar putea duce la inconsecvențe de date sau alte probleme. Acolo este utilă Shed Lock.
Integrarea Shed Lock cu Kafka
Primul pas în utilizarea Shed Lock cu un sistem bazat pe Kafka este să adăugați dependențele necesare. Dacă utilizați un proiect Java, puteți adăuga dependența Shed Lock la dvspom.xmldacă folosești Maven.
<dependency> <groupId>net.javacrumbs.shedlock</groupId> <artifactId>shedlock-spring</artifactId> <version>4.44.0</version> </dependency>
După ce ați adăugat dependența, trebuie să configurați furnizorul de blocare. Există diferite tipuri de furnizori de blocare disponibili, cum ar fi baza de date sau bazată pe Redis. Pentru simplitate, să presupunem că folosim un furnizor de blocare bazat pe baze de date. Va trebui să configurați un tabel în baza de date pentru a stoca informațiile de blocare.
CREATE TABLE shedlock( nume VARCHAR(64), lock_until TIMESTAMP(3) NULL, locked_at TIMESTAMP(3) NULL, locked_by VARCHAR(255), PRIMARY KEY (nume) );
În aplicația Spring Boot, puteți configura furnizorul de blocare astfel:
import net.javacrumbs.shedlock.core.LockProvider; import net.javacrumbs.shedlock.provider.jdbctemplate.JdbcTemplateLockProvider; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.jdbc.core.JdbcTemplate; import javax.sql.DataSource; @Configuration public class ShedLockConfig { @Bean public LockProvider lockProvider(DataSource dataSource) { returnează un nou JdbcTemplateLockProvider( JdbcTemplateLockProvider.Configuration.builder() .withJdbcTemplate(nou JdbcTemplate(dataSource)b)(dataSource)b) .build() ); } }
Utilizarea Shed Lock în consumatorii Kafka
Acum că am configurat Shed Lock, să vedem cum îl putem folosi la consumatorii noștri Kafka. Să presupunem că aveți un consumator Kafka care procesează mesajele dintr-un subiect și actualizează o resursă partajată. Puteți folosi@SchedulerLockadnotare oferită de Shed Lock pentru a se asigura că rulează o singură instanță a sarcinii odată.
import net.javacrumbs.shedlock.spring.annotation.SchedulerLock; import org.springframework.kafka.annotation.KafkaListener; import org.springframework.stereotype.Service; @Service public class KafkaConsumerService { @KafkaListener(topics = "subiectul dvs.", groupId = "grupul dvs. - id") @SchedulerLock(nume = "kafkaConsumerTask", lockAtMostFor = "PT10M", lockAtLeastFor = "PT1M") publică actualizarea mesajului / Str. System.out.println("Mesaj primit: " + mesaj); } }
În codul de mai sus,@SchedulerLockadnotarea asigură căconsumeMessagemetoda este blocată pentru cel puțin 1 minut și cel mult 10 minute. ThenumeAtributul este folosit pentru a identifica blocarea.
Considerații și bune practici
Când utilizați Shed Lock cu un sistem bazat pe Kafka, există câteva lucruri de reținut.


- Durata blocării: Trebuie să alegeți cu atenție
lockAtMostForşiblocațiCel puținPentruvalorile. DacălockAtMostForvaloarea este prea scurtă, blocarea poate fi eliberată înainte ca sarcina să fie finalizată, ceea ce duce la rularea simultană a mai multor instanțe. Dacă este prea lung, ar putea cauza întârzieri inutile. - Gestionarea erorilor: Ar trebui să aveți o gestionare adecvată a erorilor. Dacă apare o eroare în timpul executării sarcinii blocate, blocarea ar trebui să fie eliberată cu grație. În caz contrar, ar putea duce la o situație de blocaj.
- Scalabilitate: Pe măsură ce sistemul dvs. Kafka crește, asigurați-vă că furnizorul de încuietori poate face față sarcinii crescute. De exemplu, dacă utilizați un furnizor de blocare bazat pe baze de date, asigurați-vă că baza de date poate gestiona solicitările de blocare concurente.
Alte tipuri de încuietori pentru diferite cazuri de utilizare
în timp ceÎncuietoarea magazieieste excelent pentru a asigura execuția sarcinii cu o singură instanță, există alte tipuri de blocări care ar putea fi utile într-un sistem bazat pe Kafka. De exemplu, dacă aveți de-a face cu încuietori fizice la uși sau incinte într-un centru de date unde se află infrastructura dvs. Kafka, ați putea lua în considerareBlocare un sfert de turăsauÎncuietoare rotundă a ușii. Aceste încuietori pot oferi un strat suplimentar de securitate pentru echipamentul dumneavoastră.
Concluzie
Utilizarea Shed Lock cu un sistem bazat pe Kafka vă poate ajuta să evitați inconsecvențele datelor și alte probleme care pot apărea din execuția concomitentă a sarcinilor. Urmând pașii menționați mai sus, puteți integra cu ușurință Shed Lock în aplicația dvs. Kafka. Dacă sunteți interesat să achiziționați încuietorile noastre de înaltă calitate sau dacă aveți întrebări despre cum se pot integra în sistemul dvs. Kafka, nu ezitați să contactați pentru o discuție privind achizițiile. Suntem aici pentru a vă ajuta să găsiți cea mai bună soluție pentru nevoile dvs.
Referințe
- Documentația Spring Boot
- Documentația Kafka
- Shed Lock GitHub Repository
