전체 글

AWS Kafka는 분산 데이터 스트리밍 플랫폼으로, 대용량 실시간 데이터 처리에 적합합니다. 기본 주체로는 프로듀서, 컨슈머, 브로커로 구성되며, 프로듀서는 데이터를 생성하고 브로커로 전송합니다. 컨슈머는 브로커에서 데이터를 읽어옵니다. 이러한 구성으로 데이터를 안정적으로 처리하고, 병렬적인 처리도 가능합니다. AWS Kafka는 확장성이 우수하여 요구 사항에 따라 자동으로 정확한 용량을 확보합니다. 또한, 관리가 용이하며, 높은 내구성과 성능을 제공합니다. AWS Kafka를 사용하면 기업은 대량의 데이터를 신속하게 처리하고 비즈니스 인텔리전스를 개발할 수 있습니다. 1. AWS Kafka 설치 AWS Kafka를 설치하기 위해서는 몇 가지 단계를 따라야 합니다. 1. AWS Management Co..

개발자 전망: 심층 분석과 미래 전략 목차 시장 동향과 개발자 수요 변화 주요 기술 트렌드와 개발자 역할의 변화 데이터 과학과 AI의 부상 클라우드 컴퓨팅의 확장 개발자의 글로벌 역량 강화 지속 가능한 경력 개발을 위한 전략 결론: 미래를 위한 개발자의 준비 시장 동향과 개발자 수요 변화 현재 IT 시장은 급속한 변화를 겪고 있으며, 이는 개발자에 대한 수요와 역할에도 영향을 미치고 있다. 디지털 전환, 자동화, 원격 작업의 증가는 개발자에 대한 수요를 증가시키고 있다. 또한, 스타트업과 대기업 모두에서 기술 혁신의 필요성이 강조되면서 소프트웨어 개발자에 대한 수요가 전례 없이 증가하고 있다. 주요 기술 트렌드와 개발자 역할의 변화 블록체인, 인공지능, 사물인터넷(IoT), 클라우드 컴퓨팅 등의 기술 트..

안녕하세요, 이번에는 제 이직 준비 과정에서 경험한 스프링 배치 관련 면접 질문에 대한 내용을 공유해보려고 합니다. 면접에서 자주 물어보는 질문들을 정리해보았습니다. 정말 간단히만 답을 적어둔 것이라 참고만 해주세요~ 1. 왜 스프링 배치를 사용하나요? 스프링 배치는 대용량 데이터 처리와 스케줄링을 효과적으로 다루기 위한 프레임워크로, 이를 통해 일관성 있고 안정적인 배치 작업을 수행할 수 있습니다. 특히 대용량 데이터를 읽어 파일생성과 같은 작업을 할때 유용하게 사용할 수 있습니다. 2. 멱등성은 어떻게 유지하나요? 멱등성은 동일한 입력에 대해 항상 동일한 출력을 보장하는 원칙입니다. 멱등성이 깨지는 경우의 대표적으로 데이터를 insert 하는 잡을 들 수 있는데 이러한 잡을 두번 돌리는 경우 DB에 ..

가끔 데이터 집계나 중복데이터 확인을 위해 중복값을 찾아야 하는 경우가 있다. (가장 흔한 경우로는 회원가입시 동일한 id 로 가입을 막기위해 id 중복확인 같은 기능이 있을 것 같다) 이럴때 사용하면 좋은 중복값 카운팅하는 쿼리를 공유해보고자 한다. (mysql 기준인데 각자 db 에 맞게 변형하면 될듯하다) SELECT 중복값 체크할 컬럼명, count(*) FROM 테이블명 WHERE where조건 GROUP BY 중복값체크할컬럼명 HAVING count(중복값 체크할 컬럼명)>1;