Kubernetes 에서 EFK (ElasticSearch/FluentBit/Kibana) stack 설치하기역시 마찬가지로 디테일은 없다. 디테일은 레퍼런스 문서를 참고하자.Jan 1, 2021Jan 1, 2021
Spark on Kubernetes 에서 Prometheus 로 metric 유입하기 (Kubernetes 에 Prometheus 설치 포함)역시나 디테일은 다른 문서들에게 맡기고 “방법” 에 집중해서 정리하고자 한다.Dec 29, 2020Dec 29, 2020
호스트 서버 (Ubuntu 20.04) 에 NFS 를 설정하고 Spark on Kubernetes 에서 동적으로 볼륨을 할당받기현재 데스크탑에 셋업한 k3s 클러스터는 클라우드 서비스에 종속적이지 않다. 다른 말로 하면, 필요한 인프라는 전부 알아서 셋업해야 된다는 뜻이다.Dec 23, 2020Dec 23, 2020
Kubernetes 에서 Spark 배치 쿼리로 HDFS 없이 S3 에 기록하기개발 환경 셋업의 마무리로 k8s 에서 Structured Streaming 쿼리로 결과를 파일 (S3), Kafka 등에 기록하는 것을 테스트했었다. 많은 TODO 를 남겼지만 일단 정상 동작하는 것을 확인해서 Spark 은 얼추 실행 테스트를…Dec 23, 2020Dec 23, 2020
Kubernetes 에서 Spark 어플리케이션 실행하기 (Kafka helm chart 설치 포함)이제 k3s 클러스터에 MinIO 도 설치되었고 private docker registry 도 설정되었다. 이제 k3s 클러스터에 Spark 어플리케이션을 실행해 보자. (나중에는 remote shuffle service 도 설정해보고 할 예정인데…Dec 21, 2020Dec 21, 2020
Kubernetes 클러스터에 private docker registry 설정하기 (MinIO 포함)위의 문서를 통해 k3s 클러스터의 기본 설정이 완료되었다. 추가 설정 없이 docker hub 를 통해 이미지를 pull 하고 push 할 수 있지만, 여러 제약도 있고 리모트 서버에 읽고 써야 되어서 아무래도 빠릿빠릿한 부분이 덜하다. 그래서…Dec 21, 2020Dec 21, 2020
multipass 를 활용하여 Ubuntu 20.04 에 k3s 구성하기사실 구글링해가면서 삽질한 거 정리하는 거라 내용은 없다. 디테일도 일단 없다. 새로 세팅한 데스크탑을 개발용도로 활용하려고 하는 거라 일단 돌아가게 만드는 게 목표이고, Kubernetes In Action 서적을 보면서 지식이 비는 부분들을…Dec 21, 2020Dec 21, 2020
Spark 3.0 에 포함될 Structured Streaming 관련 변화들지난 주말, Spark 3.0.0 릴리즈를 위한 브랜치가 생성되었다. Spark 3.0 릴리즈를 위한 “feature freeze” 상태로 전환된 것이다. (예외 사항은 있을 수 있지만) 새로 제안될 신규 기능은 3.0.x 에는 추가되기 어려울 것…Feb 3, 20201Feb 3, 20201
Spark flatMapGroupsWithState API 를 이용한 “이벤트 타임” 세션 윈도우 구현flatMapGroupsWithState API 의 고급 사용 사례Oct 22, 2018Oct 22, 2018
Exactly-once?주변에서 Jay Kreps 의 Kafka exactly-once 관련 작성한 글이 돌아다니길래 한 번 훑어 봤다. (영어 실력이 미천해서 정독은 정말 시간을 많이 들여야 되어서… 일단 먼저 훑어봄)Jul 8, 2017Jul 8, 2017
