Jung-taek LimKubernetes 에서 EFK (ElasticSearch/FluentBit/Kibana) stack 설치하기역시 마찬가지로 디테일은 없다. 디테일은 레퍼런스 문서를 참고하자.10 min read·Jan 1, 2021----
Jung-taek LimSpark on Kubernetes 에서 Prometheus 로 metric 유입하기 (Kubernetes 에 Prometheus 설치 포함)역시나 디테일은 다른 문서들에게 맡기고 “방법” 에 집중해서 정리하고자 한다.17 min read·Dec 29, 2020----
Jung-taek Lim호스트 서버 (Ubuntu 20.04) 에 NFS 를 설정하고 Spark on Kubernetes 에서 동적으로 볼륨을 할당받기현재 데스크탑에 셋업한 k3s 클러스터는 클라우드 서비스에 종속적이지 않다. 다른 말로 하면, 필요한 인프라는 전부 알아서 셋업해야 된다는 뜻이다.21 min read·Dec 23, 2020----
Jung-taek LimKubernetes 에서 Spark 배치 쿼리로 HDFS 없이 S3 에 기록하기개발 환경 셋업의 마무리로 k8s 에서 Structured Streaming 쿼리로 결과를 파일 (S3), Kafka 등에 기록하는 것을 테스트했었다. 많은 TODO 를 남겼지만 일단 정상 동작하는 것을 확인해서 Spark 은 얼추 실행 테스트를…16 min read·Dec 23, 2020----
Jung-taek LimKubernetes 에서 Spark 어플리케이션 실행하기 (Kafka helm chart 설치 포함)이제 k3s 클러스터에 MinIO 도 설치되었고 private docker registry 도 설정되었다. 이제 k3s 클러스터에 Spark 어플리케이션을 실행해 보자. (나중에는 remote shuffle service 도 설정해보고 할 예정인데…17 min read·Dec 21, 2020----
Jung-taek LimKubernetes 클러스터에 private docker registry 설정하기 (MinIO 포함)위의 문서를 통해 k3s 클러스터의 기본 설정이 완료되었다. 추가 설정 없이 docker hub 를 통해 이미지를 pull 하고 push 할 수 있지만, 여러 제약도 있고 리모트 서버에 읽고 써야 되어서 아무래도 빠릿빠릿한 부분이 덜하다. 그래서…11 min read·Dec 21, 2020----
Jung-taek Limmultipass 를 활용하여 Ubuntu 20.04 에 k3s 구성하기사실 구글링해가면서 삽질한 거 정리하는 거라 내용은 없다. 디테일도 일단 없다. 새로 세팅한 데스크탑을 개발용도로 활용하려고 하는 거라 일단 돌아가게 만드는 게 목표이고, Kubernetes In Action 서적을 보면서 지식이 비는 부분들을…6 min read·Dec 21, 2020----
Jung-taek LimSpark 3.0 에 포함될 Structured Streaming 관련 변화들지난 주말, Spark 3.0.0 릴리즈를 위한 브랜치가 생성되었다. Spark 3.0 릴리즈를 위한 “feature freeze” 상태로 전환된 것이다. (예외 사항은 있을 수 있지만) 새로 제안될 신규 기능은 3.0.x 에는 추가되기 어려울 것…13 min read·Feb 3, 2020--1--1
Jung-taek LimSpark flatMapGroupsWithState API 를 이용한 “이벤트 타임” 세션 윈도우 구현flatMapGroupsWithState API 의 고급 사용 사례7 min read·Oct 22, 2018----
Jung-taek LimExactly-once?주변에서 Jay Kreps 의 Kafka exactly-once 관련 작성한 글이 돌아다니길래 한 번 훑어 봤다. (영어 실력이 미천해서 정독은 정말 시간을 많이 들여야 되어서… 일단 먼저 훑어봄)3 min read·Jul 8, 2017----