[kubernetes] Hive metastore 설치 및 설정 (hive-s3 connector for trino) 이번 글에서는 VM 기반의 kubernetes 클러스터에서 hive-s3 connector를 사용하기 위해 설치되어야 할 Hive Metastore 설치를 진행 할 예정입니다. 이전 Trino - S3 연결 및 데이터(schema, table) 생성/조회 설정 글에서, Trino를 통해 hive-s3 catalog를 생성 해 S3에 올라온 CSV 데이터를 읽어오는 내용을 진행 했었습니다. 해당 글은 hive-s3 catalog를 생성하기 위한 table-schema인 Hive Metastore를 설치하는 과정과 내용을 설명할 예정입니다. 현재 구축되어 있는 클러스터는 Hadoop(HDFS)를 Storage로 사용하지 않기 때문에 hdfs는 설치되어 있지 않으며, Storage는 S3(Object stor.. 2024. 2. 4. [kubernetes] Trino - S3 연결 및 데이터(schema, table) 생성/조회 설정 이번 글에서는 VM 기반의 kubernetes 클러스터에서 이미 설치한 Trino를 활용해 S3에 올라온 데이터를 읽어, 조회를 진행해 보겠습니다. 이를 진행하기 위해선 아래의 3가지의 환경이 이미 구성되어 있어야 합니다. (다른 글에서 다룰 예정) 1) ingress가 설정되는 환경이어야 합니다. (참고 - ingress-nginx-controller 설치) 2) Trino가 설치되어 있어야 합니다. 3) Hivemetastore가 설치되어 있어야 합니다. (참고 - Hivemetastore 설치) Trino - S3 연결을 위해선 위의 3가지 환경이 사전에 구성되어 있어야 하며, 그 이유는 아래의 글에서 함께 설명을 진행하겠습니다. 우선, Trino를 좀 더 편한 환경에서 사용하기 위해선 Databa.. 2024. 1. 29. [kubernetes] ingress-nginx-controller (helm) 설치 및 ingress 리소스 설정 이번 글에서는 VM 기반의 kubernetes 클러스터에서 ingress-nginx-controller를 설치해, external-ip를 설정하고 이를 기반으로 ingress 리소스를 설정해 외부에서의 접속을 진행해보겠습니다. 우선, ingress-nginx-controller를 설치하기 전에, kubernetes 클러스터에서 ingress를 설장하는 이유에 대해서 간단히 설명하고 넘어가겠습니다. kubernetes 클러스터에서 Pod은 MasterPlain의 Controller에 의해 관리가 됩니다. 따라서, Pod의 IP는 고정되어 관리되지 않고 Pod이 delete/create 시 마다 변경되어 관리됩니다. 즉, Pod의 IP address를 확인해보면 초기 설정한 대역폭에 따라 랜덤하게 할당/설정.. 2024. 1. 21. 이전 1 다음
