개발산발

Elasticsearch Enrich 프로세서란?  Elasticsearch Enrich 프로세서는 데이터에 추가적인 정보를 자동으로 결합해주는 기능입니다. 이 기능은 Elasticsearch 7.5 버전부터 제공되며, 특정 데이터를 사전에 정의된 정책(policy)에 따라 색인화 과정에서 다른 인덱스의 데이터와 결합할 수 있게 해줍니다.Enrich 프로세서를 사용하기 위해서는 Elasticsearch 클러스터 내에 인제스트(Ingest) 노드가 필요합니다. Ingest 노드는 Ingest Pipeline을 통해 문서가 처리될 때 필수적인 역할을 하며, 데이터를 통합하거나 변환하는 과정을 처리합니다.   Enrich Index의 특성Enrich Index는 Elasticsearch에 의해 내부적으로 관리..

배경실무에서 Elasticsearch를 사용하면서 index_closed_exception 오류를 경험한 적이 있습니다.해당 에러는 ES에서 4XX대 응답을 내려주고 있지만 자칫하면 검색이 되지 않는 크리티컬한 상황이 될 수 있습니다.  위 다이어그램은 제게 이슈가 있었던 상황을 표현한 것입니다. 복수 개의 인덱스가 존재하고 공통 alias로 인덱스가 연결 되어있는 상태일 때alias 연관 인덱스를 close 하고 alias 검색 시 close 인덱스에도 접근을 시도 하게 되어 index_closed_exception 예외가 발생하며 검색 요청이 실패합니다. 해결 원인은 close된 인덱스가 여전히 alias에 의해 참조되고 있어서 발생한 에러 입니다.A closed index is blocked fo..

상황아래 ES 에러 메시지가 발생하면서 신규 인덱스 생성 불가{"type":"illegal_argument_exception","reason":"Validation Failed: 1: this action would add [10] shards, but this cluster currently has [993]/[1000] maximum normal shards open;"}분석ES 공식문서에 따르면,클러스터의 샤드 수는 노드 수에 기반한 소프트 제한이 있으며, 이것은 클러스터를 불안정하게 할 수 있는 작업을 방지하기 위함입니다.클러스터 샤드 제한은 하드웨어 구성과 부하량에 따라 안정적인 샤드 수가 다릅니다.closed index는 위 max_shards_per_node 에 포함되지 않습니다.새 인덱스 ..