사용자 도구

사이트 도구


wiki:3party:elasticsearch

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

양쪽 이전 판 이전 판
다음 판
이전 판
wiki:3party:elasticsearch [2022/03/11 21:47]
dhan
wiki:3party:elasticsearch [2023/01/13 18:44] (현재)
줄 11: 줄 11:
  
 데이터의 양과는 무관하게 1초 이내의 응답 속도 기대 데이터의 양과는 무관하게 1초 이내의 응답 속도 기대
 +
 +===== News =====
 +벡터 검색
 +  
 +  무차별 대입 벡터 유사성 지원(Brute force vector similarity) - 7.3 GA
 +    - 용량에 따른 복잡도 증가
 +  
 +  HNSW(Hierarchical Navigable Small Words) & KNN (K-Neighbor Nearest) - 8.0
 +    - 대용량 처리를 위해 약간의 정확도(accuracy) 희생
 +    - 대용량 인덱스에서 쿼리 지연 감소
 +  
 +  Lucene를 많이 사용함
 +  
 +
 +허깅 페이스 (파이토치 모델)
 +  Eland (엘란트) - 머신러닝 모델 관리
 +  
 +  웹 크롤러도 있음
 +  7.x와 8.x는 많은 변화가 있음
 +
 +
 +  머신 러닝 지원 내용
 +    허깅 페이스에서 모델 다운로드
 +    -> 도큐먼트 학습
 +    -> 질문 쿼리를 벡터로 변경
 +    -> _knn_search 벡터로 검색
  
 ===== Case Study ===== ===== Case Study =====
줄 20: 줄 46:
   로그 전송 및 가공   로그 전송 및 가공
   200여개 이상의 확장 가능한 플러그인 사용   200여개 이상의 확장 가능한 플러그인 사용
 +  JRuby 언어로 작성
   유사제품군    유사제품군 
     트레저데이터의 플루언트디      트레저데이터의 플루언트디 
줄 26: 줄 53:
  
   데이터 전송 및 가공   데이터 전송 및 가공
-  Go 랭기지로 작성되었음, 경량 수집기+  Go 언어로 작성되었음, 경량 수집기
  
 엘라스틱서치 (샤이 배넌) 엘라스틱서치 (샤이 배넌)
줄 38: 줄 65:
   단점   단점
   저장 공간이 크게 압축되지 않고 시스템 리소스를 많이 차지   저장 공간이 크게 압축되지 않고 시스템 리소스를 많이 차지
-  DSL(Domain Specific Language)를 채택하여 JOIN 쿼리가 쉽지 않음, 반정규를 기본으로 채택+  DSL(Domain Specific Language)를 채택하여 JOIN 쿼리가 쉽지 않음, 반정규를 기본으로 채택 
 +  Java 언어로 작성
   유사제품군    유사제품군 
     솔라     솔라
줄 47: 줄 75:
   엘라스틱 스택의 UI, 관리 기능, API 콘솔, 모니터링...   엘라스틱 스택의 UI, 관리 기능, API 콘솔, 모니터링...
   키바나 때문에 엘라스틱 서치를 채택할 정도로 강력한 솔루션을 포함하고 있음   키바나 때문에 엘라스틱 서치를 채택할 정도로 강력한 솔루션을 포함하고 있음
 +  Javascript 언어로 작성
   유사제품군    유사제품군 
     그라파나, 태블로        그라파나, 태블로   
  
-엘라시스택+엘라시스택
  
   유사제품군    유사제품군 
줄 81: 줄 110:
   NETFLIX, Uber, Slack(기업용 메시지 앱, 협업 툴), twilio(트윌리오, 고객 커뮤니케이션 API 기업), Microsoft,    NETFLIX, Uber, Slack(기업용 메시지 앱, 협업 툴), twilio(트윌리오, 고객 커뮤니케이션 API 기업), Microsoft, 
   구글 클라우드, AWS, Azure에서 사용 가능   구글 클라우드, AWS, Azure에서 사용 가능
-  + 
 +===== ElasticSearch AI(문서유사도) 관련 ===== 
 +[[https://www.elastic.co/kr/blog/text-similarity-search-with-vectors-in-elasticsearch|벡터 필드를 사용한 텍스트 유사도 검색(공식홈페이지)]] \\ 
 +[[https://velog.io/@jakeseo_me/%EB%AC%B8%EC%84%9C-%EC%9C%A0%EC%82%AC%EB%8F%84-%EC%B8%A1%EC%A0%95-%EA%B5%AC%ED%98%84%ED%95%98%EA%B8%B0-3-with-elasticsearch|엘라스틱서치로 문서 유사도 검색 구현하기]] \\ 
 +[[https://andonekwon.tistory.com/16?category=413400|Elasticsearch를 이용한 문서 유사도 검색과 Springboot를 통한 구현]] 
 + 
 +===== Install =====
  
 ===== Tip ===== ===== Tip =====
줄 88: 줄 123:
  
 ===== Ref ===== ===== Ref =====
 +  * [[https://www.elastic.co/kr/support/matrix|지원 환경]]
 +  * [[https://www.elastic.co/kr/subscriptions|라이선스별 기능 비교]]
  
 {{tag>주레피 엘라스틱 엘라스틱서치 엘라스틱스택}} {{tag>주레피 엘라스틱 엘라스틱서치 엘라스틱스택}}
  
/volume1/web/dokuwiki/data/attic/wiki/3party/elasticsearch.1647002875.txt.gz · 마지막으로 수정됨: 2022/03/11 21:47 저자 dhan