문서의 선택한 두 판 사이의 차이를 보여줍니다.
| 양쪽 이전 판 이전 판 다음 판 | 이전 판 | ||
|
wiki:3party:elasticsearch [2022/03/11 21:47] dhan |
wiki:3party:elasticsearch [2023/01/13 18:44] (현재) |
||
|---|---|---|---|
| 줄 11: | 줄 11: | ||
| 데이터의 양과는 무관하게 1초 이내의 응답 속도 기대 | 데이터의 양과는 무관하게 1초 이내의 응답 속도 기대 | ||
| + | |||
| + | ===== News ===== | ||
| + | 벡터 검색 | ||
| + | | ||
| + | 무차별 대입 벡터 유사성 지원(Brute force vector similarity) - 7.3 GA | ||
| + | - 용량에 따른 복잡도 증가 | ||
| + | | ||
| + | HNSW(Hierarchical Navigable Small Words) & KNN (K-Neighbor Nearest) - 8.0 | ||
| + | - 대용량 처리를 위해 약간의 정확도(accuracy) 희생 | ||
| + | - 대용량 인덱스에서 쿼리 지연 감소 | ||
| + | | ||
| + | Lucene를 많이 사용함 | ||
| + | | ||
| + | |||
| + | 허깅 페이스 (파이토치 모델) | ||
| + | Eland (엘란트) - 머신러닝 모델 관리 | ||
| + | | ||
| + | 웹 크롤러도 있음 | ||
| + | 7.x와 8.x는 많은 변화가 있음 | ||
| + | |||
| + | |||
| + | 머신 러닝 지원 내용 | ||
| + | 허깅 페이스에서 모델 다운로드 | ||
| + | -> 도큐먼트 학습 | ||
| + | -> 질문 쿼리를 벡터로 변경 | ||
| + | -> _knn_search 벡터로 검색 | ||
| ===== Case Study ===== | ===== Case Study ===== | ||
| 줄 20: | 줄 46: | ||
| 로그 전송 및 가공 | 로그 전송 및 가공 | ||
| 200여개 이상의 확장 가능한 플러그인 사용 | 200여개 이상의 확장 가능한 플러그인 사용 | ||
| + | JRuby 언어로 작성 | ||
| 유사제품군 | 유사제품군 | ||
| 트레저데이터의 플루언트디 | 트레저데이터의 플루언트디 | ||
| 줄 26: | 줄 53: | ||
| 데이터 전송 및 가공 | 데이터 전송 및 가공 | ||
| - | Go 랭기지로 작성되었음, | + | Go 언어로 작성되었음, |
| 엘라스틱서치 (샤이 배넌) | 엘라스틱서치 (샤이 배넌) | ||
| 줄 38: | 줄 65: | ||
| 단점 | 단점 | ||
| 저장 공간이 크게 압축되지 않고 시스템 리소스를 많이 차지 | 저장 공간이 크게 압축되지 않고 시스템 리소스를 많이 차지 | ||
| - | DSL(Domain Specific Language)를 채택하여 JOIN 쿼리가 쉽지 않음, 반정규롸를 기본으로 채택 | + | DSL(Domain Specific Language)를 채택하여 JOIN 쿼리가 쉽지 않음, 반정규화를 기본으로 채택 |
| + | Java 언어로 작성 | ||
| 유사제품군 | 유사제품군 | ||
| 솔라 | 솔라 | ||
| 줄 47: | 줄 75: | ||
| 엘라스틱 스택의 UI, 관리 기능, API 콘솔, 모니터링... | 엘라스틱 스택의 UI, 관리 기능, API 콘솔, 모니터링... | ||
| 키바나 때문에 엘라스틱 서치를 채택할 정도로 강력한 솔루션을 포함하고 있음 | 키바나 때문에 엘라스틱 서치를 채택할 정도로 강력한 솔루션을 포함하고 있음 | ||
| + | Javascript 언어로 작성 | ||
| 유사제품군 | 유사제품군 | ||
| 그라파나, | 그라파나, | ||
| - | 엘라시특스택 | + | 엘라시틱스택 |
| 유사제품군 | 유사제품군 | ||
| 줄 81: | 줄 110: | ||
| NETFLIX, Uber, Slack(기업용 메시지 앱, 협업 툴), twilio(트윌리오, | NETFLIX, Uber, Slack(기업용 메시지 앱, 협업 툴), twilio(트윌리오, | ||
| 구글 클라우드, | 구글 클라우드, | ||
| - | | + | |
| + | ===== ElasticSearch AI(문서유사도) 관련 ===== | ||
| + | [[https:// | ||
| + | [[https:// | ||
| + | [[https:// | ||
| + | |||
| + | ===== Install ===== | ||
| ===== Tip ===== | ===== Tip ===== | ||
| 줄 88: | 줄 123: | ||
| ===== Ref ===== | ===== Ref ===== | ||
| + | * [[https:// | ||
| + | * [[https:// | ||
| {{tag> | {{tag> | ||