|
다음 판
|
이전 판
|
wiki:ai:nlp:bert [2020/07/15 16:07]
emblim98 만듦 |
wiki:ai:nlp:bert [2023/01/13 18:44] (현재)
|
| ====== BERT [버트] ====== | ====== BERT [버트] ====== |
| <WRAP left notice 80%> | <WRAP left notice 80%> |
| * description : Context Aware | * description : BERT |
| * author : 오션 | * author : 오션 |
| * email : shlim@repia.com | * email : shlim@repia.com |
| </WRAP> | </WRAP> |
| <WRAP clear></WRAP> | <WRAP clear></WRAP> |
| | |
| | ===== Python ===== |
| | [[https://www.kaggle.com/abhinand05/bert-for-humans-tutorial-baseline]] |
| |
| ===== 용어 ===== | ===== 용어 ===== |
| * Transformer [트랜스포머] : 2017년 구굴이 발표한 범용 딥러닝 모듈 아키텍처. 병렬처리를 통한 학습 속도의 향상이 가장 큰 장점. | * Transformer [트랜스포머] : 2017년 구굴이 발표한 범용 딥러닝 모듈 아키텍처. 병렬처리를 통한 학습 속도의 향상이 가장 큰 장점. |
| * [[https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html|Transformer: A Novel Neural Network Architecture for Language Understanding]] | * [[https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html|Transformer: A Novel Neural Network Architecture for Language Understanding]] |
| | * 텍스트 코퍼스[Text corpus, |
| | * 크고 구조화된 텍스트 집합으로 구성된 언어 리소스입니다. 특정 언어 영역 내에서 통계 분석 및 가설 테스트, 발생 확인 또는 언어규칙 유효성 검사에 사용됩니다. |
| |
| ===== 정리 ===== | ===== 정리 ===== |
| - | - 자연 언어 처리 태스크를 교육없이 양방향으로 사전학습하는 첫 시스템입니다.\\ |
| | - 딥러닝 프레임워크인 파이토치(PyTorch)와 텐서플로우(Tensorflow) 환경 모두에서 사용 가능.\\ |
| | - 문장 내 어절을 한 글자씩 나눈 뒤, 앞뒤로 자주 만나는 글자끼리 단어로 인식\\ |
| | - 구글은 위키백과 문서 데이터를 사용해 한국어 언어모델을 개발\\ |
| |
| |
| ===== Ref ===== | ===== Ref ===== |
| 8-)[[https://medium.com/ai-networkkr/%EC%B5%9C%EC%B2%A8%EB%8B%A8-%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5-%EC%86%94%EB%A3%A8%EC%85%98%EB%93%A4-1-%EA%B5%AC%EA%B8%80-bert-%EC%9D%B8%EA%B0%84%EB%B3%B4%EB%8B%A4-%EC%96%B8%EC%96%B4%EB%A5%BC-%EB%8D%94-%EC%9E%98-%EC%9D%B4%ED%95%B4%ED%95%98%EB%8A%94-ai-%EB%AA%A8%EB%8D%B8-9704ebc016c4|최첨단 인공지능 솔루션들:(1) 구글 BERT, 인간보다 언어를 더 잘 이해하는 AI모델]] | 8-)[[https://medium.com/ai-networkkr/%EC%B5%9C%EC%B2%A8%EB%8B%A8-%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5-%EC%86%94%EB%A3%A8%EC%85%98%EB%93%A4-1-%EA%B5%AC%EA%B8%80-bert-%EC%9D%B8%EA%B0%84%EB%B3%B4%EB%8B%A4-%EC%96%B8%EC%96%B4%EB%A5%BC-%EB%8D%94-%EC%9E%98-%EC%9D%B4%ED%95%B4%ED%95%98%EB%8A%94-ai-%EB%AA%A8%EB%8D%B8-9704ebc016c4|최첨단 인공지능 솔루션들:(1) 구글 BERT, 인간보다 언어를 더 잘 이해하는 AI모델]]\\ |
| :-)[[https://cloud.google.com/tpu/docs/tutorials/bert?hl=ko|Cloud TPU를 사용한 BERT 미세 조정:문장 및 문장 쌍 분류 태스크]]\\ | :-)[[https://cloud.google.com/tpu/docs/tutorials/bert?hl=ko|Cloud TPU를 사용한 BERT 미세 조정:문장 및 문장 쌍 분류 태스크]]\\ |
| :-D[[http://www.aitimes.kr/news/articleView.html?idxno=13117|인공지능(AI) 언어모델 'BERT(모델)"는 무엇인가]]\\ | :-D[[http://www.aitimes.kr/news/articleView.html?idxno=13117|인공지능(AI) 언어모델 'BERT(모델)"는 무엇인가]]\\ |
| LOL[[https://github.com/google-research/bert|google-research / bert]]\\ | LOL[[https://github.com/google-research/bert|google-research / bert]]\\ |
| | :-D[[https://www.aitimes.kr/news/articleView.html?idxno=15036|자연언어처리(NLP) 무엇인가...그 기술과 시장은?]]\\ |
| | :-D[[https://www.aitimes.kr/news/articleView.html?idxno=16599|OpenAI, 혁신적인 AI 자연어처리(NLP) 모델 'GPT-3'공개]]\\ |
| | :-D[[http://www.aitimes.kr/news/articleView.html?idxno=13861|AI 서비스 개발 한층 고도화될 듯..최신 한국어 언어 모델'코버트'공개]]\\ |
| | :-D[[https://blog.est.ai/2019/11/task-oriented-dialog-systems-meet-bert/|BERT를 활용한 챗봇 시스템]] |
| {{tag> 오션 BERT 버트 }} | {{tag> 오션 BERT 버트 }} |
