[실시간 온라인] PyTorch를 이용한 딥러닝 번역기 구현
Introduction
최근 우리 일상에서 손쉽게 사용하고 있는 번역 서비스가 딥러닝을 활용하여 어떻게 만들어지는지 이해할 수 있습니다.
번역기 서비스는 십여년 전부터 여러 IT 기업에서 제공해왔습니다. 하지만 초기 번역기의 경우 규칙 기반(rule bassed) 모델로서 번역 품질이 좋지 않았습니다. 하지만 딥러닝의 발전과 함께 번역기의 성능은 눈부시게 개선되었으며 우리는 파파고, 구글 번역기 등을 실제 번역에 활용하고 있죠. 우리는 이번 수업을 통해 어떻게 딥러닝을 활용해서 번역기를 만들 수 있는지 학습하고 직접 구현하는 시간을 가져봅니다.
본 강의는 딥러닝을 활용한 번역기 개발을 위해 시계열 데이터 처리에 적합한 모델인 RNN을 학습한 후 초기 번역기 모델인 Sequence to Sequence를 구현해봅니다. 이후 현재 딥러닝에서 중요한 위치를 차지하고 있는 attention mechanism를 sequence to sequence에 적용해 봅니다. 마지막으로 최신 모델인 transformer에 대해 알아보고 실제 구현해보는 시간을 가집니다.
본 강의를 수강하고 나면 encoder – decoder 구조에 대해 이해하고 실제 간단한 번역기를 구현하는 능력을 갖출 수 있습니다.
기계 번역이란?
기계 번역(Machine Translation)은 컴퓨터를 이용해 인간이 사용하는 자연 언어를 다른 언어로 번역하는 일을 말합니다. 자동 번역으로 부르기도 하며, 우리가 흔히 아는 구글 번역, 네이버 파파고를 포함해 SYSTRAN, 바벨피시, 빙 번역기 등 다양한 기계 번역기가 존재합니다.
기계 번역은 2000년대 이후 딥러닝과 결합하며 급격하게 발전했습니다. 번역을 위한 시스템 구축에 필요한 통계 모델 등을 사람이 일일이 정하는 수고로운 과정을 인공 신경망을 통해 수월하게 진행할 수 있게 되었기 때문입니다.
Goal
강의 목표
- RNN의 수학적 이론에 대해 이해하고 RNN의 한계를 극복한 LSTM을 학습합니다.
- Encoder – Decoder 구조에 대해 이해합니다.
- 번역기의 기초가 되는 모델인 Sequence to Sequence를 학습합니다.
- Attention Mechanism에 대해 학습하고 RNN based model과 비교하여 장단점을 분석합니다.
- Transformer를 학습하는 시간을 가집니다.
Point
강의를 들으시면 다음의 질문에 답할 수 있게 됩니다
- 초기 번역기는 어떻게 만들어졌고 한계는 무엇인가?
- RNN의 구조는 어떻게 되어있으며 어떤 문제가 있는가?
- Encoder – Decoder 구조란 무엇인가?
- Sequence to Sequence 란 무엇이며 어떤 한계가 있는가?
- Attention Mechanism은 무엇이며 어떻게 Sequence to Sequence에 접목할 수 있는가?
- Transformer의 구조는 어떻게 되어있으며 RNN based model에 비해 장점이 무엇인가?
Point
강의를 통해 아래의 번역기들을 구현할 수 있습니다
✓ PyTorch를 이용한 Seq2Seq 구현
✓ PyTorch를 이용한 Seq2Seq with Attention 구현
✓ PyTorch를 이용한 Transformer 구현
For YOU
이런 분들께 추천드립니다!
자연어 처리에 관심이 있으신 분
자연어 처리 기본 지식으로 번역기 구현하는 방법을 알고 싶으신 분
번역기 구현에 관심이 있으신 분
딥러닝 인공 신경망을 기반으로 실제 번역기를 구현해보고 싶으신 분
* 본 교육과정은 기본적인 PyTorch 사용법을 알고 계신 분을 대상으로 합니다
Professor
이종민
- 現 Hippo T&C 자연어 처리 연구원
- 성균관대학교 인공지능학과 석사 학위
- 국내 특허 출원 2건
- 소프트웨어 등록 2건
- 논문 게재 1건
- 과학기술정보통신부 주관 프로젝트 2건 참여
Professor's interview
이종민 강사님
- 안녕하세요, 짧게 자기소개 부탁드려요.
현재 성균관대학교 인공지능학과에서 석사 과정을 마치고 의료 인공지능 서비스를 개발중인 Hippo T&C에서 자연어 처리를 연구하고 있습니다. 챗봇, 문서 분류, 형태소 분석기를 위한 인공지능을 주로 개발하고 있습니다.
- 현재 하시는 일에 대해서 더 자세히 설명해주실 수 있나요?
자연어 처리는 우리가 일상적으로 사용하는 자연어를 분석하여 새로운 가치를 창출하는 분야입니다. 문맥을 이해해 화자의 의도를 분석하거나 다른 나라 언어로 번역 또는 이용자와 자연스러운 대화를 생성하는 등 매우 다양한 일이 자연어 처리를 통해 구현할 수 있습니다. 저는 현재 의료 기관과 협력하여 자연어 처리를 이용해 환자 분의 상태를 분석하는 인공지능을 중점적으로 개발하고 있습니다.
- 이번 교육 과정을 기획하게 되신 계기는 무엇인가요?
저는 지식을 누군가와 공유하는데 많은 관심이 있습니다. 이번 강의가 수강생 분들께 기계 번역이란 무엇인지, 어떤 단계를 거쳐 번역기를 개발하는지 알게 되는 시간이 되었으면 합니다.
- 이 강의에 대한 기대감이 있으시다면?
최근 인공지능 발전에 힘입어 산업 전반에 딥러닝이 활용되는 사례가 급속하게 늘어나고 있습니다. 이번 강의를 통해 수강생 분들이 기계 번역을 위한 인공지능의 원리를 이해하고 실습을 통해 간단한 번역기를 개발할 수 있는 능력을 갖출 수 있으실 것으로 기대합니다.
- 마지막으로 수강생 분들에게 당부의 말씀 부탁드립니다.
앞으로도 인공지능은 우리들의 일상 전반에 큰 영향을 미칠 기술입니다. 이번 강의를 통해 여러분들이 자연어 처리에 대한 이해도를 높이고 더 큰 관심을 가지는 계기가 되었으면 합니다.
#머신러닝 #딥러닝 #번역기 #자연어처리 #PyTorch
Curriculum
커리큘럼
1장 | RNN과 LSTM
시계열 데이터를 다룰 때 많이 활용되는 인공 신경망인 RNN을 알아봅니다. RNN의 한계가 무엇인지, LSTM은 이를 어떻게 해결했는지 분석하고 구현해봅니다.
- RNN에 대한 이론적 배경
- LSTM에 대한 이론적 배경
- PyTorch를 이용한 RNN 구현
- PyTorch를 이용한 LSTM 구현
2장 | Sequence to Sequence
인공 신경망을 이용한 번역기의 기본이 되는 sequence to sequence에 대해 알아봅니다. 어떻게 모델이 구성되어 있는지 살펴보고 실제로 구현해봅니다.
- Sequence to Sequence에 대한 이론적 배경
- PyTorch를 이용한 Sequence to Sequence 구현
3장 | Attention Mechanism
현재 딥러닝에서 매우 중요한 위치를 차지하고 있는 attention mechanism에 대해 알아봅니다. 작동 방식과 장점을 이해하고 sequence to sequence 모델에 적용해 보는 시간을 가집니다.
- Attention Mechanism에 대한 이론적 배경
- PyTorch를 이용한 Sequence to Sequence with Attention 구현
4장 | Transformer
현재 자연어처리 분야에서 각광받고 있는 transformer에 대해 알아봅니다. 기존의 RNN based model과 비교하여 어떤 점이 다른지, 작동 원리는 무엇인지 학습합니다. 실습을 통해 transformer를 구현해보는 시간을 가집니다.
- Transformer에 대한 이론적 배경
- PyTorch를 이용한 Transformer 구현
수강 방법
[ 실시간 온라인 강의 ]
수강신청을 해주신 분들께 개별적으로 온라인 수강을 위한 링크를 보내드립니다.
강의자료는 당일 배포합니다
일정 및 시수
일정 : 2021년 11월 2일 ~ 11월 11일 / 화,목요일 19:00~21:00
시수 : 4회, 총 8시간
유의 사항
개별 노트북 필수 지참, 세금계산서 발급가능
강의안내
결제 안내
- 대학(원)생 / 단체 / 기수강생 할인 가능합니다. (* 타쿠폰과 중복할인은 불가)
- 카드 결제시 최대 6개월 무이자 할부 가능합니다.
- 세금계산서 발급 가능합니다. 담당자(bill@fininsight.co.kr)에게 연락주시면 더 자세히 안내해 드리겠습니다.
강의 유의사항
- 본 강의에는 교재비가 포함되어 있습니다.
- 강의의 최소 인원이 미달될 경우 일정이 연기될 수 있습니다.
- 일정 연기 시, 수강생 분들께 개강 3일전 개별 연락을 드립니다.
인사이트 캠퍼스 지기 모집
혜택
- 본 강의 무료 수강
- 본 강의 외의 수강하고 싶은 강의는 50% 할인 혜택
- 인사이트 캠퍼스지기 활동 인증서 발급
- 금융권 진출 희망 시 진로 상담 및 네트워킹 제공 (우수 활동지기는 추천서 제공)
- 핀인사이트 취업 지원 시 우대
모집 대상
- 해당 강의 관련 학과 전일제 대학(원)생 또는 관심이 많은 타과 전일제 대학(원)생
- 인원: 강의 당 1명
우대사항
- 인사이트 캠퍼스 기 수강자
- 해당 강의 관련 프로젝트 경험자
- 해당 강의 관련 컴퓨터 언어 활용 가능자
활동 내용
- 수강생들이 효과적으로 강의를 수강할 수 있도록 돕는 역할
- 운영을 위한 세부사항을 기획하며, 다음 기수 수강생 모집 준비를 지원하는 역할
- 해당 강의 종료 후 수강생 인터뷰 작성 (A4 1장 분량) – 차기 강의 개발 전략에 참여
신청 방법
- 아래 신청 버튼을 통해 캠퍼스지기를 신청해주시면, 신청하신 모든 분들께 해당 강의 개강 1주 전까지 개별 연락 드립니다.
- https://goo.gl/forms/5KsDKKkUywVKPbZB2
