Course curriculum

  • 1

    Khái quát về khóa học

    • Lời chào từ đội ngũ VietAI

    • Các nguồn tự học bổ ích

    • Nội quy lớp học

    • Phương thức học

    • Phương thức nộp bài

    • Record buổi khai giảng 08/07/2022
  • 2

    Tuần 1: Giới thiệu về khóa học và ôn tập kiến thức

    • What is NLP & its applications

    • NLP approaches & Deep Learning

    • NLP Tasks & its difficult and challenging

    • Course content

    • RNN-LSTM (p.1)

    • RNN-LSTM (p.2)

    • RNN-LSTM (p.3)

    • RNN-LSTM (p.4)

    • RNN-LSTM (p.5)

    • RNN-LSTM (p.6)

    • Word2vec (p.1)

    • Word2vec (p.2)

    • Word2vec (p.3)

    • Word2vec (p.4)

    • Lab Pytorch

    • Lab Word2vec

    • Lab LSTM

    • Record buổi webinar 15/07/2022

    • Slide tuần 1
  • 3

    Tuần 2: Mô hình Attention và mô hình Transformer

    • Transformer introduction

    • Sequence to sequence

    • Bottle neck of Seq2Seq with RNN, and motivation of Attention

    • Attention intuition

    • RNN Attention

    • Summary RNN, Attention Summary

    • Can we replace RNN with Attention

    • Self-Attention Layer

    • From self-attention to transformer

    • Improvement #1: Positional Embedding

    • Improvement #2: Masked self-attention

    • Improvement #3: Mutilhead self-attention

    • Improvement #4: Add Non-linearities

    • Implementation summary

    • Transformer encoder

    • Transformer decoder

    • Pros and Cons

    • Application of Transformer

    • Lab Multihead self-attention

    • Lab Attention visualization

    • Assignment: Vietnamese Inverse Text Normalization

    • Record buổi webinar ngày 22/07/2022

    • Quiz: Seq2seq

    • Quiz: Attention

    • Quiz: Transformers

    • Slide tuần 2
  • 4

    Tuần 3: Mô hình BERT

    • What is contextualize word Embedding

    • Pre-trained Language Models

    • Downstream tasks

    • Quiz: Contextualize word embedding

    • Hugging Face

    • Lab Topic Classification

    • Assignment: NER

    • Record buổi webinar ngày 29/07/2022

    • Slide tuần 3
  • 5

    Tuần 4: Mô hình biểu diễn đa ngôn ngữ và mô hình hỏi đáp đa lĩnh vực

    • Multilingual language model

    • Quiz: MRC

    • Open domain QA problem

    • Open domain QA - Dataset and Metric

    • Open domain QA - Method

    • Quiz: Open domain QA

    • Slide tuần 4

    • Record buổi webinar 05/08/2022
  • 6

    Tuần 5: Mô hình sinh ngôn ngữ

    • Natural Language Generation with GPT - Intro

    • Natural Language Generation with GPT (P.1)

    • Natural Language Generation with GPT (P.2)

    • Tutorial on text generation

    • Quiz: GPT

    • Slide tuần 5

    • Record buổi webinar 12/08/2022
  • 7

    Tuần 6: Bài tập lớn cuối khóa

    • Record buổi webinar 19/08/2022 (P.1)

    • Record buổi webinar 19/08/2022 (P.2)
  • 8

    Tuần 7: Chia sẻ & giao lưu từ các chuyên gia đầu ngành (1/2)

    • Record buổi webinar 26/08/2022

    • Record buổi chia sẻ của anh Tú Vũ
  • 9

    Tuần 8: Chia sẻ & giao lưu từ các chuyên gia đầu ngành (2/2)

    • Record buổi chia sẻ của anh Nguyễn Quốc Đạt

    • Record buổi webinar 11/09/2022
  • 10

    Tuần 9: Báo cáo & thuyết trình bài tập lớn

    • Record buổi chia sẻ của anh Duong A. Nguyen

    • Record buổi webinar 16/09/2022
  • 11

    Tuần 10: Tổng kết

    • Record buổi Tổng kết