분류 전체보기19 Transformer 리뷰 이해도 확인 문제 아래의 문제들은 7월 13일 스터디 내용으로 Transformer에 대한 이해도를 확인하기 위해 제작된 문제입니다. 1. (중) 다음은 Transformer의 전체 구조를 그린 그림입니다. 각각의 번호에 해당하는 모듈을 에서 찾아 적으시오. softmax, Feed Forward, Multi-Head Attention, Masked Multi-Head Attention, Positional Encoding 2. (중) 아래의 글은 Transformer의 특징을 서술한 글입니다. 다음 중 옳지 ‘않은’ 것을 모두 고르시오. (2개) a. Transformer 구조 내에는 CNN과 Fully Connected layer로 구성되어 있다. b. Trasfomer는 현재 자연어 처리 분야에서 가장 많이 기본 구.. 2023. 7. 13. Transformer를 가장 쉽게 설명한 글 1탄 아래의 글은 Jinsol Kim 님의 블로그 글을 보고 정리한 글입니다. 참조: https://gaussian37.github.io/dl-concept-transformer/ 참조: https://jalammar.github.io/illustrated-transformer/ 1. Transformer 특징 번역 task에서 RNN과 CNN을 쓰지 않고 Attention과 Fully Connected Layer와 같은 기본 연산만을 이용하여 SOTA 성능을 이끌어낸 연구로 유명 (기존 연구의 문제점): 하나의 문맥 벡터에 문장의 모든 정보를 함축시켜야 하기 때문에 성능이 저하 (해결 방안): 모델이 학습될 때마다 문장의 전부를 입력으로 받으면 어떨까? → 하나의 벡터에 저장하지 말고 출력된 단어들을 별도의.. 2023. 7. 12. [BOJ #10799] 쇠막대기 📌 문제 여러 개의 쇠막대기를 레이저로 절단하려고 한다. 효율적인 작업을 위해서 쇠막대기를 아래에서 위로 겹쳐 놓고, 레이저를 위에서 수직으로 발사하여 쇠막대기들을 자른다. 쇠막대기와 레이저의 배치는 다음 조건을 만족한다. 쇠막대기는 자신보다 긴 쇠막대기 위에만 놓일 수 있다. - 쇠막대기를 다른 쇠막대기 위에 놓는 경우 완전히 포함되도록 놓되, 끝점은 겹치지 않도록 놓는다. 각 쇠막대기를 자르는 레이저는 적어도 하나 존재한다. 레이저는 어떤 쇠막대기의 양 끝점과도 겹치지 않는다. 아래 그림은 위 조건을 만족하는 예를 보여준다. 수평으로 그려진 굵은 실선은 쇠막대기이고, 점은 레이저의 위치, 수직으로 그려진 점선 화살표는 레이저의 발사 방향이다. 이러한 레이저와 쇠막대기의 배치는 다음과 같이 괄호를 이용.. 2023. 7. 11. 이전 1 2 3 4 5 다음
