본 포스트에서는 자연어처리 분야에서 입지전적인 위치를 가지고 있는 Hugging Face에서 새로이 개발한 🤗PEFT :Parameter-Efficient Fine-Tuning of Billion-Scale Models on Low-Resource Hardware의 설명 문서를 번역하여 소개하겠습니다. 원문 링크 PEFT의 등장배경 GPT, t5, bert와 같은 트랜스포머 기반의 거대 언어 모델은 현재 다양한 자연어처리 작업에서 가장 좋은 성능을 보이고 있습니다. 그리고 트랜스포머 구조는 VIT, Stable diffusion, LayoutLM과 같은 컴퓨터 비전 분야, whisper, XLS-R과 같은 음성 분야에도 진출하기도 했습니다. 기존의 패러다임은 거대한 단위의 웹 데이터를 사전학습(pre-t..

본 포스트에서는 자연어처리의 세부 task중 과 Lexical Simplification(어휘 단순화) 에 관해 다루도록 하겠습니다.Lexical Simplification(어휘 단순화) 1. 용어 정의Lexical Simplification(어휘 단순화, 이하 LS)의 목적은 복잡하고 어려운 어휘를 더 단순하지만 의미가 같은 단어로 바꾸어 어린이, 외국어 학습자 등의 해당 언어가 익숙하지 않은 사람들이 텍스트를 더 잘 이해할 수 있도록 하는 것입니다.  2. 작업 파이프라인 일반적으로 LN은 다음의 세 가지 절차로 이루어집니다. 1. 복잡한 단어 정의 (Complex Word Identification, CWI) 2. 대체 단어 생성 (Substitute word Generation, SG)3. 대체 ..

Word Sense Disambiguation (단어 의미 중의성 해소, 단어 의미 판별) Word Sense Induction(이하 WSI)에 관해 이야기하기 위해서는 먼저 Word Sense Disambiguation(이하 WSD)에 대해 이해하는 것이 필요하다. WSD는 특정 문장에 등장하는 단어들이 어떤 의미인지 판별하는 자연어처리 작업이다. 예를 들면 다음과 같은 네 문장이 있을 때, 1. 배가 불러서 더 이상 못 먹겠다. 2. 올 해에는 배가 풍년이다. 3. 내가 더보다 몇 배는 더 빠르다. 4. 사촌이 땅을 사면 내 배가 아프다. 1~4번의 의미는 각기 다른 의미로 쓰였는데, 표준국어대사전 기준으로 1번과 4번은 배01, 2번은 배03, 3번은 배08에 해당된다. 사람이 문맥에 따라서 문장에..

Knowledge Distillation(지식 증류)란? Knowledge Distillation(이하 KD)는 Teacher Network에서 얻어낸 지식을 Student Network로 전달시켜 학습하는 기법이다. 처음 이 방법이 제안되었을 때에는 큰 모델에서 학습한 지식을 작은 모델로 전달함으로써 모바일 기기 등 연산능력이 강력하지 않은 하드웨어에서도 딥러닝 모델을 동작시키려는 목적이었다. 최근에는 지속적으로 들어오는 데이터 스트림을 학습하기 위한 Continual Learning 방법론 중 하나로 KD가 대두되고 있는데, 이전 시점의 모델이 학습한 지식(Hidden Knowledge)를 현재 시점 모델에게 주입하는 방식으로 모델에게 새로운 지식을 학습시킨다. 본 포스팅에서는 언어 모델의 Conti..

논문 pdf 링크 : https://nlp.stanford.edu/pubs/glove.pdf * 본 논문은 2014년 EMNLP학회에 제출되었으며, 워드 임베딩 방법론인 Glove를 다루고 있습니다. * 본 포스트는 2022년 9월 6일 자연어처리 논문 스터디에서 작성자가 발표한 내용을 재구성해 작성했습니다. 본문을 읽기 위해 필요한 지식들 워드 임베딩 : https://wikidocs.net/33520 word2vec : https://wikidocs.net/22660 기존 워드 임베딩 방법론들의 한계 본 논문이 발표되기 이전에 워드 임베딩에서 주요한 방법론은 크게 2가지가 있었습니다. 먼저 LSA(Latent Semantic Analysis) 는 문서에서 각 단어의 빈도를 행렬화한 뒤 그것을 차원축소..

논문 pdf 링크 : https://web.stanford.edu/class/ee384m/Handouts/HowtoReadPaper.pdf 본 논문은 캐임브릿지 대학교 컴퓨터과학 교수인 S.Keshav가 작성한 제목 그대로 논문을 잘 읽는 법에 대해 소개한 논문입니다. 1. 서론 논문을 효율적으로 읽는 방법은 중요하지만, 그 방법은 잘 가르쳐주지 않는다. 그렇기 때문에 대학원생들은 이 과정에서 직접 시행착오를 겪게 된다. 이 과정에서 많은 노력의 낭비가 일어나게 되고 종종 절망에 빠지기도 한다. 이 논문에서는 저자가 제안하고 오랫동안 사용하고 있는 논문에 대한 간단한 접근법인 '3단계 접근법' (three-pass approach)를 소개한다. 2. 3단계 접근법(Three-Pass Approach) 핵..