Programador | Huffon Blog

체육, 어문 두 번의 전공 선택 실패, 그리고 개발자가 되기까지

2019년 대학에서 졸업한 후, 어느덧 사회에 나온지 4년차 개발자가 되었다. 제목에서도 유추할 수 있다시피 굳이 상투적인 표현으로 “돌이켜보면” 이라는 표현을 붙이지 않아도 개발자라는 직업에 정착하기 까지 참 많은 우여곡절이 있었다. 한번 쯤은 지나온 내 인생을 정리하고, 이야기를 공개적인 공간에 정리해두고 싶어 글을 남겨본다. 한국판 제리 맥...

Posted by devfon on May 7, 2023

Ruder's NLP Research Highlights of 2020

Sebastian Ruder's thoughts

이 글은 DeepMind 소속의 Sebastian Ruder가 매년 블로그를 통해 발행하는 ML and NLP Research Highlights 의 2020년 버전 중 자연어 처리와 관련된 이야기만 번역한 포스트입니다. 작년 한 해 동안 자연어 처리 분야에 어떠한 발전이 있었고, 글을 읽는 스스로가 해당 발전을 얼마나 잘 캐치업 해있는지를 점검하기 ...

Posted by devfon on February 8, 2021

진짜 진짜 길었던 2020년을 되돌아 보자

지난 365일은 어땠을까?

바야흐로 회고의 계절이 밝았습니다. 올해는 세계적으로도, 제 개인적으로도 많은 변화가 있었던 한 해 였습니다. 이미 년초에 글또 다짐글을 작성하며 상반기에 있었던 사건을 조금 기록하기는 하였지만, 동일한 내용들을 포함하여 올 한 해 전체를 되짚어 보는 글을 남겨보려고 합니다. 대학원 가자 작년부터 학부 전공을 통해 (마음속으로) 가까워진 포르투갈 ...

Posted by devfon on December 31, 2020

Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning

자연어 처리에서 Contrastive Loss를 Fine-tuning단에 적용하게 된다면?

Contrastive Learning? 최근 Computer Vision 분야에 Contrastive Learning을 적용한 다양한 연구 결과가 쏟아져 나오고 있습니다. 이러한 Contrastive Learning의 대표적인 연구 성과로는 Google의 SimCLR와 FAIR의 MoCo 그리고 DeepMind의 BYOL 등을 꼽아볼 수 있습니다. ...

Posted by devfon on November 21, 2020

HuggingFace 내 토크나이저 종류 살펴보기

Transformers 라이브러리 내 토크나이저 종류를 살펴보자

Huggingface Transformers가 버전 3에 접어들며, 문서화에도 더 많은 신경을 쓰고 있습니다. 그리고 이러한 문서화의 일환으로 라이브러리 내에 사용된 토크나이저들의 종류에 대해 간단히 설명을 해주는 좋은 문서가 있어, 번역을 해보았습니다. 최대한 원문을 살려 번역을 하고자 했으며, 원문은 이곳에서 찾아보실 수 있습니다. 토크나이저...

Posted by devfon on July 5, 2020

TORCHNLP.SAMPLERS 패키지 파훼하기

데이터 샘플링에 활용되는 Sampler 예제 학습하기

PyTorch의 서드 파티인 torchnlp 라이브러리에는 데이터 샘플링에 활용되는 다양한 샘플러 클래스를 지원하고 있습니다. 샘플러는 데이터셋으로부터 각각의 샘플들을 어떠한 방식으로 내줄 것인지에 대해 정의하는 클래스입니다. 공식 문서에서 소개하고 있는 샘플러 클래스를 살펴보며, 각각의 샘플러가 어떠한 기능을 제공해주고 있는지 살펴보도록 하겠습니다....

Posted by devfon on June 2, 2020

TORCH.UTILS.DATA 공식 문서 파훼하기

데이터 피딩에 활용되는 PyTorch 클래스를 알아보자

PyTorch 데이터 로딩의 중심에는 torch.utils.data.DataLoader 클래스가 있습니다. DataLoader는 Dataset에 대한 Python Iterable 클래스입니다. DataLoader에는 다양한 옵션이 존재하는데, 여러 옵션을 활용해 다음과 같이 DataLoader를 초기화 할 수 있습니다. 1 2 3 4 DataLoad...

Posted by devfon on May 26, 2020

자연어 처리는 법률 시스템을 어떻게 개선할 수 있을까?

법률 인공지능의 발전사에 대해 알아보자

본 글은 2020년도 ACL에 제출된 논문 How Does NLP Benefit Legal System: A Summary of Legal Artificial Intelligence?를 보고 기록을 위해 정리한 글입니다. 보다 자세한 내용이 궁금하신 분들은 원 논문을 참조해주시기 바랍니다. 1. 서론 ...

Posted by devfon on May 23, 2020

[번역] 프리랜서 AI 엔지니어 1 주년 회고

Masato Hagiwara의 프리랜서 경험담

본 글은 유수의 기업에서 리서치 경험을 하고, Duolingo에서 아시아권 언어들과 관련해 흥미로운 연구들을 수행한 Masato Hagiwara가 정규직 근무를 그만두고, 1 년간 프리랜서 AI 엔지니어 생활을 하며 느낀 경험과 생각을 정리한 글을 허락을 구하고 번역한 글입니다. 원글은 미국에서의 프리랜서 생활에 대해 다루고 있기는 하지만, 최근 한...

Posted by devfon on May 10, 2020

전공 관련 페이지 반 년간 운영해보기

자신에게 적합한 셀프 프로모션을 찾자

페이지의 시작 작년 10월 작은 페이스북 페이지 운영을 시작했다. 시작의 계기는 아주 단순했다. 당시 근무하던 스타트업에 통근하기 위해서는 왕복 4 시간의 시간이 소요되었는데, 해당 시간을 무의미하게 낭비하는 것이 아까웠다. 그리고 해당 출퇴근 시간에 여러 글들을 보며 학습한 내용들을 정리하는 페이지를 운영한다면 나뿐만 아니라 여러 사람들에게 도...

Posted by devfon on April 26, 2020

ABOUT ME

Huffon Blog