Programador | Huffon Blog

torch.nn.utils.prune 모듈로 BERT 다이어트 시키기

다이어트는 사람한테만 필요한게 아니잖아?

들어가며… 최근 다이어트를 하고 있다. 컴퓨터 공부를 시작한 무렵부터 살이 급속도로 찌고 있었는데, 그동안 너무 안일하게 스스로를 방치한 것 같다. 이제와서야 스스로를 자책하며 간헐적 단식을 지키고 있는데 나만 다이어트를 하는 것은 조금 억울하다. 사람들이 말하길 BERT 가족들이 그렇게 다이어트를 할 필요가 있다던데 위 그림을 보니 이분들도 체...

Posted by devfon on March 15, 2020

글또 4기 및 정신머리 다짐글

백수가 정신머리를 챙기는 방법

2020년의 새해를 축하한지 얼마 되지 않은 것 같은데 벌써 3월이 되었다. 2020년이 밝자마자 꽤나 많은 일이 있었던 것 같은데 그만큼 시간도 빠르게 흘러가는 기분이다. 2020년의 2개월을 보내며 내게 생긴 일은 다음과 같다. 2번째 회사 퇴사 2번째로 근무했던 작은 스타트업 하이퍼하이어에서 3개월 간의 짧은 근무를 마치고 퇴사를 하였다. 하...

Posted by devfon on March 1, 2020

나의 첫 자연어 처리 오픈소스 PR 후일담

Facebook의 오픈소스 fairseq에 컨트리뷰션을 남겨보자

한국 시간으로 1월 18일 Facebook의 PyTorch 팀이 관리하는 자연어 처리 오픈소스 fairseq를 둘러보던 중 레이어 구현에 있어 작은 논리 오류를 발견하였다. 그리고 침착하게 issues 란으로 이동해 내가 발견한 오류가 이미 보고되었는지를 확인했다. 마침 본 오류는 기존에 issue로 보고되지 않은 오류였기에 내 뇌가 오류를 내고 있는...

Posted by devfon on January 28, 2020

예시를 통한 ROUGE 성능 지표의 이해

텍스트 요약과 기계번역의 성능 평가에 주로 사용되는 ROUGE 스코어에 대해 알아보자

본 글은 Northeastern University의 강의 자료 What is ROUGE and how it works for evaluation of summarization tasks?를 번역한 글입니다. 원문으로 읽고자 하시는 분들은 링크를 참조해주세요. ROUGE가 요약 모델의 성능을 평가하는 방법 Chin-Yew Lin에 의해 고안된 ROU...

Posted by devfon on December 7, 2019

[도서 리뷰] 다시 미분 적분

문과생이 읽어보는 미적분

선형대수와 확률통계는 인공지능을 공부하기 위해 필수로 여겨지는 수학 과목들이다. 인공신경망을 구성하는 모든 연산은 행렬 연산으로 이루어지며, 예측할 수 없는 무언가를 근사하기 위해서는 확률론이 필수적으로 사용되어야 하기 때문이다. 그리고 해당 과목들을 이해하기 위한 밑바탕으로 미적분의 필수적인 이해가 기본적으로 자리하고 있다. 적어도, 미적분은 알...

Posted by devfon on November 20, 2019

GLUE: 벤치마크를 통해 BERT 이해하기

"GLUE에서 State-of-the-art를 달성했다던데.. GLUE가 뭐지?" 했던 분들을 위한 글

본 글은 Chris McCormick과 Nick Ryan이 공동으로 작성한 GLUE Explained: Understanding BERT Through Benchmarks를 저자의 허락을 받아 한국어로 옮긴 글입니다. 잦은 의역이 있으니 원문을 살려서 읽고자 하신 분들은 링크를 참조해주세요. 이번 글에서는 BERT를 비롯한 전이학습 기반 자연어 처리...

Posted by devfon on November 16, 2019

2019년도 1학기, 마지막 학기와 '루소폰지역개발협력' 강의를 마치며

마지막 학기인 듯 아닌 듯 했던 한 학기를 마치며

나는 원래 글쓰기를 좋아하는 사람이었다. 20살 처음으로 다닌 대학교 작문 시간에 가족에 대해 쓴 글을 정말 좋게 봐주신 교수님 덕분에 글쓰기에 대한 흥미를 처음으로 가지게 되었다. 그리고 이후에는 여러 글을 써보려 했던 것 같다. 이러한 글쓰기에 대한 흥미는 군대를 다녀온 후, 편입 준비를 위해 논술을 배우기 시작하며 완전히 사라졌다. 이전까지는 ...

Posted by devfon on June 20, 2019

리스본에서 워싱턴까지: 세계적인 컴퓨터 공학자가 된 Pedro Domingos

마스터 알고리즘의 저자 Pedro Domingos에 대하여 알아보자

알파고 사건 이후 우후죽순으로 신간이 쏟아져 나오는 인공지능 관련 출판 업계에 명저로 뽑히는 한 교양서적이 있다. <마스터 알고리즘> 책의 제목 그대로 더 이상 개선의 여지가 없을 정도로 완벽한 알고리즘 개발이 가능한가에 관한 이야기를 하는 책이다. 재밌게도 책의 저자는 컴퓨터공학 분야의 연구가 그다지 활발하지 않은 국가인 포르투갈 출신...

Posted by devfon on June 14, 2019

스마트한 상담 센터 운영을 도와주는 기업 'Talkdesk'

포르투갈의 성공적인 스케일업 사례(2): Talkdesk

스타트업 업계에서 흔히 사용되는 말로 유니콘 기업이라는 말이 있다. 유니콘 기업이란 기업 가치가 1조원 이상인 비상장 스타트업 기업을 의미한다. 스타트업이 상장하기도 전에 기업 가치가 1조원을 돌파한다는 것은 상상 속에서나 가능하다는 의미에서 전설의 동물 유니콘의 이름이 붙게 된 것이다. 한국 내 대표적인 유니콘 기업으로는 쿠팡, 비바리퍼블리카(토스)...

Posted by devfon on June 6, 2019

대학생들의 주거지 선택권을 넓혀준 'Uniplaces'

포르투갈의 성공적인 스케일업 사례: Uniplaces

성공한 스타트업들의 행보는 일반적으로 두 부류로 나뉜다. ‘스케일업(Scale-up)’ 혹은 ‘엑시트(Exit)’. 여기서 스케일업이란 말 그대로 진행하던 사업의 규모를 확장하는 것이다. 포르투갈에서의 스케일업을 예로 들자면 포르투갈 내에서의 성공을 기반으로 주변 국가로 사업 영역을 넓혀 나가는 방식이다. 다음으로 엑시트는 창업자가 본인의 스타트업 기...

Posted by devfon on May 31, 2019

ABOUT ME

Huffon Blog