숨니의 무작정 따라하기

본문 바로가기

Recent Posts

NLP Transformer-XL : Attentive Language Models Beyond a Fixed-Length Context
Domain Adaptation Universal Source-free Domain Adaptation
Domain Adaptation Exploiting the Intrinsic Neighborhood Structure for Source-free Domain Adaptation (NIPS 2021)
Domain Adaptation Guiding Pseudo-labels with Uncertainty Estimation for Source-free Unsupervised Domain Adaptation

NLP Transformer-XL : Attentive Language Models Beyond a Fixed-Length Context 본 포스팅은 Transformer-XL : Attentive Language Models Beyond a Fixed-Length Context 논문의 리뷰를 다루고 있습니다. 개인적 고찰은 파란색으로 작성하였습니다. 해당 내용에 대한 토론을 환영합니다 :) Introduction Language modeling은 long-term dependency를 modeling하는 전형적인 문제 중 하나입니다. Sequential data를 neural network로 모델링하기 위해서는 이러한 long-term dependecy를 모델링하는 것이 관건이겠습니다. 기존 Language modeling의 standard solution은 RNN, 그 중에서도 LSTM으로 많이 해결하였는데요, RNN은 vanishin..
Domain Adaptation Universal Source-free Domain Adaptation 본 포스팅은 Universal Source-free Domain Adaptation논문의 리뷰를 다루고 있습니다. 개인적 고찰은 파란색으로 작성하였습니다. 해당 내용에 대한 토론을 환영합니다 :) Motivation Domain-shift가 있는 상황에서 knowledge of class-seperability (i.e., 학습된 classifier가 decision boundary를 긋는 능력―그냥 classification 성능)하는 많은 방법들이 존재하나, 이는 모두 source- target label-set relationship에 의존한 결과들임 (e.g. closed-set, open-set, partial-DA) 또한, 모든 unsupervised domain adaptation분야에서선 ..
Domain Adaptation Exploiting the Intrinsic Neighborhood Structure for Source-free Domain Adaptation (NIPS 2021) 본 포스팅은 Exploiting the Intrinsic Neighborhood Structure for Source-free Domain Adaptation논문의 리뷰를 다루고 있습니다. 개인적 고찰은 파란색으로 작성하였습니다. 해당 내용에 대한 토론을 환영합니다 :) Motivation 본 논문은 closed-set source-free domain adaptation 방법론에 대해 다루고 있음 방법론의 직접적은 motivation은 위 그림처럼 target domain의 data들이 source domain classifier의 decision boundary로 명확히 나눌 수 는 없어도 source model이 extract한 target feature자체는 class cluster를 형성한다는 ..
Domain Adaptation Guiding Pseudo-labels with Uncertainty Estimation for Source-free Unsupervised Domain Adaptation 본 포스팅은 Guiding Pseudo-labels with Uncertainty Estimation for Source-free Unsupervised Domain Adaptation논문의 리뷰를 다루고 있습니다. 개인적 고찰은 파란색으로 작성하였습니다. 해당 내용에 대한 토론을 환영합니다 :) Summary SF-UDA (source-free unsupervised domain adaptation)에서 반드시 introduceehlsms pseudo-label 이에 따라 learning objective가 noisy pseudo label⎯잘못 만들어진 pseudo label⎯에 영향받지 않게 uncertainty기반으로 loss를 re-weighting하는 방법 Terminology Test-tim..
NLP Time-Series Transformers 1. TS-BERT: A fusion model for Pre-trainning Time Series-Text Representations '뉴스(=text)'와 '주가(=numeric)'는 관계가 있는 time-series data이다 뉴스 기사에 대한 embedding : Text Representation, Transformer(BERT)로 embedding 주가에 대한 embedding : Stock time-series data, RNN으로 embedding 두 embedding을 Multi-modal compact bilinear pooling (MCB pooling)로 fusion함 MCB : multi-modal data의 정보를 압축하여 두 가지 다른 정보를 담기 위해 고려한 poolin..

티스토리툴바