본문 바로가기

분류 전체보기

[Paper Review] CLIP : contrastive language image pre-training
Paper Review/Multimodal Learning 2024. 2. 21. [Paper Review] CLIP : contrastive language image pre-training background기존 supervised image classifier 한계- 매번 각 task에 맞도록 새로운모델 tuning 필요 : 모델의 일반화 성능 떨어짐- new downstream task에 적합한 다량의 이미지, 레이블링 작업 필요 : 많은 시간과 비용 필요- 벤치마크 데이터셋의 성능과 실제 데이터셋 사이 성능 차이 존재 : robust - Fine-tuning이 필요 없는 일반화된 모델- 이미지 수집 및 정 레이블 생성에 적은 노력이 드는 모델- 벤치마크 데이터셋 이외의 여러 현실 데이터에도 성능이 유지되는 모델  ▶ CLIP : contrastive language-image pre-training (2022)Web-based image-text pair 기반의 visual repre..
[Paper Review] RePaint: Inpainting using Denoising Diffusion Probabilistic Models
Paper Review/Generative models 2024. 2. 12. [Paper Review] RePaint: Inpainting using Denoising Diffusion Probabilistic Models https://openaccess.thecvf.com/content/CVPR2022/papers/Lugmayr_RePaint_Inpainting_Using_Denoising_Diffusion_Probabilistic_Models_CVPR_2022_paper.pdf  분야 : Diffusion inpainting  전체 정리INTRODUCTIONMETHODEXPERIMENTLIMITATIONSCONCLUSION  전체 정리point- 특정한 마스크 분포에 대해 학습하여 특화 일반화에 맞춤=> 자유 형태 인페인팅 적용     임의 mask로 지정된 부분에 새로운 contents 추가      DDPM 기반 인페인팅 접근 방식 RePaint 제안  INTRODUCTIONInpainting이미지의 손실된 부분을..
XAI for In-hospital Mortality Prediction via Multimodal ICU Data
Paper Review/Multimodal Learning 2024. 2. 5. XAI for In-hospital Mortality Prediction via Multimodal ICU Data https://arxiv.org/pdf/2312.17624.pdf 목차사전지식ABSTRACTINTRODUCTIONMETHODEXPERIMENTCONCLUSION 사전 지식더보기XAI : explainable artificial intelligence사용자가 머신러닝 알고리즘으로 생성된 결과와 출력을 이해하며 신뢰할 수 있도록 하는 일련의 프로세스=> ai 모델과 이에 대한 영향 및 편향을 설명하는데 사용됨      ai로 의사결정을 할 때, 모델 정확성, 공정성, 투명성 및 결과 특성화      조직이 ai 발전에 책임있는 접근 방식을 채택하는데 도움을 줌 AI가 발전하면 인간은 알고리즘이 어떻게 결과에 도달했는지 알 수 있어야 관리 및 통제가 가능하다통상적으로 ML은 이해하기 힘든 블랙박스이며 bias..
Multimodal foundation model 기본 개념
Paper Review/Multimodal Learning 2024. 2. 4. Multimodal foundation model 기본 개념 사용할 데이터 : clinical data + medical image ⇒ MIMIC Database Clinical data miningClinical data : 임상 데이터의료기관이 환자를 진료하며 생성하는 data환자 정보 + 의료 기록 ⇒ 데이터 분석 기법을 적용해 유용한 정보를 추출, 지식을 발견특징데이터 다양성다양한 형태의 의료분야를 다루며 환자 정보, 의료 기록, 검사 결과 생체 신호 등을 포함이러한 다양한 데이터 유형을 통합하여 종합적 분석 수행대규모 분석통계적 유의성 파악 및 복잡한 패턴 식별패턴 인식데이터 마이닝 및 머신 러닝 기술을 사용해 숨겨진 패턴, 상관 관계, 규칙 발견예측 분석과거 데이터 기반 미래 결과 예측 ⇒ 환자의 예후 예측 가능주요 과제 : 데이터 품질 & 프라이버시 ..
Paper Review/Generative models 2024. 2. 4. Palette: Image-to-Image Diffusion Models Abstractimage to image 변환, conditional diffusion model 개발4가지 challenge를 통해 평가 (coloization / inpainting / uncropping / JPEG restoration)모든 부분에서 strong GAN 성능 능가task-specific hyper-parameter tuning / architecture customazation / any auxiliary loss / sophisticated new techniques 필요 Xsample diversity에 대한 L1 loss와 L2 loss 영향을 알아냄경험적 연구를 통해 neural architecture에서 self-attention의 중요성 입증imageNet 기반 unif..
알쓸인잡 보호되어 있는 글입니다.
CAM : learning deep feature for discriminative localization
Paper Review/Computer Vision 2024. 1. 27. CAM : learning deep feature for discriminative localization weakly supervised learning1) 이미지 라벨링만을 가지고 학습을 진행하여 test의 Bbox를 찾고 싶은 경우2) Bbox만을 가지고 학습하여 pixel label을 알고싶은 경우즉, 내가 학습하는 것보다 알고싶은 것의 정보가 더 깊은 경우를 weakly supervised learning이라고 한다.  CAM의 한계- GAP을 사용해야함 => 지막 convolution layer에만 저굥ㅇ가능- 뒷부분은 fine tuning해주어야함 Gradient-weighted CAM : Grad-CAMCAM에서는 가중치로 구하던 heatmap을 Gradient로 대신함 gradient의 픽셀별 평균을 각 feature map에 곱하여heatmap을 만들고 CAM과 마찬가지로 pixel-wise..
강의/한국사의이해 2024. 1. 15. [한국사 : 조선후기] 키워드 정리 및 시험 예상문제 붕당정치 붕당 연합과 북벌운동 인조 - 인조반정 : 서인 주도 하 남인 동조로 성립 서인 : 왕이 아닌 재상 중심 정치 남인 : 왕권 강화(서인에 비해 상대적으로 약함) + 소현세자 - 청의 외교 창구 역할을 하던 와중 9년을 마치고 조선으로 귀국하자마자 2달만의 급서 => 봉림대군(효종)이 세자로 책봉 효종 강력한 북벌운동 자신을 세자로 책봉하는 것을 반대했던 이들도 북벌파라면 등용함 - 남인 등용 - 나선정벌로 조총 부대 파견하여 실전 경험을 높임 현종 - 효종/효종비와 조대비의 상복 기간을 두고 논쟁 발발 => 예송 남인 : 그래도 왕 서인 : 재상 중심이기때문에 동일하게 남인 서인 효종 3년 1년 효종비 1년 9개월 숙종 : 급격한 정치 변동 => 환국을 통한 왕권 강화 경신환국:서인 승 => 기..
강의/한국사의이해 2024. 1. 15. [한국사 : 왜란과 호란] 키워드 정리 및 시험 예상 문제 16세기 동북아시아 정세 - 활발한 교역 명 몽고와 왜의 침략 일본 영토 확보 전쟁 중 히데요시의 전국 통일 임진왜란 원인 - 일본 무장들의 공명성 - 경제적 이익 - 반 히데요시 정권의 군사, 경제적 기반 약화 => 큐수, 나고야성 축성하며 전쟁 준비 당시 조선은? - 기병 중심 - 정예병 양성 = 제승방략 : 초동조치를 지방군이 하면 정예군인 경험 많은 중앙군 파견 - 자전자수 : 자신의 지역은 자기가 책임짐 삼포왜란-> 을묘왜변 -> 니탕개의 난:여진고려 => 임진왜란 니탕개의 난 여진의 조선 침략 : 당시 기마병 위주 => 우리의 주적 = 기마병 조선의 대응 - 평안도 북방 = 건주여진(누르하치 세력 팽창) 정세 주시 - 함경도 북방 = 적극적 군사 대응 녹둔두 전투, 시전부락 전투에서 조선의 승..

티스토리툴바