본문 바로가기

Paper Review/Multimodal Learning

CLIP : contrastive language image pre-training
Paper Review/Multimodal Learning 2024. 2. 21. CLIP : contrastive language image pre-training background기존 supervised image classifier 한계- 매번 각 task에 맞도록 새로운모델 tuning 필요 : 모델의 일반화 성능 떨어짐- new downstream task에 적합한 다량의 이미지, 레이블링 작업 필요 : 많은 시간과 비용 필요- 벤치마크 데이터셋의 성능과 실제 데이터셋 사이 성능 차이 존재 : robust - Fine-tuning이 필요 없는 일반화된 모델- 이미지 수집 및 정 레이블 생성에 적은 노력이 드는 모델- 벤치마크 데이터셋 이외의 여러 현실 데이터에도 성능이 유지되는 모델  ▶ CLIP : contrastive language-image pre-training (2022)Web-based image-text pair 기반의 visual repre..
XAI for In-hospital Mortality Prediction via Multimodal ICU Data
Paper Review/Multimodal Learning 2024. 2. 5. XAI for In-hospital Mortality Prediction via Multimodal ICU Data https://arxiv.org/pdf/2312.17624.pdf 목차사전지식ABSTRACTINTRODUCTIONMETHODEXPERIMENTCONCLUSION 사전 지식더보기XAI : explainable artificial intelligence사용자가 머신러닝 알고리즘으로 생성된 결과와 출력을 이해하며 신뢰할 수 있도록 하는 일련의 프로세스=> ai 모델과 이에 대한 영향 및 편향을 설명하는데 사용됨      ai로 의사결정을 할 때, 모델 정확성, 공정성, 투명성 및 결과 특성화      조직이 ai 발전에 책임있는 접근 방식을 채택하는데 도움을 줌 AI가 발전하면 인간은 알고리즘이 어떻게 결과에 도달했는지 알 수 있어야 관리 및 통제가 가능하다통상적으로 ML은 이해하기 힘든 블랙박스이며 bias..
Multimodal foundation model 기본 개념
Paper Review/Multimodal Learning 2024. 2. 4. Multimodal foundation model 기본 개념 사용할 데이터 : clinical data + medical image ⇒ MIMIC Database Clinical data miningClinical data : 임상 데이터의료기관이 환자를 진료하며 생성하는 data환자 정보 + 의료 기록 ⇒ 데이터 분석 기법을 적용해 유용한 정보를 추출, 지식을 발견특징데이터 다양성다양한 형태의 의료분야를 다루며 환자 정보, 의료 기록, 검사 결과 생체 신호 등을 포함이러한 다양한 데이터 유형을 통합하여 종합적 분석 수행대규모 분석통계적 유의성 파악 및 복잡한 패턴 식별패턴 인식데이터 마이닝 및 머신 러닝 기술을 사용해 숨겨진 패턴, 상관 관계, 규칙 발견예측 분석과거 데이터 기반 미래 결과 예측 ⇒ 환자의 예후 예측 가능주요 과제 : 데이터 품질 & 프라이버시 ..

티스토리툴바