연사: 최윤재 (KAIST)

Q1

LLM의 경우 방대한 자료들을 학습시키는데 어려움이 있어서 연구노트의 그림, 그래프, 표 들을 어떻게 효율적으로 정확히 교육시키는 부분에 대한 근본적인 고민이 있어서 어떻게 해결할 수 있을 지 고견 부탁드립니디.

A1

텍스트 외의 모달리티 (그림, 그래프, 표 등)를 LLM에게 학습시키는 것은 굉장히 복잡한 절차를 거쳐야하니, 이미 LLM 전문가가 아니라면 시도하지 않는 것을 추천드립니다. 크게 절차만 설명드리자면:
- 연구노트에서 그림/그래프/표(추후 그림이라 칭함)을 별도로 추출
- 연구노트에서 그림을 설명하는 설명글(예: caption)을 별도로 추출
    -- 연구노트에 그림을 설명하는 설명글이 없다면, 별도로 제작 (어떻게 제작해야하는지는 개발자 몫)
- 그림-설명글 쌍을  LLM에게 학습
    -- 어떻게 학습하는지 설명 생략.
    -- 텍스트만으로 학습된 LLM을 추가 학습하는 것인지, 이미 그림을 인식하도록 학습된 LLM을 추가학습하는 것인지에 따라 달라짐