오랜만에 생각 정리

5월 13일 

논문 작성과 면접이 얼마 남지 않아서, 압박감이 느껴진다. 

압박감이 느껴져 최근에는 나의 생각조차 AI에게 맡겨버린지 오래되었다. 

이러한 습관을 고치기 위해 조금이나마 글을 적어본다. 

 

예전에는 나의 생각과 언어를 말하는 것이 자연스러웠다. 

하지만 최근에는 다음 단어가 생각나지 않을 때가 많다. 

나의 생각을 글로 적지 않은지 오래 되어 그런듯 하다. 

 

LLM이 나보단 글을 잘 쓸지 모른다. 하지만 그것에 의존해서는 안된다. 

분명 "나"라는 사람에게는 나만의 이야기가 있다. 

하지만 나의 생각조차 기계에 맡겨버린다면 그것이 무슨 의미가 있겠는가? 그래선 안된다. 

 

나의 생각이 정갈하게 들지 않으니, 나이를 먹어서도 생각이 그대로이다. 

깊게 고민하지 않으니 어린 아이 같은 행동을 하게 된다. 

때문에 나의 언어를 깊게 고민해보는 시간을 가져야 한다. 

 

글을 써야 한다. AI가 쓰는 글이 아닌 나의 글을. 

나의 문체와 생각을 세상에 남기고 싶다. 

---

5월 16일 

면접을 준비할 때도, 나만의 무언가를 이야기 해야 한다. 

현재 카이스트 면접을 준비하고 있고 당장 2일 뒤에 면접이다. 

하지만 내가 준비한 답변들에는 나의 경험과 나의 고유한 생각이 빠져있다.

 

예를 들어서, 지원 동기를 작성할 때,

연구에 흥미와 부족함을 느껴서 ....  

라고 답변한다고 했을 때, 여기에 "나"의 고유한 이야기는 없다. 

 

때문에 다음과 같이 수정해야 한다. 

"최근 연구를 하면서 단순히 모델의 성능을 높이는 연구가 아니라, 사용자가 어떤 것이 필요한지 파악하고 그를 개선시키는 연구를 하고 싶다고 생각하였고, 이를 위해 카이스트 석사 과정에 지원하게 되었습니다."

 

예를 들어서, 이번에 했던 연구에서는 사용자의 의도를 반영하기 위해서 유튜브 댓글을 활용하였습니다. 유튜브 댓글에는 사용자가 관심 있는 순간 과 내용이 들어 있습니다. 이를 활용하여 Video moment retieval 데이터셋을 만들어 사용자에 더 밀접한 데이터셋을 만들었고, 이를 반영하는 모델 평가를 진행했습니다. 

 

실제로 사람이 사용하기 위해서는 효율성과 신뢰성이 보장 되어야 한다고 생각된다. 

내가 넣는 입력에 맞게 원하는 결과가 나와야 하고 그것을 신뢰할 수 있어야 한다. LLM 분야에서는 어느정도 개선이 이루어졌지만, Video understanding 분야에서는 아직 갈 길이 멀어 보인다. 

 

Video LLM의 한계 

한계점 1. Longvideo 처리를 잘 못한다. (많은 정보를 처리해야 하기 때문에) 

한계점 2. Multimodal 정보를 처리하는데 어려움을 겪는다. (오디오 정보 잘 처리 못함) 

 

어떤 연구를 하고 싶은가? 

저는 많은 사람들에게 도움을 줄 수 있는 연구를 하고 싶습니다. 

---

경험 

1. 자대 : 연구를 실제로 해보고 싶어서 자대 연구실 찾아갔음. -> LLM 프롬프팅 관련 연구 진행. 수학 추론할 때 과정에서 halluc 가 생긴다는 것을 보고함. -> 사용자 오해 불러 일으킴. (신뢰성) 

 

2. 네부캠 및 대회 : 성능을 올리는 것이 큰 의미가 없다고 느꼈다. -> 사람에게 직접 도움이 되고 자 하는 연구를 하고 싶었다. (벤치마크 높이는게 큰 의미가 없다고 생각함.)

 

3. 해외 논문 연구 : 연구에서 사용하는 데이터셋이 실제 사용자와 괴리감이 있다고 생각했음. -> 사용자는 어떻게 할까 고민했음. (실제로 그러한 연구를 진행하고 발전 시켰음.)

 

나의 삶에서 중요한 것 혹은 가치 :  궁금한 것을 끝까지 파고드는 자세, 현재는 real world에서 사람들에게 도움이 되는 AI 기술이란 뭘까 라는 질문에 초점을 두고 있음. 석사 과정에서는 이러한 질문에 대답을 해 나아가는 것이 목표임.

 

 "실제 사람들이 원하는건 뭘까?" => 많은 사람들에게 실질적으로 도움이 되는 AI 기술을 연구하는 것이 목표임. 

결과를 신뢰할 수 있어야 함. (예전 논문 썼던 경험, 신뢰 할 수 있는 비디오 구간 뽑기)

다양한 환경에서 효율적으로 동작해야 함. (특정 벤치마크가 아니라, 실제 세상에서도 잘 동작해야 함., 여러 인풋에서도 잘 동작)

이러한 것들이 아직 부족하고 개선이 필요하다고 느꼈고, 앞으로 이러한 방향으로 연구를 지속하고 싶다. 

 

현재는 real world에서 사람들에게 도움이 되는 AI 기술이란 뭘까 라는 질문에 초점을 두고 있음. 석사 과정에서는 이러한 질문에 대답을 해 나아가는 것이 목표임.