"nthought"
884
-
[비공개] LLM 왕국에서의 2년 Two Years in LLM
언어모델 (Language Model)이란 개념이등장한 지도이미 반세기가 지났고 현대적 LM을 알린 Transformer 논문이나온 지도이미 7년이 지났지만, 오늘날의 LLM은 ChatGPT가 대중에 공개된 2022년 11월, 즉 겨우 2년 미만의 시간이 지났다.어쩌다 보니작년 초부터 LLM을 중심으로 AI 기술의 발전을 매달 정리해서 발표했는데, 이번에는 전체 팀원을 대상으로 지난 8, 9월의 트렌드를 소개하게 됐다. 몇 명의 새로운 멤버가 세미나에 참석할지는 모르겠으나 지난 1년 반 동안의 발표를 놓친 이들에게 8월에는 이런 서비스가 출시했고 9월에는 이런 논문이 나왔어요라고 발표하기에는 무리가 있어서 지난 2년 간의 LLM/AI 연구를 한 장에 정리했다. 요즘은 학계 연구보다는 산업계의 신제품이 더 임팩트를 주지만, 회사나 제품보다는 연구 중심으로 아래와 같이 정리했다. 그리고 생..추천 -
[비공개] 모델 성능이 안 나올 때
데이터 분석이나 AI 모델 개발은 귀납 과정이면서 연역 과정이다. 다양한 시도와 많은 실패 속에서 개발자의 자질과 능력이 향상되고, 그걸 밑거름으로 해서 새로운 아이디어를 짜낼 수 있다. 그래서 귀납적이면서 연역적이라는 거다. 나름 몇 년의 경험을 통해서 가장스탠더드 한AI 서비스 모델을 정립했다고 생각했지만 실험 결과가 예상치를 벗어나서지난주내내 이것 때문에 골치가 아팠다. 직접 데이터를 가져와서 모델을 개발하고 다양한 실험을 시도하면서 문제 원인과 해결점을 찾는다면 어쩌면좀 더쉽게 문제를 해결했을 수도 있지만, 실질적으로 현업에서 손을 떼고 옆에서 훈수만 두는 뒷방 늙은이가된 지이미 몇 년이 돼서 그저 사고실험으로 왜 AI 모델이 기대치를 못 미치는지를 고민했다.가능성 있는여러 아이템들이 떠올랐는데 정리하면 ..추천 -
[비공개] 모델 성능이 안 나올 때
데이터 분석이나 AI 모델 개발은 귀납 과정이면서 연역 과정이다. 다양한 시도와 많은 실패 속에서 개발자의 자질과 능력이 향상되고, 그걸 밑거름으로 해서 새로운 아이디어를 짜낼 수 있다. 그래서 귀납적이면서 연역적이라는 거다. 나름 몇 년의 경험을 통해서 가장스탠더드 한AI 서비스 모델을 정립했다고 생각했지만 실험 결과가 예상치를 벗어나서지난주내내 이것 때문에 골치가 아팠다. 직접 데이터를 가져와서 모델을 개발하고 다양한 실험을 시도하면서 문제 원인과 해결점을 찾는다면 어쩌면좀 더쉽게 문제를 해결했을 수도 있지만, 실질적으로 현업에서 손을 떼고 옆에서 훈수만 두는 뒷방 늙은이가된 지이미 몇 년이 돼서 그저 사고실험으로 왜 AI 모델이 기대치를 못 미치는지를 고민했다.가능성 있는여러 아이템들이 떠올랐는데 정리하면 ..추천 -
[비공개] 다시 읽는 물리학 RE:Physics
인공지능을 제대로 이해하려거든 물리학을 다시 공부하라.이전 글에서 우리가 살고 있는 물리 세계와 마찬가지로 컴퓨터 프로그램/소프트웨어도 실제는 확률에 기반한 것이 아닐까?라는 의문을 제기했다. 한 보 더 나아가서 인공지능을 제대로 이해하고 연구하기 위해서는 물리학을 제대로 또는 다시 공부해야 한다는 주장을 펼치려 한다. 고등학교 물리 교과서에 나오는 영희가 500m 상공에서 1kg의 쇠구슬을 떨어뜨려 지면에 닿을 때 순간 속도와 운동 에너지를 구하라는 식의 문제를 풀기 위해 모든 법칙이나 수식을 다시 외우라는 얘기는 당연히 아니다. 지난 주일동안 줄곧 최소한 이공계 학문의 가장 기초는 물리학이고 그러니 물리학의 다양한 개념을 제대로 이해한다면 다른 분야, 특히 이 시리즈의 주제인 데이터 분석이나 인공지능 개발에도 도..추천 -
[비공개] 다시 읽는 물리학 RE:Physics
인공지능을 제대로 이해하려거든 물리학을 다시 공부하라.이전 글에서 우리가 살고 있는 물리 세계와 마찬가지로 컴퓨터 프로그램/소프트웨어도 실제는 확률에 기반한 것이 아닐까?라는 의문을 제기했다. 한 보 더 나아가서 인공지능을 제대로 이해하고 연구하기 위해서는 물리학을 제대로 또는 다시 공부해야 한다는 주장을 펼치려 한다. 고등학교 물리 교과서에 나오는 영희가 500m 상공에서 1kg의 쇠구슬을 떨어뜨려 지면에 닿을 때 순간 속도와 운동 에너지를 구하라는 식의 문제를 풀기 위해 모든 법칙이나 수식을 다시 외우라는 얘기는 당연히 아니다. 지난 주일동안 줄곧 최소한 이공계 학문의 가장 기초는 물리학이고 그러니 물리학의 다양한 개념을 제대로 이해한다면 다른 분야, 특히 이 시리즈의 주제인 데이터 분석이나 인공지능 개발에도 도..추천 -
[비공개] 양자역학과 인공지능 (Det vs Sto)
당연히 양자역학에 관한 글이 아니다. 어릴 적에 물리학을 전공하길 희망했지만 고3이 되면서 급하게 산업공학과로 진로를 정했던 사람으로서 여느 보통 사람들보다는 물리에 관한 지식이 조금 더 있을 수 있으나 내가 알고 있는 물리는 엄밀히 말해서 19세기까지의 물리 또는 고등학교 교과에서 배우는 물리, 즉 고전 물리다. 19세기말부터 기미가 보였지만 기적의 해인 1905년 이후 폭발적으로 새로 정립된 양자역학은 그저 교양 수준으로만 알고 있다. 특히 20세기 초반에 양자역학이 태동하여 정립되던 시절의 이야기는 반복해서 들어도 늘 재미있다. 재미있다는 게 양자역학을 제대로 이해하고 있다는 의미가 아니다. 수식으로 양자역학을 이해하려 하지 않았기 때문에 재미있는 건지도 모르겠다. 제목으로 ‘양자역학과 인공지능’이라 정했는데 두 ..추천 -
[비공개] 양자역학과 인공지능 (Det vs Sto)
당연히 양자역학에 관한 글이 아니다. 어릴 적에 물리학을 전공하길 희망했지만 고3이 되면서 급하게 산업공학과로 진로를 정했던 사람으로서 여느 보통 사람들보다는 물리에 관한 지식이 조금 더 있을 수 있으나 내가 알고 있는 물리는 엄밀히 말해서 19세기까지의 물리 또는 고등학교 교과에서 배우는 물리, 즉 고전 물리다. 19세기말부터 기미가 보였지만 기적의 해인 1905년 이후 폭발적으로 새로 정립된 양자역학은 그저 교양 수준으로만 알고 있다. 특히 20세기 초반에 양자역학이 태동하여 정립되던 시절의 이야기는 반복해서 들어도 늘 재미있다. 재미있다는 게 양자역학을 제대로 이해하고 있다는 의미가 아니다. 수식으로 양자역학을 이해하려 하지 않았기 때문에 재미있는 건지도 모르겠다. 제목으로 ‘양자역학과 인공지능’이라 정했는데 두 ..추천 -
[비공개] AI 시대유감 (돈의 게임)
어떤 문제를 해결할 AI 모델을 만드는 것을 개념적으로 그리면 아래의 Functional Model과 같다. GPU로 대표되는 적당한 하드웨어를 갖고 있으면 문제에 맞는 모델아키텍처와알고리즘으로 관련 데이터로 모델을 학습하면 해당 문제에 특화된 AI 모델이 만들어진다. 문제 복잡도에 따라서 아키텍처 종류나 규격 또는 필요한 데이터 양이 다를 수 있으나 잘 훈련된 혼자 또는 소수의 데이터 과학자만 있으면 꽤 괜찮은 모델을 학습해서 운영할 수있’었’다.지난 1년을 되돌아보면 LLM과 Diffusion 모델로 대표되는 생성형 AI가 대중에게 소개되면서 AI 모델을 구축하는 양상이 바뀌었다. 고전이 여전히 필요하지만 거대함이 요즘의 핵심이 됐다. 개발의 양상이 바뀐 거다. 2023년에 만들어진 LLM의 종류와 개수가 이전까지 만들어진 모델보다 더 많다. 일..추천 -
[비공개] AI 시대유감 (돈의 게임)
어떤 문제를 해결할 AI 모델을 만드는 것을 개념적으로 그리면 아래의 Functional Model과 같다. GPU로 대표되는 적당한 하드웨어를 갖고 있으면 문제에 맞는 모델아키텍처와알고리즘으로 관련 데이터로 모델을 학습하면 해당 문제에 특화된 AI 모델이 만들어진다. 문제 복잡도에 따라서 아키텍처 종류나 규격 또는 필요한 데이터 양이 다를 수 있으나 잘 훈련된 혼자 또는 소수의 데이터 과학자만 있으면 꽤 괜찮은 모델을 학습해서 운영할 수있’었’다.지난 1년을 되돌아보면 LLM과 Diffusion 모델로 대표되는 생성형 AI가 대중에게 소개되면서 AI 모델을 구축하는 양상이 바뀌었다. 고전이 여전히 필요하지만 거대함이 요즘의 핵심이 됐다. 개발의 양상이 바뀐 거다. 2023년에 만들어진 LLM의 종류와 개수가 이전까지 만들어진 모델보다 더 많다. 일..추천 -
[비공개] 가능성의 함정
인공지능 (AI)의 가장 큰 문제점은 무엇일까? 이전까지는 모르겠으나, ChatGPT 이후로는 Hallucination (또는 Confabulation)이라고 가장 많이 답변할 거라고 추측한다. 특히 검색과 연계하면서 거짓말하는 AI는 상상하기 어렵다. 검색이 아니더라도 내 편하고자 이용하는 AI인데 내가 원하는 답변과 전혀 다른 엉뚱한 결과만 내놓는다면 실망할 게 뻔하다. 하지만 AI를 어떤 용도로 사용하느냐에 따라서 Hallucination이 별로 문제가 되지 않기도 한다. 초소 LLM에 한정해서 개인적으로 내린 결론은 AI는 확인 (Confirmation)과 확장 (Expansion)에 사용하고, 그 외의 분야에 적용할 때는 주의를 기울여야 한다고 본다. 확인은 내가 이미 알고 있는 것에 관한 것이고 확장은 내가 모르는 (상상할 수 없는) 것에 관한 것이다. 확인은 쉽게 검증이 가능해야 한다. 특정 한국어 문장을 영어..추천
1510개
1051221개
717748개
