"nthought"
884
-
[비공개] 가능성의 함정
인공지능 (AI)의 가장 큰 문제점은 무엇일까? 이전까지는 모르겠으나, ChatGPT 이후로는 Hallucination (또는 Confabulation)이라고 가장 많이 답변할 거라고 추측한다. 특히 검색과 연계하면서 거짓말하는 AI는 상상하기 어렵다. 검색이 아니더라도 내 편하고자 이용하는 AI인데 내가 원하는 답변과 전혀 다른 엉뚱한 결과만 내놓는다면 실망할 게 뻔하다. 하지만 AI를 어떤 용도로 사용하느냐에 따라서 Hallucination이 별로 문제가 되지 않기도 한다. 초소 LLM에 한정해서 개인적으로 내린 결론은 AI는 확인 (Confirmation)과 확장 (Expansion)에 사용하고, 그 외의 분야에 적용할 때는 주의를 기울여야 한다고 본다. 확인은 내가 이미 알고 있는 것에 관한 것이고 확장은 내가 모르는 (상상할 수 없는) 것에 관한 것이다. 확인은 쉽게 검증이 가능해야 한다. 특정 한국어 문장을 영어..추천 -
[비공개] 요즘 AI (LLM)
** 본문에 포함된 일부 용어는 학계/산업계의 일반 용례와 달리 편의를 위해 임의로 명명했으니 주의하기 바람.4월부터 Arxiv 등에 올라오는 웬만한 언어모델 (LM, Language Model) 관련 논문은 following 하고 있다. 허깅페이스 (https://huggingface.co/papers)와https://paperswithcode.com/에 새로 올라오는 논문들을 우선 확인하고, 때론 arxiv에 직접 접속해서 AI 관련 논문을 빠르게 확인한다. 우선 제목을 보고 논문의 주제를 대략 파악하지만, 제목만으로 이해하기 어려운 경우에는 초록 abstract을 읽거나 본문의 architecture나 overview 그림을 확인한다. 필요한 경우 실험 세팅과 결과도 확인하지만, 대부분 자신들의 방법이 조금이라도 낫다고 주장하는 거라서 굳이 자세히 보지는 않는다. 당장 업무에 필요하다면 본문을 자세히 읽겠지만 지금은 약간 한직에 있기 때문에 굳이 본문..추천 -
[비공개] 요즘 AI (LLM)
** 본문에 포함된 일부 용어는 학계/산업계의 일반 용례와 달리 편의를 위해 임의로 명명했으니 주의하기 바람.4월부터 Arxiv 등에 올라오는 웬만한 언어모델 (LM, Language Model) 관련 논문은 following 하고 있다. 허깅페이스 (https://huggingface.co/papers)와https://paperswithcode.com/에 새로 올라오는 논문들을 우선 확인하고, 때론 arxiv에 직접 접속해서 AI 관련 논문을 빠르게 확인한다. 우선 제목을 보고 논문의 주제를 대략 파악하지만, 제목만으로 이해하기 어려운 경우에는 초록 abstract을 읽거나 본문의 architecture나 overview 그림을 확인한다. 필요한 경우 실험 세팅과 결과도 확인하지만, 대부분 자신들의 방법이 조금이라도 낫다고 주장하는 거라서 굳이 자세히 보지는 않는다. 당장 업무에 필요하다면 본문을 자세히 읽겠지만 지금은 약간 한직에 있기 때문에 굳이 본문..추천 -
[비공개] 또 다른 AI 겨울은 올 것인가?
ChatGPT가 세상에 선을 뵌 지 겨우 6 개월 밖에 지나지 않았다. 그 사이에 많은 변화가 있었고, 변화 속도는 점점 더 증가하고 있음을 느낀다. 지난 글 ‘지피티블루’를 적은 후로 우울한 마음을 함께 고민하자고 회사에서 최근 AI 동향을 짧게 발표했고, 한 달 간격으로 LLM (i.e., 텍스트 기반 Generative AI)를 중심으로 최신 동향 (LLM 관련 AI 논문, 주요 LLM과 오픈소스, 주요 테크 기업들의 AI 적용 등)을 두 번 더 공유했다. 최소 올해는 매달 비슷한 업데이터를 계속 진행할 예정이다. 3 달 전의 우울감은 새로 출현하는 기술들에 깊이 묻혀 잊히고 있다.최근의 생성형 AI (특히, Stable Diffusion 기반의 이미지/동영상 생성과 LLM 기반의 텍스트 생성)는 매우 놀랍지만, 이것이 궁극의 AI 즉, 소위 말하는 AGI (Artificial General Intelligence)나 슈퍼 지능 (SuperIntelligence)라고 생각지..추천 -
[비공개] 또 다른 AI 겨울은 올 것인가?
ChatGPT가 세상에 선을 뵌 지 겨우 6 개월 밖에 지나지 않았다. 그 사이에 많은 변화가 있었고, 변화 속도는 점점 더 증가하고 있음을 느낀다. 지난 글 ‘지피티블루’를 적은 후로 우울한 마음을 함께 고민하자고 회사에서 최근 AI 동향을 짧게 발표했고, 한 달 간격으로 LLM (i.e., 텍스트 기반 Generative AI)를 중심으로 최신 동향 (LLM 관련 AI 논문, 주요 LLM과 오픈소스, 주요 테크 기업들의 AI 적용 등)을 두 번 더 공유했다. 최소 올해는 매달 비슷한 업데이터를 계속 진행할 예정이다. 3 달 전의 우울감은 새로 출현하는 기술들에 깊이 묻혀 잊히고 있다.최근의 생성형 AI (특히, Stable Diffusion 기반의 이미지/동영상 생성과 LLM 기반의 텍스트 생성)는 매우 놀랍지만, 이것이 궁극의 AI 즉, 소위 말하는 AGI (Artificial General Intelligence)나 슈퍼 지능 (SuperIntelligence)라고 생각지..추천 -
[비공개] 지피티 블루 GPT Blue
지난주는유난히 힘들었다. 평소보다 업무가 많아서 바빴던 것도 아니고 몸이 아프거나 컨디션이 저조했던 것도 아니다. 최근 다소 피곤한 상태가 이어지고 있지만 여느 때처럼 일찍 출근했고 매 끼니마다 식욕은 폭발했다. 일하긴 싫은데 (이건 항상 그랬다;;) 무기력하게 책상에 앉아서 그저 시간만 보낸 것 같다. 곰곰이 생각하니 전에도 몇 차례 비슷한 경험이 있었다. 대학원 진학이 결정된 후에 대학 동기들은 하나 둘 취업해서 포항을 떠날 때 스스로뒤처지고소외된 느낌을 받았다. 취업 후에는 매년 평가, 보상 시즌마다 비슷한 무력감을 느낀다. 평가 또는 보상을 잘 받고 못 받고를 떠나서 그냥 누군가에 의해서 평가받는다는 것에서 스스로 티끌이 된 듯한 자괴감을 매번 느낀다. 미래가 불확실하고 스스로 본인 능력에 확신이 약해질 때마다 의..추천 -
[비공개] 지피티 블루 GPT Blue
지난주는유난히 힘들었다. 평소보다 업무가 많아서 바빴던 것도 아니고 몸이 아프거나 컨디션이 저조했던 것도 아니다. 최근 다소 피곤한 상태가 이어지고 있지만 여느 때처럼 일찍 출근했고 매 끼니마다 식욕은 폭발했다. 일하긴 싫은데 (이건 항상 그랬다;;) 무기력하게 책상에 앉아서 그저 시간만 보낸 것 같다. 곰곰이 생각하니 전에도 몇 차례 비슷한 경험이 있었다. 대학원 진학이 결정된 후에 대학 동기들은 하나 둘 취업해서 포항을 떠날 때 스스로뒤처지고소외된 느낌을 받았다. 취업 후에는 매년 평가, 보상 시즌마다 비슷한 무력감을 느낀다. 평가 또는 보상을 잘 받고 못 받고를 떠나서 그냥 누군가에 의해서 평가받는다는 것에서 스스로 티끌이 된 듯한 자괴감을 매번 느낀다. 미래가 불확실하고 스스로 본인 능력에 확신이 약해질 때마다 의..추천 -
[비공개] With AI, 새로운 게임의 시작.
역사는 지난 일주일을 MS 연합과 구글 동맹 간의 치열한 AI 전투로 기록할 것이다.MS 연합에 속한 OpenAI는 ChatGPT 성공에 고무된 후 연이어 텍스트와 이미지를 함께 처리하는 multimodal의 GPT-4를 기습적으로 발표했다. MS는 이미 Bing 검색에 GPT-4를활용 중임을밝히며 지원 사격을 했고 동시에 Office 제품군을 중심으로 AI 기반 사무 자동화 기능 (Co-pilot)을 선보였다. Code Red 중 Bard로 반격을꽤 한Google은 유리한 고지를 탈환하지 못 한 채 그동안 꽁꽁 숨겨뒀던 PaLM을 API로 공개함과 동시에 MS 코파일럿과 같은 기능을 자사 Workspace에 통합함으로 확전 의지를나타냈다.뿐만 아니라, Anthropic은 자체 LLM인 Claude를 공개함으로써 구글의 반격에 화력을 더하는 추세다. 독립군 Meta도 LLaMA를 선보이며 잠시 존재감을 과시했으나 MS-구글 간의 AI 전투로 다시 수면 아래로 가라앉았..추천 -
[비공개] With AI, 새로운 게임의 시작.
역사는 지난 일주일을 MS 연합과 구글 동맹 간의 치열한 AI 전투로 기록할 것이다.MS 연합에 속한 OpenAI는 ChatGPT 성공에 고무된 후 연이어 텍스트와 이미지를 함께 처리하는 multimodal의 GPT-4를 기습적으로 발표했다. MS는 이미 Bing 검색에 GPT-4를활용 중임을밝히며 지원 사격을 했고 동시에 Office 제품군을 중심으로 AI 기반 사무 자동화 기능 (Co-pilot)을 선보였다. Code Red 중 Bard로 반격을꽤 한Google은 유리한 고지를 탈환하지 못 한 채 그동안 꽁꽁 숨겨뒀던 PaLM을 API로 공개함과 동시에 MS 코파일럿과 같은 기능을 자사 Workspace에 통합함으로 확전 의지를나타냈다.뿐만 아니라, Anthropic은 자체 LLM인 Claude를 공개함으로써 구글의 반격에 화력을 더하는 추세다. 독립군 Meta도 LLaMA를 선보이며 잠시 존재감을 과시했으나 MS-구글 간의 AI 전투로 다시 수면 아래로 가라앉았..추천 -
[비공개] 데이터 vs 모델 (알고리즘)
Between data and model, which is more important in AI era? 이런 류의 질문은 누군가 내게 직접 물어봤으면 좋겠지만 아무도 묻지 않으니 자문자답한다. AI 관련 글이나 동영상에 AI 시대에 데이터와 모델 (또는 알고리즘)의 중요성에 관한 설명을 종종 보곤 한다. 직접적으로 내게 '뭐가 더 중요해?’라고 묻는다면 당연히 ‘듈다’라고 답하겠지만, 기술의 발전 단계 상에서 둘 간의 경중이 계속 변해왔음을 볼 수 있다. 굳이현시점을기준으로 답한다면 다시 데이터가 더 중요해졌다고 본다. 더 많은 데이터보다는 정제되고 신뢰할 수 있는 데이터가 중요해지고 있다.이전 글에서 밝혔듯이 이젠 이런 류의 질문은 먼저 ChatGPT의 답을 보고 계속 설명을 이어가자. (Korean translation by ChatGPT) Both data and model are essential in the AI era, and their importance can depend on the specific cont..추천
1510개
1051254개
717767개
