본문 바로가기

분류 전체보기

 (393)
[CS234] Lecture 15: Batch RL 정리 14강은 Chelsea Finn 교수의 Meta-Learning 강좌였고 15강은 Batch Reinforcement Learning의 차례이다. 사실 CS231n강좌를 들을 때에도 Batch Normalization은 욕하면서 넘겼기에(이해가 안된다 퉤퉤) 오히려 Meta-Learning 강의를 듣고 싶었는데, 아쉽게도 해당 영상은 유튜브에 업로드 되지를 않았다. 근데 이참에 batch류에 대해 이해할 수 있다고 생각하니, 오히려 좋아. Batch RL이 상정하는 문제는 다음과 같다. 치료 과정의 경우, 주사를 맞고 약을 먹는 것과 약을 먹고 주사를 맞는 경우에 회복률 차이가 존재하는지? 그 차이를 정확히 감별하기 위해 필요한 정보는 무엇인지? 일반화해서 말하자면, 기존 프로세스가 있을 때 순서를 바꿈..
[CS234] Lecture 13: Fast Learning III 정리 (2) 13강에서 MBIE-EB에 대한 설명은 정말 똥이다. 웬만큼 중요한 내용이라면 구글에 영어로든 한국어로든 튜토리얼 글이 올라와 있을텐데, 전혀 없다. 그래서 그냥 넘기기로 했다. 퉤퉤퉤. 다음 내용은 Model-Based RL에 Baysian 을 적용하는 것이다. 실생활에서는 Model Based 자체가 성립하지 않기 때문에 상세한 알고리즘 보다는, Model-free Control에 사용하기 위해서 중요하게 여겨야 하는 점들을 위주로 공부하면 될 것 같다. 또 헷갈리는 용어가 많이 등장하는데, 우선, 상태 전환 확률 매트릭스인 T는 Multinomial Distribution으로 나타난다고 한다. Binomial Distribution이 동전의 앞면 뒷면 같은 분포였다면 유한한 n개의 선택지가 있을 때..
애플이 난데없이 전기자동차 시장에 진입할 수 있는 이유 12월 22일 즈음, 애플이 전기자동차 산업에 진입한다는 뉴스는 미국에서 시작되어 삽시간에 퍼졌고 덕분에 테슬라 주가까지도 잠시나마 휘청하게 만들 정도였다. 사실 애플이 전기자동차 시장에 진입하게 되어 전기자동차 시장 자체를 키운다면 테슬라에게도 좋은 뉴스인데 말이다. 앞으로 그런 뉴스를 잘 타고 주식을 주워먹으면 수익을 조금이나마 볼 수 있을 것이라는 생각이 든다. 그런 생각으로 조사해본, 애플이 전기자동차를 만들 수 있는 배경 세 가지 1. 반도체 설계 능력 자동차와 반도체는 또 무슨 상관이 있을 것이며 애플이 반도체 설계 능력을 가지고 있으면 또 얼마나 가지고 있을까? 생각보다, 반도체는 현대 자동차 성능에서 가장 중요한 부분이라고 해도 좋은 부품이다. 테슬라 역시 자체 자율주행 전용 차량탑재 컴퓨..
[CS234] Lecture 13: Fast Learning III 정리 (1) 역시 지난 시간에 빠르게 훑고 지나갔던 MDP에서 Fast Learning을 적용하는 방법에 대해 설명하는 것으로 13강이 시작되었다. PAC는 Probably Approximately Correct의 줄임말로, Bandit 문제에 Bayesian Regret 등을 적용한 것처럼 MDP에 fast learning을 적용하는 방법의 이름인 것 같다. 좀 더 검색을 해보니, 기본적으로는 머신러닝 알고리즘의 성능을 설명하기 위한 방법이라고 한다. 근데 fast learning이랑은 무슨 관계가 있는 거지? Model Based Interval Estimation[MBIE]은 PAC의 일종이다. 모델을 기반으로 interval을 추정한다는 이름이 너무 열받는다. 어떻게 이렇게 하나도 감이 안오게 이름을 지을 수..
[CS234] Lecture 12: Fast Learning II 정리 지난 시간에 이어, 이번 강의도 Fast Learning에 관한 내용이다. 다만, 아직까지 "Bandit"을 어떻게 이해해야 할지 잘 모르겠다. 여러 대의 슬롯머신에서 최적의 전략을 뽑아내는 것을 "Multi-armed Bandits"라고 이해했는데, "Bayesian Bandits"라고 하면, 그건 또 무슨 말이람? 이런 남모를 고충을 강의에서도 이해했는지, 간략한 복습을 진행해주었다. 지난 시간에 정의한 "Bandit"은, MDP의 간소화된 예시였다. 그렇담 MDP는 무엇이었나? (S, A, P, R)로 구성된 Markov Chain을 일컫는 말이었다. 다시 말하자면, "상태 - 행동 - 상태 전환 확률 - 보상" 변수들로 이루어지면서 현재 상태가 과거의 모든 정보를 포함하고 있는 모델이었다. Ban..
36일차 1일 1포스팅 결과와 새해 목표 진화심리학자 개리 마커스의 "클루지"에 따르면 목표를 세울 때 막연히 "다이어트 해야지"라든가 "파워 블로거가 되어야지" 하는 식으로는 달성하기가 어렵다고 했다. 뇌의 구조상 "P하면 Q해야 한다"의 명제를 보다 쉽게 받아들일 수가 있기 때문에 "저녁에는 밥을 2/3만 먹어야지"라든가 "특이한 주제가 있으면 블로그 글로 남겨야지" 같은 조건문이 좋다는 것이다. 해당 조건문은 머릿속에 생생하게 그려질수록 좋기 때문에 조건을 까다롭게 설정하는 것도 한 방법일 수 있겠다. 그런 의미에서 설정해보는 2021년 계획표 1. "이목이 집중되는 키워드를 발견하면 매일 블로그로 남겨야지" 블로그를 처음 시작할 때는 의욕에 넘쳐서 파워블로거 관련 콘텐츠를 마구마구 찾았던 것 같다. 주로 봤던 글이 유튜버 신사임당 채널에..
1조 원 이상 투자를 받고도 망하는 스타트업이 있다? - 하편 상편에서 이어집니다. 3. PicoBrew - 누적 투자액: $15.1 M (약 160억 원) PicoBrew는 특이하게도 가정용 맥주제조기를 판매하는 사업을 펼쳤다. "어라? 커피머신은 가정용으로 많이 팔리는데, 커피만큼 많이 마시는 맥주도 팔릴 수 있지 않을까?" 대충 이런 생각으로 만들어낸 상품일 것이다. 물론 나로서는 처음 들어보는 생각이다. 커피야 잠도 깰 수 있고, 다이어트에도 효능이 있으므로 "그래, 나를 위한 투자이자 커피스틱 일일이 사는 것보다는 장기적 관점에서 금전적으로도 도움이 될테야" 하고 커피머신을 살 수 있겠다만 맥주는 건강 측면이건 생활측면이건 도움이 될 수가 없다. 간혹 스타트업 라운지에서 맥주를 내려먹으면서 일을 할 수 있다는 이야기를 들은 적이 있는데 아마 실제로 맥주 마..
1조 원 이상 투자를 받고도 망하는 스타트업이 있다? - 상편 일반인이 느끼기에, 스타트업이 투자를 받았을 때 주목받을 수 있는 금액의 크기는 1억 원 정도일 것이다. TIPS라고 알려진 정부 개입 투자 프로그램의 경우에는 1억 내외의 민간 투자 + 정부 주도 5억 원 투자에 회사 지분 10% 정도를 양도한다고 하니 신생 스타트업으로서는 꽤나 탐나는 지원금일 것이다. 하지만 몇 백억, 몇 천 억, 심지어는 조 단위 투자를 받고도 얼마든지 단기간 내에 망하는 경우가 있다. 2020년에 망한 100억 규모 이상의 스타트업을 찾아보았다. 1. 퀴비 (Quibi) - 누적 투자액 $1.75 B (1조 8000억 원 이상) $1 Billion(얼추 1조원 가량)이상의 가치평가를 받는 스타트업을 "유니콘"이라고 부른다. 상상의 동물인 만큼, 스타트업으로서 달성하기 어려운 지표..
중국 제조업의 흐름을 살펴볼 수 있는 곳: 거리전기 샤오미가 처음으로 "대륙의 실수"라는 타이틀로 유명해졌던 계기는 보조배터리였던 것으로 기억된다. 사실 파나소닉 18650 전지 몇 개에 플라스틱 케이스, 5핀 단자가 전부인 자그마한 기기가 실수까지 해가면서 좋은 품질을 만들어낼 법한 것은 아니다. 애초에 잘 작동하지 않기가 어려운 제품인 것이다. 그럼에도 "대륙의 실수"라는 타이틀은 샤오미의 품질에 대해 사람들의 기대감을 높여주었고 브랜드 가치 역시 현격하게 높아지게 되었다. 그렇게 승승장구하기 시작한 샤오미의 회장 레이쥔이 한 시상식에서 다른 대표에게 시비를 건다 "5년 뒤에 당신네 회사보다 더 많이 번다는 데 10억 위안 건다" 갑작스런 시비에도 굴하지 않은 상대 대표는 "샤오미처럼 근본없는 기업한테 우리 회사가 질 리 없다"며 승부를 받아들인다. ..
왜 알파고 자율주행은 나오지 않는 것일까? (부제: 당신의 이미지 트레이닝이 실패하는 이유) 인간 수준을 뛰어넘는 바둑실력을 가진 알파고가 나온지 5년이 다 되어 간다. 그렇다면 왜 인간 실력을 뛰어넘는 운전실력을 가진 자율주행은 개발되기가 이렇게 어려운 것일까? 문제는 인공지능의 학습세계와 실제세계가 너무 다르다는 것이다. 알파고가 바둑을 둘 뿐만 아니라, 실제로 바둑알을 들어서 바둑판에 놓을 수 있는 로봇팔까지 가지고 있었다면 좋았겠지만 그렇지 못했던 것은 바둑알의 마찰력, 바둑판까지의 이동 등을 모두 고려할만큼 성능이 좋지 못했기 때문이다. 덕분에 아마추어 6단 정도나 하는 사람이 "아 나는 바둑이랑은 안되겠다" 하는 식으로 포기한 뒤 알파고 개발자로 나서서는 알파고 대신 바둑알을 놓게 된 것이다. 그렇다면 그간 SF영화에서 봐왔던 인공지능 로봇을 어떻게 탄생할 수 있을까? 인공지능 학습이..

티스토리툴바