본문 바로가기

트렌드 한눈에 보기

 (209)
[딥러닝 공부] 2일차: Transformer를 공부하기 전에 훑어보는 LSTM (이론편) RNN (Recurrent Neural Network)이란, 아래 하나의 그림으로 표현이 가능하다. recurrent 라는 말이 의미하듯 (재현하다, 재발하다), 연속적인 데이터가 들어올 때, 동일한 블록을 거쳐서 연속적인 Output을 내놓는 형태의 Neural Network라고 할 수 있겠다. 연속적인 Output의 대표적인 예시가 언어의 문장 구조이기에 번역 등의 업무에 많이 쓰이지만, 이미지 해석 등의 영역에도 충분히 쓰일 수 있다. 하지만 단순한 RNN 블록으로는 한계가 있었는데, 바로 문장이 길어질수록 초반에 들어온 정보를 잘 기억하지 못한다는 것이다. 이런 현상이 나타나는 이유는 Gradient Vanishing 문제와 연관이 있다고 하는데, 상세한 내용은 아래 논문(링크)을 참고하면 좋을 ..
[딥러닝 공부] 2일차: Transformer를 공부하기 전에 훑어보는 LSTM (준비편) CNN의 가장 보편화된 버전인 ResNet을 익혔으니, 내가 알고 있는 언어 모델의 가장 보편화된 버전인 Transformer를 공부하기 전에 LSTM을 읽어봐야겠다 생각했다. 우선 "보편화"에 대한 정의를 생각해보자면, 1) 만족할만한 성능을 내면서 2) 구현하기 쉽도록 각종 튜토리얼이 많이 쌓여있어야 한다는 점이다. 그리고 Transformer를 바로 공부하지 않고 LSTM을 보는 까닭은, 예전에 하던 딥러닝 스터디에서 봤던 강연의 제목 때문이다. 위 제목 때문에, "아, Transformer를 이해하려면 LSTM부터 알아야겠구나!" 하는 생각을 했던 것이다. Transformer와 LSTM의 비교가 이뤄지는 강연이니, LSTM을 알면 Transformer를 더 잘 이해할 수 있을 것이라는 생각을 했..
[딥러닝 공부] 1일차: ResNet (2016)을 공부하는 2022년의 나 (실습편) ResNet 실습을 어떻게 해볼까 고민을 하다가, 그냥 github에 올라온 실습 코드를 그대로 따라가보기로 했다. ResNet: Deep Residual Learning for Image Recognition (꼼꼼한 딥러닝 논문 리뷰와 코드 실습) - YouTube 위 영상에서 소개해주는 ResNet 원리와 코드들이 상당히 쉽고 좋았다. 다만, 예제 코드에서는 ImageNet dataset을 사용하는데, 2021년 3월 이래로 사이트 개편이 되면서 더 이상 imagenet 예제를 사용할 수 없게 되었다. 다양한 예제들을 주피터 노트북을 통해 시도해봤지만, 일주일이 지난 오늘, 뭐가 뭔지 기억조차 잘 나지 않는다. 하지만 첫 술에 배부르랴? 일단 ResNet을 시도해봤으니 다음 논문으로 넘어가나 봐야겠다.
[딥러닝 공부] 1일차: ResNet (2016)을 공부하는 2022년의 나 (이론편) 아니 14만 회 인용된 논문은 난생 처음 본다. 아마 CNN을 처음으로 제안했던 논문은 이보다 더하겠지? CVPR이라는 Computer Vision 관련 학회에 2016년 publish된 논문으로, Kaiming He 등 microsoft 출신 연구진 4명이 작성했다. 이름만 들었을 때는 "어디 오스트리아쪽 사람인가?" 했더니 중국인이었다. 4명 모두 중국계다. 아래 그래프를 통해 보여지듯, ResNet의 장점은 두 가지라고 한다. 1) 성능 향상: 기존에 layer를 쌓아갈 때 발생하던 성능 저하 문제를 "잔여학습 (Residual Network)"를 통해 해결했음 2) 쉬운 알고리즘: 이해하기 쉬운 간단한 방법. 다만, 아래 그래프에는 첫 번째 장점 (성능 향상)만 확인할 수 있다. 초반 intro만..
[딥러닝 공부] 0일차: pytorch 튜토리얼 진행 그동안 깔짝대기만 했던 딥러닝 공부를 다시 한 번 시작해보고자 한다. 생각해보면 퇴사 후 인턴을 준비하면서도 딥러닝 스터디를 했고, 이번에 졸업 준비를 하면서도 딥러닝 공부를 시작하려는 참이니, 딥러닝을 "시간 때우기" 용으로만 써왔던 것이 아닌가 싶다. 조금만 바빠지면 거들떠도 보지 않게 되는 수준으로만 대했던 것 같다. 하지만 이번엔 다르다! 취미생활로라도 꾸준히 딥러닝을 파봐야겠다 생각을 한 것은, 이제 앞으로 할 일이 이것과 연관이 되어 있기도 하거니와, 내가 사용할 줄 아는 산업용 도구들의 (공학적 디자인 및 해석에 치우쳐 있다) 한계를 맛봤기 때문이다. 다시금 블로그에 기록을 하며 공부를 이어가야겠다. 첫 날에는 pytorch 튜토리얼을 진행했다. 몇 번째 진행하는 튜토리얼인지는 잘 모르겠지만..
스타트업이 망하면 어떻게 될까? - 망해본 사람들의 이야기 참 신기한 일이다. 스타트업의 성공확률은 그렇게 낮은데, 주변에서 좀처럼 창업 후 망한 사람의 이야기를 찾아볼 수가 없다. 모두 꽁꽁 숨어버리는 것인지, 아니면 한 번 실패한 사람들이 모두 결과적으로 성공하기 때문인지 모르겠다. 열심히 찾아본 망해본 사람들의 이야기는 아래와 같다. 1. 한 우물만 파는 케이스 My Start-up Failed In 22 Months - Here's What I Learnt - YouTube 음식 배달을 독특한 방식으로 하는 사업을 운영하던 사람의 이야기다. 22개월 동안 약 20만 달러의 투자를 까먹었다고 한다. 크다면 큰 돈이고, 적다면 적은 돈인데, 22개월은 결코 적은 시간이 아니다. 이 사람은 어떻게 되었을까? "음식을 보다 편리하게 먹자" 라는 비전을 갖고 있던..
알베르토 사보이아, "The Right It" - 사람들은 왜 실패하는가 "망했러" 라는 커뮤니티를 상상해본 적이 있었다. 사람들이 저마다 자기의 실패 사례를 공유하는 공간이다. 부정적 구전효과는 긍정적 구전효과보다 전파력이 뛰어나다는 결과도 있겠다, 이래저래 유저가 모이기만 한다면 참 재미난 공간이 되지 않을 수가 없는 것이다. 한 웹프로그래밍 동아리를 통해 해당 서비스를 맛보기나마 구현해보려고 했는데, 결과적으로는 실망스러웠다. 콘텐츠 질의 보장이 안되었기 때문이다. 자신의 실패 사례를 요령껏 잘 설명해야 하는데, 그러고 싶은 사람이 많지도 않았다. 나같이 주절주절 글쓰는 것을 좋아하는 사람이 아닌 이상. 그마저도 내용이 잘 전달되는 것도 아니다. 알베르토 사보이아는, 사람들이 왜 실패하는지에 대해 열심히 고민해본 사람이다. 작년에 퓨처플레이 류중희 대표 멘토링을 통해 접..
런드리고는 과연 땅값 8000만 원을 없앨 수 있을까? "세탁실에 소모되는 면적이 2~3평 정도 됩니다. 서울 땅값이 평당 2000만 원이라고 가정했을 때, 6000만 원에서 8000만 원 정도가 세탁실에 쓰이는 거예요. 런드리고는 궁극적으로 그런 주거의 양식도 바꿀 수 있다고 생각합니다. 그게 우리 사명이에요. 의식주 컴퍼니" 출처: [스타트업]#1 빨래 혁신의 런드리고, 조성우 인터뷰 - 조선일보 (chosun.com) 나로서는 자취를 해본 적도 별로 없다. 가능하다면 기숙사에 살기 위해 모든 힘을 쏟기 때문이다. 물론 비용 때문이다. 그렇기 때문에 런드리고도 이해가 안가는 것이다. 아니 방에 세탁기 없는 집이 없는데, 1~2만 원씩 내면서 빨래를 맡겨야 하나? 에잉 쯧쯧 그러나 런드리고는 현재까지 735억 원 투자를 유치했고, 심지어 미국 세탁 업체까지..
와이즐리는 살아남을 수 있을까? - D2C 산업의 몰락 몇 년 전엔가, 매트리스 스타트업을 본 적 있었다. "이런 걸로도 창업이 된단 말야?" 하는 생각을 들게 하는 스타트업이었지만, 산업 구조를 보고 나니 그럴 듯 하구나- 싶었더랬다. 회사의 이름은 캐스퍼다. D2C 산업이란, Direct to Customer 의 약자로서 도/소매점을 거치지 않고 생산자가 직접 소비자에게 물품을 판매하는 구조를 지닌다. 어쨌든 소비자에 집중하는 제품을 만들 수 있고 부수적인 지출을 줄일 수 있으니, 이상적인 형태의 제조업이라고도 말할 수 있겠다. 하지만 기업 자체로만 본다면, 현실은 녹록지 않다. "가성비" 측면으로 상품을 집중하는 탓에 RnD는 자연스레 줄게 되고, 이는 제품 차별화가 불가능한 상태로 오직 소비자와의 신뢰로만 승부해야 한다는 단점을 가져 온다. 미국에서 ..
CS183B - How to Start a Startup, 8강 요약 Lecture 8 - How to Get Started, Doing Things that Don't Scale, Press Stanley Tang은 미국의 "배달의 민족"이라고 할 수 있는 DoorDash의 공동 설립자 중 한 명이다. Doordash는 2012년 설립되었으니, 배달의 민족보다는 약 2년 가량 늦은 셈이다. 2020년에 기업공개를 한 뒤, 현재는 주가 내리막을 걷고 있는데, 배달 앱 경쟁 심화에 의한 것으로 보기에는 지나치게 하락하고 있어 무슨 일이 있는 것은 아닌지 궁금해질 정도이다. 어쨌든, Stanley Tang이 해당 강연에서 전달하고자 하는 메시지는 분명하다. "애자일하게 움직여라!"(애자일이란?) 처음 DoorDash를 오픈했을 때는, 그냥 인터넷 랜딩페이지만 만들어 놓았다고 ..

티스토리툴바