tomato, tomahto

Light GBM(Light Gradient Boosting Machine) 데이터 분야로 공부하면서 Light GBM이라는 모델 이름을 들어보셨을 겁니다. 특히 캐글에서는 여러 개의 유명한 알고리즘들이 상위권에서 주로 사용되고 있습니다. 그중 하나가 Light GBM이고 이번에 Light GBM에 대한 핵심적인 특징과 설치방법, 사용방법과 파라미터와 같은 핵심만 소개하겠습니다. 그리고 사용방법을 익히고 나서 하이퍼파라미터를 과적합이나 속도 향상을 위해서 무엇을 어떻게 조절하는지를 최하단에 소개하겠습니다. Boosting 머신러닝 앙상블 중 하나로 무작위 선택보다 성능이 약간 좋은 weak learner를 순차적으로 결합하여 높은 성능의 모델을 만들어 내는 방식입니다. Light GBM Gradient ..

A Chat with Andrew on MLOps: From Model-centric to Data-centric AI 이번 플로그 포스팅에서 간단하게 영상을 요약해보았으나 1시간 정도의 내용으로 인공지능에 관심있는 사람이라면 꼭 듣기를 추천드립니다. A Chat with Andrew on MLOps: From Model-centric to Data-centric AI by Andre Ng Model-centric vs Data-centric 모델 중심의 생각(Model centric view) 데이터 중심의 생각(Data centric view) - 수집가능한 데이터를 모으고 데이터의 노이즈를 잘 이겨내는 좋은 모델을 만들어 낸다. - 데이터의 일관성이 제일 중요하다. 데이터의 질을 유지할 수있는 툴 ..

3. Collaborative Filtering(협업 필터링) ‘사람들이 과거에 좋아했던 것들이 크게 변하지 않아서 미래에도 비슷한 것들을 좋아할 것이다.’라는 가정을 전제로 한다. 동시에 유저와 아이템 간의 유사도를 이용해서 추천한다. 추천할 유저와 비슷한 유저들의 데이터 기반으로 추천한다. 이전의 content-based filtering처럼 직접 특성을 엔지니어링 하지 않고 모델이 자동으로 학습한다. (1) 종류 memory based 방식 사용자 평가 데이터를 사용하여 사용자 또는 항목 간의 유사성을 계산 종류 : user-based, item-based 알고리즘:KNN Model based 방식 평가되지 않은 항목에 대한 사용자의 평가를 예측하는 다양한 데이터 마이닝, 기계학습 알고리즘을 사용 ..

2. Content-based Filtering(콘텐츠 기반 필터링) 유저가 좋아하는 아이템의 특성을 기반으로 유사한 아이템을 추천해준다. 예를 들여 영화에서도 유사한 장르나 줄거리를 추천해 줄 수 있다. 특성: 이전의 기록(구매 기록, 검색 기록 등), 명시적인 피드백(좋아요, 싫어요, 위시리스트) (1) 유사도 구글 플레이스토어를 예시를 들어보겠습니다. 특성 행렬(feature matrix)에서 행은 아이템인 앱, 각 열은 특성을 나타낸다. 해당 앱의 특성은 카테고리, 앱 개발자 등의 특성이 있는데 여기에서는 앱의 카테고리로 정하였다. 가정: 단순화 하기 위해서 해당 특성 행렬은 0과 0이 아닌 값 만 갖는 이진 값으로 이루어졌다. 0은 해당 특성에 속하지 않는 것이고 0이 아닌 값은 해당 특성에 속..

추천 시스템(Recommender System)- 1. 개요 1. 추천 시스템(Recommender System) 추천시스템에 대한 관심이 있었고 이번 프로젝트에서 사용할 수 있는 기회가 생겨서 두 시스템 다 만들어 보면서 공부한 것을 정리해봅니다. 이번에 프로젝트에서 최우수팀으로 선정되었네요. 특히 동일 서비스 주제로 4팀 이상 나왔었는데 너무 만족스러운 결과입니다. 추천시스템은 정보 필터링(Information Filtering, IF)의 하나로 특정 사용자가 관심을 가질만한 아이템을 (영화, 음악, 책, 뉴스, 이미지, 웹 페이지 등) 추천한다. 추천 시스템은 많은 웹 사이트에서 많이 볼 수 있는 서비스 중 하나이다. 예를 들어 쇼핑, OTT나 음악 같은 컨텐츠 스트리밍 등의 서비스를 이용하면 데이..

TensorFlow.js 텐서플로우 사용하면서 TensorFlow.js를 접하는 경우가 없었다. 웹캠 관련으로 pose estimator를 사용하는 프로젝트 하면서 배우게 되었다. 이외에도 프론트엔드에서 학습된 모델을 ml5.js 라이브러리와 같이 더 고수준의 API로 간편하게 가져다 쓰거나 직접 학습도 할 수 있다. TFJS에서 홍보하는 프로젝트들을 보면 대부분 가져다 쓰는 경향이 있다. 전이학습으로 학습된 모델을 추론에만 사용하거나 재 학습시키거나 모델을 직접 만들어 훈련시킬 수 있다. JavaScript에서 텐서를 사용하여 계산을 정의하고 실행, ML 모델을 개발하는 프레임워크 브라우저 / Node.js에서 바로 ML을 사용 가능하다. 파이썬 모델 변환 가능 고수준 API를 통한 손쉬운 모델 빌드 ..

이전에 배웠던것은 신경망 학습으로 순전파와 그래디언트 디센트를 이용하여 손실함수 최소화를 통해 최적의 매개변수(가중치)계산하였으나 수치미분은 단순하지만 계산이 오래걸림. 이번에는 수치미분보다 기울기를 효율적으로 계산하는 오차역전파를 이용하여 순전파에서의 결과값의 에러를 계산하여 최적의 매개변수로 계속 업데이트 하는 방법 가중치 매개변수 기울기 구하는 방법: 수치 미분(기울기 =0) 간단 오래걸림 오차역전파 표현방법 : 수식, 계산 그래프 1. 계산 그래프(computational graph) 계산 과정을 그래프로 나타내며출력값 변수를 최적화 하고싶을때 유용하며 단순화 하여 이해가 쉽다. 국소적 계산: 직접 관계된 범위 내에서만 계산을 통해 각 노드의 계산에 집중하여 문제를 단순화 역전파를 통해 '미분'을..

활성화 함수(Activation Function) 임계값에 따라서 입력 신호의 총합을 출력 신호로 변환하는 함수 h(x) 딥러닝에서 비선형 함수를 사용함으로써 비선형성을 증가시키는 역할을 함 (1) Linear function 선형 함수 f(x) =a+bx :( 층을 아무리 깊이해도 은닉층이 없는 네트워크로도 똑같은 기능 할 수 있음 h(x) =cx를 사용하는 3층 네트워크 y(x) =h(h(h(x))) =c*c*c*x= c^3x=ax (if a=c^3) 여전히 선형 함수형태임을 알 수 있다. (2) non-linear fucntion 비선형 함수 : 다층 신경망에서 층이 많아질수록 비선형 함수가 더 중요함 (2.1) Binary Step function (이진 계단 함수): 0,1 사이에서 값이 0을..

인공신경망 (Artificial Neural Network, ANN) 두뇌를 구성하는 신경학적 신경망을 모티브로 만든 기계학습 모델 순방향 신경망(Feedforward Neural Network) 최초이자 가장 간단한 신경망 모델로 항상 입력에서 출력으로 한 방향으로 움직임 single-layer : 입력- 출력층 단층 퍼셉트론 2020/03/26 - [머신러닝] - 퍼셉트론(Perceptron) multi-layer 입력, 1개이상의 은닉층, 출력층 다층 퍼셉트론: 순방향 신경망의 한 종류로 매개 변수(가중치)를 직접 선정해야함 최소 2개 이상의 레이어:은닉층(hidden layer), 출력층(output layer) 각 층에서 비선형 활성화 함수 사용 학습을 위해서 오차 역전파 Backpropagat..

1. 딥러닝(Deep Learning) 인공지능(人工知能) / A.I. (Artificial Intelligence) 인간이 지닌 지적 능력의 일부 또는 전체, 혹은 그렇게 생각되는 능력을 인공적으로 구현한 것을 말한다. 기계 학습(機械學習) / 머신 러닝(영어: machine learning) 경험을 통해 자동으로 개선하는 컴퓨터 알고리즘의 연구이다. 인공지능의 한 분야로 간주된다. 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야이다 인공신경망(人工神經網, 영어: artificial neural network, ANN) 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다. 물학적 뇌가 동작하는 방식을 모티브로 뇌의 신경세포(..