반응형

전체 글 310

4. 데이터 전처리

1. 누락된 데이터 (Not a Number, NaN) , NULL(모르는 값)) 원인 : 데이터 수집 과정 오류, 측정 방법 적용 불가 빈 값(blank), 예약된 문자열로 대체 특히 수치 계산에서 누락데이터는 계산 불가한 경우도 있어 처리 필요. 식별 : isnull.sum() null값인 경우 boolean 으로 리턴하여 True값 총 갯수 리턴(누락값 갯수) 처리 특정 행/열 제외 :( 제거시 필요한 중요한 정보 잃음 dropna(axis= 0(행),1(열),how='all', thresh= , subset[ '열이름' ] ) axis=0 해당 행제거, 1 해당 열제거 (Default: axis= 0) how='all' 모든 값이 NaN인 행 제거 thresh= 임계값(실수, threshold) ..

Data/AI 2021.06.12

3.사이킷런을 타고 떠나는 머신 러닝 분류 모델 투어

4. 서포트 벡터 머신(Support Vector Machine)을 사용한 최대 마진 분류 keywords: Margin, Penalty, Mapping(kernel) 마진 (margin): 클래스를 구분하는 초평면과 이 초평면에서 가장 가까운 훈련 샘플 사이의 거리 서포트 벡터(Support vectors): 초평면(hyperplane, 3차원 속의 평면을 일반화하여 부름)에서 가장 가까운 샘플들 페널티 (Penalty ξ): applied for each contaminant error inside the margin and the sum of all such errors is minimized to get the best separation.( tolerance for misclassificatio..

Data/AI 2021.06.11

Android Studio 환경설정: 테마 색상, 폰트 변경

1. Android Studio 테마 색상 변경 Android Studio에는 3가지 테마가 있습니다. 기본은 IntelliJ Light로 되어있는데 어두운 테마로 변경 원하시는 분들 참고하시기 바랍니다. 1) Mac: Preferences/ MS: Settings 을 누릅니다. 2) Preferences > Appearance & Behavior > Appearance : Theme 선택 (1) IntelliJ Light (기본값) 대부분의 IDE에서의 기본적 색상 (2) Darcula 저의 선택은 이 테마로 밝은 색상은 장시간 사용에 눈이 아파서 추천드립니다. (3) High Contrast 강한 색감이 특징입니다. 2. 폰트 종류, 크기, 간격 설정 1) Mac: Preferences/ MS: Se..

CS/IT 2021.06.10

2. 간단한 분류 알고리즘 훈련

이전 간단한 분류 알고리즘 훈련-part1에서는 선형 분류기 중 하나인 퍼셉트론과 가중치를 업데이트 하는 방식으로 학습 규칙에 대해서 알아보았고 이번에는 퍼셉트론의 향상된 버전인 적응형 선형 뉴런(아달린)에대해서 공부하겠습니다. 2.3 적응형 선형 뉴런과 학습의 수렴 적응형 선형 뉴런(ADAptiv Linear NEuron, ADALINE) 아달린 Bernard Widrow & Tedd Hoff가 적응형 선형결합기와 양자의 회로를 직렬로 접속한 것입니다. 초기 가중치와 입력값들의 선형결합에 대한 값은 동일하며 임계 함수를 이용하여 분류하는것은 동일합니다. 하지만 이전에 퍼셉트론은 값을 1과 -1 로 나누는 계단 함수를 사용하여 가중치를 업데이트하여 이진 분류하였다면 적응형 선형 뉴런은 선형 활성화 (역속..

Data/AI 2021.06.09

머신러닝 교과서 with 파이썬, 사이킷런, 텐서플로 목차

세바스찬 라시카, 바히드 미자리리 저/박해선 역 컴퓨터는 데이터에서 배운다 간단한 분류알고리즘 훈련1, 2 사이킷런을 타고 떠나는 머신 러닝 분류 모델 투어 좋은 휸련 세트 만들기 : 데이터 전처리 차원 축소를 사용한 데이터 압축 모델 평가와 하이퍼파라미터 튜닝의 모범 사례 다양하 모델을 결합한 앙상블 감성 분석에 머신 러닝 적용 웹 애플리케이션에 머신 러닝 모델 내장 회귀분석으로 연속적 타깃 변수 예측 레이블되지 않는 데이터 다루기 :군집분석 다층 인공신견망을 밑바닥 부터 구현 텐서플로를 사용하여 신경망 훈련 텐서플로의 주요 특징 심층 합성곱 신경망으로 이미지 분류 순환 신경망으로 시퀀스 데이터 모델링 책과 함께 계속해서 github도 참고할 예정 : 해선님 github : https://github...

Data/AI 2021.06.08

1. 컴퓨터는 데이터에서 배운다.

1.1 데이터를 지식으로 바꾸는 지능적인 시스템 구축 머신러닝,딥러닝, 인공지능(AI) 모두들 뉴스에서 많이 들어 보았을 것입니다. 최근에 은퇴한 프로기사 이세돌 씨 께서 한돌(NHN)에 패배하고 과거에 AlphaGo에게 패배하게 되면서 인공지능의 발전과 무궁한 가능성 때문에 큰 주목을 받게 되었습니다. 이외에도 앞의 세 가지 단어는 자주 synonym으로 쓰이는 경우가 많지만 딥러닝이 가장 하위 카테고리에 속하게 됩니다. 위의 그래프처럼 Artificial Inteligence (인공지능)는 새로운 개념이 아닌 이전 부터존재하는 학문으로 이것의 정의는 John McCarthy 의 'thinking machine'에서 현대에 와서는 기계가 인간의 지능을 어떻게 구현해 내는지에 대한 컴퓨터과학(comput..

Data/AI 2021.06.07

비전공자 2주 SQLD(SQL Developer) 독학 방법(시험소개,팁,보수교육,유효기간 영구 갱신)

2021 회 정처기 필기 1회 시험 이후 바로 SQLD 시험을 준비했어서 2주 공부했습니다. 이전에 Database 관련 수업 수강한 경험이 있고 정처기 필기에서도 DB 부분은 만점을 받았어서 쉽게 생각하고 DB 공부하려고 접수했는데 Oracle, MS SQL Server 각각 차이점 구분해야 하고 상세하게 배우며 최적화에 대해 배우게 되어 새롭게 배운 점이 많았었습니다. 모델링 과목은 2과목은 범위가 넓다 보니 1과목을 고득점을 목표로 공부했습니다. 완전 처음이신 분들은 하단의 수험서 2권 모두 참고하시고 SQL 쿼리를 직접 실행해서 결과 보면서 공부하는 게 좋을 듯합니다. 후기 보면 보통 4주 준비하시더라고요. 이론서를 꼼꼼하게 보시고 SQL문과 결과를 모두 예상할 수 있을 정도로 공부하셔야 합니다...

Challenges/SQLD 2021.06.05

개정된 정보처리기사 필기 공부 방법과 후기(1달 이내, 비전공자 독학)

개정되고 나서 초기에 정보가 많이 없었지만 정보처리기사 필기 열심히 준비해서 평균 90점으로 필기 합격했습니다. 어떻게 준비했는지 공유합니다. 정보처리기사 필기 먼저 공부방법보다 시험 합격률이 어느 정도이고 어떻게 전략적으로 준비해야 하는지를 설정해야 해 합니다. 현재까지는 PBT(Paper Based Test)로 고사장에서 시험지를 받아서 풀고 가져갈 수 있었습니다.. 2022년 필기 3회 기사시험 필기는 전면 CBT(Computer Based Test)로 전환 예정, 주말 이외에도 선택 가능합니다. 1. 합격기준 100문제 중 각 5과목 40점(8개) 이상, 전체 평균 60점(60개) 이상 1.1 개정 이후 합격률 개정 직후부터 21년까지는 필기 합격률이 들쑥날쑥하며 차이가 크게 났습니다. 22년부터..

개정된 정보처리기사에 대한 모든 것! (과목, 응시료, 합격 기준,시험일정)

개정된 정보처리기사에 대한 모든 것 개요 정보처리기사는 2020년부터 국가 직무능력표준(NCS) 기반으로 자격 내용을 직무 중심으로 개편되었습니다. 개편되면서 2과목인 전자계산기 구조가 빠지게 되고 기존의 소프트웨어 공학은 소프트웨어 설계, 개발 관련이 나누어지게 됩니다. 추가적으로 프로그래밍 언어가 추가됩니다. 아마 프로그래밍 언어 처음 접하시면 학습 시간이 더 걸릴 듯합니다. 과목 개정 전 과목 개정 후 과목 데이터베이스 전자계산기구조 운영체제 소프트웨어 공학 데이터 통신 소프트웨어 설계 소프트웨어 개발 데이터베이스 구축 프로그래밍 언어 활용(C, JAVA, Python) 정보시스템 구축 관리 정보처리기사 필기 실기 필기 4지 선다형 객관식 100문제 (19,400원) 필기시험 다음날부터 서류 제출 ..

한국산업인력공단 Q-net 시험 접수하는 방법(사전입력, 빠른 접수 팁)

정보처리기사 자격증 취득에 관련돼서 궁금한 것은 하단의 링크 참조하시기 바랍니다. 2021 정보처리기사에 대한 모든 것! 비전공자 2021 정보처리기사 필기 공부 방법(1달 이내) 기사, 기술사, 산업기사 필기, 실기 시험 빠르게 접수하는 방법으로 참고로 첫날에 4분 내 완료했습니다. 필기 때는 잘 몰라서 늦게 들어갔다가 사전 입력했음에도 결제하기까지 40분 걸렸습니다 ㅎㅎ 참고로 원서접수는 온라인으로만 가능합니다. TIPs 0. 인터넷 속도 빠를수록 좋습니다. 특정 시험들은 빨리 마감되는 경우가 있어서 모바일 앱 사용을 추천드립니다. 1. 사전 입력하기 Q-net 홈페이지에 접수 기간 4일 전부터 종목 선택, 응시 유형, 추가 입력 사항을 미리 기입하여 당일 날에는 고사장 위치 선택과 결제만 바로 가능..

반응형