tomato, tomahto

태블로에서 top N개 추출에서 응용한 각 카테고리별 top N개 추출하는 방법 소개하겠습니다. 실제로 업무 하다 보면 특정 카테고리에서 매출이 가장 많이 나오는지 기간별로 확인해야 할 필요가 있습니다. 그래서 원하는 기간에 원하는 수만큼 추출하도록 동적으로 적용하여 사용자가 드릴다운 할 수 있도록 만들었습니다. 보통 상위 n개로 하는 경우 index() , rank() , rank_dense() 함수로 가능하며 rank의 경우에는 정렬순서 지정이 필요 없습니다. 하지만 작동 원리 이해를 위해서 index() 함수로 하는 방법으로 공유드립니다. 1. 기본적인 열, 행, 필터, 마크 텍스트에 계산할 값을 넣어 테이블을 만든다. 열:기간 행: 카테고리, 서브카테고리 마크 텍스트 : 매출 합계(Sum(sale..

이세돌과 알파고의 세기의 격돌 이후 Microsoft의 대화형 인공지능인 ChatGPT(챗GPT) 등장과 함께 바로 ChatGPT-4로 업그레이드되고 Adobe Firefly 베타버전 & Google Bard 발표 등으로 또 한 번 인공지능의 봄이 다시 왔습니다. 특히 ChatGPT와 같은 생성형 AI는 상용화된 인공지능 프로덕트를 실제로 개인들의 활용범위가 확대되면서 기존의 검색 방식의 패러다임을 바꾸며 주목을 받았습니다. 금융에서도 이러한 초거대 AI 시대에 맞춰 디지털 전환에 가속화를 하며 비대면으로 하는 서비스를 빠르게 확대해나가고 있습니다. 그럼에도 아직은 금융 분야가 다른 분야에 비해서 뒤처져 있다고 평가되어 왔고 궁금증으로 이 책을 접하게 되었습니다. 파이썬 기반 금융 인공지능(Artific..

태블로로 이용자가 설정한 기간에 따라 이전 동일한 기간을 쉽게 비교하도록 사용자의 편의성을 최대화하는 방향으로 그래프 그리는 방법을 공유드립니다. 사용자가 지정한 시작일과 종료일을 입력하면 자동으로 기간을 계산하고 해당 기간의 이전 기간을 동일한 축(Axis)에 비교하도록 고안, 설계했습니다. 7일 배수로 보면 동일 기간의 전주 대비 매출 변화와 추세를 쉽게 확인할 수 있습니다. 기간을 한 달로 설정하면 전월 대비 매출 변화와 추세를 확인할 수 있습니다. 방법 방법은 동적으로 시각화가 변하도록 매개변수를 활용한 계산된 필드로 필터, 열, 행에 배치하여 기간에 따라서 해당 기간만 필터링하여 계산된 값을 리턴하는 것을 이용했습니다. 방법을 따라 하다가 길을 중간에 잃었다면 크로스탭 형식으로 값을 확인해 보시..

원티드 프리온보딩 데이터 챌린지에서 제공한 원티드 자체 공고 데이터셋을 이용하여 분석하였습니다. 해당 챌린지에서 로그 데이터 설계부터 데이터셋을 빅쿼리를 이용하여 전처리, 파이썬으로 EDA 하는 것이 1주 차 과제였고 그중 이전에도 채용 플랫폼 Open API로 데이터 수집하여 개인 프로젝트 진행하려고 계획이 있었던 데이터 분석가 공고 자연어 처리 통한 분석하는 과제에 대해 간략한 인사이트 공유 드립니다. 해당 과제에서는 워드클라우드를 통한 시각화를 하고 있으나 실제로 데이터 분석가 사이에서는 워드 클라우드는 효과적으로 전달할 수 없어 잘 사용되지 않습니다. 그래서 워드클라우드 대신에 바 그래프로 시각화하였습니다.데이터 분석가 저연차, 신입 채용 공고 데이터 분석데이터 분석은 특히 경력직 공고가 많고 회..

혼자 공부하는 데이터 분석 with 파이썬 출판사: 한빛미디어 저자:박해선 분량: 496페이지 출간: 2023년 1월 2일 정가: 26,000원 최근 데이터 관련 직종 이직이나 관련 프로젝트, 공부하는 것이 더욱더 인기가 많아졌음을 블로그 유입자 인기 키워드로 느끼고 있습니다. 시중에 많은 책, 강의가 나와 있는데 입문을 고민하는 분들에게는 선택지가 너무 많아 정보의 호수 속에서 시작하는 것에서부터 혼란이 오게 됩니다. 예로 시작하려고 하면 언어부터 R, Python, SQL 등이 있고 분석 내에서도 분석 방식에 따라서 다양하게 나뉘게 됩니다. 마침 오늘 리뷰할 책은 최근에 한빛미디어에서 2023 나는 리뷰어다로 선정되어 접하게 된 자습하기에 좋은 데이터 분석 입문서로 리뷰하면서 자습하기에 최적화된 책으..

사용자 에이전트 (User Agent) 사용자 에이전트 혹은 사용자 에이전트 스트링(User Agent String)이라 불립니다. 웹에서는 웹브라우저가 사용자를 대신하여 OS, 버전, 기기, 웹 브라우저 등과 같은 사용자 식별 정보를 User-Agent HTTP 헤더에 일정한 구조로 담고 있습니다. 1. UA String 존재 이유 이런 개인 식별 정보가 왜 필요한지에 대해 알기 위해서는 웹 브라우저 동작방식에 대한 이해가 필요합니다. 웹 페이지 접속 시 사용자 에이전트라는 웹 헤더의 정보를 통해서 그 플랫폼에 맞는 페이지로 연결해 주기 때문입니다. 화면 비율이 맞지 않은 경우 이미지가 깨져서 나오기도하기 때문에 각 사용자의 환경에 최적으로 보여주기 위해서 만들어진 것입니다. 이전에 HTML로 표준화되..

해당 글은 빅데이터 분석기사 필기와 실기 합격률을 계속 업데이트할 예정입니다. 빅데이터 분석기사 합격률 빅데이터 분석기사 필기와 실기 2021,2022 합격률과 다른 시험과 비교해서 난이도를 비교하겠습니다. 시험의 난이도 비교 데이터 분석 자격증 난이도 비교 ADsP (데이터 분석 준전문가)< 빅데이터 분석기사

집에 오래된 노트북이 있어 HDD에서 SATA SSD 교체만 했는데 엄청난 속도 향상을 체감한 경험이 있었다. 마침 맥북의 SSD가 고장이 나서 교체하려 했는데 맥북은 버전에 따라서 가능한 SSD가 있어 어댑터도 구해야 하고 드라이버도 구매해야 해서 시기가 미루어졌다. 인터넷에서는 삼성 evo 970 plus 교체했는데 인식을 못해 돈 날렸다는 유튜브도 봤었는데 성공적으로 약 10만 원으로 교체 완료하였다. 0. 준비물 - 맥북 노트북 SSD 교체 가능한 모델인지 년도가 아닌 '버전' 확인 필요하다 Mac 2013 이전 버전은 mSATA M.2와 컨버터/어댑터 Mac 2013 ~Mac 2015 버전은 NVMe M.2 와 컨버터/어댑터 대부분의 2013~2015 제품은 NVMe프로토콜의 M.2 슬롯의 SS..

ElasticSearch Kibana Timelion 키바나의 Timelion(타임라이언)으로 TSVB에서 제공하지 않는 기능을 사용하여 시계열을 표현할 수 있다. Timelion 특유의 문법을 갖고 있는데 여러 함수를 chaining 하듯이 연결해서 사용하는 함수 형식의 표현식으로 시각화한다. 하나 이상의 인덱스에서 시계열 데이터 표현하거나 2개 이상의 시계열에 계산이 필요한 경우에 유용하다. 간단한 기본 규칙과 사용법, 기본 함수 및 파라미터에 대해서 알아보려 한다. 1. Expression 항상 모든 함수는 .(마침표) 으로 시작한다. 하단의 예시로 가장 기본적인 함수를 보면 각 함수를 보면 각 함수 앞에 마침표가 찍혀있다. .es().label('엘라스틱서치 함수').if(eq,0,null) 2...

0.Tableau Prep 설치 1. Tableau Prep 다운로드 자신의 OS에 맞는 파일 다운로드(Windows/Mac)한다. 2.Tableau Prep Builder 설치 제품 사용권 계약 동의 > 동의함(A)하고 기다리면 설치 완료 3. Tableau Prep 실행 해당 아이콘을 누르면 로딩하는 이미지 창이 나온다. 4. Tableau Prep 초기 세팅 서버/ 제품키/라이선스가 없다면 평가판 시작(14일 무료) 클릭 평가판 사용하기 위한 개인 정보 입력 서버 - 서버 URL 제품키 - 제품키 입력 1. 간단한 실습 실습에서 사용한 데이터는 태블로 코리아에서 제공한 데이터셋으로 태블로 코리아 프렙관련 유튜브 강의 영상의 예시로도 사용된 데이터이다. 1.1 데이터 가져오기 첫 화면 좌측 상단의 데..