2.2. KRX 전체 종목분석-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "HWKVTvP7v9xb"
   },
   "source": [
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/finance-data-analysis/blob/main/2.2.%20KRX%20%EC%A0%84%EC%B2%B4%20%EC%A2%85%EB%AA%A9%EB%B6%84%EC%84%9D-input.ipynb)\n",
    "\n",
    "## 한국거래소(KRX) 전체 종목 분석\n",
    "* Pandas cheat sheet 를 함께 보세요! : [Pandas_Cheat_Sheet.pdf](https://pandas.pydata.org/Pandas_Cheat_Sheet.pdf)\n",
    "\n",
    "* FinanceDataReader를 통한 KRX 전체 종목 수집\n",
    "    * to_csv(\"파일명\", index=False) : csv 파일로 저장하기\n",
    "    * read_csv(\"파일명\") : csv 파일 불러오기\n",
    "    \n",
    "* Pandas를 통한 파일 저장과 불러오기\n",
    "    * shape를 통한 행과 열의 수 보기\n",
    "    * head, tail, sample 을 통한 일부 데이터 가져오기\n",
    "    \n",
    "* DataFrame의 info(), describe() 등을 통한 요약과 기술통계 값 구하기\n",
    "    * info()\n",
    "    * describe()\n",
    "    * nunique()\n",
    "    * index\n",
    "    * columns\n",
    "    * values\n",
    "    \n",
    "* Pandas의  DataFrame과 Series의 이해\n",
    "    * Series : 1차원 벡터구조\n",
    "    * DataFrame : 2차원 행렬구조\n",
    "    \n",
    "* 색인하기\n",
    "    * [컬럼]\n",
    "    * .loc[행]\n",
    "    * .loc[행, 열]\n",
    "    * .loc[조건식, 열]\n",
    "    \n",
    "* DataFrame의 데이터 타입 이해하기\n",
    "    * 날짜 데이터의 변환\n",
    "    \n",
    "* DataFrame 다루기\n",
    "    * 열(column) 인덱싱\n",
    "    * 행(index) 인덱싱\n",
    "    * 행, 열 인덱싱\n",
    "    * 정렬하기 : sort_values 사용하기\n",
    "    * 조건식 사용하기\n",
    "\n",
    "* 빈도수 구하기\n",
    "    * 한 개의 변수 : series.value_counts()\n",
    "    * 두 개의 변수 : pd.crosstab()\n",
    "\n",
    "* groupby 와 pivot_table\n",
    "    * 다양한 연산식의 사용\n",
    "\n",
    "\n",
    "## ⚠️ 주의할 점 ⚠️ \n",
    "* 강좌의 분석내용과 여러분의 실습 결과는 시점의 차이로 빈도수 등의 결과값이 다르게 나옵니다.\n",
    "\n",
    "\n",
    "\n",
    "## 라이브러리 불러오기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "OGQuQOfmv9xb"
   },
   "outputs": [],
   "source": [
    "# 데이터 분석을 위해 pandas, 시각화를 위해 seaborn 불러오기\n",
    "import pandas as pd\n",
    "import seaborn as sns"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "NZrikuL1v9xa"
   },
   "source": [
    "## FinanceDataReader 로 수집한 전체 종목 불러오기\n",
    "\n",
    "* 한국 주식 가격, 미국주식 가격, 지수, 환율, 암호화폐 가격, 종목 리스팅 등 금융 데이터 수집 라이브러리\n",
    "\n",
    "* [FinanceDataReader 사용자 안내서 | FinanceData](https://financedata.github.io/posts/finance-data-reader-users-guide.html)\n",
    "* https://pandas-datareader.readthedocs.io/en/latest/readers/index.html\n",
    "\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/02_io_readwrite.svg\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <font color=\"red\">종목명이 영문으로 표기될 때</font>\n",
    "\n",
    "해당 수업은 실시간으로 한국거래소에서 FinanceDataReader 라는 라이브러리를 통해 데이터를 받아오고 있습니다.\n",
    "아래 링크에 있는 라이브러리의 소스코드가 KRX 전체 종목을 가져오는 소스코드입니다.\n",
    "\n",
    "[FinanceDataReader/listing.py at master · FinanceData/FinanceDataReader](https://github.com/FinanceData/FinanceDataReader/blob/master/krx/listing.py)\n",
    "\n",
    "이 때, 전체 상장종목과 거래할 수 있는 ETF 등의 종목도 함께 가져오게 되는데,\n",
    "FinanceDataReader 에서는 코스피, 코스닥, 코넥스 정보가 있는 엑셀파일과 금융상품 정보가 있는 JSON 데이터를 가져와서 병합하는 형태로 데이터를 제공하고 있습니다.\n",
    "그런데 최근 JSON 데이터의 종목명이 영문으로 변경되어 제공되고 있음을 확인했습니다.\n",
    "그래서 아래의 엑셀 데이터를 read_html 로 읽어오게 되면 한글로 된 종목명을 받아서 분석해 보실 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# # 종목명이 영문으로 표기 될 때 아래의 주석을 풀고 데이터를 받아서 분석해 보세요!\n",
    "# url = 'http://kind.krx.co.kr/corpgeneral/corpList.do?method=download&searchType=13'\n",
    "# df_listing = pd.read_html(url, header=0)[0]\n",
    "# cols_ren = {'회사명':'Name', '종목코드':'Symbol', '업종':'Sector', '주요제품':'Industry', \n",
    "#                     '상장일':'ListingDate', '결산월':'SettleMonth',  '대표자명':'Representative', \n",
    "#                     '홈페이지':'HomePage', '지역':'Region', }\n",
    "# df = df_listing.rename(columns = cols_ren)\n",
    "# df['Symbol'] = df['Symbol'].apply(lambda x: '{:06d}'.format(x))\n",
    "# df['ListingDate'] = pd.to_datetime(df['ListingDate'])\n",
    "# df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "Rz9eJjDsv9xc"
   },
   "outputs": [],
   "source": [
    "# 이전 강좌에서 to_csv로 저장해둔 krx.csv 파일을 pd.read_csv 로 불러옵니다.\n",
    "# krx 파일이 없다면 아래 주석을 제거하고 csv 파일을 로드해 보세요!\n",
    "# df = pd.read_csv(\"https://raw.githubusercontent.com/corazzon/finance-data-analysis/main/krx.csv\")\n",
    "# df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 일부 데이터만 가져오기\n",
    "\n",
    "{'회사명':'Name', '종목코드':'Symbol', '업종':'Sector', '주요제품':'Industry', \n",
    "                            '상장일':'ListingDate', '결산월':'SettleMonth',  '대표자명':'Representative', \n",
    "                            '홈페이지':'HomePage', '지역':'Region', }"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# head 로 위에 있는 데이터 일부만 가져옵니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# tail 로 아래 있는 데이터 일부만 가져옵니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# sample을 사용하면 랜덤하게 ()안의 갯수만큼 가져옵니다. \n",
    "# ()안에 값을 써주지 않으면 한 개만 가져옵니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 요약하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# info 로 요약 데이터를 봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# describe 로 기술통계값을 봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 중복을 제외한 unique 값의 갯수를 봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# index 값 보기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 컬럼값 보기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 값만 보기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 색인하기\n",
    "\n",
    "### Series\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/01_table_series.svg\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Name 컬럼 하나만 가져옵니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df[\"Name\"] 의 type을 봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 0번째 행만 가져옵니다. 행인덱스를 가져올때는 .loc를 사용합니다.\n",
    "# loc는 위치(locate)를 의미합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df.loc[0] 의 type을 봅니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### DataFrame\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/01_table_dataframe.svg\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df 변수의 타입을 봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 여러 컬럼을 지정할 때는 리스트 형태로 묶어주어야 합니다. \n",
    "# 2차원 행렬은 대괄호가 [] 2개가 있다는 것을 기억해 주세요. \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 여러 개의 행을 가져올 때도 [] 대괄호를 통해 리스트 형태로 묶어줍니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 1개의 컬럼을 가져올 때도 대괄호[] 2개를 써서 리스트 형태로 묶어주게 되면 데이터프레임 형태로 반환됩니다.\n",
    "# \"Name\" 을 데이터프레임으로 가져옵니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### loc를 통한 서브셋 가져오기\n",
    "<img src=\"https://pandas.pydata.org/pandas-docs/stable/_images/03_subset_columns_rows.svg\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 행과 열 함께 가져오기\n",
    "# .loc[행, 열]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# .loc[행, 열]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# %timeit\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# %timeit\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 여러 개의 행과 하나의 컬럼 가져오기\n",
    "# .loc[행, 열]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 여러개의 행과 여러 개의 컬럼 가져오기\n",
    "# .loc[행, 열]\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Boolean Indexing\n",
    "* 결과값이 True, False bool 형태로 반환되기 때문에 boolean indexing 이라고 부릅니다.\n",
    "* boolean indexing 을 사용해 특정 조건식을 만족하는 데이터를 서브셋으로 가져옵니다.\n",
    "\n",
    "<img src=\"https://pandas.pydata.org/docs/_images/03_subset_rows.svg\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 카카오를 찾습니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"https://pandas.pydata.org/pandas-docs/stable/_images/03_subset_columns_rows.svg\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# and => &\n",
    "# or => |\n",
    "True and False"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 서울특별시에 소재지를 두고 있는 KOSPI 종목의 종목명과 심볼을 가져옵니다.\n",
    "# .loc[행, 열]\n",
    "# .loc[조건식, 열]\n",
    "# df.loc[(df[\"Region\"] == \"서울특별시\") & (df[\"Market\"] == \"KOSPI\"), [\"Symbol\", \"Name\"]]\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 파생변수 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# pd.to_datetime 을 통해 데이터의 타입을 변환합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# ListingYear 파생변수 만들기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# nan은 not a number의 약자로 결측치를 의미합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 시각화 툴 소개\n",
    "\n",
    "### matplotlib\n",
    "* [Anatomy of a figure — Matplotlib documentation](https://matplotlib.org/3.1.1/gallery/showcase/anatomy.html)\n",
    "\n",
    "### seaborn\n",
    "* [seaborn: statistical data visualization — seaborn documentation](https://seaborn.pydata.org/index.html)\n",
    "\n",
    "### pandas\n",
    "* [Visualization — pandas documentation](https://pandas.pydata.org/pandas-docs/stable/user_guide/visualization.html)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 시각화를 위한 폰트설정"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_font_family():\n",
    "    \"\"\"\n",
    "    시스템 환경에 따른 기본 폰트명을 반환하는 함수\n",
    "    \"\"\"\n",
    "    import platform\n",
    "    system_name = platform.system()\n",
    "    # colab 사용자는 system_name이 'Linux'로 확인\n",
    "\n",
    "    if system_name == \"Darwin\" :\n",
    "        font_family = \"AppleGothic\"\n",
    "    elif system_name == \"Windows\":\n",
    "        font_family = \"Malgun Gothic\"\n",
    "    else:\n",
    "        !apt-get install fonts-nanum -qq  > /dev/null\n",
    "        !fc-cache -fv\n",
    "\n",
    "        import matplotlib as mpl\n",
    "        mpl.font_manager._rebuild()\n",
    "        findfont = mpl.font_manager.fontManager.findfont\n",
    "        mpl.font_manager.findfont = findfont\n",
    "        mpl.backends.backend_agg.findfont = findfont\n",
    "        \n",
    "        font_family = \"NanumBarunGothic\"\n",
    "    return font_family"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 위에서 만든 함수를 통해 시스템 폰트를 불러옵니다.\n",
    "get_font_family()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 시각화를 위한 폰트설정\n",
    "# 위에서 만든 함수를 통해 시스템 폰트를 불러와서 font_family 라는 변수에 할당합니다.\n",
    "\n",
    "# 폰트설정\n",
    "\n",
    "# 마이너스폰트 설정\n",
    "\n",
    "\n",
    "# ggplot으로 그래프 스타일 설정\n",
    "\n",
    "# 그래프에 retina display 적용\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 폰트 설정 확인하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# 한글폰트 확인하기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 한 개의 변수 빈도수 구하고 시각화 하기\n",
    "* Keyword\n",
    "\n",
    "    * Series.value_counts()\n",
    "    * Series.value_counts().plot()\n",
    "    * Series.value_counts().plot.bar()\n",
    "    * Series.value_counts().plot.barh()\n",
    "    * sns.countplot()\n",
    "\n",
    "### Market\n",
    "\n",
    "* KOSPI (Korea Composite Stock Price Index) \n",
    "    * 우리나라의 종합주가지수(KOSPI)는 증권거래소가 1964.1.4일을 기준시점으로 다우존스식 주가평균을 지수화한 수정주가 평균지수를 산출, 발표하기 시작하였다. 다우존스식 주가지수는 주가지수를 구성하는 상장종목 중 일부 우량주만을 선정하여 산출하는 방식이다. 시가총액식 주가지수는 일정시점의 시가총액과 현재시점의 시가총액을 대비, 현재의 주가수준을 판단하는 방식이다. 즉, 지난 1980년 1월 4일 기준 상장종목 전체의 시가총액을 100으로 보고 현재 상장종목들의 시가총액이 어느 수준에 놓여 있는지를 보여주는 시스템이다.\n",
    "    * 종합주가지수 = (비교시점의 시가총액 ÷ 기준시점의 시가총액) × 100\n",
    "    * 출처 : [네이버 지식백과] 종합주가지수 (시사상식사전, pmg 지식엔진연구소) https://terms.naver.com/entry.nhn?docId=72147&cid=43667&categoryId=43667\n",
    "\n",
    "\n",
    "* KOSDAQ (Korea Securities Dealers Automated Quotation) \n",
    "    * 미국의 나스닥(NASDAQ)을 한국식으로 합성한 용어로 1996년 7월 1일 증권업협회와 증권사들이 설립한 코스닥증권(주)에 의하여 개설되었다. 코스닥의 개장으로 단순히 증권거래소 상장을 위한 예비적 단계였던 장외시장이 미국의 나스닥(NASDAQ)과 같이 자금조달 및 투자시장으로 독립적인 역할을 수행하게 되었다. 이후 2005년 1월 유가증권시장, 코스닥시장, 선물시장이 증권선물거래소(현 한국거래소)로 통합됨에 따라 코스닥시장도 거래소가 개설한 정규시장으로 편입되었다. 코스닥은 유가증권시장에 비해 진입요건이 상대적으로 덜 까다롭기 때문에 주로 중소벤처기업들이 상장되어 있다.\n",
    "    * 출처 : [네이버 지식백과] KOSDAQ (매일경제, 매경닷컴) https://terms.naver.com/entry.nhn?docId=18639&cid=43659&categoryId=43659\n",
    "\n",
    "\n",
    "* KONEX(Korea New Exchange) : \n",
    "    * 일정 요건을 갖춘 비상장 기업에 문호를 개방하기 위해 개설하는 유가증권시장, 코스닥시장에 이은 제3의 주식시장을 일컫는다. 코넥스시장은 우수한 기술력을 보유하고 있음에도 불구하고, 짧은 경력 등을 이유로 자금 조달에 어려움을 겪는 초기 중소기업과 벤처기업이 자금을 원활하게 조달할 수 있도록 하기 위해 설립된 자본시장으로, 2013년 7월 1일 개장되었다. \n",
    "    * 출처 : [네이버 지식백과] 코넥스 (시사상식사전, pmg 지식엔진연구소) https://terms.naver.com/entry.nhn?docId=1006691&cid=43667&categoryId=43667"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# Market column에 어떤 데이터들이 있는지 unique로 확인합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# value_counts()로 빈도수를 구합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 빈도수를 시각화 합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Seaborn countplot 활용하여 빈도수를 표현합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Sector"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 섹터의 빈도수를 구합니다.\n",
    "# 상위 30개 섹터의 빈도수를 sector_count_top 변수에 할당합니다.\n",
    "# sector_count_top\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df_sector_30"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Seaborn countplot 활용하여 빈도수를 표현합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print(plt.colormaps())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 빈도수가 가장 많은 데이터 색인하기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Industry"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Industry 의 빈도수를 구합니다.\n",
    "# industry_top30"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# Industry 빈도수를 pandas 의 plot 기능을 사용해 시각화 합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df[df[\"Industry\"].isin(industry_top30.index)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# seaborn\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Region "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Region 의 빈도수를 구합니다.\n",
    "# value_counts()통해 지역별 상장회사의 빈도수를 봅니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df[\"Region\"]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Region 의 빈도수를 seaborn 의 countplot 으로 그립니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# order 기능을 통해 빈도수를 정렬합니다.\n",
    "# df[\"Region\"].value_counts().index 로 Region 의 순서를 가져와서 지정합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Region 을 기준으로 정렬합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 두 개의 변수 빈도수 구하고 시각화 하기\n",
    "* crosstab 으로 빈도수 구하기\n",
    "* seaborn의 countplot 으로 빈도수 시각화\n",
    "* pandas의 plot 기능으로 시각화\n",
    "    * lineplot : 연속된 데이터(숫자, 기간)\n",
    "    * barplot : 비연속 데이터(범주형)\n",
    "    * hist : 연속된 수치 데이터의 범주화"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 지역별 상장 시장 종목 빈도수 구하기\n",
    "* pd.crosstab 을 통한 2개의 변수에 대한 빈도수 구하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# pd.crosstab 을 통한 2개의 변수에 대한 빈도수 구하기\n",
    "# Market 과 Region 으로 빈도수 구하기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# countplot : Market 과 Region 으로 빈도수 시각화 하기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 연도별 상장 종목 빈도수 분석"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Market, ListingYear 빈도수 구하기\n",
    "# market_year"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### seaborn을 통한 빈도수 시각화"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Seaborn countplot 활용하여 빈도수를 표현합니다.\n",
    "# hue 를 사용해 다른 변수를 함께 표현합니다. hue는 색상을 의미합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Pandas를 통한 시각화"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Pandas plot 기능 활용하여 기본 그래프(line)를 그립니다.\n",
    "# Pandas plot으로 그릴 때 x축에 인덱스 값이 y축에는 컬럼에 있는 값이 들어갑니다.\n",
    "# 컬럼이 여러개라면 다른 색상으로 그려집니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 컬럼값을 subplots 으로 그립니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Pandas plot 기능 활용하여 막대 그래프(bar, barh)를 그립니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 컬럼명의 데이터 타입을 int 형태로 변경합니다.\n",
    "# market_year.columns\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 막대(bar)그래프 그리기\n",
    "# market_year\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### groupby 와 pivot_table로 빈도수 구하기\n",
    "<img src=\"https://pandas.pydata.org/pandas-docs/stable/_images/06_valuecounts.svg\">\n",
    "\n",
    "* [How to calculate summary statistics? — pandas documentation](https://pandas.pydata.org/pandas-docs/stable/getting_started/intro_tutorials/06_calculate_statistics.html)\n",
    "* [Group by: split-apply-combine — pandas documentation](https://pandas.pydata.org/pandas-docs/stable/user_guide/groupby.html)\n",
    "* [pandas.pivot_table — pandas 1.2.0 documentation](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.pivot_table.html)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# groupby([인덱스 컬럼 리스트])[연산에 사용할 컬럼].연산()\n",
    "# market_year"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# pivot_table로 같은 결과가 나오게 연산하기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 위의 groupby 결과를 scatterplot으로 그립니다.\n",
    "# df_market_year\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# lineplot 그리기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# relplot으로 subplot 그리기 - scatter\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# relplot으로 subplot 그리기 - line\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 구간화 binnig 과 히스토그램\n",
    "* 연속된 수치 데이터를 범주형 데이터로 표현, bucketing 이라고 부르기도 함\n",
    "* 히스토그램 : 도수분포를 그래프 형태로 표현한 것\n",
    "* 막대그래프와 비슷해 보이지만 다른 그래프\n",
    "* 참고 : [히스토그램 - 위키백과, 우리 모두의 백과사전](https://ko.wikipedia.org/wiki/%ED%9E%88%EC%8A%A4%ED%86%A0%EA%B7%B8%EB%9E%A8)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# bins 의 갯수에 따라 그래프의 표현 방법이 달라집니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 색인"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 케이맨 제도에 있는 회사 찾기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# 1970년 이전에 상장한 기업을 찾습니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# and => &\n",
    "# or  => |\n",
    "True and True"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 2020년 상장한 서울특별시에 소재한 코스피 종목을 찾습니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 지역별 섹터"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Sector, Region 으로 crosstab 연산을 합니다.\n",
    "# df_sr\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 컬럼과 인덱스 값으로 색인하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 특정 컬럼만 가져오기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 특정 행만 가져오기\n",
    "\n",
    "* .loc[행]\n",
    "* .loc[행, 열]\n",
    "* .loc[조건식, 열]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df_sr에서 \"소프트웨어 개발 및 공급업\" 행만 가져오기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# loc 로 행인덱스 가져오기\n",
    "# 행에서 \"소프트웨어 개발 및 공급업\", \"금융 지원 서비스업\", \"의약품 제조업\" 가져오기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# loc 로 행, 컬럼 가져오기\n",
    "# 행에서 \"소프트웨어 개발 및 공급업\", \"금융 지원 서비스업\", \"의약품 제조업\"\n",
    "# 열에서 \"서울특별시\" 가져오기\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# loc로 여러 행과 열 가져오기\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# \"소프트웨어 개발 및 공급업\" 만 가져와서 막대그래프를 그립니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# \"의약품 제조업\" 만 가져와서 막대그래프를 그립니다.\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# iloc[행]\n",
    "# iloc[행,열]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df.head 혹은 tail도 내부에서 iloc를 슬라이싱으로 사용하고 있습니다.\n",
    "# df.head??"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df_sr.tail??"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "1. FinanceDataReader를 통한 상장종목 전체 불러오기.ipynb",
   "provenance": [],
   "toc_visible": true
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.7"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "178.988px"
   },
   "toc_section_display": true,
   "toc_window_display": true
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}