STUDY

1. JOIN select order_id, product_id, name from `weniv.weniv_order` join `weniv.weniv_product` on `weniv.weniv_order`.product_id = `weniv.weniv_product`.id select order_id, product_id, name from `weniv.weniv_order` as o join `weniv.weniv_product` as p on o.product_id = p.id 2. INNER JOIN 두 테이블 모두에서 일치하는 값이 있는 행 반환 select table1.id, table2.id from table1 [inner] join table2 on table2.id=table1.id ..

SQL 연습문제 7-1 주문정보(orders) 테이블에서 order_id, gender, gender_label(gender의 값에 따른 성별을 한글로 표시)을 해주세요. 필드명 : gender_label gender가 F 이면 '여성' gender가 M 이면 '남성' 결과로 표시할 필드 order_id gender gender_label 정렬순서 : order_id 오름차순 select order_id,gender, case when gender = 'F' then '여성' when gender = 'M' then '남성' end as gender_label from `thelook_ecommerce.orders` order by order_id -> case when 은 , 를 붙이지 않는다. cas..

날짜 : DATE() 시간 : DATETIME() SELECT CURRENT_DATE(); 현재 날짜 얻는 방법 --timezone을 설정할 수 있습니다. SELECT DATE('2023-1-1', 'Asia/Seoul') 데이터 추출 SELECT EXTRACT(YEAR FROM DATE '2023-1-1'); SELECT EXTRACT(DAY FROM CURRENT_DATE()); 시간 SELECT CURRENT_DATETIME() DATETIME을 통해 시간 객체 생성할 수 있음 1. DATETIME(year, month, day, hour, minute, second) 2. DATETIME(date_expression[, time_expression]) 3. DATETIME(timestamp_exp..

SQL 연습문제 6-1 상품정보(products) 테이블에서 상품의 id, 상품명(name), 판매가격(retail_price)를 조회합니다. 판매가격은 소수점 2자리에서 반올림 합니다. SELECT id, name, ROUND(retail_price, 2) AS RETAIL_PRICE FROM `thelook_ecommerce.products` SQL 연습문제 6-2 회원(users) 테이블에서 나이가 홀수인 유저만 조회하세요. 조회 항목은 id, first_name, last_name, age 입니다. SELECT id, first_name, last_name, age FROM `thelook_ecommerce.users` WHERE MOD(age, 2) = 1 -> WHERE 잊지마 SQL 연습문제..

SQL 함수란? 미리 정의된 기능 모음, 단일 행 함수와 그룹 함수가 있음 BIGQUERY 데이터 타입 함수 - 숫자 : INT - 문자 : STRING 숫자 함수 ROUND round 함수는 해당 항목 레코드의 숫자를 반올림 하여 출력하는 함수 빅쿼리에서는 % 사용 불가 -> mod 사용 float 나누기 int 불가능 -> 형변환 해야함 POWER power 함수는 해당 항목 레코드의 숫자를 제곱하여 출력하는 함수 select power(숫자,승수) select power(10,3) SQRT sqrt 함수는 해당 항목 레코드의 제곱근을 출력하는 함수 select sqrt(숫자) select sqrt(10) 문자열 함수 SURSTR 문자열의 일부만 출력할 수 있음 select substr(문자열, 시작..

API 사용 이유 - 허락된 사람에게만 정보를 제공하고 누가 수집해 갔는지 알기 위해 = 유료로 데이터를 판매하고 있는 사이트는 데이터 용량 등에 따라 과금 - 공공데이터는 실시간성으로 제공하고자 하는 데이터의 경우 예) 부동산실거래가 정보 등 - 특정 사이트에 무리하게 네트워크 요청을 보내면 서버에 무리가 갈 수 있 예) 만약에 50명이 특정 카페24의 작은 쇼핑몰에 요청을 한번에 보내면 서버를 다운시킬 수도 있음 API용 서버를 따로 두게 되면 데이터를 무리하게 읽어 갔을 때 운영하고 있는 서비스의 서버에 무리가 가지 않게 분리해서 운영할 수 있습니다. 네이버, 카카오, 유튜브 등은 API를 따로 제공 Web Scraping vs API - 웹 스크래핑은 브라우저에 보여지는 정보를 사용자가 자동화된 ..

1) 수집하고자 하는 데이터가 어떤 태그에 들어있는지 확인 -> table 태그라면 pd.read_html()로 불러올 수 있고 2) pd.read_html()로 수집이 안 된다면 requests로 요청을 보냄 -> requests 요청을 보내기 위한 주소를 Network 메뉴에서 찾는다. url => preview로 봤을 때 해당 데이터가 있는지 확인 etf 는 없는 상태 -> js나 xhr 확인 ETF란? ETF(상장지수펀드)는 기초지수의 성과를 추적하는 것이 목표인 인덱스펀드로, 거래소에 상장되어 있어서 개별주식과 마찬가지로 기존의 주식계좌를 통해 거래를 할 수 있습니다. 그 구성종목과 수량 등 자산구성내역(PDF)이 투명하게 공개되어 있고, 장중에는 실시간으로 순자산가치(NAV)가 제공되어 거래에..

다산콜센터 (1)이랑 다른점은 (2)는 작성자- 이런 것에 내용을 붙임 # 필요한 라이브러리들을 불러옵니다. # pandas : 파이썬에서 사용할 수 있는 엑셀과 유사한 데이터분석 도구입니다. # requests : 매우 작은 브라우저로 웹사이트의 내용과 정보를 불러옵니다. # BeautifulSoup : request로 가져온 웹사이트의 html 태그를 찾기 위해 사용합니다. # time : 한 번에 많은 양의 데이터를 가져오게 되면 서버에서 부담을주기 때문에 시간 간격을 두고 가져오기 위해 사용합니다. import time import pandas as pd import numpy as np import requests from bs4 import BeautifulSoup as bs # 수집해온 파일..

import time import requests from bs4 import BeautifulSoup as bs import pandas as pd requests.packages.urllib3.disable_warnings(requests.packages.urllib3.exceptions.InsecureRequestWarning) 수집한 연설 목록 가져오기 df = pd.read_csv("대통령연설기록_강사님.csv") df.shape df.head() url 만들기 base_url = "https://www.pa.go.kr/research/contents/speech/index.jsp" sub_url = df.iloc[-2]["내용링크"] print(df.iloc[-2]["제목"]) print(ba..

WHERE은 모든 데이터에서 필터, 그렇게 된 집계 데이터에서 한 번 더 필터 걸고 싶을 때 HAVING HAVING - 그룹화된 데이터에 조건을 부여 - 그룹화된 데이터에 조건을 부여하므로 GROUP BY와 함께 사용 유저를 국가별로 그룹화하고 국가별 유저수가 4000 이상인 국가와 유저수를 조회 select country, count(id) as user_count from `thelook_ecommerce.users` group by country having count(id) >= 4000; ORDER BY - 출력 결과를 정렬 - 오름차순 : ASC(기본, 작은 수에서 큰 수로, ASCENDING) - 내림차순 : DESC(큰 수에서 작은 수로, DESCENDING) 아이디순으로 정렬하여 유저정..