STUDY

COUNT count 함수는 해당 항목 레코드의 개수를 반환하는 함수 select count(id) from `thelook_ecommerce.users` select count(distinct city) from `thelook_ecommerce.users` 중복 제거해서 카운팅도 가능 SUM 해당 항목 레코드의 합계를 반환하는 함수 select sum(retail_price) from `thelook_ecommerce.products` AVG 해당 항목 레코드의 평균 반환하는 함수 select avg(cost) from `thelook_ecommerce.products`; MAX 해당 항목 레코드의 최대값을 반환하는 함수 select max(cost), max(retail_price) from `th..

서울특별시 다산콜센터(☎120)의 주요 민원¶ 서울특별시 다산콜센터(☎120)의 주요 민원(자주 묻는 질문)에 대한 답변정보 https://opengov.seoul.go.kr/civilappeal/list In [2]: # pandas : 파이썬에서 사용할 수 있는 엑셀과 유사한 데이터분석 도구 # numpy : 파이썬에서 사용할 수 있는 공학용 계산기 # requests : 매우 작은 브라우저로 웹사이트의 내용과 정보를 불러옴 # BeautifulSoup : requests로 가져온 웹사이트의 html 태그를 찾기위해 사용 # time : 간격을 두고 가져오기 위해 사용 import time import pandas as pd import numpy as np import requests from bs..

실습 정리 [SQL] SQL과 데이터베이스 / select, from / as, limit, distinct 데이터란? - 어떠한 정보 - 컴퓨터에 저장되어 처리될 수 있는 형태로 표현 - 컴퓨터 안에 기록된 문자, 숫자 데이터 베이스 데이터의 집합 -> 데이터베이스 DBMS - 데이터베이스 관리 시스템 - 데이 moruxz.tistory.com [SQL] WHERE / 비교연산자 / 논리연산 / BETWEEN / IN / LIKE / IS NULL WHERE - 데이터에 조건을 부여해서 원하는 데이터만 필터링 - 여러 연산자 결합 가능 - 결합 가능 연산자의 종류 : 비교연산자(=, , !=, >=, =20 and age= 50 프로그래머스 문제 3-1 (level 1) https://school.pr..

연설문 목록 스크래핑 수집하고자 하는 대상의 URL 을 알아봅니다. 사이트에 접속한다. => HTTP 요청을 보냅니다. requests 목록을 받아온다. (번호, 대통령, 형태, 유형, 제목, 연설일자) + BautifulSoup을 통해 내용의 링크도 함께 수집 3번을 반복해서 전체 데이터를 수집한다. 파일로 저장한다. 연설문 목록에 URL 추가 0105에서 저장한 대통령 연설문 목록을 가져옵니다. 내용링크를 통해 각 연설문의 내용 링크에 요청을 보냅니다. BeautifulSoup을 통해 내용을 찾아옵니다. 내용의 링크를 통해 내용을 찾는 함수를 만듭니다. 전체 게시물에 내용을 찾는 함수를 적용합니다. => 반복문을 사용하지 않고 Pandas 의 map, apply 등의 기능을 사용할 예정입니다. 수집이..

목표 : pandas 의 read_html 을 통해서 테이블 형태의 표를 수집하는 방법을 알아봅니다. 1. 개별 종목에 대한 뉴스 기사를 수집합니다. 2. 한 페이지만 수집 3. 여러 페이지를 수집해서 하나로 병합합니다. 4파일형태로 저장합니다. import pandas as pd url_1 = 'https://finance.naver.com/item/news.naver?code=005930' temp_table = pd.read_html(url_1, encoding="cp949") temp_table[1] 우선 네이버 금융 뉴스 기사 url 을 불러온 뒤 pd.read_html을 통해 데이터 프레임으로 불러온다 pd.read_html로 확인할 수 있다는 것을 확인하고 제대로 스크랩핑을 한다 수집하려는 ..

WHERE - 데이터에 조건을 부여해서 원하는 데이터만 필터링 - 여러 연산자 결합 가능 - 결합 가능 연산자의 종류 : 비교연산자(=, , !=, >=, =20 and age= 50 프로그래머스 문제 3-1 (level 1) https://school.programmers.co.kr/learn/courses/30/lessons/131528 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr -- 코드를 입력하세요 SELECT COUNT(USER_ID) AS USERS from user_info where age IS NULL 프로그래머스 문제 3-2 (lev..

데이터란? - 어떠한 정보 - 컴퓨터에 저장되어 처리될 수 있는 형태로 표현 - 컴퓨터 안에 기록된 문자, 숫자 데이터 베이스 데이터의 집합 -> 데이터베이스 DBMS - 데이터베이스 관리 시스템 - 데이터베이스를 효율적으로 관리하는 소프트웨어 Relational Model(관계형 모델) 데이터를 표 형태로 구조적으로 관리하는 모델 관계형 모델을 기반이 데이터베이스를 관계형 데이터 베이스(RDB)라고 함 RDB기반의 데이터베이스관리 시스템이 RDBMS RDBMS 소프트웨어 Oracle, DB2, SQL Server PostgreSQL, MySQL, SQLite 등 SQL SQL은 이러한 RDBMS(관계형 데이터베이스 관리시스템)의 데이터를 관리하기 위해 설계된 프로그래밍 언어 SQL을 이용하여 데이터베이..

01.09 keywords * 행동강령(Code of Conduct) * 응원하기! 처음 배울 때는 누구나 어렵습니다. * 어려운 선택을 하고 용기를 내서 배우기 시작한 여러분을 응원합니다! * 작은 성공에도 서로를 응원해주세요! * 우리는 출발점이 모두 다르기 때문에 다른 사람과 나를 비교하지 않습니다. 비교는 어제와 나와 오늘의 나를 비교합니다. * 의사소통에 있어서 예의 바르고 건설적인 태도를 늘 보여주세요. * 개인적인 인신공격이나 목소리를 올려 화내는 행동을 하지 마세요. 모든 사람은 공동체의 책임을 져야 하고, 서로에 대한 긴장을 완화하고 가능한 한 빨리 부정적인 맥락을 멈추기 위해 다 함께 노력해야 합니다. * 협력하고 함께 참여합시다. 우리는 서로에게 많은 것을 배울 수 있습니다. 지식을 ..

FinanceDataReader? - 한국 주식 가격, 미국주식 가격, 지수, 환율, 암호화폐 가격, 종목 리스팅 등 금융 데이터 수집 라이브러리 # 설치 !pip install -U finance-datareader # 라이브러리 불러오기 import pandas as pd import FinanceDataReader as fdr fdr.__version__ #버전확인 - KRX : KRX 종목 전체 - KOSPI : KOSPI 종목 - KOSDAQ : KOSDAQ 종목 - KONEX : KONEX 종목 - NASDAQ : 나스닥 종목 - NYSE : 뉴욕증권거래소 종목 - SP500 : S&P500 종목 한국거래소 상장종목 전체 가져오기 df = fdr.StockListing("KRX") df +) ..

• Pandas # 필요한 라이브러리를 로드 # pandas, numpy를 불러온다 import pandas as pd import numpy as np df["약품명"] = ["소화제", "감기약", "비타민", "digestive", "Omega3", "오메가3", "vitamin", "Vitamin"] df["가격"] = 3500 type(df['가격'])은 시리즈 type(df) 는 DataFrame type(np.nan)은 float 삭제 axis = 0 -> 행 axis = 1 -> 칼럼 df["종류2"] = "전문의약품" df = df.drop(labels="종류2", axis=1) df 데이터 요약 df.info() -> 데이터 프레임의 정보 df.shape -> 데이터 프레임의 크기 출력..