STUDY

✅ 정리 - 심층 신경망: 2개 이상의 층을 포함한 신경망 - 렐루 함수: 이미지 분류 모델의 은닉층에 많이 사용하는 활성화 함수 - 옵티마이저: 신경망의 가중치와 절편을 학습하기 위한 알고리즘 또는 방법(SGD, 네스테로프 모멘텀, RMSprop, Adam … ) - add(): 케라스 모델에 층을 추가하는 메서드 - summary(): 케라스 모델의 정보를 출력하는 메서드 - SGD: 기본경사 하강법 옵티마이저 클래스 (learning_rate 기본값은 0.01, momentum 매개변수에 0이상 값을 지정하면 모멘텀 최적화 수행, nesterov 매개변수를 True로 설정하면 네스테로프 모멘텀 최적화 수행) - Adagrad: 옵티마이저 클래스 (learning_rate 기본값은 0.001, ini..

https://dacon.io/competitions/official/235745/talkboard/403895?page=1&dtype=recent Data Leakage에 대한 개인적인 정리입니다 주차수요 예측 AI 경진대회 dacon.io

보호되어 있는 글입니다.

1. fit_transform()과 transform()의 차이 2. train 데이터에 fit_transform()이 아니라 transform()을 사용한다면? 3. train데이터와 test데이터를 나누기 전에 one hot encoding 해도 될까? 4. pd.get_dummies()와 sklearn의 OneHotEncoder()의 차이 fit_transform()과 transform()의 차이 - fit_transform() 메서드는 모델을 학습(fit)하고 데이터를 변환(transform)하는 과정을 한 번에 수행 - 즉, 학습 데이터에 대해서는 모델을 학습(fit)하고, 학습된 모델을 사용하여 학습 데이터를 변환(transform) but, 테스트 데이터는 모델을 학습시키는 과정에서 사용되지..

Binary Encoding One Hot Encoding 공통점 - 범주형 변수를 수치형 변수로 변환 차이점 - 각 범주에 대한 고유의 이진 패턴 할당 - 각 범주를 해당하는 항목이 1이고 다른 항목이 0인 이진 벡터로 인코딩 - 세 가지 범주가 있다면, 첫 번째 범주는 "001", 두 번째 범주는 "010", 세 번째 범주는 "100"으로 인코딩 - 세 가지 범주가 있다면, 첫 번째 범주는 "1 0 0", 두 번째 범주는 "0 1 0", 세 번째 범주는 "0 0 1"로 인코딩 - 비교적 적은 자리수의 이진 비트를 사용하여 데이터 크기를 줄일 수 있음 - 범주의 수와 관계없이 모든 범주에 대해 동일한 수의 이진 비트를 사용하여 데이터를 표현 Binary Encoding import pandas as p..

6. 배열 연산 Numpy의 배열 연산은 벡터화(vectorized) 연산을 사용 일반적으로 Numpy의 범용함수(universal functions)를 통해 구현 배열 요소에 대한 반복적인 계산을 효율적으로 수행 브로드캐스팅(Broadcasting) a1 = np.array([1, 2, 3]) print(a1) print(a1 + 5) >> [1 2 3] [6 7 8] a2= np.arange(1, 10).reshape(3,3) print(a2) print(a1+a2) >> [[1 2 3] [4 5 6] [7 8 9]] [[ 2 4 6] [ 5 7 9] [ 8 10 12]] b2 = np.array([1, 2, 3]).reshape(3,1) print(b2) print(a1+b2) >> [[1] [2]..

3. 배열 조회 배열 속성 정보 def array_info(array) : print(array) print('ndim:', array.ndim) print('shape:', array.shape) print('dtype:', array.dtype) print('size:', array.size) print('itemsize:', array.itemsize) print('nbytes:', array.nbytes) print('strides:', array.strides) array_info(a1) >> [4 5 6 4 5] ndim: 1 shape: (5,) dtype: int64 size: 5 itemsize: 8 nbytes: 40 strides: (8,) ndim: 차원 itemsize: eleme..

Numpy 1. Numpy 특징 - Numerical Python의 약자 - 고성능 과학 계산용 패키지로 강력한 N차원 배열 객체 - 범용적 데이터 처리에 사용 가능한 다차원 컨테이너 - 정교한 브로드캐스팅(broadcasting) 기능 - 파이썬의 자료형 list와 비슷하지만, 더 빠르고 메모리를 효율적으로 관리 - 반복문 없이 데이터 배열에 대한 처리를 지원하여 빠르고 편리 - 데이터 과학 도구에 대한 생태계의 핵심을 이루고 있음 2. 배열 생성 리스트로 배열 만들기 a1 = np.array([1, 2, 3, 4, 5]) print(a1) print(type(a1)) print(a1.shape) # 5개의 element들이 있구나, 쉼표 뒤에 아무것도 없으면 1차원이라는 것 print(a1[0], a..

K-최근접 이웃을 사용하여 2개의 종류를 분류하는 머신러닝 모델 - 머신러닝에서 여러 개의 종류(class) 중 하나를 구별해 내는 문제를 분류라고 함 - 2개의 클래스 중 하나를 고르는 문제를 '이진분류'라고 함 도미 데이터 bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0] bream_weight = [242.0, 290.0, 340.0, 363.0, 4..

An introduction to seaborn import seaborn as sns # 테마 기본값 sns.set_theme >> # 데이터 로드 tips = sns.load_dataset('tips') tips sns.relplot(data = tips, x = 'total_bill', y = 'tip') sns.relplot(data = tips, x = 'total_bill', y = 'tip', col = 'time') sns.relplot(data = tips, x = 'total_bill', y = 'tip', col = 'time', hue = 'smoker') hue : 색을 통한 의미 구분 sns.relplot(data = tips, x = 'total_bill', y = 'tip',..