분류 전체보기

[기계학습]. Gradient descent ( 경사하강법) 간단히 알아보기.

우리는 머신러닝을 통해 예측값을 구하는 최적의 w 값을 찾기위해 노력한다. 최적의 w란 실제값과 가장 비슷한 값을 추종하는 웨이트(w) 가중치 값이고 그 비슷한 값을 찾기 위해선 costFunction 값 ( 실제값과 차이나는 정도) 이 0이 되는 지점을 찾아야. 실제값과 가장 비슷한 w 값을 찾을 수 있다. 2020/11/03 - [Data Science/Machine learning] - [기계학습]. Cost functions (loss function) 비용 함수 [기계학습]. Cost functions (loss function) 비용 함수 [ 비용 함수(Cost Function) ] Cost Function은 입력한 Training Set에 대하여 가장 적합한 직선을 우리가 가질 수 있게 해준..

[Error] Instance of 'SQLAlchemy' has no 'Column' member (no-member) 에러 해결하기(feat. VSCode)

VSCode 로 웹개발 실습을 하다가 이런 에러를 발견했고 실습 자료에서는 부드럽게 넘어갔는 데 나는 에러가 떳다. 알고봤더니 VSCode를 사용해서 나온 에러 from flask import Flask from flask_sqlalchemy import SQLAlchemy app = Flask(__name__) db = SQLAlchemy(app) class User(db.Model): id = db.Column(db.Integer, primary_key=True) 위 파일을 실행시키면 db 객체는 있지만 Column 를 찾지못하고 에러가 발생한다. 해결법 : VSCode의 Setting.json 파일의 몇 가지를 추가해주면 된다. vs code 설정에서 우측 상단에 {}를 누르면 위와같이 왼쪽에 De..

[데이터 전처리] . 데이터 구간화 ( Data binning )

데이터의 구간을 나눠보자 Equal width 값으로 구간을 나눠주는 구간화 방법 Equal frequency 빈도 수로 구간을 나눠주는 구간화 방법 샘플데이터 raw_data= {'regiment':['Nighthawks','Nighthawks','Nighthawks','Nighthawks','Dragons','Dragons','Dragons','Dragons','Scouts','Scouts','Scouts','Scouts'], 'company':['1st','1st','2nd','2nd','1st','1st','2nd','2nd','1st','1st','2nd','2nd'], 'postTestScore':[25,94,57,62,70,25,94,57,62,70,62,70]} df = pd.DataFra..

[데이터 전처리] . 이산형 데이터 처리하기 ( OneHotEncoding )

이산형 데이터를 어떻게 처리할까? { Green , Blue , Yellow } 같은 데이터들을 머신러닝 혹은 딥러닝에 활용하기 위해선 숫자의 형태로 바꿔줘야합니다. 일반적으로는 Ont-Hot-Encoding 을 많이 사용합니다. 벡터공간안에 인덱스를 부여하는 것 : 실제 데이터의 set의 크기만큼 Binary Feature를 생성한다. 데이터에 맞는 위치만 1 나머지는 다 0 데이터의 종류가 100가지라면 1개만 1이고 나머지 99개는 다 0이다. 이런식으로 표현하는 방법이 one-hot-encoding python 에서는 get_dummies( ) 함수를 활용하면 쉽게 one-hot-encoding을 할 수있다. import pandas as pd import numpy as np edges = pd..

[데이터 전처리] . 결측치 처리하기 ( Missing Values )

데이터가 없을 때 할 수 있는 전략 데이터가 없으면 없는 행을 날려버린다. ( 간단하쥬 ) 데이터가 없는 최소 개수를 정해서 날려버린다. ( ex 결측치가 3개이상인 행은 날려버린다.) 데이터가 거의 없는 변수는 변수자체를 날려버린다. 최빈값, 평균값 , 중앙값으로 비어있는 데이터를 채운다. 머신러닝기법으로 예측해서 채워넣는다 ( 이 부분은 추 후에 다루도록 하겠습니다. ) 샘플데이터 결측치를 확인하는 방법 df.isnull().sum() first_name 칼럼에 1개 , last_name 칼럼에 1개 등등... 결측치가 있다. 첫 번째 방법. 결측치가 하나로 있으면 그 행을 날려버리기. dropna() : 결측치가 있는 행은 삭제해주는 함수 df_no_missing = df.dropna() df_no..

[Pandas] . DataFrame 생성, 삭제 ,추출

데이터 프레임은 각각의 컬럼별로 각각의 다른 타입을 가지게 된다. Series를 모아서 만든 Data Table ( 2차원 ) 가장 원초적으로 데이터프레임을 생성하는 방법 (거의 대부분은 csv파일을 불러와서 사용함) Dict 의 형태로 넣어주면 Key 값은 columns , value 값이 Df 의 value 가 된다. import pandas as pd import numpy as np raw_data = {'first_name':['jason','molly','tina','jake','amy'], 'last_name : ['Miller','jacabson','all','milner','cooze'], 'age' : [42,52,36,24,73], 'city':['San Francisco','Balt..

[성격]. 착한사람

착하고 좋은 사람이 된다는 것은 이상적이면서도 행복하다.누구에게나 긍정적으로 받아들여진다. 그러나 우리가 살아가는 현실은 마냥 착하기만 한 사람이 살아가기엔 너무 힘들다.그리고 나에게 있어서 착한 사람은 마냥 좋아 보이지 않는다.솔직히 좋게 말해서 착한사람이고 나쁘게 말하면 호구다. "종민이는 진짜 착하더라" 이 말만 듣고보면 난 정말 착한 사람이지만"종민이는 너무 착해서 답답해" 이 말은 그냥 호구라는 뜻이다. 나는 호구형 착한 사람에서 이기적 착한 사람 혹은 나쁘진 않은 사람이 되려고 노력 중이다.어떻게 하면 될까? 김승호 회장의 책 "생각의 비밀"에서 일부분 이런 내용을 다루고 있고 책 내용을 빌려 간단하게호구형 착한 사람의 특징을 보고 내 경험에 빗대어 느낀 점을 적어보자.첫 번째,누구에게나 좋은..

[Python] List Comprehension 으로 matrix 다루기

Python은 특유의 간결성이 최대의 장점 Vector와 같은 수학 연산을 복잡하게 표현한다면 사용이 어려움 최대한 파이썬만의 특징을 살려서 간단하게 연산을 표시 Comprehension 과 zip 같은 pythonic technique을 적극 활용 Vector의 계산 Sum 백터의 합 u = [ 2, 2] v = [ 2, 3] z = [ 3, 5] result = [ sum(t) for in zip(u,v,z)] print(result) - > [ 7 , 10 ] Scalar - vector product 스칼라와 백터의 계산 u = [1,2,3] v = [4,4,4] alpha = 2 result = [alpha*sum(t) for t in zip(u,v)] print(result) -> [ 10 ,..

[인생]. 돈에 환장한 놈

2019년과 2020년의 나는 현재 180도 달라져있다. 올해 부터 갑자기 돈에 대한 관심이 높아졌고 최대한 아껴서 영혼까지 끌어모으고 있다. 기숙사 시절 밥은 햇반의 컵라면으로 한달을 버티고 옷을 샀던 나는 2020년에는 옷을 산적이 없으며 담배를 끊고 술도 거의 먹지 않는다. 술담배 끊은 건 부모님의 걱정도 , 건강걱정도 아닌 오로지 돈이다. 결국 다 돈때문이다. 짠돌이 기질은 너무나도 극심해지고 계산적으로 사는 사람이 되버렸다. 알바를 할때도 식사 시간에 다른사람들과 어울리지 않고 바로 편의점으로 간다. 식당에서 사먹는 건 비싸니까. 친구들 만났을 때도 비싼 곳으로 가자고 하면 사실 좀 불편하다. 내가 악착같이 절약한게 한 순간의 무너져 버리니까. 그렇다고 분위기를 깰 수 도 없는 법 피씨방에 가는..

[결단].정형돈

나는 현재 취업준비생으로 데이터 사이언티스트가 되고싶은 학생이다. 내게 고민이 하나 있었는데 알바를 그만둬야하나 말아야하나 결정을 못하고있었다. 나는 아디다스에서 주말알바를 하고 있고 아디다스는 내가 여지것 했던 알바중에 가장 만족한 알바이다. 알바를 하면 고정적인 수입이 생기고 그 수입으로 한달생활은 누구의 도움없이 할 수 있다. 하지만 최근의 스타드업 면접에서 떨어지고 깊은 생각을 하게 되었다. 아디다스는 취업을 하고도 계속하고싶을 정도로 좋았지만 아디다스 알바를 하면 할 수록 내가 진정으로 원하는 꿈에는 점점 더디게 가고있다는 느낌을 받았다.(에이씨 그만 두자 !!) 알바를 그만두어 내 자신을 궁지로 몰면 더 취업준비에 열을 낼 수 있을 것이다와 알바를 구지 그만두지 않아도 더 열심히 하면 두 마리..