파이톨치

first, open vscode  and select clone git repo   insert your git repo url    then you can see thate repo cloned your computer. if you change your file, you can see that mark.  setting git config  git config --global user.name ~~~ git config --global user.email ~~~ git branch -M main but if you committed, github remote repo doesn't changed.  if you sync changes... or push your commit   you can see..

# train 상위 10% 데이터 분석 강의에서 배운 2D 히스토 그램을 써보았음. 단순 scatter 하는 것보다 밀집도를 보기 편함. x_8 데이터가 중요하지 않다고 생각했는데, x_8 값이 0.60보다 작을 때 밀집도가 높은 것을 볼 수 있음. 때문에 해당 데이터가 test에서 중요한 영향을 끼칠 것 같음.  그래서 x_8 데이터에서 x_8값이 0.58보다 작을 때 가중치를 부여하거나 오버샘플링하는 방식으로 학습을 해야 할 것이라는 생각이 들었음. 그러면 오버 샘플링을 해야하는게 아닐까? 하는 생각이 든다.  그래서 데이터를 더 이어 붙여주었더니, 데이터 분포가 비슷해졌다!! 아 이거다!!  # train 상위 5% 데이터 분석 5퍼센트일 때는 그 경향성이 더 두드러진다. 이때, 경계가 더욱 명확해..

기본 전처리 사용 데이터는 AI 허브의 감성 대화 말뭉치이다. df_train = pd.read_excel('train.xlsx', engine='openpyxl') df_test = pd.read_excel('test.xlsx', engine='openpyxl') df_train.replace(np.nan, '', inplace=True) ls = {} df = pd.DataFrame(ls) df['문장'] = df_train[['사람문장1', '사람문장2', '사람문장3', '사람문장4']].apply(' '.join, axis =1) df['감정'] = df_train['감정_대분류'] df['문장'].replace('', np.nan, inplace=True) print(df.isnull().va..

Mecab 오류 : Exception: Install MeCab in order to use it: http://konlpy.org/en/latest/install/ 오류를 해결하기 위해서 저 링크를 타고 들어갔다. bash

감정 분류를 하고 싶을 때, 어떻게 해야할까? 라벨링이 된 데이터를 사용해서 모델을 학습시켜야 한다. 하지만 데이터를 어디서 가져올지 모른다. 대회를 하는 경우 데이터를 주지만 그렇지 않은 경우에는 내가 데이터를 수집해야 한다. 그럴경우 공공데이터와 같은 데이터를 사용할 수 있다. 나는 AI Hub 라는 사이트를 이용하였다. https://www.aihub.or.kr/ 사이트에 들어가 감성 대화 말뭉치라는 데이터를 사용할 것이다. 3.7 기가라고 되어있지만 내가 사용할 데이터는 20메가도 되지 않는다. 데이터는 다음과 같은 형태로 되어있다. 나는 여기서 감정_대분류 열을 사용해서 감정 분류를 할 생각이다. 데이터를 살펴보면 사람문장과 시스템응답으로 되어있다. 사람문장에 감정이 있다. 시스템응답은 챗봇을 ..

df_train = pd.read_excel('train.xlsx', engine='openpyxl') df_test = pd.read_excel('test.xlsx', engine='openpyxl') 다음과 같은 코드를 돌리려고 했을 때 ImportError: Missing optional dependency 'openpyxl'. Use pip or conda to install openpyxl. 라는 오류가 떴다. 해결법은 간단했다. openpyxl 라이브러리를 설치해주면 된다. conda install openpyxl 만 해주면 문제 해결이다.

프로젝트를 시작할 때 가상환경 만들기 가상환경 만들기 conda create -n 가상환경 conda create -n 가상환경 python == 버전 가상환경 활성화 conda activate 가상환경 가상환경 삭제 conda env remove -n 가상환경 가상환경에 필요한 라이브러리 설치 나에게 필요한 라이브러리 정리 numpy matplotlib pandas tensorflow konlpy sklearn conda install 라이브러리 sklearn 라이브러리는 conda install scikit-learn 으로 입력해야 문제가 없음. 기타 오류 The Kernel crashed while executing code in the the current cell or a previous cel..