다IT소

pandas를 이용하여 csv 파일을 로드하여, 특정 열을 처리하고 다시 Dataframe으로 합치는 작업을 해보았습니다. # This is a sample Python script. # Press Shift+F10 to execute it or replace it with your code. # Press Double Shift to search everywhere for classes, files, tool windows, actions, and settings. import base64 import csv import pandas as pd def print_hi(name): # Use a breakpoint in the code line below to debug your script. print..

안녕하세요. 은행 IT 운영부 이지성과장입니다. 오늘은 텍스트 형태의 데이터를 자동으로 가져오는 웹크롤링 기술에 대해서 알아보도록 하겠습니다. 잘 아시겠지만, 웹 상의 모든 페이지는 HTML등의 웹문서로 되어있습니다. 이러한 문서에는 HTML태그 및 데이터가 함께 들어가 있기 때문에 이러한 데이터를 찾아 필요한 데이터를 수집 할 수 있게 되는겁니다. 이것을 잘 활용하면, 특정 영화에 대한 리뷰, 특정 상품에 대한 상품평 등 대량의 텍스트 데이터를 자동으로 수집할 수 있게 되고, 이것을 잘 분석 후 여러가지 상황에서 의사결정에 사용하는 밑거름이 되겠지요! "다잇소" 홈페이지의 예시로 살펴보면, 홈페이지에 접속하셔서 우클릭-소스보기 하시면 html 소스를 보실 수 있습니다. 그리고 여러가지 html 태그와 ..

안녕하세요. 은행 IT 운영부 이지성과장입니다. 이전 포스팅에서 말씀드렸듯이 내용 기반 추천 시스템 (contents based recommendation system)은 자신이 선택한 영화와 비슷한 장르, 비슷한 스타일의 영화를 추천해주는 추천 알고리즘입니다. 예를들어, 배트맨, 수퍼맨과 같이 액션물을 좋아하는 사람에게 터미네이터를 추천해주는 방식입니다. 이번 포스팅의 주제는 이 알고리즘을 python 으로 구현해보도록 하겠습니다. 기초 데이터는 kaggle에서 이미 널리 알려진 "무비데이터"를 사용할 계획입니다. [데이터셋 다운경로] https://www.kaggle.com/rounakbanik/the-movies-dataset 데이터 셋을 읽어와서 데이터 형태를 확인합니다. 필요한 컬럼만 다시 가져..

안녕하세요. 은행 IT 운영부 이지성과장입니다. 오늘은 자연어 처리 기법에서 (NPL라고도 합니다) "워드 임베딩" 기법 중 가장 유명한 word2vec에 대해서 알아보겠습니다. 먼저 "임베딩"이란 단어에 초점을 좀 맞추어볼 필요가 있는데요. "끼워넣다"라는 의미의 임베딩은, 단어나 문장을 각각 벡터로 변환해 벡터 공간에 끼워넣는 겁니다. 즉, 단어나 문장의 벡터화를 워드 임베딩이라고 하는데, 벡터화를 왜 하냐구요? 단어를 벡터화 하면 단어자체를 수학적으로 표현하여 연산도 가능하다고 합니다. 예를들어 한국 + 서울 = 일본 + ? 했을 때, 컴퓨터가 ? = 도쿄 라고 알아 듣는다는 겁니다. 워드 임베딩의 기법에는 LSA, Word2Vec, FastText, Glove 등의 기법이 있는데, 이번 시간에는 ..