본문 바로가기
반응형

Data28

[MySQL] Transaction의 모든 것 | LIM MySQL/MariaDB의 InnoDB 스토리지 엔진은 Transaction(트랜잭션) 기능을 지원한다. 📌 Transaction 단어의 뜻은 이러하다. 거래, 매매 처리과정 컴퓨터 과학 분야에서의 트랜잭션은 “더이상 분할이 불가능한 업무처리의 단위" 를 뜻한다. ✔️ 이것은 하나의 작업을 위해 더이상 분할될 수 없는 명령어들의 모음, 즉 한꺼번에 수행되어야 할 일련의 연산모음을 의미한다. 예로, 사용자가 바라보는 db에 이런 작업을 한다고 하자 매일 오후 11시에 delete 후 새로운 정보를 합해서 insert 하는 작업이 있다. 이 작업은 delete 후 insert 가 완벽히 하나의 작업으로 끝나야 사용자는 새로운 정보를 받아볼 수 있다. transaction을 이상하게 묶으면 delete 도중 .. 2022. 5. 21.
Pandas DataFrame to SQL Table pandas dataframe으로 수집해놓은 데이터셋 자체를 sql에 table로 저장하는 방법 중에 sqlalchemy가 있다. 사실 아직 sqlalchemy가 어떤 원리로 만들어진 건지는 정확하게는 모르겠다. 그러나 까먹기 전에 여기에 기록해놓으려고 한다. 일단 sqlalchemy를 사용하기 위해서는 sqlalchemy를 설치해야한다. pip install sqlalchemy import pandas as pd import pymysql from sqlalchemy import create_engine pymysql.install_as_MySQLdb() import MySQLdb 그 다음 create_engine을 통해 해당 DB로 접속이 가능하도록 engine을 생성한다. engine = creat.. 2021. 1. 25.
[pymysql] python에서 mysql 사용 1. 먼저 pymysql을 설치한다. 2. 데이터 베이스 생성 # 데이터 베이스 생성 import pymysql.cursors conn = pymysql.connect(host='localhost',user='root',password=pwd,charset='utf8') try: with conn.cursor() as cursor: sql = 'CREATE DATABASE example' cursor.execute(sql) conn.commit() finally: conn.close() 3. 테이블 생성 # 테이블 생성 import pymysql.cursors conn = pymysql.connect(host='localhost',user='root',password=pwd,charset='utf8',d.. 2021. 1. 21.
MariaDB 설치부터 데이터베이스 생성과 테이블 생성까지 MariaDB 는 MariaDB사가 제작한 오픈소스 RDBMS 소프트웨어입니다. MariaDB가 무엇인지 알기 위해서는 MySQL이란 유명 RDBMS를 알아야 합니다. MySQL에서 떨어져나온 RDBMS가 MariaDB이기 때문이다. MySQL과 MariaDB는 동일한 사람이 만들었기 떄문에, 사용법 또한 거의 동일하다. *RDBMS(Relational DataBase Management System)- RDB를 생성하고 수정하고 관리할 수 있는 소프트웨어 MariaDB 설치는 간단하다. 아래 참고 링크를 첨부하겠다. offbyone.tistory.com/199 Windows 10에 MariaDB 설치하기 개발용으로 Windows 10 PC에 MariaDB 를 설치해 봅니다. 1. http://maria.. 2021. 1. 21.
PCA vs t-SNE PCA 와 t-SNE 는 두 기법 모두 차원을 축소하는데 쓰인다. PCA 그 중 주성분 분석(PCA)은 가장 인기 있는 차원 축소 알고리즘읻다. 먼저 데이터에 가장 가까운 초평면을 정의한 다음, 데이터를 이 평면에 투영시킵니다. PCA는 훈련 세트에서 분산이 최대인 축을 찾습닏다. 그러나 PCA의 경우 선형 분석 방식으로 값을 사상하기 때문에 차원이 감소되면서 군집화 되어 있는 데이터들이 뭉게져서 제대로 구별할 수 없는 문제를 가지고 있다. 출처 www.youtube.com/watch?v=NEaUSP4YerM 위 그림은 2차원에서 1차원으로 PCA 분석을 이용하여 차원을 줄인 예이다. 2차원에서는 파란색과 붉은색이 구별이 되는데, 1차원으로 줄면서 1차원상의 위치가 유사한 바람에, 두 군집의 변별력이 사.. 2021. 1. 18.
Keyword Extract using KeyBERT 긴 문장에서 중요한 키워드만을 뽑아내기 위해 조사하던 중 BERT를 이용한 keybert를 발견했다. KeyBERT는 이곳을 참고했다. https://github.com/MaartenGr/KeyBERT MaartenGr/KeyBERT Minimal keyword extraction with BERT. Contribute to MaartenGr/KeyBERT development by creating an account on GitHub. github.com 설치는 간단하다 pip install keybert BERT embedding방법으로는 Flair, Huggingface Transformers, spaCy 가 있으나 이 모델에서는 sentence-transformers 패키지를 사용 이 keyber.. 2020. 12. 29.
반응형