츔로그

Powershell에서 tab키 기능 수정하기 1) 모듈 삭제하는 방법 https://noel-embedded.tistory.com/912 윈도우 cmd에서 아나콘다 tab키 error cmd에서 python을 실행한 후 if문 조건 작성 후 다음 행에서 실행문을 작성할 때 위와 같은 에러가 발생한다 readline 모듈에서 redisplay 속성을 찾을 수 없다고 하는데, 해결할 수 있는 방법이 2가지가 noel-embedded.tistory.com 2) *rlmain.py 파일 class BaseReadine(object) 변경 self.disable_readline = True 로 변경 https://stackoverflow.com/questions/56838545/python-hitting-tab..

[데이터 전처리4] 날짜 다루기2 오늘날짜 추출하기 지정 날짜/시간 추출하기 날짜/ 시각에서 연, 월, 일 추출하기 문자형'으로 되어 있는 날짜/ 시각에서 연, 월, 일 추출하기 ■ Pyspark ο 오늘날짜 추출하기 import findspark findspark.init() from pyspark.sql import SparkSession from pyspark.sql.functions import * ① Session 생성 # Create SparkSession spark = SparkSession.builder \ .appName('SparkByExamples.com') \ .getOrCreate() data=[["1"]] df=spark.createDataFrame(data,["id"]) 생성된..

[데이터 전처리4] 날짜 다루기 오늘날짜 추출하기 지정 날짜/시간 추출하기 날짜/ 시각에서 연, 월, 일 추출하기 문자형'으로 되어 있는 날짜/ 시각에서 연, 월, 일 추출하기 MySQL · 오늘날짜 추출하기 - Postgre와 동일 · 지정 날짜/시간 추출하기 (방법1) SQL표준 CAST('value' AS 'type') SELECT CAST("2022-07-31" AS DATE) AS dt ,CAST("14:22:00" AS TIME) AS time; ※ MySQL에서 CAST('value' AS TYPE) 에 가능한 타입은 아래와 같다. BINARY[(N)] CHAR[(N)] [charset_info] DATE DATETIME DECIMAL[(M[,D])] JSON NCHAR[(N)] SIGNED..

[데이터 전처리3] 문자열 분해하기 URL 계층 추출하기 위에 데이터프레임에서 path컬럼을 보면 /video/detail 이런 것들이 바로 계층 구조로 이루어진 것이다. Mysql SELECT stamp, url, SUBSTRING_INDEX(SUBSTRING_INDEX(REGEXP_SUBSTR(url, '([^?#]+)'), '/', 4), '/', -1) AS path1, REGEXP_REPLACE(SUBSTRING_INDEX(SUBSTRING_INDEX(REGEXP_SUBSTR(url, '([^?#]+)'), '/', 5), '/', -1), SUBSTRING_INDEX(SUBSTRING_INDEX(REGEXP_SUBSTR(url, '([^?#]+)'), '/', 4), '/', -1), '') ..

[데이터 전처리2] URL에서 요소 추출하기2 경로와 매개변수값 추출하기 SELECT * FROM access_log; Mysql SELECT stamp, url, SUBSTRING_INDEX(REGEXP_SUBSTR(url, '([^?#]+)'), SUBSTRING_INDEX(url, '/', 3), -1) AS path, SUBSTRING_INDEX(REGEXP_SUBSTR(url, 'id=([^&]*)'), 'id=', -1) AS id FROM access_log ; Postgre SELECT stamp, url, SUBSTRING(url FROM '//[^/]+([^?#]+)') AS path, SUBSTRING(url FROM 'id=([^&]*)') AS id FROM access_log ;..

[데이터 전처리2] URL에서 요소 추출하기 기록된 원래 URL에서 호스트 단위로 추출하기 SELECT * FROM access_log; MySQL SUBSTRING_INDEX(컬럼명. 기준(구분)문자, 보여질 위치) ✔ 위치 기준 음수(-)는 뒷부분 부터, 양수(+)는 앞부분 부터 ① SUBSTRING_INXDEX(referrer, '/', 3) 로 추출하면 '/' 기준으로 세번째 구분까지 출력된다. SELECT stamp, SUBSTRING_INDEX(referrer, '/', 3) AS referrer_host FROM access_log; 위 결과에 SUBSTRING_INDEX(①, '/' , -1) 을 한번 더 적용하면 데이터 뒷부분부터 첫번째 자리까지가 출력된다. SELECT stamp, SU..

1. Spark 초기화 import findspark findspark.init() [package] findspark ▼ 더보기 findspark 패키지의 findspark.init() 함으로써 pyspark 라이브러리를 보통 라이브러리처럼 import 할 수 있게 해주는 패키지 Pyspark는 sys.path에 default로 등록되어 있지 않아서, 보통 라이브러리처럼 import하기 위해 findspark 패키지를 통해 runtime 동안에만 sys.path에 등록할 수 있게 해준다. (pyspark shell로 개발하거나, hadoop cluster의 yarn을 이용해 pyspark job을 제출할 때에는 필요하지 않다) 2. Spark 세션 정의 스파크 세션 열고, 생성된 세션을 가지고 데이터 ..

Python에서 MySQL데이터 접근하기 Mysql 사용자 추가하기 1. MySQL 관리자로 로그인 $ mysql -u root -p Enter password: 2. 로컬에서 접속 가능한 사용자 추가 mysql> CREATE user '사용자'@'localhost' IDENTIFIED BY '사용자_비밀번호'; 3. DB 권한 부여하기 mysql> GRANT ALL PRIVILEGES ON *.* to '사용자'@'localhost'; # 모든 DB 접근 가능 *.* mysql> GRANT ALL PRIVILEGES ON db_name.* to '사용자'@'localhost'; # 특정 DB에만 접근 가능 mysql> FLUSH PRIVILEGES; # 새로운 세팅 적용 4. 사용자 계정 삭제 mysq..

보호되어 있는 글입니다.

데이터 가공, 왜 필요할까? 1. 데이터가 분석 용도로 되어 있지 않은 경우 • 레이블로 변경하기 2. 데이터 형식이 일치하지 않아 비교가 불가능한 경우 • 요소 추출 • 문자열 분해 • 날짜 다루기 3. 오류 회피하기 • 결손값(NULL) 대치