이항 주가 데이터를 매일 DB 로 수집 (9) 썸네일형 리스트형 Python, Crontab 의 활용의 예 [data 수집] Python, Crontab 의 활용의 예 [data 수집]¶ Dart 재무재표 수집¶ 파이썬 안에서 또, 파이썬 파일을 만들어 이를 스크립트로 실행 하는 구조¶ 이렇게 했을때의 장점으로는, 메모리에 과부하가 걸리는 현상을 사전에 막을 수 있다. 1. main.py¶os.system()으로 커맨드에서 python을 실행 시킨다. 그 다음 for loop안에 각각의 python코드가 실행하는 방법이다. In [ ]: import os import time import pandas as pd In [ ]: date_list_start = ["20210101", "20210401"] date_list_end = ["20210331", "20210615"] apikey = [ "google api key", #.. [AWS] RDS 생성 및 Python 연동 AWS_RDS란? Amazon Relational Database Service(Amazon RDS)는 AWS 클라우드에서 관계형 데이터베이스를 더 쉽게 설치, 운영 및 확장할 수 있는 웹 서비스이다. 이 서비스는 산업 표준 관계형 데이터베이스를 위한 경제적이고 크기 조절이 가능한 용량을 제공하고 공통 데이터베이스 관리 작업을 관리한다. 이번에는 PostgreSQL을 구축해보고, Python에 구축,연동을 하는 방법을 쉽게 익혀보자 블로그를 남긴다. 저는 '이것이 데이터 분석이다' 라는 책에서 비트코인 시세 예측하기라는 챕터를 해보고, 미래 기술 중 하나라고 하는 드론에 과심이 있어서, EHANG 이라는 회사 기업의 주가 예측하기라는 주제로 블로깅을 남긴바 있었습니다. 그 중 한계점을 느끼고 ' 이항 주.. Docker를 사용한 Dash 생성 Dash와 Docker을 사용해 웹에 띄워보려한다. Python을 사용해 웹에 대시보드를 구축하는 최소한의 환경을 써보려 한다. 이를 계기로 차차, Dash를 구성하는 시각화와 DB를 연동하고 매일 갱신되는 블로그를 적을 계획이다. - 이 글의 카테고리인 어느 주식(저와같은 경우는 미래기술 드론에 관심이 있어서 이항 이라는 회사 주식) 을 DB를 연동하고 매일 갱신하는것이 목표 이다. - 도커(Docker)를 처음 듣는분들은 간략한 개념과 용어를 정리한 블로그가 있으니 한번 보면 좋을 것 같다. - 미래를 위한 취미_도커(Docker) 란 무엇인가? - 쉬운 개념 및 이해 우선, AWS_EC2 처음 접하는 분들은 아래 링크를 참조 - 미래를 위한 취미_aws ec2 서버 구축 - 미래를 위한 취미_AWS.. 도커(Docker) 란 무엇인가? - 쉬운 개념 및 이해 Dash와 Docker을 사용해 웹에 띄워보려한다. Python을 사용해 웹에 대시보드를 구축하는 최소한의 환경을 써보려 한다. 이를 계기로 차차, Dash를 구성하는 시각화와 DB를 연동하고 매일 갱신되는 블로그를 적을 계획이다. - 이 글의 카테고리인 어느 주식(저와같은 경우는 미래기술 드론에 관심이 있어서 이항 이라는 회사 주식) 을 DB를 연동하고 매일 갱신하는것이 목표 이다. 우선, 도커(Docker) 전반에 대해 간략하게 설명하려한다. 핵심개념인 컨테이너와 이미지에 대해 먼저 빠르게 알아보자. 서버를 관리한다는 것은? 일반적으로 서버를 관리한다는 건 복잡하고 어려우며 고급 개발자들의 섬세한 작업이 필요한 영역이다. 시간이 흐르면서 서버 환경이 계속 바뀌는데 CentOS에 익숙해지면 Ubuntu.. Text Mining 개념 텍스트 마이닝(Text Mining)¶텍스트 마이닝은 자연어처리(Natural Language Processing)기술에 기반하고 있다. 인간의 말은 각 언어별로 어휘적, 문법적 독특성이 있을뿐 아니라, 그 표현의 형태가 매우 다양하고 복잡하다. 그래서 일괄된 규칙으로 규정하기 힘든 경우가 많다. 인간 언어 중 문자로 표현된 언어를 컴퓨터로 분석 처리하고 그 구조와 의미를 이해하고자 하는 기술이 바로 자연어처리 기술이다. 언어가 가진 복잡성 때문에 아직도 도전적 목표가 많이 남아 있는 기술 분야이다. 텍스트 마이닝은 한마디로 비정형 텍스트 데이터에서 가치와 의미가 있는 정보를 찾아내는(Mining) 기술이라고 할 수 있다. 사용자는 텍스트마이닝 기술을 통해 방대한 정보 뭉치에서 의미있는 정보를 추출하고,.. RDS 개념 / EC2 와 차이 (AWS) EC2의 간단한 개념 및 시작하는 방법 은 블로그를 통해 기록한 바 있다. 아래를 참고하면 된다. - 미래를위한취미(aws ec2 서버 구축) 우리가 궁금한 것은 RDS이기때문에 AWS EC2는 간략하게만 남겨본다. AWS - 아마존 일래스틱 컴퓨트 클라우드(Amazon Elastic Compute Cloud, EC2) - 쉽게 생각해서 한대의 컴퓨터를 임대해주는 것이라고 생각하면 된다. 가상 컴퓨터를 임대 받아 그 위에 자신만의 컴퓨터 애플리케이션들을 실행 할 수 있게 함. - 사용자가 아마존 머신 이미지(AMI)로 부팅하여 아마존이 "인스턴스"라 부르는 가상 머신을, 원하는 소프트웨어를 포함하여 구성할 수 있게 하는 웹 서비스를 제공함으로써 스케일링이 가능한 애플리케이션 배치(deployment)를 .. sqlite3 -DB의 가장 기초적인 단계 SQLite3 - DB의 가장 기초적인 단계¶이항의 주가데이터를 매일 수집하기 위한 프로젝트를 위해 세번째 블로깅을 한다. 우선, SQLite3을 알아보려한다. DB의 가장 기초적인 단계를 시작하려고 한다. SQLite는 다른 여러종류의 DB에 비해 가볍고 설치도 쉽고 무료이기 때문에 접근성도 좋고 DB의개념을 알아가는데 도움이 될 수 있다.별도의 서버 프로세스가 필요 없다. 또한, SQL 질의 언어의 비표준 변형을 사용하여 데이터베이스에 엑세스할 수 있는 경량 디스크 기반 데이터베이스를 제공하는 C라이브러리이다. 데이터 베이스는 .db 확장자를 가지는 단일 파일로 저장한다. SQLite는 무엇인지, 위키백과에서는 아래와 같이 설명해준다. SQLite는 MySQL나 PostgreSQL와 같은 데이터베이스.. crontab_크론탭 (파이썬 코드 스케줄러) 미국주식_이항 주가 데이터를 매일 db 로 수집하는 것이 목표이다. 그래서 crontab을 사용하고자 한다. 크론탭이란 리눅스용 작업 스케줄러로, 특정 시각에 명령어를 반복 수행할 수 있도록 하는 프로그램이다. 우선 이항 주식 데이터 분석 하는 ipynb를 주피터 노트북으로 만들었다. 코드는 아래와 같다. # 이항 데이터셋의 기본 정보 구하기 import pandas as pd import numpy as np import matplotlib.pyplot as plt import yfinance as yf import time today = time.strftime('%Y-%m-%d', time.localtime(time.time())) today eh_df = yf.download('EH', start.. 이전 1 2 다음
