본문 바로가기

data science22

(pandas) basic Series vs DataframeDroppingSeriesDataframes.drop(['a', 'c'])df.drop('Contury', axis=1) Sorting (Dataframe)df.sort_values(by='Country')  # Column 이름으로 정렬 I/ORead & Write to CSVdf = pd.read_csv( 'file.csv', header=None, nrows=5) df.to_csv('myDataFrame.csv')Read & Write to Exceldf = pd.read_excel('file.xlsx')df.to_excel('myDataFrame.xlsx' , sheet_name='Sheet1')※ 복수 시트중 특정 시트만 선택xlsx = pd.ExcelFile(.. 2024. 10. 23.
Redis Pub/Sub 사용용도: 인터 PC간 통신, 인터 프로세스 통신, 인터 쓰레드 의 한방향 리얼타임 메세지 통신  ※  Redis :  메모리상의 데이터 구조체로서 퍼포먼스와 다양성으로 유명일본 모TV방송사의  PGA일본투어 생방송에 영어 선수명, 순위정보등의 Telop을 리얼타임으로 일본어로 변환하는 프로젝트에 사용. pip install redis Publisher (제공자) import redis # Connect to local Redis instance redis_client = redis.StrictRedis(host=''localhost'', port=6379, db=0) channel = ''my_channel'' while True:     message = input("Enter a message: ".. 2024. 9. 9.
Thread vs ThreadPool vs ThreadPoolExecutor ThreadPoolThreadPool ThreadPoolExecutor생성쓰레드 수수동 Thread 1 = Task 1개파라미터로 지정가능디폴트=(논리CPU수 + 4)파라미터로 지정가능디폴트=(논리CPU수 + 4)최적의 용도적은 수로 동시에 실행이 필요한 경우모든 쓰레드가 동시에 실행되지는 않고 비어 있거나 I/O 등의 기다림이 있어 양보된 쓰레드에 실행되게 된다.같은 태스크 내용으로 파라미터만 달리하여 많은 수의 쓰레드를 실행하는 경우.모든 쓰레드가 동시에 실행되지는 않고 비어 있거나 I/O 등의 기다림이 있어 양보된 쓰레드에 실행되게 된다. 같은 태스크 내용으로 파라미터만 달리하여 많은 수의 쓰레드를 실행하는 경우.결과의 리턴불가능가능가능취소기능불가능불가능실행되기 전의 태스크에 한해가능※ Thread.. 2024. 5. 11.
threading / multiprocessing / asyncio wikipedia에서 랜덤 100 페이지의 타이틀을 화일로 저장하는 샘플로서 multiprocessing과 async 를 이용하여 처리속도의 향상을 보여주고 있다.multiprcessing : 계산등의 CPU 의존적인 처리에 유리 async : 화일 I/O, 네트워크 I/O 등의 Blocking처리에 유리위의 둘을 이용하여 처리속도를 향상import asyncio                                         # Gives us async/await import concurrent.futures                        # Allows creating new processes import time from math import floor               .. 2024. 5. 2.