고딩 ai scientist

openpyxl_test이라는 엑셀 파일이 새로 생성된 것을 확인할 수 있습니다. * 저장할 위치를 정해주고 싶다면 아래와 같이 절대 경로(or 상대 경로)로 입력하면 됩니다. wb.save(r"C:\Users\Desktop\VS CODE\openpyxl_test.xlsx") 2) 기존에 만들어져 잇는 파일로 객체를 생성하는 경우 실제 업무 자동화에서는 기존 엑셀 파일을 가공하는 경우가 많기 때문에 기존에 만들어져 있는 파일로 객체를 생성하는 경우가 더 많습니다. 기존 엑셀 파일을 Workbook 객체로 생성하고 싶다면, .load_workbook() 함수를 사용하면 됩니다. 위 사진을 보면 new_sheet1이라는 새로은 시트가 생긴 것을 확인하실 수 있습니다. for 문에 따라 리스트의 각 Sheet..

엑셀의 구성 요소 1. Workbook 엑셀에는 Workbook이라는 오브젝트(개체) 개념이 있습니다. 간단히 설명하자면 우리가 흔히 실행하는 엑셀 확장자 파일(.xlsx, .xlsm 등)을 Workbook 객체라고 합니다. 예를 들어 'test.xlsx'라는 파일이 있을 때 이 것을 Workbook 개체 1개라고 말할 수 있습니다. 파이썬 openpyxl에서는 엑셀 파일을 생성하거나 특정 엑셀 파일에 접근할 때, Workbook 체를 생성하는 과정을 무조건 거쳐야 합니다. 2. WorkSheet (=Sheet) 엑셀 파일 1개에는 여러가지 Sheet가 존재합니다. 데이터를 입력할 수 있는 Cell이 모여진 공간을 Sheet라 부릅니다. 1개의 Workbook 안에는 여러 개의 Sheet를 가질 수 있습..

판다스가 뉴욕 증권가에서 일하는 퀀트에 의해 개발되었습니다. 판다스는 원래 증권 데이터를 분석하기 위해 만들어졌습니다. 그래서 데이터 분석을 배울 때, 증권 데이터를 사용하면 판다스의 다양한 기능들을 이해하고 활용하는데 도움이 될 것입니다. 금융 데이터 분석을 위해 가볍고 쉬운 도구를 만들기 위해 Pandas를 만들었는데요. 그리고 이 Pandas 이름의 유래는 판다 곰이 아닌 4차원 데이터를 의미하는 계량 경제의 용어 panel data에서 이 pandas의 이름이 유래되었습니다. 그래서 금융 데이터는 pandas를 배우기에 가장 좋은 데이터다라고 이야기할 수 있을 것 같습니다. 수집 이후에 데이터를 수집할 때 사용할 모듈 또는 도구에 관해서 간단하게 설명하자면 - FinanceDataReader: 단..

BeautifulSoup 라이브러리란? Requests로 받은 데이터를 BeautifulSoup객체화를 진행해주는 라이브러리 이게 왜 필요하냐? 제가 Requests를 통해서 받아온 데이터를 확인할려면 어떤 결과.text를 통해서 결과를 확이해봤습니다. 그 데이터를 잘 보시면 html 문서처럼 잘 받아왔다고 생각하실 수 있습니다. 하지만 실제로는 그 데이터 타입이 어떻게 생겼었냐면 문자의 맨 앞을 보시면 작은 따음표로 시작한 것을 알 수 있습니다. 그 작은 따음표 의미가 무엇이냐면 사람이 쓰고 있는 일반적인 텍스트(글자)라는 개념이였습니다. 자 그런데, 우리가 무엇을 할거였냐면 컴퓨터한테 그 내용을 해석시켜서 그 많은 요소들중에 내가 필요한 부분만 뽑아다줘라고 요청할거였어요. 그럴려면 그 정보를 컴퓨터가..

Requests - 웹페이지의 정보를 요청하는 라이브러리 Response[200] - 통신에 성공해서 데이터를 받아왔다는 표시 requests의 함수인 get()이라는 함수를 이용해서 제가 원하는 페이지 정보를 불러올 것입니다. 정보를 요청했더니 Response 406이 돌아왔습니다. 저번에는 응답을 받았을 때 통신에 성공했다하면 Response 200을 받습니다. 그런데 Response 406이 돌아왔습니다. 400번대 응답 코드는 요청에서 에러가 있는 것입니다. 반대로 서버쪽에서 문제 있을 경우에는 500번대입니다. = 요청은 했지만 통신에 실패했습니다! URL에는 문제가 없습니다. 저희가 Chrome이라는 브라우저에서는 접근이 가능하고 위 방식으로는 접근이 안되는 것을 알 수 있습니다. 그래서 저희..

먼저 라이브러리라는 것은 기본적으로 언어에 탑재되어있는 것이 아니고 불러들여야합니다. 왜냐하면 내가 기능을 불러서 쓰는 것이기 때문입니다. 라이브러리 개념은 배우신 분들에게는 익숙하겠지만 안 배우신 분들은 어떤 기술 모음인데 쓸려면 불러와야하는거구나라고 생각하시면 됩니다. 제가 이 데이터를 가지고 쓰기 위해서 우리는 import라는 것을 먼저 진행 해줘야합니다. 나 이 페이지에서 이 기능좀 쓰겠습니다라고 불러오는 것입니다. import requests로 하면 requests 라이브러리를 사용하겠다고 불러오는 것! 불러온 라이브러리 이름을 좀더 짧게 쓰고 싶다 그러면 저희는 alias(별칭) 기능을 사용하면 됩니다. 예) import requests as req 꼭 알아야하는 단축키 Ctrl + Enter..

웹 기초 지식 복습 기본적으로 통신에는 클라이언트와 서버라는게 존재했습니다. 클라이언트는 말 그대로 요청하는 주체였습니다. 우리는 이거를 Request라고 불렀었고 서버라는 것은 그 요청에 해당하는 데이터를 응답하는 Response 구조를 가지고 있습니다. 여러분들이 크롤리을 하기 위해서 가장 기본이 되는 것이 무엇이냐면 먼저 요청(Request)라는 것을 해야합니다. 내가 어떤 페이지 정보를 가지고 와서 수집을 할거니까 어떤 페이지가 필요하다고 요청을 할겁니다. 그래서 우리는 Request라는 라이브러리를 먼저 배울 것입니다. 라이브러리란? 어떤 기능들을 모아놓은 것인데 그 기능을 통해서 내가 확장성 있고 다양한 기능을 쓰겠다하는 것을 라이브러리라고 부릅니다. 그 라이브러리들중에서 저희는 Request..

크롤링이란? 먼저 크롤링, 크롤러, 크롤이라는 단어가 무엇이냐면 기어다니다라는 뜻입니다. 즉, 웹 페이지에 있는 정보들을 컴퓨터들이 기어다니면서 정보를 수집하는 행위를 크롤링이라고합니다. 크롤링이 왜 필요한가? 여러분들이 대기업에 취업했다고 가정을 해봅시다. 상사께서 편의점 사이트에서 상품명, 가격 내일 아침까지 다 정리해오세요라고했다고 합시다. 그러면 여러분들은 어떻게 해야하냐 우리가 크롤링이라는 기술을 배우기전에는 직접 브라우저를 키고 검색을한 다음에 가격 정보들을 엑셀에 일일히 적어서 저장할 것입니다. 그런데 이건 데이터에 한계가 있습니다. 일일히 노가다 형식으로 가져오는 것이기 때문에 시간상으로 문제가 있습니다. 그럴 때 크롤링이라는 것을 사용하면 그렇게 정보를 안 가져와도 됩니다. 크롤링할 때 ..

파이썬을 사용하는 이유 첫번째 이유는 간단하고 직관적입니다. 파이썬은 print 하나만으로 화면에 데이터를 출력할 수 있습니다. 또한 터미널에서 마치 컴퓨터와 대화하듯이 코드 실행이 가능한데 이러한 특성의 프로그래밍 언어를 인터프리터 언어라고 합니다. 두번째 이유는 다양한 라이브러리와 API를 제공하여 개발 편의성이 높기 때문입니다. 프로그래밍에서 자료는 라이브러리라는 용어를 사용합니다. 철근을 이용하여 집의 구조를 미리 만든 것을 프레임워크라고합니다. 즉, 파있너은 재료 = 라이브러리, 집의 구조를 잡은 철근 = 프레임워크를 상당히 많이 제공합니다. 여기서 API란 라이브러리, 프레임워크를 사용하는 방법입니다. 파이썬을 이용하면 컴퓨터에서 사용하는 여러 프로그램, 게임, 크롤러, 데이터 처리 및 분석,..

클라이언트 일상샐활에서 클라이언트는 고객을 의미합니다. IT에서 클라이언트는 데이터, 서비스를 요청하는 프로그램입니다. 그리고 요청한 데이터를 사용자에게 보여주기도 합니다. 우리가 사용하는 컴퓨터 프로그램, 스마트폰 애플리케이션등이 모두 클라이언트 프로그램입니다. 서버 - 서버란? 인터넷을 통해 연결된 클라이언트에 데이터 또는 서비스를 제공하는 프로그램입니다.서버가 없다면 클라이언트는 존재하지 않습니다. 정확히 말하면 정적인 데이터만 제공할 수 있습니다. * 크롤러를 만든다는 것은 이러한 서버를 어떤 구조로 만들었는지 파악하고 유추하는 것이 굉장히 중요합니다. 특히, 서버에게 응답받은 데이터를 찾고, 그 데이터를 서버에서 어떻게 가져오는지 판단하는 과정이 굉장이 중요합니다. - 서버의 종류 1. 영상: ..