엑셀로는 힘든 데이터 처리 파이썬(판다스)이나 액세스 이용 질문

안녕하세요

숫자로 된 데이터를 조금 가공해서 처리하고 싶습니다 .

프로그램을 잘 못다루는 저에게 너무 어려워서 질문 드립니다 .

우선 엑셀로 처리하기 힘들다고 말씀드리는 이유는 데이터의 양이 너무 많습니다 .

약 10 열 내외로 거의 백만행 단위라서 엑셀로 처리하려면 계산 중이라고 나오면서 굉장히 오래걸리는 것 같습니다 .

원본 파일은 크기가 수십메가 단위 이상이라 업로드가 힘들고 간략하게 제가 하려는 작업이 무엇인지 말씀드리기 위해서 test 파일을 만들었습니다 .

data 시트에 보시면

우선 R 열은 1.0 ~ 10.0 까지 0.1 단위로 상승하고 10.0 이후에는 다시 1.0 으로 돌아가서 계속 순환합니다 .

그리고 숫자가 적혀 있는 high 열과 stan 열이 있습니다 .

제가 하려는 작업은 예를들면 R 이 4.2 인 행에 있는 stan 값을 다음 4.2 가 나오기전 매 행의 high 값에서 뺀 값 중에 최댓값과 최솟값을 구하려는 것입니다 .

제가 하려고 했던 방법이 두번째 시트에 있습니다 .

우선 마킹 열에서 R 열에 4.2 가 있는 행에 m 값을 넣고 , 두번째 열에서 4.2 가 있는 행마다 정수를 1 씩 더해 4.2 부터 다음 4.2 가 나오기 전까지의 행들에 같은 값을 넣었습니다 .

그리고 마킹 2 열에서 각 4.2 가 있는 행들을 구분하기 위해 m1, m2, m3 이런 식으로 만들었습니다 .

이제 두번째 열에서 같은 값을 가진 그룹의 high 값들에서 R 열 4.2 가 있는 행의 stan 값을 뺀 값들을 value 행에 입력하였습니다 . 제가 무엇을 하려고 했는지 글로 설명 드리기가 어려운데 두번째 시트의 value 열에 쓴 함수를 참고해 주시면 감사하겠습니다 .

근데 여기서 또 문제가 4.2 에서 다음 4.2 이전까지의 value 값 중 최댓값 최솟값을 구하는게 아니라 4.2 에서 예를들면 다음 2.3 까지의 value 값들 중에서 최댓값과 최솟값을 구하고 싶습니다 .

그러니까 4.2 부터 다음 4.2 이전의 2.3 까지의 value 값 중에서 최댓값과 최솟값을 구하고 2.3 이후에 최댓값보다 크거나 최솟값보다 작은 값이 나와도 무시하고 싶습니다 . 이 부분은 제가 엑셀로도 어떻게 해야할지 몰라서 value 값 까지만 구했습니다 .

그리고 마지막으로 최댓값과 최솟값을 구한 후에 최댓값 이전의 최솟값과 최솟값 이전의 최댓값을 따로 구하고 싶습니다 . 4.2 에서 2.3 까지의 최댓값과 최솟값을 구했을 때 예를들어 최댓값이 8.9 쯤에서 먼저 나오고 최솟값이 1.9 에서 나왔을 때 (최댓값)과 (최솟값 이전의 최댓값)은 값이 같겠지만 최댓값이 나오기 이전의 최솟값을 따로 구하고 싶습니다 .

그래서 결론적으로 두번째 시트의 오른쪽에 있는 표를 채우고 싶습니다 .

(max : 최댓값 , b.max : 최솟값 이전의 최댓값 , min : 최솟값 , b.min : 최댓값 이전의 최솟값 )

이러한 작업을 해야 하는데 엑셀로 가능은 하겠지만 데이터 양이 너무 많아서 힘들 것 같고 파이썬 판다스라도 급하게 배워서 하려고 해도

import pandas as pd

df = pd.read_csv('C:\\Users\\A\\Documents\\test.csv')

이렇게 딱 csv 로 데이터 베이스 만드는데까지 하고 나면 어떻게 해야할지 전혀 모르겠습니다ㅠㅠ

아니면 MS Access 쿼리 같은 것으로 처리할 수 있는 방법이 있을까요 ? ㅠㅠ