파이썬에서 큰 csv 파일 한번에 읽는 법

파이썬에서 큰 csv 파일 한번에 읽는 법

코드

20191030_164739.png

y_test=[]
y_csv = open('y_test.csv', 'r', encoding='utf-8')
rdr = csv.reader(y_csv)
for line in rdr:
  y_test.append(line[0])
y_csv.close()

보통 csv 파일을 읽어들일 때는 위와 같이 파이썬 내장함수 open으로 열어서 한줄한줄 처리하지만, 반복문을 사용하는 시점에서 빅데이터의 처리에는 적합하지 않음을 짐작할 수 있다. 가령 700MB가 넘는 파일이라면 사실 별로 크지도 않은 편이지만 한줄한줄 읽어서는 끝이 없다.

pandas 패키지

이런 데이터를 다룰 때는 pandas 패키지를 사용하면 편리하다.

함수

메소드

프로퍼티

댓글