csv 데이터를 특정 형식으로 read하기 (pandas read_csv, usecols, dtype)

read_csv

판다스의 모듈 중, csv파일을 읽어 데이터프레임 타입으로 반환하는 read_csv라는 함수가 있다.

data_frame = pd.read_csv()

함수의 파라미터 중 데이터의 타입을 지정하여 받을 수 있는 것이 있어서 이를 살펴본다

 

usecols

usecols파라미터는 csv파일에서 사용할 컬럼을 지정한다.

data_type = {"f_1":'float16',
            "f_2":'float16'}

df = pd.read_csv(folder_path + "/train.csv",
                 usecols = data_types_dict.keys(),
                )

 

dtype

dtype 파라미터는 컬럼이름을 key로, 데이터타입을 value로 하는 dictionary 객체를 넣는다.

data_type = {"f_1":'float16',
            "f_2":'float16'}

df = pd.read_csv(folder_path + "/train.csv",
                 usecols = data_types.keys(),
                 dtype = data_types)