2018年2月1日 / 最終更新日時 : 2018年2月3日 roy29fuku TIPS Python メモリに乗らない巨大なデータを扱う データ分析をする際、CSVなりJSONなりXMLなりファイルからデータを読み込みます。 ここではメモリに展開できないような巨大なファイルを扱う際の手法をまとめます。 消費メモリの確認には以前紹介したmemo […]
2018年2月1日 / 最終更新日時 : 2018年2月1日 roy29fuku TIPS Python memory_profilerで実行中のメモリ消費量を確認する Pythonプログラムを実行中、メモリが足りなくなったので、どこでどれくらい消費しているかチェックします。 memory_profiler memory_profilerというライブラリを使います。 まずは […]
