2018年2月1日 / 最終更新日時 : 2018年2月3日 roy29fuku TIPS Python メモリに乗らない巨大なデータを扱う データ分析をする際、CSVなりJSONなりXMLなりファイルからデータを読み込みます。 ここではメモリに展開できないような巨大なファイルを扱う際の手法をまとめます。 消費メモリの確認には以前紹介したmemo […]
2017年12月18日 / 最終更新日時 : 2017年12月18日 roy29fuku TIPS Python gzip圧縮されたxmlファイルを扱う 引き続きPubChemからダウンロードした化合物リストを扱います。 サンプルとしてここら辺から適当な.xml.gzファイルをダウンロードしてみてください。 /pubchem/Substance/CURRENT-Full/ […]
