2018年2月4日 / 最終更新日時 : 2018年2月4日 roy29fuku SQL SQL -インデックスの効率的な設定- SQLのインデックスについて、「貼るとなんか早くなるやつ」っていう程度の認識しかなかったので一から勉強してみました。 普段はMySQLを使うのでここでもMySQLを想定しています。 基本的にMySQLリファレンスマニュア […]
2018年2月4日 / 最終更新日時 : 2018年2月4日 roy29fuku TIPS 大容量ファイルの先頭一部を別ファイルに保存する 数GBファイルから一部を切り取ってサンプルデータとして流してみたい時。 huge.csvの先頭1万行をsmall.csvに保存する時、
2018年2月3日 / 最終更新日時 : 2018年2月3日 roy29fuku AWS AWS EC2 -ストレージを増やす- EC2で作業しようと思ったらストレージが足りなくなったので増やします。 最初の作成時に容量を指定できるのですが、作り直すのが面倒な場合は以下のように対応します。 EC2のストレージチェック EC2にsshロ […]
2018年2月3日 / 最終更新日時 : 2018年4月4日 roy29fuku SQL SQL -大量データ入力の高速化- SQLにデータを投入する色々な手法とそのスピードについてまとめました。 検証にはMySQL 5.7を使用しています。 結論から言うと、設定ファイルをカスタマイズしてLOAD DATA INFILEを使うのが早いです。 & […]
2018年2月1日 / 最終更新日時 : 2018年2月3日 roy29fuku TIPS Python メモリに乗らない巨大なデータを扱う データ分析をする際、CSVなりJSONなりXMLなりファイルからデータを読み込みます。 ここではメモリに展開できないような巨大なファイルを扱う際の手法をまとめます。 消費メモリの確認には以前紹介したmemo […]
2018年2月1日 / 最終更新日時 : 2018年2月1日 roy29fuku TIPS Python memory_profilerで実行中のメモリ消費量を確認する Pythonプログラムを実行中、メモリが足りなくなったので、どこでどれくらい消費しているかチェックします。 memory_profiler memory_profilerというライブラリを使います。 まずは […]
2018年1月28日 / 最終更新日時 : 2018年1月28日 roy29fuku ブラウザー Google Chrome 拡張機能を開発する -入門 動画を横向きで見る- 前回、Google Chrome拡張機能について簡単に調べ、試しに作ってみました。 Google Chrome 拡張機能を開発する -入門 Hello Extensions- 他のChrome拡張機能を読ん […]
2018年1月28日 / 最終更新日時 : 2018年1月28日 roy29fuku ブラウザー Google Chrome 拡張機能を開発する -入門 Hello Extensions- Chrome拡張機能とは Google Chrome 拡張機能（chrome extension）はChromeに追加できる拡張機能です。 Chromeの右上、アドレスバーの隣に表示されるやつです。 例えば […]
2018年1月28日 / 最終更新日時 : 2018年1月28日 roy29fuku AWS AWS Amazon DynamoDB -入門 jsonファイルからデータロード- 前回はDynamoDBにテーブルを作成して、手動で項目を追加しました。 今回は、jsonファイルからデータを読み込ませ項目をロードします。 以下の公式ページを参考にしました。 テーブルの作成とサンプルデータ […]
2018年1月27日 / 最終更新日時 : 2018年1月28日 roy29fuku AWS AWS Amazon DynamoDB -入門 テーブル・項目の作成- 前回AWS RDSでRDBMSをクラウドに立てました。 今回はDBつながりでDynamoDBを触ります。 NoSQLとRDBMSの特徴 NoSQLとRDBMSの違いについては、以下の記事が参考になりました。 […]
