2017年12月30日 / 最終更新日時 : 2018年2月3日 roy29fuku ハードウェア 並列処理 -入門 並列処理をCPUの歴史から理解- 以前PubChemから膨大な量の化合物のリストを取得しました。 世の中の全ての化合物を取得する 名前とIDだけを抜き出しましたが、約1億５千万の単語数、JSONファイルにして17GBになりました。 これを使 […]
2017年12月22日 / 最終更新日時 : 2018年10月9日 roy29fuku Web SeleniumでPhantomJSを使ってスクレイピング 【2018/10/9 追記】 PhantomJSは2018年3月に更新が終了しました。 Archiving the project: suspending the development 本記事のコードを実 […]
2017年12月18日 / 最終更新日時 : 2017年12月18日 roy29fuku TIPS Python gzip圧縮されたxmlファイルを扱う 引き続きPubChemからダウンロードした化合物リストを扱います。 サンプルとしてここら辺から適当な.xml.gzファイルをダウンロードしてみてください。 /pubchem/Substance/CURRENT-Full/ […]
2017年12月18日 / 最終更新日時 : 2017年12月19日 roy29fuku Web Python ftplibでFTPサーバからダウンロード PythonでFTPサーバからファイルをダウンロードします。 HTTPリクエストでよく使うrequestsはFTPに対応していません。 ftplibというライブラリを使用します。 ディレクトリ内のファイルを […]
2017年12月10日 / 最終更新日時 : 2017年12月10日 roy29fuku Elasticsearch Elasticsearch + Python 基本機能の確認 大量のテキストデータに対する検索を実装したかったので、全文検索について調べてみました。 ざっくりRDBMSと比べて全文検索が優れいてる点は検索速度、検索精度らしいです。 詳しい説明は他サイトを参照。 オープンソースの検索 […]
2017年12月8日 / 最終更新日時 : 2017年12月8日 roy29fuku Web Python 3.6におけるgrequestsのエラー 以前「greqeuestsでHTTPリクエストを非同期に処理できる、便利！」と記事に書きましたが、今回エラーにあったのでまとめます。 SummerEye part7 -高速化- 発生時の環境 Mac Pyt […]
2017年12月7日 / 最終更新日時 : 2017年12月20日 roy29fuku AWS AWS Elastic Beanstalk -Flaskアプリをデプロイ- AWS Elastic Beanstalk (EB)ではアプリケーションをデプロイすれば Azure App ServiceのWeb Appと同じですね。 Azure Web App + Python El […]
2017年11月16日 / 最終更新日時 : 2017年12月25日 roy29fuku Stripe Stripe -Payments Flaskアプリに導入- 決済機能としてStripeを使います。 固定費用なしで、決済ごとに3.6%というのは楽でいいですね。 今回はFlaskアプリへの導入ですが、他のフレームワークでも同様に簡単に導入できると思います。 stri […]
2017年10月4日 / 最終更新日時 : 2017年12月23日 roy29fuku Firebase Firebase Authentication ユーザ認証でユーザデータを保持するのってドキドキですよね。漏洩したらどうしようとか。 それにそもそもデータベース作って、あれこれやって、ってやるのも面倒です。 そういうのをBaaS（Backend as a Servic […]
2017年10月3日 / 最終更新日時 : 2017年10月2日 roy29fuku SummerEye SummerEye part8 -ファイル削除- 一旦、前回までで動くものができました。 デザインやりますと言いながらHTMLが辛いので、そこそこにとどめ。 今回はファイル削除を実装します。 現状だとどんどこサーバにファイルがアップロードされていってしまい […]
