近状
最近のやったこと・やってること
- 研究
- 外部リソースの階層構造を再利用する仕組み(データの保存など)
- 何をどう保存しておくのかは大体決まったので,実装か
- Webブラウザから操作できたほうがいろいろ良いので,その方向で動く
- ETL のコードが散在しているので,まとめ直したい
- もっと計算機資源を活かすには(活かして高速に処理するには)どうしたらいいか考えてるけど,なかなかアイデアが出ない
- インターンシップ先では大容量メモリなサーバーとかを使わせてもらえそうだが,ruby での処理部分をn台の計算機に分散させても,結局書き出し先(MySQL)のディスクがネックになる気がする.MySQL Cluster か(!
- このへんの話題は普通におもしろいんだけど,優先順位考えないと
- (INSERT はディスクが遅くて,SELECT はインデックスでかなり改善できて,でも最初(CREATE TABLE 時)にインデックス設定しちゃうと INSERT がさらに遅くなるから,そのへん考慮した処理に書き換えないと,もっと大規模なデータを扱うときに時間がアレな事になる)
- (卒論の時は神がかり的というか,データ突っ込んでからインデックス設定したから割りと何とかなったけど,最初からやってたら論文間に合わなかったかもと思うと冷や汗が)
- 外部リソースの階層構造を再利用する仕組み(データの保存など)
思ったりしたこと
- データ構造とかアルゴリズムとかも大変重要なんだけど,(学類の授業名でいうと)離散構造とか情報数学のあたりを復習したいなと思う(しなくてはと思う)
- 統計とかの知識も,必要なときに必要なところだけかいつまんでやっている感があるので,もうちょっとちゃんと勉強したい.難しい