≒ jawiki/latest　20150901/ のページ数の件＞1972775

今回もえらく遅くなった。enwikiのデータでサイト作る件は今はデータ収集の段階で、うちのPCががんばってるばかりでやることがあまりない。まぁ、細かなトラブルは色々あってスクレイピングのアルゴは色々いじってはいますけどね。

んで今夢中なのがandroidアプリ作成(開発なんてたいそうなものではない)。ユーティティアプリ作ろうと思ってはじめたんだけどいつの間にかopenGLES触ってるw　いつものこと。

いまさらながら数学的素養がまったくないことで四苦八苦。でもwebGLでは結局three.jsに逃げたのが今回は少しづつでも行列演算の理解が進んでいる。上手く行ったらもう一度webGLを直に叩いてなんか作ってみよう。やっぱりライブラリかませると隔靴掻痒なとこあったし。遅いし。

enwiki。着々とデータ集まってきてるんだけど、例えば｢eve｣って名前の人、歌手やポ○ノの人にもいるんだけど、当然人類最初の女性である人もwikiには記述があるわけで。

そんで｢eve」って名前だけでスクレイピングして項目紐付けしてると、人類最初の女性のスリーサイズがうちのサイトでは判明することになってしまうw

あまりにも不敬でなんかありそうで怖い。そういう項目を最終的に排除するアルゴリズムを今考えてます。

15年9月29日(火)‡13時03分34秒 ‡ ただの自分向けメモ