【2016年1月12日〜17日】忙しい人のためのweeklyニュース
- 私が読んで面白いな、と思った記事一覧です。
FinTech
フィンテック (FinTech) 10の最新トレンド予測 ~改革は既に始まっている~ | freshtrax | btrax スタッフブログ
http://www.atmarkit.co.jp/ait/articles/1601/13/news020.html/
ニュース - 三菱UFJがFinTechの新組織、銀行組織と一線を画すチームで先進行に伍する体制に:ITpro
注目のビットコイン、2016年はどうなる?「coincheck」大塚雄介氏がその可能性を語る [THE BRDIGE Fes] - THE BRIDGE(ザ・ブリッジ)
コイニーの月間決済額は24カ月で33倍に急伸、スマホ決済成長の鍵は? - THE BRIDGE(ザ・ブリッジ)
プライベートブロックチェーン技術mijinの正体が(少しだけ)明らかに、インフォテリアとテックビューロが説明会 | TechCrunch Japan
インドのBitcoinモバイルウォレットアプリ「Zebpay」が、シリーズAラウンドで100万米ドルを調達 - THE BRIDGE(ザ・ブリッジ)
セキュリティ
【セキュリティ ニュース】「Cyber3 Conference 2015」の報告書が公開(1ページ目 / 全1ページ):Security NEXT
【セキュリティ ニュース】「FFR yarai」に教育機関向けライセンス - セキュリティ研究室用ライセンスも(1ページ目 / 全1ページ):Security NEXT
General Motors Launches Bug Bounty Program - Infosecurity Magazine
Rovnix Zeroes in on Japanese Banks with Minimal Detection Rate - Infosecurity Magazine
'OAuth please do grow up' say IETF boffins • The Register
DDoS攻撃の対処法 : FastMailがDDoS攻撃にとった対策と事後分析 | インフラ・ミドルウェア | POSTD
http://www.atmarkit.co.jp/ait/articles/1601/13/news008.html/
アークンへの不正アクセスと恐喝未遂についてまとめてみた - piyolog
http://www.nri-secure.co.jp/news/2016/0113.html/
Distinguishing Threat Intelligence From Threat Data | SecurityWeek.Com
2016年はAPTが減り、ファイルレスの見つけづらい攻撃へ - カスペルスキー | 企業IT | マイナビニュース
Fortinet SSH Backdoor Found In Firewalls - Darknet - The Darkside
Israeli security firms Check Point, CyberArk in talks – report • The Register
【セキュリティ ニュース】「Redis」狙う不正アクセスが年末年始に急増(1ページ目 / 全1ページ):Security NEXT
HackerOne 2015 Bounty Program Review and New $10K Minimum Bounty - HackerOne
Average Cost of a Spear Phishing Incident: $1.6Mn - Infosecurity Magazine
- $1.6million/標的型のコスト
- 被害を受けた時の対応なのか?
Shape Security Raises $25 Million to Expand "Botwall" Technology | SecurityWeek.Com
CSIRTだけでは不十分--セキュリティ人材育成の課題明らかに - ZDNet Japan
http://www.atmarkit.co.jp/ait/articles/1601/14/news105.html/
- Android/OpFake」や「Android/Marry」と呼ばれる2種類のトロイの木馬を発見している。これらは東ヨーロッパで数千のモバイルバンキング用アカウントを狙った攻撃に使用されたもの。アプリのデータをバックエンドで管理しているサービスプロバイダーにネットワーク接続することを目的に、モバイルアプリ内に実装された脆弱なコードを悪用
http://www.atmarkit.co.jp/ait/articles/1601/14/news111.html/ 【セキュリティ ニュース】SEO目的の改ざん攻撃 - SQLiで被リンク増やす(1ページ目 / 全1ページ):Security NEXT
Building Security In versus Building Security On | SecurityWeek.Com
- よい記事
ニュース - [データは語る]2015年4Qのインシデントは前年同期比45%減―JPCERT/CC:ITpro 【セキュリティ ニュース】2015年4Qはサイト改ざんが4割増 - CMSの脆弱性が標的に(1ページ目 / 全2ページ):Security NEXT
- 報告件数はへった
- スキャンに分類されるシステムの弱点を探索するインシデントの報告が最も多い(ポート80, 25, 22)
- Webサイト改ざん
【セキュリティ ニュース】「Emdivi」拡散に「Angler EK」を使用か - 「ZeusVM」にも(1ページ目 / 全1ページ):Security NEXT
【セキュリティ ニュース】SCSK、標的型攻撃の監視防御サービス(1ページ目 / 全1ページ):Security NEXT
- scskの標的型攻撃の監視防御サービス
auユーザーのメール不正転送(盗み見)事案についてまとめてみた - piyolog
データサイエンス
Detecting and avoiding bucket imbalance in A/B tests | Twitter Blogs
http://www.atmarkit.co.jp/ait/articles/1601/08/news147.html/
Shape Security Raises $25 Million to Expand "Botwall" Technology | SecurityWeek.Com
機械学習
http://www.itmedia.co.jp/news/articles/1601/08/news093.html/
TensorFlowによるディープラーニングで、アイドルの顔を識別する - すぎゃーんメモ
Distinguishing Threat Intelligence From Threat Data | SecurityWeek.Com
ニュース - ディープラーニングの画像認識モデルをマウス操作で作成できるWebサービス:ITpro
ニュース - Google自動運転車、14カ月間の公道テスト走行で272回の技術的不具合:ITpro
Alpacaが画像深層学習の「Labellio」をKCCSに譲渡、トレーディング基盤「Catapilico」を軸にフィンテック特化へ - THE BRIDGE(ザ・ブリッジ)
Yahooがこれまでで最大の機械学習用データセットを研究コミュニティーに解放 | TechCrunch Japan * Yahoo各種サービスでのインタラクションデータの公開
Android
http://googledevjp.blogspot.jp/2016/01/google-sign-in-api.html/
http://www.atmarkit.co.jp/ait/articles/1601/14/news105.html/ * Android/OpFake」や「Android/Marry」と呼ばれる2種類のトロイの木馬を発見している。これらは東ヨーロッパで数千のモバイルバンキング用アカウントを狙った攻撃に使用されたもの。アプリのデータをバックエンドで管理しているサービスプロバイダーにネットワーク接続することを目的に、モバイルアプリ内に実装された脆弱なコードを悪用
10 awesome examples of material design - Android Authority
採用
http://www.atmarkit.co.jp/ait/articles/1601/15/news006.html/ * Linuxが分かる * ハードウェア * Python * バーチャルマシンやコンテナ化といった新しいテクノロジーや業界に精通
ビジネス
トラベル情報のSkyscanner、Yahoo Japan他からの1.92億ドルでアジア進出を加速 | TechCrunch Japan
初めての資金調達の際に、ファウンダーが知っておくべきこと - THE BRIDGE(ザ・ブリッジ)
ユーザ企業の顧客の質問にオンラインで自動的に答えるMindTouchが$12Mを調達 | TechCrunch Japan
結果がすべてを癒やす——イグジットした起業家がエンジェル投資をする意義とは | TechCrunch Japan
http://www.itmedia.co.jp/news/articles/1601/15/news092.html/
その他
http://www.itmedia.co.jp/news/articles/1601/08/news096.html/
NRI楠真 強いITはココが違う - 「東洋一のデータセンター」が時代遅れになった理由:ITpro
ベテラン投資家、フレッド・ウィルソン氏が振り返る「2015年に起こらなかった」こと - THE BRIDGE(ザ・ブリッジ)
DDoS攻撃の対処法 : FastMailがDDoS攻撃にとった対策と事後分析 | インフラ・ミドルウェア | POSTD
メモしておこう―今年のGoogle I/Oは5/18-5/20(日本時間5/19-5/21)開催と発表 | TechCrunch Japan
http://www.atmarkit.co.jp/ait/articles/1601/13/news033.html/
http://nippondanji.blogspot.jp/2016/01/blog-post.html/
ニュース - 2015年の世界パソコン出荷台数は過去最大の落ち込み、前年比10.4%減:ITpro
5 Reasons Automated Testing Is Worth the Investment | via @codeship
【2016年1月4日〜11日】忙しい人のためのweeklyニュース
OS
オープンソースソフトウェアを開発する日々をハッピーに ― あるいは、OSSコントリビュータに感謝を伝えるためにできること
Mobile
Google Developers Blog: DoubleClick’s ‘Mobile Bootcamp’ for app success
セキュリティ
パスワードは死んだのか? ウェブとモバイル認証の未来 | TechCrunch Japan
帰ってきたバンキングトロイCitadel(2016-01-05)
日本年金機構の類似マルウェア感染に関する報道をまとめてみた - piyolog
Dradis - Effective Information Sharing
五輪サイバー対策本格化=「ホワイトハッカー」確保へ―攻撃の高度化に備え・政府 (時事通信) - Yahoo!ニュース
サイバーセキュリティ経営ガイドラインを策定しました(METI/経済産業省)
中国で反テロ法が成立、ネット企業に暗号提供義務付け | ワールド | 最新記事 | ニューズウィーク日本版 オフィシャルサイト
Tor to Launch Bug Bounty Program in 2016 | Threatpost | The first stop for security news
ZERODIUM - The Premium Exploit Acquisition Platform
Fintech
(仮想通貨とルール)(3)東京地裁、所有権認めず 「法的保護ない」と誤解招く :日本経済新聞 * 東京地裁 所有権は認めず * よって取戻権は認められない 金銭は貸すと所有権も移る = ビットコインも通貨と同じく利用できる * 財産権を否定するわけではない
新ITインフラ「ブロックチェーン」 金融で採用相次ぐ :日本経済新聞
将棋で磨いたAI技術をFintechへ応用、HEROZが1億円を追加調達 | TechCrunch Japan
ビットコインがブロックチェーンより重要な理由 | TechCrunch Japan
世界の銀行はいかにBitcoinの勢いを止めようとしているか - THE BRIDGE(ザ・ブリッジ)
特集:FinTech入門(1):FinTechとは何か? エンジニア、金融業に、不可欠となる技術要件は何か? - @IT
https://www.linkedin.com/pulse/crazy-fintech-predictions-2016-pascal-bouvier-cfa
IoT
Intelが衝突防止システムを備えたドイツのドローンメーカーを買収 - THE BRIDGE(ザ・ブリッジ)
機械学習
ディープラーニングの有名ライブラリ5種を最短距離で試す半日コース(TensorFlow, Chainer, Caffe, DeepDream, 画風変換) - Over&Out その後
Should a machine learning beginner go straight for deep learning? - Quora
その他
経済評論家・山崎元の「エンジニアの生きる道」(21):選手でいるべきか、コーチになるべきか――ミドルエンジニアのキャリア選択 (1/2) - @IT
【後半】シリコンバレーのVC8人が選ぶ 2016年に飛躍するスタートアップ | freshtrax | btrax スタッフブログ
DBカラム名を変更したらTestが失敗した
Railsで作成済みのモデルのカラム名を変更した際に、ハマったことをメモ。
Usersモデルをtypeというカラムを加えて作成したところ、それはアカンと怒られた。なので、それをoccupationというカラムに置き換えるmigrationを実行したところ、変更自体はうまくいった。ここまではよし。
さて、rake testを実行したところ、なぜかtypeカラム名でのテストを実行しようとしていた。当然失敗。
14) Error: UsersControllerTest#test_should_destroy_user: ActiveRecord::StatementInvalid: Mysql2::Error: Unknown column 'type' in 'field list':
色々探しまわったところ、test/fixtures配下のusers.ymlが更新されてなかった。それを新しいカラム名occupationを置き換えたらテストが通るようになった。
GSONでJsonSyntaxException: java.lang.IllegalStateException
下記のようなJSONをマップさせたクラスを作る必要があった。 その中の一つが、別のところで使われているものがあったので、そのまま流用したところ、タイトルのエラーがでた。
public class HogeEntity { ----省略---- @SerializedName("hogehoge") public HogesEntity hoges; }
public class HogesEntity { @SerializedName("hogehoge") public List<hogehogeEntity> hoges; }
どうもGSONとしてはオブジェクトを期待していたのに、実際の中身がオブジェクトのリストであるのは良くない模様。HogesEntityをList
ということで、下記にしたら直りました。
public class HogeEntity { ----省略---- @SerializedName("hogehoge") public List<hogehogeEntity> hoges; }
CircleCIのAndroidビルドでメモリ不足になった
問題
CircleCIで下記のエラーがでた。
The build VMs have a memory limit of 4G
対応
ヒープメモリの調整
- JVMのヒープサイズ(最大)を指定
machine: java: version: oraclejdk8 environment: gradle_opts: '-dorg.gradle.jvmargs="-xmx512m -xx:+heapdumponoutofmemoryerror"'
Continuous Integration and Deployment
インクリメンタルビルドをオフにする
deployment: production: branch: develop commands: - ./gradlew assemble -PpreDexEnable=false
Lasso回帰
Lasso Regression
Feature Selection task
動機
- Efficiency
- Interpretability(Sparsity)
- which feature is relevant for prediction
手法1: 全部のせ
- 特徴が全くないものから始める
- 次に各特徴でRSSを比較して、その中で一番できの良い物を選ぶ
- 次に2つの特徴を選択して、その中でRSSが一番低いものを選ぶ
- これを続けると、RSSがconvergeしなくなる。そこでやめる(特徴数D)
- そこで、validationやCross validationを使って、各モデルを評価する
- validationとCross validationを分ける
- でもこれは計算量が多すぎる(2D+1)
手法2: Greedy Algorithms(Forward Stepsize)
- 特徴が全くないものから始める
- 全特徴から一つ選択し、一番エラーの低い特徴を咥える(ここまで一緒)
- また全特徴から1つ選択し、一番エラーの低い特徴を加える
- これを繰り返す
- O(D2) -> At most D Steps
- この特徴は、エラーが絶対増えない。また、トレーニングエラーが手法1とおなじになる
手法3: Regularize(Lasso)
- (復習) Total Cost = measure of fit (RSS) + lambda * measure of magnitude of coefficeints(||w||^2 < - L2 norm)
- 全部の特徴のせモデルから初めて、いらないwを0にする手法
Ridge Cost in 2D
L2Norm
Combined
Lasso Cost in 2D
- RSS will be the same
- L1 Norm
- Combined
- RSSエラーとL1Normだと、角だとSparse Solutionになる
- hihger dimensionだと、もっとpointierなグラフになるので、角にあたりやすい
optimizing the lasso objective
- issue: derivative of |w|?
- Critical value of derivative? -> does not exist!!
- so do subgradients or coordinate descent
- So no closed-form solution
Coordinate descent (Aside1)
- Converges for lasso object
- Often hard to find min for all coordinates, but easy for each coordkinate ( by fixiing others)
- NO Step Size
- How Do we pick next coordinate ?
- random
Normalizing feature (Aside2)
- take a column data (feature) -> Scale it
- Dont forget to apply same sacle(Zj) to test data
Optimizing least squares objective one coordinate at a time (with normalized features)
Coordinate Descent
- using soft threasholding
Assessing Convergence
- Max step size
How to choose lambda
same
- big data:divide up into traininset, validation set, test set
- fit w_lambda, select lambda by testing performance of w_lambda, assess generalization error of best w_lambda
- small data: k-fold cross validation
- big data:divide up into traininset, validation set, test set
FOr lasso, you may choose smaller lambda than optimal choice for feature selection
Practical issue
- Lasso shrinks coefficients relative to LS solution
- more bias, less variance
- To lessen bias... run lasso to select feature, then run ls regression with only selected features
- more bias, less variance
Question
- why to sparse
- Why you want to include both correlated feature
2016年の抱負、やること、やらないこと
抱負と目標
- 心技体を充実させる
- あまり抱負と目標を区別せず書いてみた
心
- 一時の感情に流されない。BGの異なる人間とのやり取りでも平常心を保てるようになる(ストレス耐性の向上)
- 一時の感情に流されない。
- 1月中は、週5の瞑想をする
- 気持ちの切り替えをうまくする
- やる気のムラがないようにする
- ポモドーロ・テクニックを取得する
- 継続性を向上する。習慣を持続させる
- インプット・アウトプットを定期的にする
- インプット: feedly記事を毎日読む。1月中は、週3~4の筋トレをする。1月中に8冊本を読む
- アウトプット: まずは、最低週一ブログに何かしら書けるようにする
- 家族と時間を過ごす
- 2月に一度実家へ帰る
- 自ら予定を作り、1月中に自分手動でどこかに行く
技
趣味
- 将棋でアマチュア1級になる
- 1月は棒銀と石田竜でハムをボコる cheap-delicious.hatenablog.com
IT系
- Androidのスペシャリストになる
- Webアプリの作成 in Python
- 1つ作って公開する
- 機械学習の初学者を脱する
- 6月までにCourseraのMachine Learning Specializationを終わらせる
- Regression, Classification, Clustering & Retrieval, Recommender System & Dimensionality Reduction
- 上記のまとめ・わかりにくかった部分を理解する
- Qiita/本ブログにOutputする
- 6月までにCourseraのMachine Learning Specializationを終わらせる
セキュリティ系
- ベンチャーにおけるセキュリティ体制の構築におけるスペシャリストになる
- 上記のIT系とあわせると結構もやっとしてる。自分はどちらに軸足を起きたいのか。今のところ、開発側なんだよな
- セキュリティスペシャリストの評価の仕方など
- 考えをまとめて発信する
お金系
体
- 週3回ジムに行く
- 健康体を保つ
- ベンチ70kg x 3、最大90kgできるようになる
- デッドリフト20kgできるようになる
やらないこと
心
- 本を年間100冊よむこと
- ポーカー(進んでやらない)
- 禅
技
体
- キックボクシングで対人テクを向上させること
- ボルダリング
- スノボ
やるかやらないか迷ってること
技
- IoT
- ブロックチェーンの初心者になる
- まだどうアプローチするか考えてない
- 読んで、実装してみる??