Got Some \W+ech?

Could be Japanese. Could be English. Android, セキュリティ, 機械学習などをメインに、たまにポエムったり雑感記載したりします。

【2016年1月12日〜17日】忙しい人のためのweeklyニュース

  • 私が読んで面白いな、と思った記事一覧です。

FinTech

フィンテック (FinTech) 10の最新トレンド予測 ~改革は既に始まっている~ | freshtrax | btrax スタッフブログ

http://www.atmarkit.co.jp/ait/articles/1601/13/news020.html/

ニュース - 三菱UFJがFinTechの新組織、銀行組織と一線を画すチームで先進行に伍する体制に:ITpro

注目のビットコイン、2016年はどうなる?「coincheck」大塚雄介氏がその可能性を語る [THE BRDIGE Fes] - THE BRIDGE(ザ・ブリッジ)

コイニーの月間決済額は24カ月で33倍に急伸、スマホ決済成長の鍵は? - THE BRIDGE(ザ・ブリッジ)

プライベートブロックチェーン技術mijinの正体が(少しだけ)明らかに、インフォテリアとテックビューロが説明会 | TechCrunch Japan

インドのBitcoinモバイルウォレットアプリ「Zebpay」が、シリーズAラウンドで100万米ドルを調達 - THE BRIDGE(ザ・ブリッジ)

セキュリティ

【セキュリティ ニュース】「Cyber3 Conference 2015」の報告書が公開(1ページ目 / 全1ページ):Security NEXT

【セキュリティ ニュース】「FFR yarai」に教育機関向けライセンス - セキュリティ研究室用ライセンスも(1ページ目 / 全1ページ):Security NEXT

General Motors Launches Bug Bounty Program - Infosecurity Magazine

Rovnix Zeroes in on Japanese Banks with Minimal Detection Rate - Infosecurity Magazine

'OAuth please do grow up' say IETF boffins • The Register

DDoS攻撃の対処法 : FastMailがDDoS攻撃にとった対策と事後分析 | インフラ・ミドルウェア | POSTD

http://www.atmarkit.co.jp/ait/articles/1601/13/news008.html/

アークンへの不正アクセスと恐喝未遂についてまとめてみた - piyolog

http://www.nri-secure.co.jp/news/2016/0113.html/

Distinguishing Threat Intelligence From Threat Data | SecurityWeek.Com

2016年はAPTが減り、ファイルレスの見つけづらい攻撃へ - カスペルスキー | 企業IT | マイナビニュース

Fortinet SSH Backdoor Found In Firewalls - Darknet - The Darkside

Israeli security firms Check Point, CyberArk in talks – report • The Register

【セキュリティ ニュース】「Redis」狙う不正アクセスが年末年始に急増(1ページ目 / 全1ページ):Security NEXT

HackerOne 2015 Bounty Program Review and New $10K Minimum Bounty - HackerOne

Average Cost of a Spear Phishing Incident: $1.6Mn - Infosecurity Magazine

  • $1.6million/標的型のコスト
  • 被害を受けた時の対応なのか?

Shape Security Raises $25 Million to Expand "Botwall" Technology | SecurityWeek.Com

CSIRTだけでは不十分--セキュリティ人材育成の課題明らかに - ZDNet Japan

http://www.atmarkit.co.jp/ait/articles/1601/14/news105.html/

  • Android/OpFake」や「Android/Marry」と呼ばれる2種類のトロイの木馬を発見している。これらは東ヨーロッパで数千のモバイルバンキング用アカウントを狙った攻撃に使用されたもの。アプリのデータをバックエンドで管理しているサービスプロバイダーにネットワーク接続することを目的に、モバイルアプリ内に実装された脆弱なコードを悪用

http://www.atmarkit.co.jp/ait/articles/1601/14/news111.html/ 【セキュリティ ニュース】SEO目的の改ざん攻撃 - SQLiで被リンク増やす(1ページ目 / 全1ページ):Security NEXT

  • SEO攻撃。SQL攻撃を通じて、HTMLリンクを配信し、検索エンジンボットを混乱させてページのランキングに誤った影響を与える
  • 使うのライバル会社くらいじゃないか

Building Security In versus Building Security On | SecurityWeek.Com

  • よい記事

ニュース - [データは語る]2015年4Qのインシデントは前年同期比45%減―JPCERT/CC:ITpro 【セキュリティ ニュース】2015年4Qはサイト改ざんが4割増 - CMSの脆弱性が標的に(1ページ目 / 全2ページ):Security NEXT

  • 報告件数はへった
  • スキャンに分類されるシステムの弱点を探索するインシデントの報告が最も多い(ポート80, 25, 22)
  • Webサイト改ざん

【セキュリティ ニュース】「Emdivi」拡散に「Angler EK」を使用か - 「ZeusVM」にも(1ページ目 / 全1ページ):Security NEXT

【セキュリティ ニュース】SCSK、標的型攻撃の監視防御サービス(1ページ目 / 全1ページ):Security NEXT

  • scskの標的型攻撃の監視防御サービス

auユーザーのメール不正転送(盗み見)事案についてまとめてみた - piyolog

データサイエンス

ビッグデータに潜むバイアス、米規制当局が警告 - WSJ

Detecting and avoiding bucket imbalance in A/B tests | Twitter Blogs

http://www.atmarkit.co.jp/ait/articles/1601/08/news147.html/

Shape Security Raises $25 Million to Expand "Botwall" Technology | SecurityWeek.Com

機械学習

http://www.itmedia.co.jp/news/articles/1601/08/news093.html/

TensorFlowによるディープラーニングで、アイドルの顔を識別する - すぎゃーんメモ

Distinguishing Threat Intelligence From Threat Data | SecurityWeek.Com

ニュース - ディープラーニングの画像認識モデルをマウス操作で作成できるWebサービス:ITpro

ニュース - Google自動運転車、14カ月間の公道テスト走行で272回の技術的不具合:ITpro

Alpacaが画像深層学習の「Labellio」をKCCSに譲渡、トレーディング基盤「Catapilico」を軸にフィンテック特化へ - THE BRIDGE(ザ・ブリッジ)

Yahooがこれまでで最大の機械学習用データセットを研究コミュニティーに解放 | TechCrunch Japan * Yahoo各種サービスでのインタラクションデータの公開

Android

http://googledevjp.blogspot.jp/2016/01/google-sign-in-api.html/

http://www.atmarkit.co.jp/ait/articles/1601/14/news105.html/ * Android/OpFake」や「Android/Marry」と呼ばれる2種類のトロイの木馬を発見している。これらは東ヨーロッパで数千のモバイルバンキング用アカウントを狙った攻撃に使用されたもの。アプリのデータをバックエンドで管理しているサービスプロバイダーにネットワーク接続することを目的に、モバイルアプリ内に実装された脆弱なコードを悪用

10 awesome examples of material design - Android Authority

採用

http://www.atmarkit.co.jp/ait/articles/1601/15/news006.html/ * Linuxが分かる * ハードウェア * Python * バーチャルマシンやコンテナ化といった新しいテクノロジーや業界に精通

ビジネス

トラベル情報のSkyscanner、Yahoo Japan他からの1.92億ドルでアジア進出を加速 | TechCrunch Japan

初めての資金調達の際に、ファウンダーが知っておくべきこと - THE BRIDGE(ザ・ブリッジ)

ユーザ企業の顧客の質問にオンラインで自動的に答えるMindTouchが$12Mを調達 | TechCrunch Japan

結果がすべてを癒やす——イグジットした起業家がエンジェル投資をする意義とは | TechCrunch Japan

http://www.itmedia.co.jp/news/articles/1601/15/news092.html/

その他

http://www.itmedia.co.jp/news/articles/1601/08/news096.html/

NRI楠真 強いITはココが違う - 「東洋一のデータセンター」が時代遅れになった理由:ITpro

ベテラン投資家、フレッド・ウィルソン氏が振り返る「2015年に起こらなかった」こと - THE BRIDGE(ザ・ブリッジ)

DDoS攻撃の対処法 : FastMailがDDoS攻撃にとった対策と事後分析 | インフラ・ミドルウェア | POSTD

メモしておこう―今年のGoogle I/Oは5/18-5/20(日本時間5/19-5/21)開催と発表 | TechCrunch Japan

http://www.atmarkit.co.jp/ait/articles/1601/13/news033.html/

http://nippondanji.blogspot.jp/2016/01/blog-post.html/

ニュース - 2015年の世界パソコン出荷台数は過去最大の落ち込み、前年比10.4%減:ITpro

5 Reasons Automated Testing Is Worth the Investment | via @codeship

【2016年1月4日〜11日】忙しい人のためのweeklyニュース

OS

オープンソースソフトウェアを開発する日々をハッピーに ― あるいは、OSSコントリビュータに感謝を伝えるためにできること

Mobile

Google Developers Blog: DoubleClick’s ‘Mobile Bootcamp’ for app success

セキュリティ

パスワードは死んだのか? ウェブとモバイル認証の未来 | TechCrunch Japan

帰ってきたバンキングトロイCitadel(2016-01-05)

日本年金機構の類似マルウェア感染に関する報道をまとめてみた - piyolog

Dradis - Effective Information Sharing

Dutch govt says no to backdoors, slides $540k into OpenSSL without breaking eye contact • The Register

五輪サイバー対策本格化=「ホワイトハッカー」確保へ―攻撃の高度化に備え・政府 (時事通信) - Yahoo!ニュース

サイバーセキュリティ経営ガイドラインを策定しました(METI/経済産業省)

中国で反テロ法が成立、ネット企業に暗号提供義務付け | ワールド | 最新記事 | ニューズウィーク日本版 オフィシャルサイト

Tor to Launch Bug Bounty Program in 2016 | Threatpost | The first stop for security news

ZERODIUM - The Premium Exploit Acquisition Platform

Fintech

(仮想通貨とルール)(3)東京地裁、所有権認めず 「法的保護ない」と誤解招く :日本経済新聞 * 東京地裁 所有権は認めず * よって取戻権は認められない   金銭は貸すと所有権も移る  ビットコインも通貨と同じく利用できる * 財産権を否定するわけではない

新ITインフラ「ブロックチェーン」 金融で採用相次ぐ :日本経済新聞

将棋で磨いたAI技術をFintechへ応用、HEROZが1億円を追加調達 | TechCrunch Japan

ビットコインがブロックチェーンより重要な理由 | TechCrunch Japan

世界の銀行はいかにBitcoinの勢いを止めようとしているか - THE BRIDGE(ザ・ブリッジ)

特集:FinTech入門(1):FinTechとは何か? エンジニア、金融業に、不可欠となる技術要件は何か? - @IT

https://www.linkedin.com/pulse/crazy-fintech-predictions-2016-pascal-bouvier-cfa

IoT

Intelが衝突防止システムを備えたドイツのドローンメーカーを買収 - THE BRIDGE(ザ・ブリッジ)

機械学習

ディープラーニングの有名ライブラリ5種を最短距離で試す半日コース(TensorFlow, Chainer, Caffe, DeepDream, 画風変換) - Over&Out その後

Should a machine learning beginner go straight for deep learning? - Quora

その他

経済評論家・山崎元の「エンジニアの生きる道」(21):選手でいるべきか、コーチになるべきか――ミドルエンジニアのキャリア選択 (1/2) - @IT

【後半】シリコンバレーのVC8人が選ぶ 2016年に飛躍するスタートアップ | freshtrax | btrax スタッフブログ

DBカラム名を変更したらTestが失敗した

Railsで作成済みのモデルのカラム名を変更した際に、ハマったことをメモ。

Usersモデルをtypeというカラムを加えて作成したところ、それはアカンと怒られた。なので、それをoccupationというカラムに置き換えるmigrationを実行したところ、変更自体はうまくいった。ここまではよし。

さて、rake testを実行したところ、なぜかtypeカラム名でのテストを実行しようとしていた。当然失敗。

 14) Error:
UsersControllerTest#test_should_destroy_user:
ActiveRecord::StatementInvalid: Mysql2::Error: Unknown column 'type' in 'field list': 

色々探しまわったところ、test/fixtures配下のusers.ymlが更新されてなかった。それを新しいカラム名occupationを置き換えたらテストが通るようになった。

GSONでJsonSyntaxException: java.lang.IllegalStateException

下記のようなJSONをマップさせたクラスを作る必要があった。 その中の一つが、別のところで使われているものがあったので、そのまま流用したところ、タイトルのエラーがでた。

public class HogeEntity {
    ----省略----

    @SerializedName("hogehoge")
    public HogesEntity hoges;
}
public class HogesEntity {
    @SerializedName("hogehoge")
    public List<hogehogeEntity> hoges;
}

どうもGSONとしてはオブジェクトを期待していたのに、実際の中身がオブジェクトのリストであるのは良くない模様。HogesEntityをListに無理やりキャストしてるようなもんなので、そりゃ無理だ。俺が悪い。

ということで、下記にしたら直りました。

public class HogeEntity {
    ----省略----

    @SerializedName("hogehoge")
    public List<hogehogeEntity> hoges;
}

CircleCIのAndroidビルドでメモリ不足になった

問題

CircleCIで下記のエラーがでた。

The build VMs have a memory limit of 4G

対応

ヒープメモリの調整

  • JVMのヒープサイズ(最大)を指定
machine:
    java:
        version: oraclejdk8
    environment:
        gradle_opts: '-dorg.gradle.jvmargs="-xmx512m -xx:+heapdumponoutofmemoryerror"'

Continuous Integration and Deployment

インクリメンタルビルドをオフにする

deployment:
    production:
        branch: develop
        commands:
            - ./gradlew assemble -PpreDexEnable=false

CircleCiでAndroid開発を爆速にする | Covelline Developer Blog

Lasso回帰

Lasso Regression

Feature Selection task

動機

  • Efficiency
  • Interpretability(Sparsity)
    • which feature is relevant for prediction

手法1: 全部のせ

  • 特徴が全くないものから始める
  • 次に各特徴でRSSを比較して、その中で一番できの良い物を選ぶ
  • 次に2つの特徴を選択して、その中でRSSが一番低いものを選ぶ
  • これを続けると、RSSがconvergeしなくなる。そこでやめる(特徴数D)
  • そこで、validationやCross validationを使って、各モデルを評価する
    • validationとCross validationを分ける
  • でもこれは計算量が多すぎる(2D+1)

手法2: Greedy Algorithms(Forward Stepsize)

  • 特徴が全くないものから始める
  • 全特徴から一つ選択し、一番エラーの低い特徴を咥える(ここまで一緒)
  • また全特徴から1つ選択し、一番エラーの低い特徴を加える
  • これを繰り返す
    • O(D2) -> At most D Steps
  • この特徴は、エラーが絶対増えない。また、トレーニングエラーが手法1とおなじになる 

手法3: Regularize(Lasso)

  • (復習) Total Cost = measure of fit (RSS) + lambda * measure of magnitude of coefficeints(||w||^2 < - L2 norm)
    • これをL1 normにする
      • lambda still governs solution
      • lambda: tuning parameter = balance of fit and sparsity
      • lambda = 0: w_hat_lasso = w_hat_least square(unregularized solution
      • lambda = inf: w_hat_lasso = 0
      • 0 < lambda < inf: 0 <= norm(w_hat_lasso) <= norm(w_hat_least_square)
    • 小さな0以外のwが望ましい
  • 全部の特徴のせモデルから初めて、いらないwを0にする手法
    • Ridge Coefficientsを閾値にかけるのは、類似した特徴がある場合に無意味。例えば# of bathroomと# of showerそれぞれのcoefficientsが低くとも、2つには相関性があるので、実質的にはそれが合算されたものであるべきであり、それは閾値を超える可能性があるから
    • Lassoを使えば、弱い特徴を0にできる(Sparsity!)

Ridge Cost in 2D

  • RSS

  • L2Norm

  • Combined

Lasso Cost in 2D

  • RSS will be the same
  • L1 Norm

  • Combined
    • RSSエラーとL1Normだと、角だとSparse Solutionになる
    • hihger dimensionだと、もっとpointierなグラフになるので、角にあたりやすい

optimizing the lasso objective

  • issue: derivative of |w|?
    • Critical value of derivative? -> does not exist!!
    • so do subgradients or coordinate descent
    • So no closed-form solution

Coordinate descent (Aside1)

  • Converges for lasso object
  • Often hard to find min for all coordinates, but easy for each coordkinate ( by fixiing others)
  • NO Step Size
  • How Do we pick next coordinate ?
    • random

Normalizing feature (Aside2)

  • take a column data (feature) -> Scale it
  • Dont forget to apply same sacle(Zj) to test data

Optimizing least squares objective one coordinate at a time (with normalized features)

Coordinate Descent

  • using soft threasholding

Assessing Convergence

  • Max step size

How to choose lambda

  • same

    • big data:divide up into traininset, validation set, test set
      • fit w_lambda, select lambda by testing performance of w_lambda, assess generalization error of best w_lambda
    • small data: k-fold cross validation
  • FOr lasso, you may choose smaller lambda than optimal choice for feature selection

Practical issue

  • Lasso shrinks coefficients relative to LS solution
    • more bias, less variance
      • To lessen bias... run lasso to select feature, then run ls regression with only selected features

Question

  • why to sparse
  • Why you want to include both correlated feature

2016年の抱負、やること、やらないこと

抱負と目標

  • 心技体を充実させる
  • あまり抱負と目標を区別せず書いてみた

  • 一時の感情に流されない。BGの異なる人間とのやり取りでも平常心を保てるようになる(ストレス耐性の向上)
    • 一時の感情に流されない。
    • 1月中は、週5の瞑想をする
  • 気持ちの切り替えをうまくする
    • やる気のムラがないようにする
    • ポモドーロ・テクニックを取得する
  • 継続性を向上する。習慣を持続させる
    • インプット・アウトプットを定期的にする
    • インプット: feedly記事を毎日読む。1月中は、週3~4の筋トレをする。1月中に8冊本を読む
    • アウトプット: まずは、最低週一ブログに何かしら書けるようにする
  • 家族と時間を過ごす
    • 2月に一度実家へ帰る
    • 自ら予定を作り、1月中に自分手動でどこかに行く

趣味

IT系

  • Androidスペシャリストになる
    • 仕事でAndroidアプリを2つ作って公開する
    • 個人でAndroidアプリを1つ作って公開する
    • 個人でAndroidライブラリを1つ作って公開する
  • Webアプリの作成 in Python
    • 1つ作って公開する
  • 機械学習の初学者を脱する
    • 6月までにCourseraのMachine Learning Specializationを終わらせる
      • Regression, Classification, Clustering & Retrieval, Recommender System & Dimensionality Reduction
    • 上記のまとめ・わかりにくかった部分を理解する
      • Qiita/本ブログにOutputする

セキュリティ系

  • ベンチャーにおけるセキュリティ体制の構築におけるスペシャリストになる
    • 上記のIT系とあわせると結構もやっとしてる。自分はどちらに軸足を起きたいのか。今のところ、開発側なんだよな
    • セキュリティスペシャリストの評価の仕方など
    • 考えをまとめて発信する

お金系

  • ちゃんと資産管理をする (貯金はできてる)
    • 株でNIISA枠使い切る
    • 株でプラスになる
    • 401でプラスになる
    • 故郷納税する!
    • 四季報を読む
    • 決算短信を読む
    • 日経を読む(目を通す)

  • 週3回ジムに行く
    • 健康体を保つ
    • ベンチ70kg x 3、最大90kgできるようになる
    • デッドリフト20kgできるようになる

やらないこと

  • 本を年間100冊よむこと
  • ポーカー(進んでやらない)

  • CTF
  • 脆弱性診断
  • というより、セキュリティの技術向上
    • 手を動かさない、という意味
  • iOSアプリ作成
  • インフラ
  • Ruby

  • キックボクシングで対人テクを向上させること
  • ボルダリング
  • スノボ

やるかやらないか迷ってること

  • IoT
  • ブロックチェーンの初心者になる
    • まだどうアプローチするか考えてない
    • 読んで、実装してみる??