汎用的な学習にはマルチタスクが効果的ですよというお話
Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning
本件の汎用的な学習は自然言語の分散ベクトル表現のこと
文単位なら簡単だが文章単位となると難しい問題であった
本来なら単一のタスクのみで学習を行うことが多いのだが（翻訳なら翻訳、構文解析なら構文解析のみという感じ）
複数のタスクをランダムに切り替えつつ学習を行うことで（翻訳、構文解析、前後の文予測、文間関係予測の4つ）
それぞれのタスクにおいて高評価を得られたという内容だ
具体的には機械翻訳や雑談Bot等に良く使われるSeq2Seqモデルをベースとして大規模なマルチタスク学習を行った
入力を処理するEncoderと出力を処理するDecoderを持ち全タスクでEncoderは共有としDecoderのみを切り替えた
たとえ関連性の低いタスクであったとしてもEncoderを共有することで転移学習となり少ないリソースで効果が出る
これは人間の行う学習についても何らかの示唆となりそう
つまり同じ課題ばかりに取り組むのではなく様々な種類の課題に取り組むことが根本の理解を手助けするということ
興味の幅を自分で狭めてしまうのは非常に勿体無いことだ
