<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>Turbo</title>
    <description></description>
    <link>http://clhchtcjj.github.io/</link>
    <atom:link href="http://clhchtcjj.github.io/feed.xml" rel="self" type="application/rss+xml"/>
    <pubDate>Sun, 11 Mar 2018 13:55:34 +0000</pubDate>
    <lastBuildDate>Sun, 11 Mar 2018 13:55:34 +0000</lastBuildDate>
    <generator>Jekyll v3.6.2</generator>
    
      <item>
        <title>投影寻踪</title>
        <description>&lt;h1 id=&quot;投影寻踪projection-pursuit&quot;&gt;投影寻踪——projection pursuit&lt;/h1&gt;

&lt;h2 id=&quot;1-基本原理&quot;&gt;1. 基本原理&lt;/h2&gt;

投影寻踪是用来分析和处理高维数据，尤其是来自非正态总体的高维数据的一类统计方法。

&lt;strong&gt;基本思想：&lt;/strong&gt;把高维数据通过某种组合，投影到低维（1-3维度）的子空间上，并通过极小化某个投影指标，寻找能够反映高维数据结构或特征的投影，在低维空间上对数据结构进行分析，以达到研究和分析高维数据的目的。

&lt;strong&gt;特点：&lt;/strong&gt;

&lt;ul&gt;
  &lt;li&gt;降维，排除与数据结构和特征无关或关系很小的变量的干扰；&lt;/li&gt;
  &lt;li&gt;可以用来解决某些非线性的问题。PP虽然是以数据的线性投影为基础，&lt;strong&gt;但它找的是线性投影中的非线性结构&lt;/strong&gt;，因此它可以用来解决一定程度的非线性问题，如多元非线性回归。&lt;/li&gt;
&lt;/ul&gt;

有些传统的多元分析方法可以看成是机械投影寻踪的特例。例如主成份分析，判别分析等，但是主成分分析方法是用主成分来描述或逼近原始数据，所反映的是数据的全局特征或宏观特征，这样显然就有可能会漏掉主要的局部特征或细节特征。

PP的出发点是度量投影分布中所含信息的多少，而我们知道高维数据集合的线性投影几乎是正态的，并且正态分布通常为无信息分布的代表。从而寻找与正态分布差异最大的线性投影分布，即含信息量最多的投影分布，成为PP方法的常用方式之一。

&lt;strong&gt;一般方案：&lt;/strong&gt;

&lt;ul&gt;
  &lt;li&gt;选定一个分布模型作为标准（一般是正态分布），认为它是最不感兴趣的结构；&lt;/li&gt;
  &lt;li&gt;将数据投影到低维空间上，找出数据与标准模型相差最大的投影，这表明在投影中含有标准模型没能反映出的结构；&lt;/li&gt;
  &lt;li&gt;将上述投影中包含的结构从原始数据中剔除，得到改进后的新数据；&lt;/li&gt;
  &lt;li&gt;对新的数据重复上述第二和第三步骤，直到数据与标准模型在任何投影空间都没有明显的差异为止。&lt;/li&gt;
&lt;/ul&gt;

&lt;strong&gt;常用的投影指标&lt;/strong&gt;：

&lt;ul&gt;
  &lt;li&gt;
    方差指标，

    ​					$Q({\bf{a}}^TX)=\frac{1}{n}\sum_{i=1}^n({\bf{a}}^Tx_i-E({\bf{a}}^TX))$

    最大化这个指标，能求得最好的投影分布。主成分分析就是取样本方差为投影指标的PP方法。
  &lt;/li&gt;
  &lt;li&gt;
    Friedman指标
  &lt;/li&gt;
  &lt;li&gt;
    偏度指标和峰度指标
  &lt;/li&gt;
  &lt;li&gt;
    信息散度指标
  &lt;/li&gt;
&lt;/ul&gt;

</description>
        <pubDate>Sat, 10 Mar 2018 00:00:00 +0000</pubDate>
        <link>http://clhchtcjj.github.io/2018/03/10/PP/</link>
        <guid isPermaLink="true">http://clhchtcjj.github.io/2018/03/10/PP/</guid>
        
        <category>machine-learning</category>
        
        
        <category>machine-learning</category>
        
      </item>
    
      <item>
        <title>PCA算法</title>
        <description>&lt;h1 id=&quot;pca&quot;&gt;PCA&lt;/h1&gt;

主成分分析(Principe Component Analysis，PCA)，属于最常用的降维方法之一。顾名思义，主成分分析就是找出数据的主要部分来替代表示原始数据。

所谓主要部分，就是用它来表示原始数据时，误差小。

那么如何衡量这个误差呢？

首先，将数据从高维降低到低维，实际上就是找一个超平面，使其能够对所有样本进行恰当的表达。

那么，PCA主要从两个角度来衡量：

&lt;ul&gt;
  &lt;li&gt;最近重构性：样本点到这个超平面的距离都足够接近&lt;/li&gt;
  &lt;li&gt;最大可分性：样本点在这个超平面上的投影能尽可能分开&lt;/li&gt;
&lt;/ul&gt;

</description>
        <pubDate>Sat, 10 Mar 2018 00:00:00 +0000</pubDate>
        <link>http://clhchtcjj.github.io/2018/03/10/PCA/</link>
        <guid isPermaLink="true">http://clhchtcjj.github.io/2018/03/10/PCA/</guid>
        
        <category>machine-learning</category>
        
        
        <category>machine-learning</category>
        
      </item>
    
      <item>
        <title>多维缩放MDS和Sammon映射</title>
        <description>&lt;h1 id=&quot;多维缩放mds和sammon映射&quot;&gt;多维缩放MDS和Sammon映射&lt;/h1&gt;

多维缩放和sammon映射都是比较经典的降维技术，相同点在于期望在将高维数据从原空间映射到低维子空间时，保留数据点之间的距离信息；不同点在于MDS是线性降维，而sammon映射的非线性降维。下面将简单介绍这两种技术。

</description>
        <pubDate>Sat, 10 Mar 2018 00:00:00 +0000</pubDate>
        <link>http://clhchtcjj.github.io/2018/03/10/MDS-sammon/</link>
        <guid isPermaLink="true">http://clhchtcjj.github.io/2018/03/10/MDS-sammon/</guid>
        
        <category>machine-learning</category>
        
        
        <category>machine-learning</category>
        
      </item>
    
      <item>
        <title>【paper reading】Wide &amp; Deep Learning for Recommender Systems</title>
        <description>&lt;blockquote&gt;
  本文出自Google，是一篇介绍Google Mobile App Store 推荐系统的工程性文章。全文虽只有四页，但却介绍了一个完整的推荐系统框架，可为工程实践、项目提供指导与借鉴。
原文地址：&lt;a href=&quot;http://arxiv.org/abs/1606.07792&quot;&gt;http://arxiv.org/abs/1606.07792&lt;/a&gt;

  后期，Google在tensorflow中开放了该算法的API，详情参看&lt;a href=&quot;https://research.googleblog.com/2016/06/wide-deep-learning-better-together-with.html&quot;&gt;google research blog&lt;/a&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;1-introduction&quot;&gt;1. Introduction&lt;/h2&gt;
Memorization 和 generalization 一直是推荐系统十分关注的问题。所谓 memorization 就是基于用户历史数据，挖掘出频繁出现的 item 或 feature。显然，基于 memorization 推荐的通常是那样与用户历史行为数据局部相关或者直接相关的物品。而 generalization 要是基于相关性之间的传递， 探索历史上没有出现的新的特征的组合，着眼于提高推荐的多样性。

google research blog对这两个词给出了更为形象的解释，将memorization类比成人类大脑的记忆功能，而generalization则是人类大脑的归纳功能。两者相辅相成，共同促进。

那么，能否将memorization和generation结合成一个性能更好的推荐模型呢？

基于这一想法，google 推出了 &lt;strong&gt;Wide &amp;amp; Deep Learning&lt;/strong&gt; 模型，该模型能够高效的解决那些&lt;strong&gt;输入数据巨大且稀疏的分类或回归问题&lt;/strong&gt;，如推荐、搜索和排序等

</description>
        <pubDate>Tue, 06 Mar 2018 00:00:00 +0000</pubDate>
        <link>http://clhchtcjj.github.io/2018/03/06/google-wide-deep/</link>
        <guid isPermaLink="true">http://clhchtcjj.github.io/2018/03/06/google-wide-deep/</guid>
        
        <category>recommendation</category>
        
        <category>deep-learning</category>
        
        
        <category>recommendation</category>
        
        <category>deep-learning</category>
        
      </item>
    
      <item>
        <title>今日头条推荐技术</title>
        <description>&lt;h1 id=&quot;今日头条推荐技术&quot;&gt;今日头条推荐技术&lt;/h1&gt;

&lt;blockquote&gt;
  如果用形式化的方式去描述，那推荐系统实际上是拟合一个用户对内容的满意程度函数：$y=F(x_i,x_u,x_c)$。显然，这个函数需要输入三个维度的变量:

  &lt;ul&gt;
    &lt;li&gt;第一个维度是内容特征：对于头条这样一个综合平台来说，内容包含：图文、视频、UGC小视频、问答、微头条。每种内容都有自己的特征，通常会采用不同的技术对不同的内容提取特征&lt;/li&gt;
    &lt;li&gt;第二个维度是用户特征：包括兴趣标签、职业、年龄、性别、还有其他模型刻画出的隐式的用户兴趣等&lt;/li&gt;
    &lt;li&gt;第三个维度是环境特征：这是移动互联网时代推荐的特点，用户随时随地移动，在工作、通勤、旅游等不同的场景，信息偏好有所偏移。&lt;/li&gt;
  &lt;/ul&gt;

  结合三方面的维度，模型会给出一个预估。
&lt;/blockquote&gt;

&lt;em&gt;本文摘录自曹欢欢《今日头条算法原理》&lt;/em&gt;

</description>
        <pubDate>Mon, 05 Mar 2018 00:00:00 +0000</pubDate>
        <link>http://clhchtcjj.github.io/2018/03/05/Recommendation-on-Tou-Tiao/</link>
        <guid isPermaLink="true">http://clhchtcjj.github.io/2018/03/05/Recommendation-on-Tou-Tiao/</guid>
        
        <category>recommendation</category>
        
        
        <category>recommendation</category>
        
      </item>
    
      <item>
        <title>集成学习</title>
        <description>&lt;h1 id=&quot;集成学习ensemble-learning&quot;&gt;集成学习（Ensemble Learning）&lt;/h1&gt;

</description>
        <pubDate>Sun, 04 Mar 2018 00:00:00 +0000</pubDate>
        <link>http://clhchtcjj.github.io/2018/03/04/Ensemble-Learning/</link>
        <guid isPermaLink="true">http://clhchtcjj.github.io/2018/03/04/Ensemble-Learning/</guid>
        
        <category>machine-learning</category>
        
        
        <category>machine-learning</category>
        
      </item>
    
  </channel>
</rss>
