应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 生物医药区 » 药学 » 其它 » [转载]主成分分析，聚类分析，因子分析的基本思想以及他们各自的优缺点
172/2返回列表上一页12
查看: 6706  |  回复: 16
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

wyr1989

铁杆木虫 (著名写手)

千禧虫~
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
pca的应用领域好宽泛啊。。
赞一下 回复此楼
人生如钟摆，总是在无聊与痛苦之间徘徊，谁能逃得过时间之蹄而不衰老？谁能躲得过现实之锤而不折骨？不能，不能！---叔本华
11楼2013-08-18 16:57:09
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

独立寒江雪

新虫 (初入文坛)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
看完清晰许多，不过聚类里面可以讲得更细致些！
赞一下 回复此楼
12楼2013-10-22 15:13:37
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

因幡

木虫 (小有名气)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
马克，之后再来看吧
赞一下(1人) 回复此楼
一直在围观,从来不吐槽
13楼2014-02-18 10:59:33
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

人鱼禾斗

禁虫 (小有名气)
送红花一朵
本帖内容被屏蔽
14楼2015-06-23 15:26:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

54一根烟

银虫 (初入文坛)
好的，讲的好
回复此楼
我梦寐以求，是梦想和自由。
15楼2015-08-06 12:04:49
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

cynlicious

新虫 (小有名气)
很有用，谢谢楼主
回复此楼
气顺，心顺，事顺。不要有功利心，耶！
16楼2015-08-07 11:59:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

jiawenqi111

新虫 (初入文坛)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
借着楼主的这个话题，最近做的项目中用到了这几个算法（实际上是调用了大数据机器学习算法的开源接口spark的ml库）我也总结一番。
先说说聚类相关的内容。
（一）k-means算法
首先是k-means算法，k-means算法是聚类分析中使用最广泛的算法之一。它把n个样本根据它们的属性特征分为k个聚类，也常被称作k个簇，以便使得所获得的聚类满足：同一聚类（同一个簇）中的样本相似度较高；而不同聚类（不同簇）中的样本相似度较小。
1、k-means算法的基本过程如下所示：
（1）任意选择k个初始中心c_{1},c_{2},...,c_{k} 。
（2）计算X中的每个样本与这些中心的距离；并根据最小距离重新对相应样本进行划分；
（3）重新计算每个中心对象 C_{i} 的值
（4）计算标准测度函数，当满足一定条件，如函数收敛时，则算法终止；如果条件不满足则重复步骤（2），（3）。
2、k-means算法的缺点，k-means算法虽然简单快速，但是存在下面的缺点：
聚类中心的个数K需要事先给定，但在实际中K值的选定是非常困难的，很多时候我们并不知道给定的数据集应该分成多少个类别才最合适。
k-means算法需要随机地确定初始聚类中心，不同的初始聚类中心可能导致完全不同的聚类结果。
第一个缺陷我们很难在k-means算法以及其改进算法中解决，但是我们可以通过k-means++算法来解决第二个缺陷。

（二）k-means++算法
1、k-means++算法选择初始聚类中心的基本原则是：初始的聚类中心之间的相互距离要尽可能的远。它选择初始聚类中心的步骤是：
（1）从输入的数据点集合中随机选择一个点作为第一个聚类中心 c_{1} ；
（2）对于数据集中的每一个点x，计算它与最近聚类中心(指已选择的聚类中心)的距离D(x)，并根据概率选择新的聚类中心 c_{i} 。
（3）重复过程（2）直到找到k个聚类中心。
2、第(2)步中，依次计算每个数据点与最近的种子点（聚类中心）的距离，依次得到D(1)、D(2)、...、D(n)构成的集合D，其中n表示数据集的大小。在D中，为了避免噪声，不能直接选取值最大的元素，应该选择值较大的元素，然后将其对应的数据点作为种子点（聚类中心）。
3、那么如何选择值较大的元素呢，下面是spark中实现的思路：
求所有的距离和Sum(D(x))
取一个随机值，用权重的方式来取计算下一个“种子点”。这个算法的实现是，先用Sum(D(x))乘以随机值Random得到值r，然后用currSum += D(x)，直到其currSum > r，此时的点就是下一个“种子点”。
为什么用这样的方式呢？我们换一种比较好理解的方式来说明。把集合D中的每个元素D(x)想象为一根线L(x)，线的长度就是元素的值。将这些线依次按照L(1)、L(2)、...、L(n)的顺序连接起来，组成长线L。L(1)、L(2)、…、L(n)称为L的子线。 根据概率的相关知识，如果我们在L上随机选择一个点，那么这个点所在的子线很有可能是比较长的子线，而这个子线对应的数据点就可以作为种子点。
(三）二分k-means算法
1、二分k-means算法是分层聚类（Hierarchical clustering）的一种，分层聚类是聚类分析中常用的方法。 分层聚类的策略一般有两种：
聚合。这是一种自底向上的方法，每一个观察者初始化本身为一类，然后两两结合
分裂。这是一种自顶向下的方法，所有观察者初始化为一类，然后递归地分裂它们
二分k-means算法是分裂法的一种。

2、二分k-means算法是k-means算法的改进算法，相比k-means算法，它有如下优点：
二分k-means算法可以加速k-means算法的执行速度，因为它的相似度计算少了
能够克服k-means收敛于局部最小的缺点
二分k-means算法的一般流程如下所示：
（1）把所有数据初始化为一个簇，将这个簇分为两个簇。
（2）选择满足条件的可以分解的簇。选择条件综合考虑簇的元素个数以及聚类代价（也就是误差平方和SSE）
（3）使用k-means算法将可分裂的簇分为两簇。
（4）一直重复（2）（3）步，直到满足迭代结束条件。
以上过程隐含着一个原则是：因为聚类的误差平方和能够衡量聚类性能，该值越小表示数据点越接近于它们的质心，聚类效果就越好。 所以我们就需要对误差平方和最大的簇进行再一次的划分，因为误差平方和越大，表示该簇聚类越不好，越有可能是多个簇被当成一个簇了，所以我们首先需要对这个簇进行划分。
(三）高斯混合模型
顾名思义，就是数据可以看作是从多个高斯分布中生成出来的。从中心极限定理可以看出，高斯分布这个假设其实是比较合理的。 为什么我们要假设数据是由若干个高斯分布组合而成的，而不假设是其他分布呢？实际上不管是什么分布，只K取得足够大，这个XX Mixture Model就会变得足够复杂，就可以用来逼近任意连续的概率密度分布。只是因为高斯函数具有良好的计算性能，所GMM被广泛地应用。
每个GMM由K个高斯分布组成，每个高斯分布称为一个组件（Component），这些组件线性加成在一起就组成了GMM的概率密度函数。如果我们要从GMM分布中随机地取一个点，需要两步：
随机地在这K个组件之中选一个，每个组件被选中的概率实际上就是它的系数pi_k；
选中了组件之后，再单独地考虑从这个组件的分布中选取一个点。
  怎样用GMM来做聚类呢？其实很简单，现在我们有了数据，假定它们是由GMM生成出来的，那么我们只要根据数据推出GMM的概率分布来就可以了，然后GMM的K个组件实际上就对应了K个聚类了。
再说说PCA算法：
（四）在机器学习领域中，我们对原始数据进行特征提取，有时会得到比较高维的特征向量。在这些向量所处的高维空间中，包含很多的冗余和噪声。我们希望通过降维的方式来寻找数据内部的特性，从而提升特征表达能力，降低训练复杂度CA(principal components analysis)， 即主成分分析，旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。
PCA的求解方法：
对样本进行中心化处理
求样本的协方差矩阵
对协方差矩阵进行特征值分解，将特征值从大到小排列
取前k大的特征值对应的特征向量
最后通过向量内积映射将n维样本向量映射到k维

就先总结这么多吧，回复不能编辑公式，有些总结的比较含糊。。
赞一下 回复此楼
专注高校科研大数据分析平台——数据超市产品（www.bigdata711.com）
17楼2018-01-23 13:17:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 jixiaw 的主题更新
172/2返回列表上一页12
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 某些机构，以效率低为荣，以效率低作为存在感 +3 yuleib84 2026-08-25 4/200 2026-08-25 13:31 by zjjcn2001
[基金申请] 在坚冰还盖着北海的时候，我看到了怒放的梅花。 +3 ziyangfang 2026-08-25 3/150 2026-08-25 13:14 by huagongfeihu
[基金申请] 如果此刻你正在为国基感到焦虑，不妨来听听这首《基金之外》 +8 scalable 2026-08-24 8/400 2026-08-25 12:52 by jnhyjjm
[基金申请] 没有任何消息-是不是就凉了 +9 图啦图啦 2026-08-24 10/500 2026-08-25 11:59 by 南海小哥
[基金申请] 人气不行了 +11 fansofjerry 2026-08-21 11/550 2026-08-25 11:04 by 孤独的英雄6
[基金申请] 今天基金会出结果吗？20260819 +17 kkkl_v 2026-08-19 18/900 2026-08-25 09:41 by windflowerwy
[基金申请] 我面上完蛋了 +13 且听虎啸 2026-08-20 14/700 2026-08-25 09:10 by mrkang
[基金申请] 范进中举一文的中心思想 +7 炎黄贵胄 2026-08-22 8/400 2026-08-25 08:48 by ZJTJZ
[基金申请] 只有每年这种时候来逛逛小木虫 +25 yaoyewhu2008 2026-08-20 27/1350 2026-08-25 08:01 by Equinoxhua
[基金申请] 建议基金发布提前给出明确的时间点 +13 kulium 2026-08-21 16/800 2026-08-24 16:27 by superceng
[基金申请] 今日不放榜？网传国自然预计 8 月 27 日可查结果 +17 医学老男孩 2026-08-20 21/1050 2026-08-24 14:21 by refreshing11
[基金申请] 让我中一个面上吧！ +13 大萍1987 2026-08-20 16/800 2026-08-24 10:23 by 太傻了
[基金申请] 放榜前的不淡定 20+4 snowwithsea 2026-08-19 17/850 2026-08-24 10:20 by echo8914667
[基金申请] 科研孤儿太难了 +18 我4大白菜 2026-08-20 19/950 2026-08-24 09:47 by 凯恩广盛催化分�
[基金申请] 什么时候开奖？ +10 CrisMessi 2026-08-18 11/550 2026-08-24 06:50 by 开心的小狮子
[教师之家] 跳槽后在研项目怎么办？ +5 简单化xn 2026-08-22 10/500 2026-08-23 12:38 by 简单化xn
[基金申请] 今天放榜吗？ +15 布布和一二 2026-08-19 16/800 2026-08-23 09:55 by 张春生
[基金申请] 应该是下周三26日公布了吧？ +4 哈哈蛤？ 2026-08-21 4/200 2026-08-21 10:58 by Vivilian
[基金申请] 基金啊基金 +4 longfie172 2026-08-20 4/200 2026-08-21 08:58 by mark mao
[基金申请] 明天放榜？ +5 Shxjjxjkx 2026-08-18 5/250 2026-08-18 18:14 by -大大大大大-
信息提示
关闭
请填处理意见
关闭