24小时热门版块排行榜    

查看: 2955  |  回复: 16
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

sunices

木虫 (初入文坛)

[交流] 【求助】欧式距离在很高维空间是否有维数灾难问题(太重要了)

我们知道维数灾难(Curse of Dimensionality)是说由于维数增加使得空间体积指数级增长所引起的问题。一个方法的性能如果受空间体积指数级增长的影响,则发生维数灾难。例如估计密度函数的邻域法,当维数较高时,在大部分邻域内是没有样本的,从而邻域法取不到样本。
(1)对于计算空间中两个点之间距离的欧式距离公式,其计算的欧式距离在很高维空间是否有维数灾难问题?
(2)当维数很高时,是否欧式距离测度将使得任两点间的距离趋向相等?
    此问题的重要性在于,广泛使用的欧式距离在高维空间若有维数灾难问题,那么现有的与欧式距离有关的大部分方法将在高维空间失效,不能使用!例如在做高维数据的聚类时就碰到这个问题,若此问题成立,则基于欧式距离的聚类方法都不能使用!
    那么如何分析这个问题?有什么可参考的文章?

请大家指点!

看了大家的回复,这里举个例子以更好地说明:
    数据(1,0)和(0,1)是2维的,放在平面上就是2个点,可以计算这2个点之间的欧式距离为根号2;数据(1,0,1)和(0,1,0)是3维的,可在3维空间中表示这2个点,可以计算这2个点之间的欧式距离为根号3;这种低维情况没有维数灾难问题。那么,若数据(1,0,1,0,1,0,...)和(0,1,0,1,0,1,...)是例如1万或1亿维的(生物学中的基因表达数据就有上万维的数据),就要考虑是否有维数灾难问题。此时,就需要知道上述(1)和(2)的问题是否成立。

[ Last edited by sunices on 2010-4-1 at 08:39 ]
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Pchief

铁杆木虫 (正式写手)


sunices(金币+1):谢谢参与
sunices(金币+2):借鉴了: 维数 n 会出现在这些量的指数位置,指数的爆炸式增长是没有东西能够对付的。 2010-05-30 17:13:36
楼主对问题的提法不够明确,按我的理解,好比说一个单位方体,它的相距最远的两个顶点的欧氏距离是维数 n 的平方根,我觉得这个增长速度还算可以,一个三万维方体的直径也不过是一个三维方体的一百倍而已(假定边长相同)。

当然对于象体积一类的几何量那就不行了,维数 n 会出现在这些量的指数位置,指数的爆炸式增长是没有东西能够对付的。

[ Last edited by Pchief on 2010-3-30 at 20:16 ]
9楼2010-03-30 20:13:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 17 个回答

scuxchen

金虫 (著名写手)


sunices(金币+1):谢谢参与
感觉很高深,不懂。
更想知道这个“维数”是什么维数。
拳打脚踢
2楼2010-03-27 16:52:22
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

小雨萌萌

铜虫 (文坛精英)

优秀版主



sunices(金币+1):谢谢参与
对于算法的收敛性证明也是如此。好多东西在高维时做不下去。可惜了那么多漂亮的结果。比如任意有界子集是相对紧集。

[ Last edited by 小雨萌萌 on 2010-3-27 at 19:33 ]
3楼2010-03-27 17:26:56
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

just_play

至尊木虫 (正式写手)


sunices(金币+1):谢谢参与
引用回帖:
Originally posted by 小雨萌萌 at 2010-03-27 17:26:56:
对于算法的收敛性证明也是如此。好多东西在高维时做不下去。可惜了那么多漂亮的结果。比如单点集是闭集。

看不懂斑竹举的例子:

只要所考察的拓扑空间是豪斯多夫空间,那么单点集就一定是闭集。这个与维数无关吧??
So Trivial !
4楼2010-03-27 17:49:46
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通表情 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 296求调剂 +5 大口吃饭 身体健 2026-03-13 5/250 2026-03-17 21:05 by 不惑可乐
[考研] 材料专硕306英一数二 +7 z1z2z3879 2026-03-16 9/450 2026-03-17 17:31 by ccjequ
[考研] 304求调剂 +8 小熊joy 2026-03-14 8/400 2026-03-17 17:29 by ruiyingmiao
[基金申请] 被我言中:新模板不强调格式了,假专家开始管格式了 +3 beefly 2026-03-14 3/150 2026-03-17 16:45 by RRRKKK
[考研] 290求调剂 +3 p asserby. 2026-03-15 4/200 2026-03-17 16:35 by wangkm
[考研] 一志愿苏州大学材料工程(085601)专硕有科研经历三项国奖两个实用型专利一项省级立项 +6 大火山小火山 2026-03-16 8/400 2026-03-17 15:05 by 无懈可击111
[考研] 285化工学硕求调剂(081700) +9 柴郡猫_ 2026-03-12 9/450 2026-03-17 10:18 by Sammy2
[考研] 267一志愿南京工业大学0817化工求调剂 +6 SUICHILD 2026-03-12 6/300 2026-03-17 09:24 by 雾散后相遇lc
[考研] 085600材料与化工 求调剂 +13 enenenhui 2026-03-13 14/700 2026-03-16 15:19 by 了了了了。。
[考研] 297求调剂 +4 学海漂泊 2026-03-13 4/200 2026-03-14 11:51 by 热情沙漠
[考研] 招收0805(材料)调剂 +3 18595523086 2026-03-13 3/150 2026-03-14 00:33 by 123%、
[考研] [0860]321分求调剂,ab区皆可 +4 宝贵热 2026-03-13 4/200 2026-03-13 22:01 by 星空星月
[考研] 0703化学一志愿211 总分320求调剂 +5 玛卡巴卡啊哈 2026-03-11 5/250 2026-03-13 21:40 by JourneyLucky
[考研] 333求调剂 +3 球球古力 2026-03-11 3/150 2026-03-13 21:27 by JourneyLucky
[考研] (081700)化学工程与技术-298分求调剂 +12 11啦啦啦 2026-03-11 35/1750 2026-03-13 21:25 by JourneyLucky
[考研] 329求调剂 +3 miaodesi 2026-03-12 4/200 2026-03-13 20:53 by 18595523086
[考研] 301求调剂 +6 Liyouyumairs 2026-03-11 6/300 2026-03-13 20:11 by JourneyLucky
[考研] 295求调剂 +3 小匕仔汁 2026-03-12 3/150 2026-03-13 15:17 by vgtyfty
[考研] 277求调剂 +4 anchor17 2026-03-12 4/200 2026-03-13 11:15 by 白夜悠长
[考研] 0817化学工程与技术考研312分调剂 +3 T123 tt 2026-03-12 3/150 2026-03-13 10:49 by houyaoxu
信息提示
请填处理意见