深圳SEO设为首页收藏本站

深圳SEO|网站优化|网络推广|网络营销|网站排名-第六维网络

 找回密码
 立即注册

QQ登录

只需一步,快速开始

第六维SEO博主简介

第六维网络科技博主5年SEO大型网站优化经验,毕业于SEO搜外课堂,SEO研究协会网总群管理员,接手几十个装修,搬家,婚纱摄影,培训网站优化经验,

研究web超链分析算法、PageRank算法、HITS算法、SALSA算法、PHITS算法、贝叶斯算法、Reputation算法。基于随机漫游模型的,比如PageRank,Repution算法。精通数据统计、数据分析、产品分析、用户心理,数据挖掘,长尾关键字全覆盖战略,

优化过大型网站权重6的留学网站,权重4的教育网站,拥有大批外链资源,高权重友情链接资源,新闻源媒体资源,SEO排名的核心是用户需求点的挖掘,精通搜索引擎原理、链接策略、蜘蛛抓取规则、tf/idf、向量空间模型、关键词挖掘、关键词定位、关键词布局、用户需求、文本处理、数据分析、流量统计、工具使用、竞争对手分析,

主要业务有:为深圳中小企业提供SEO顾问,网站排名,网络推广,网络营销,SEO整站优化。电话:15173140967 联系QQ:784828177QQ咨询

搜索
热搜: 活动 交友 discuz
查看: 3213|回复: 0

TF-IDF及其算法

[复制链接]

690

主题

713

帖子

3468

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
3468

最佳新人活跃会员热心会员推广达人宣传达人灌水之王突出贡献优秀版主荣誉管理论坛元老

发表于 2015-2-22 18:25:16 | 显示全部楼层 |阅读模式
概念
     TF-IDFterm frequency–inverse document frequency)是一种用于资讯检索与资讯探勘的常用加权技术TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降长沙SEO了解到,TF-IDF加权的各种形式常被搜寻引擎应用,作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外,因特网上的搜寻引擎还会使用基于连结分析的评级方法,以确定文件在搜寻结果中出现的顺序。
  
原理
      在一份给定的文件里,词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(分子一般小于分母 区别于IDF以防止它偏向长的文件。(同一个词语在长文件里可能会比短文件有更高的词频,而不管该词语重要与否。)
  逆向文件频率 (inverse document frequency, IDF) 是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到。
  某一特定文件内的高词语频率,以及该词语在整个文件集合中的低文件频率,可以产生出高权重的TF-IDF。因此,TF-IDF倾向于过滤掉常见的词语,保留重要的词语。
      TFIDF的主要思想是如果某个词或短语在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。TFIDF实际上是:TF * IDFTF词频(Term Frequency)IDF反文档频率(Inverse Document Frequency)TF表示词条在文档d中出现的频率(另一说:TF词频(Term Frequency)的是某一个给定的词语在该文件中出现的次数)。IDF的主要思想是:如果包含词条t的文档越少,也就是n越小,IDF越大则说明词条t具有很好的类别区分能力。如果某一类文档C包含词条t的文档数为m而其它类包含t的文档总数为k显然所有包含t的文档数n=m+k,当m的时候,n也大,按照IDF公式得到的IDF的值会小,就说明该词条t类别区分能力不强。(另一说:IDF反文档频率(Inverse Document Frequency)是指果包含词条的文档越少,IDF越大,则说明词条具有很好的类别区分能力)但是实际上,如果一个词条在一个类的文档中频繁出现,则说明该词条能够很好代表这个类的文本的特征,这样的词条应该给它们赋予较高的权重,并选来作为该类文本的特征词以区别与其它类文档。这就是IDF的不足之处.
      在一份给定的文件里,词频term frequencyTF)指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数(term count)的归一化,以防止它偏向长的文件。(同一个词语在长文件里可能会比短文件有更高的词数,而不管该词语重要与否。)对于在某一特定文件里的词语 file:///C:/DOCUME~1/ADMINI~1/LOCALS~1/Temp/ksohtml/wps78.tmp.jpg 来说,它的重要性可表示为:
      以上式子中 该词在文件中的出现次数,而分母则是在文件中所有字词的出现次数之和。
      逆向文件频率inverse document frequencyIDF)是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到:
其中
· |D|:语料库中的文件总数
· :包含词语的文件数目(即的文件数目)如果该词语不在语料库中,就会导致被除数为零,因此一般情况下使用
然后
      某一特定文件内的高词语频率,以及该词语在整个文件集合中的低文件频率,可以产生出高权重的TF-IDF。因此,TF-IDF倾向于过滤掉常见的词语,保留重要的词语


示例

一:有很多不同的数学公式可以用来计算TF-IDF。这边的例子以上述的数学公式来计算。词频 (TF) 是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个,而词语母牛出现了3次,那么母牛一词在该文件中的词频就是3/100=0.03。一个计算文件频率 (DF) 的方法是测定有多少份文件出现过母牛一词,然后除以文件集里包含的文件总数。所以,如果母牛一词在1,000份文件出现过,而文件总数是10,000,000份的话,其逆向文件频率就是 log(10,000,000 / 1,000)=4。最后的TF-IDF的分数为0.03 * 4=0.12
二:根据关键字k1,k2,k3进行搜索结果的相关性就变成TF1*IDF1 + TF2*IDF2 + TF3*IDF3比如document1term总量为1000k1,k2,k3document1出现的次数是10020050。包含了 k1, k2, k3docuement总量分别是 1000100005000document set的总量为10000TF1 = 100/1000 = 0.1 TF2 = 200/1000 = 0.2 TF3 = 50/1000 = 0.05 IDF1 = log(10000/1000) = log(10) = 2.3 IDF2 = log(10000/100000) = log(1) = 0; IDF3 = log(10000/5000) = log(2) = 0.69 这样关键字k1,k2,k3docuement1的相关性= 0.1*2.3 + 0.2*0 + 0.05*0.69 = 0.2645 其中k1k3的比重在document1要大,k2的比重是0.
三:在某个一共有一千词的网页中原子能应用分别出现了 2 次、35 次 和 5 次,那么它们的词频就分别是 0.0020.035 0.005。 我们将这三个数相加,其和 0.042 就是相应网页和查询原子能的应用相关性的一个简单的度量。概括地讲,如果一个查询包含关键词 w1,w2,...,wN, 它们在一篇特定网页中的词频分别是: TF1, TF2, ..., TFNTF: term frequency)。 那么,这个查询和该网页的相关性就是:TF1 + TF2 + ... + TFN
读者可能已经发现了又一个漏洞。在上面的例子中,词站了总词频的 80% 以上,而它对确定网页的主题几乎没有用。我们称这种词叫应删除词Stopwords),也就是说在度量相关性是不应考虑它们的频率。在汉语中,应删除词还有等等几十个。忽略这些应删除词后,上述网页的相似度就变成了0.007,其中原子能贡献了 0.002应用贡献了 0.005。细心的读者可能还会发现另一个小的漏洞。在汉语中,应用是个很通用的词,而原子能是个很专业的词,后者在相关性排名中比前者重要。因此我们需要给汉语中的每一个词给一个权重,这个权重的设定必须满足下面两个条件:
1. 一个词预测主题能力越强,权重就越大,反之,权重就越小。我们在网页中看到原子能这个词,或多或少地能了解网页的主题。我们看到应用一次,对主题基本上还是一无所知。因此,原子能的权重就应该比应用大。
2. 应删除词的权重应该是零。
长沙SEO认识到,我们很容易发现,如果一个关键词只在很少的网页中出现,我们通过它就容易锁定搜索目标,它的权重也就应该大。反之如果一个词在大量网页中出现,我们看到它仍然不很清楚要找什么内容,因此它应该小。概括地讲,假定一个关键词 w 在 Dw 个网页中出现过,那么 Dw 越大,w的权重越小,反之亦然。在信息检索中,使用最多的权重是逆文本频率指数Inverse document frequency 缩写为IDF),它的公式为log(D/Dw)其中D是全部网页数。比如,我们假定中文网页数是D=10亿,应删除词在所有的网页中都出现,即Dw=10亿,那么它的IDF=log(10亿/10亿)= log (1) = 0。假如专用词原子能在两百万个网页中出现,即Dw=200万,则它的权重IDF=log(500) =6.2。又假定通用词应用,出现在五亿个网页中,它的权重IDF = log(2)则只有 0.7。也就只说,在网页中找到一个原子能的比配相当于找到九个应用的匹配利用 IDF上述相关性计算个公式就由词频的简单求和变成了加权求和,即 TF1*IDF1 + TF2*IDF2 ... + TFN*IDFN在上面的例子中,该网页和原子能的应用的相关性为 0.0161,其中原子能贡献了 0.0126,而应用只贡献了0.0035。这个比例和我们的直觉比较一致了。

本文作者:长沙SEO

相关帖子

回复

使用道具 举报

*验证码:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

深圳SEO|网站优化|网络推广|网络营销|网站排名-第六维网络    

GMT+8, 2018-1-17 01:04 , Processed in 0.071230 second(s), 31 queries .

Powered by 长沙网站优化 X3.2

© 2001-2013 百度关键字排名优化 Templated By SEO谋士团

快速回复 返回顶部 返回列表