你羨慕那些出口就會(huì)吟詩的文人嗎?現(xiàn)在可以不用再羨慕他們了!因?yàn)橐晃痪W(wǎng)友“yixuan”閑來無事，把《全宋詞》拿出來“搗鼓”，算出了其中的99個(gè)高頻詞匯。熟記這些高頻詞，你就可以隨性所欲進(jìn)行創(chuàng)作了!你還可以用“無序”的數(shù)字來創(chuàng)造一首“美妙絕倫”的宋詞，圓周率也可以哦!

　　簡(jiǎn)化宋詞就是“東風(fēng)何處在人間”

　　署名為“yixuan”的網(wǎng)友在個(gè)人博客里寫道：“突然想看看宋詞里面什么樣的意象是最常見的，比如可以做個(gè)頻率分析什么的。當(dāng)然文本挖掘需要分詞，我沒法在其中花太多時(shí)間，于是想出了一個(gè)土辦法。宋詞的句子都很短，如果窮舉可能的字的組合的話并不是太多，況且最常見的詞語一般是兩三個(gè)字，這樣可能的組合就更少了。”比如“猶解嫁東風(fēng)”這句話，可能的二字組合是“猶解”“解嫁”“嫁東”“東風(fēng)”，三字組合是“猶解嫁”“解嫁東”“嫁東風(fēng)”，詞的字?jǐn)?shù)越多，可能的組合就越少。如果把每句話可能的字的組合都列舉出來，就可以整體統(tǒng)計(jì)頻率了。”大家一致分析這位網(wǎng)友一定是個(gè)理科生。

　　隨后， “yixuan”貼出了他算出來的高頻詞，排在前面的分別是：

　　1、1485

　　2、東風(fēng)(1382)

　　3、何處(1230)

　　4、人間(1202)

　　5、風(fēng)流(857)

　　6、歸去(812)

　　7、春風(fēng)(802)

　　8、西風(fēng)(779)

　　9、歸來(771)

　　10、江南(765)

　　……

　　至于為什么第一名是數(shù)字，他解釋：“排在第一的是無效字符，這跟數(shù)據(jù)源有關(guān)。”

　　這個(gè)結(jié)果一出來，一位網(wǎng)友就一語道破了“玄機(jī)”，“原來，最流行的宋詞就是‘東風(fēng)何處在人間’啊!”

　　生日、手機(jī)號(hào) 隨意組合都很美

　　還有更絕的呢!署名為“達(dá)芬奇的雞蛋”的果殼網(wǎng)友不知怎么地，就想到了拿大家都會(huì)背一點(diǎn)的圓周率進(jìn)行創(chuàng)作，兩個(gè)數(shù)字一斷，對(duì)照高頻詞表，一首“華麗麗”的詞就出來了!還附上了說明，特別像模像樣。

　　達(dá)芬奇的雞蛋 @ 果殼

　　清平樂·圓周率

　　回首明月(一看就是抒情詩)

　　14 15

　　悠悠心事空(果然，貌似失戀了)

　　92 65

　　西湖何事寂寞中(觸景生情)

　　35 89 79

　　風(fēng)吹斜陽匆匆(回憶那天下午的艷遇)

　　32 38 46

　　芳草平生斜陽(平生見過最美的太陽和芳草，都是因?yàn)槟抢镉心愕纳碛?

　　26 43 38

　　風(fēng)吹寂寞今日(到現(xiàn)在就剩我自己)

　　32 79 50

　　一枝富貴年年(好花美麗年年開，好景宜人不常在)

　　28 84 19

　　斷腸長(zhǎng)安不知(我的思念遠(yuǎn)方的你可知道?)

　　71 69 39

　　如夢(mèng)令·根號(hào)二

　　深處時(shí)節(jié)千里(過了許多年，男豬腳來到了很遙遠(yuǎn)的地方)

　　41 42 13

　　消息當(dāng)年鴛鴦(這。。找老相好去了?)

　　56 23 73

　　歸來今日(妹子，我胡漢三回來啦)

　　09 50

　　一點(diǎn)無情多少(你還知道來看我啊!)

　　48 80 16

　　今夜，今夜(要出問題了。。。)

　　88 88

　　而今時(shí)節(jié)歸來(仿佛重回當(dāng)年，男豬腳依然那么堅(jiān)挺)

　　72 42 09

　　看完這首詩，網(wǎng)友們一邊膜拜，一邊自己的創(chuàng)作靈感也被打開了。

　　“丘寒”留言道：“試著用某個(gè)號(hào)碼創(chuàng)作了一首：天上相思，芳草年年，昨夜江南，回首一笑多情。”

　　“零Ronnie”很有創(chuàng)作激情：“我的生日：年年江上，江南春風(fēng);我的手機(jī)號(hào)：明月芳草去年，江南闌干歸去……還真挺上口的!我也能做詩人了哈哈!”

　　理科生歡呼：消滅文科生的日子來了

　　可是這么一來，文科生又不淡定了，一群文科生跳起來反擊。

　　“雯名霞邇”大叫：“統(tǒng)統(tǒng)拖出去，斬了!這讓學(xué)中文的人情何以堪啊!”

　　“Rockfish”代表理科生還擊：“理科宅男們消滅文科生的日子到來了!拿起你的計(jì)算器，消滅文藝青年吧!”

　　“可可”童鞋呼喚：“就讓科技小清新來得更猛烈些吧!”

　　還有一群網(wǎng)友七嘴八舌討論著。

　　“沌世界”淡定地說：“不知宋詞的粉絲看了是不是有一種偶像破滅的感覺。”

　　“家杰仕”童鞋也總結(jié)道：“文藝男女已經(jīng)阻止不了技術(shù)宅作詩了!”

　　網(wǎng)友“Rakin”點(diǎn)評(píng)：“理科生文藝得真兇猛!”

　　“焰心Spring”呼吁：“想文藝一回的同學(xué)請(qǐng)轉(zhuǎn)!”

　　“ChanIm”表示：“當(dāng)時(shí)學(xué)寫詩的時(shí)候超鄙視這些，現(xiàn)在淡定了，因?yàn)闆]那么多愁善感了。”

　　“思念的秋天”感慨：“穿越必備!”

　　“NetCharm”說：“背熟了，隨便組合一下，寫出來的也不會(huì)太爛。”

　　“huahualipo”童鞋還提出了意見：“高人，能不能把平仄也加上……如果平仄太困難，至少考慮一下詞尾押韻如何?韻腳也就十來個(gè)，每個(gè)都分配一個(gè)數(shù)值，然后每隔一行，末尾的詞就只從一個(gè)值下選。這樣會(huì)大大增加仿真度啊!”

　　再次神經(jīng)短路，突然想看看宋詞里面什么樣的意象是最常見的，比如可以做個(gè)頻率分析什么的。當(dāng)然文本挖掘需要分詞，我沒法在其中花太多時(shí)間，于是想出了一個(gè)土辦法。宋詞的句子都很短，如果窮舉可能的字的組合的話并不是太多，況且最常見的詞語一般是兩三個(gè)字，這樣可能的組合就更少了。比如“猶解嫁東風(fēng)”這句話，可能的二字組合是“猶解”“解嫁”“嫁東”“東風(fēng)”，三字組合是“猶解嫁”“解嫁東”“嫁東風(fēng)”，詞的字?jǐn)?shù)越多，可能的組合就越少。如果把每句話可能的字的組合都列舉出來，就可以整體統(tǒng)計(jì)頻率了。

　　當(dāng)然里面會(huì)有很多無意義的字的組合，不過這類“詞語”本身的出現(xiàn)就是一個(gè)偶然，所以可以預(yù)期的是它們整體的頻數(shù)會(huì)很低，是入不了“大雅之堂”的。話不多說，直接上代碼和結(jié)果。

　　數(shù)據(jù)：《全宋詞》文本

　　代碼：

　　l=scan("Ci.txt","character",sep="n");

　　l.len=nchar(l);

　　# 某些行是作者和標(biāo)題，所以選取長(zhǎng)度大于10的行;

　　# 另外這個(gè)文本文件不太規(guī)整，有些網(wǎng)址什么的，

　　# 所以也要排除那些長(zhǎng)度太長(zhǎng)的。

　　ci=l;

　　# 句子用標(biāo)點(diǎn)符號(hào)分割。

　　sentences=strsplit(ci,"，|。|!|?|、");

　　sentences=unlist(sentences);

　　sentences=sentences[sentences!=""];

　　s.len=nchar(sentences);

　　# 單句太長(zhǎng)了說明有可能是錯(cuò)誤的字符，去除掉。

　　sentences=sentences[s.len<=10];

　　s.len=nchar(sentences);

　　# 暴力挨個(gè)拆分，比如“猶解嫁東風(fēng)”的所有二字組合為

　　# “猶解”“解嫁”“嫁東”“東風(fēng)”，

　　# 無意義的詞其頻數(shù)自然就落在后面了。

　　splitwords=function(x,x.len) substring(x,1:(x.len-1),2:x.len);

　　words=mapply(splitwords,sentences,s.len,SIMPLIFY=TRUE,USE.NAMES=FALSE);

　　words=unlist(words);

　　words.freq=table(words);

　　words.freq=sort(words.freq,decreasing=TRUE);

　　data.frame(Word=names(words.freq[1:100]),Freq=as.integer(words.freq[1:100]));

　　結(jié)果(排在第一的是無效字符，這跟數(shù)據(jù)源有關(guān))：

　　Word Freq

　　1 1485　　2 東風(fēng) 1382　　3 何處 1230　　4 人間 1202

　　5 風(fēng)流 857　　6 歸去 812　　7 春風(fēng) 802　　8 西風(fēng) 779

　　9 歸來 771　　10 江南 765　　11 相思 753　　12 梅花 732

　　13 千里 676　　14 回首 656　　15 明月 651　　16 多少 648

　　17 如今 642　　18 闌干 630　　19 年年 613　　20 萬里 590

　　21 一笑 582　　22 黃昏 550　　23 當(dāng)年 542　　24 天涯 537

　　25 相逢 528　　26 芳草 527　　27 尊前 516　　28 一枝 512

　　29 風(fēng)雨 505　　30 流水 472　　31 依舊 472　　32 風(fēng)吹 471

　　33 風(fēng)月 461　　34 多情 457　　35 故人 451　　36 當(dāng)時(shí) 450

　　37 無人 445　　38 斜陽 438　　39 不知 430　　40 不見 429

　　41 深處 422　　42 時(shí)節(jié) 403　　43 平生 398　　44 凄涼 398

　　45 春色 394　　46 匆匆 383　　47 功名 383　　48 一點(diǎn) 378

　　49 無限 377　　50 今日 369　　51 天上 368　　52 楊柳 362

　　53 西湖 356　　54 桃花 354　　55 扁舟 353　　56 消息 351

　　57 憔悴 344　　58 何事 339　　59 芙蓉 338　　60 神仙 334

　　61 一片 334　　62 桃李 333　　63 人生 332　　64 十分 331

　　65 心事 329　　66 黃花 328　　67 一聲 325　　68 佳人 324

　　69 長(zhǎng)安 321　　70 東君 319　　71 斷腸 316　　72 而今 315

　　73 鴛鴦 314　　74 為誰 313　　75 十年 310　　76 去年 309

　　77 少年 308　　78 海棠 307　　79 寂寞 306　　80 無情 306

　　81 不是 305　　82 時(shí)候 304　　83 腸斷 303　　84 富貴 303

　　85 蓬萊 303　　86 昨夜 303　　87 行人 302　　88 今夜 301

　　89 誰知 300　　90 不似 299　　91 江上 298　　92 悠悠 296

　　93 幾度 295　　94 青山 295　　95 何時(shí) 294　　96 天氣 293

　　97 惟有 293　　98 一曲 291　　99 月明 291　　100 往事 290

　　不知各位看官看到上面這些既熟悉又悠遠(yuǎn)的話語又將作何感想?或許，她們就是我們千百年來的精神寄托吧。

　　試了下在R下面執(zhí)行此代碼, 不過在我機(jī)子上好像有問題. 于是按照這個(gè)思路用KNIME做了個(gè)簡(jiǎn)單統(tǒng)計(jì)流程. (數(shù)據(jù)源相同)

　　因?yàn)槎嗵幚砹艘稽c(diǎn)異常, 雙字詞頻順序基本一樣, 數(shù)量稍有區(qū)別, 不重復(fù)貼了. 不過可以貼出短句句頻:D

　　"到如今",50　　"君知否",46　　"誰知道",30　　"功名事",28

　　"須信道",28　　"最好是",27　　"人間世",26　　"從今去",26

　　"凝佇",25　　"歸去",24　　"不如歸去",23　　"知否",23

　　"誰信道",23　　"倚闌干",21　　"到而今",21　　"又還是",21

　　"歸去來兮",21　　"人不見",20　　"當(dāng)此際",20　　"記當(dāng)年",19

　　"東風(fēng)里",18　　"怎奈向",18　　"春去也",18　　"須知道",18

　　"爭(zhēng)知道",17　　"更那堪",17　　"留不住",17　　"謾贏得",17

　　"那堪更",17　　"一觴一詠",16　　"休休",16　　"君不見",16

　　"家山好",16　　"歸來也",16　　"思往事",16　　"悠悠",16

　　"無緒",16　　"還知否",16　　"追往事",16　　"人間天上",15

　　"最苦是",14　　"疏影橫斜",14　　"空悵望",14　　"空惆悵",14

　　"記年時(shí)",14　　"人間事",13　　"又只恐",13　　"回首處",13

　　"夜沈沈",13　　"斷人腸",13　　"早歸來",13　　"有多少",13

　　"空凝佇",13　　"向尊前",12　　"微雨過",12　　"情脈脈",12

　　"斜陽外",12　　"無語",12　　"月明中",12　　"朱顏綠鬢",12

　　"綠鬢朱顏",12　　"誰念我",12　　"還知么",12　　"問何如",12

　　"不堪回首",11　　"東風(fēng)惡",11　　"人何處",11　　"人正在",11

　　"今老矣",11　　"從別后",11　　"倚東風(fēng)",11　　"又何須",11

　　"多少事",11　　"天長(zhǎng)地久",11　　"安陽好",11　　"對(duì)東風(fēng)",11

　　"對(duì)西風(fēng)",11　　"廣寒宮殿",11　　"歸去也",11　　"歸來晚",11

　　"愿年年",11　　"江南岸",11　　"空回首",11　　"終不似",11

　　"腸斷",11　　"腸斷處",11　　"落花飛絮",11　　"西源好",11

　　"闌干外",11　　"風(fēng)流",11　　"颼颼",11　　"與誰同",10

　　"五云深處",10　　"人間何處難忘酒",10　　"人靜",10　　"從此去",10

　　"倚西風(fēng)",10　　"分明是",10　　"功名富貴",10　　"南徐好",10

　　"歲歲年年",10　　"思晴好",10　　"想當(dāng)年",10　　"無限事",10

　　"朝朝暮暮",10　　"歌窈窕",10　　"獨(dú)自個(gè)",10　　"竹籬茅舍",10

　　"綸巾羽扇",10　　"良辰美景",10　　"記當(dāng)時(shí)",10　　"詩曰",10

　　"醉歸來",10　　"七十古來稀",9　　"人如玉",9　　"人盡道",9

　　"何處",9　　"凝望處",9　　"千古恨",9　　"千秋歲",9

　　"去年今日",9　　"向此際",9　　"坐中客",9　　"天賦與",9

　　"好天良夜",9　　"年年今日",9　　"待歸來",9　　"愁絕",9

　　"故人何處",9　　"明月清風(fēng)",9　　"暗香浮動(dòng)",9　　"曲水流觴",9

　　"渾不似",9　　"清絕",9　　"盈盈",9　　"空腸斷",9

　　"空贏得",9　　"算人間",9　　"算只有",9　　"緣底事",9

　　"記當(dāng)日",9　　"還又是",9　　"道骨仙風(fēng)",9　　"都付與",9

　　"都休問",9　　"酒醒時(shí)",9　　"問人間",9　　"問何時(shí)",9

　　"風(fēng)不定",9　　"一聲聲",8　　"不見",8　　"二十年",8

　　"人散后",8　　"人易老",8　　"從今后",8　　"休去",8

　　"休辭醉",8　　"依然是",8　　"幾時(shí)休",8　　"憑闌久",8

　　"去天尺五",8　　"又誰知",8　　"君且住",8　　"吾老矣",8

　　"回首",8　　"堪羨",8　　"多少恨",8　　"夜來風(fēng)雨",8

　　"天下事",8　　"天如水",8　　"如何得",8　　"嫣然一笑",8

　　"寂寞",8　　"山居好",8　　"歸去來",8　　"心下事",8

　　"怎知道",8　　"思悠悠",8　　"恁時(shí)節(jié)",8　　"悄無人",8

　　"愿歲歲",8　　"文章太守",8　　"無個(gè)事",8　　"最關(guān)情",8

　　"最好處",8　　"有誰知",8　　"浮世事",8　　"滿城風(fēng)雨",8

　　"玉骨冰肌",8　　"畫堂深",8　　"登臨處",8　　"看不足",8

　　"真?zhèn)�是",8　　"知何處",8　　"知音少",8　　"稱壽處",8

　　"空相憶",8　　"笑人間",8　　"紗窗外",8　　"落花流水",8

　　"長(zhǎng)安道",8　　"問當(dāng)年",8　　"雨初晴",8　　"頻回首",8

　　"風(fēng)又雨",8　　"風(fēng)流云散",8　　"一杯酒",7　　"一蓑煙雨",7

　　"三千歲",7　　"東風(fēng)外",7　　"人去后",7　　"人未老",7

　　"人道是",7　　"今夜里",7　　"但悵望",7　　"佳人何處",7

　　"再相逢",7　　"冰肌玉骨",7　　"凈幾明窗",7　　"凄涼",7

　　"凌波微步",7　　"凝望久",7　　"千山萬水",7　　"卷珠簾",7

　　"又何妨",7　　"又過了",7　　"嘆人生",7　　"君看取",7

　　"吳頭楚尾",7　　"地久天長(zhǎng)",7　　"堪恨處",7　　"堪愛處",7

　　"多應(yīng)是",7　　"夜將闌",7　　"天付與",7　　"天寒日暮",7

　　"如今憔悴",7　　"山無數(shù)",7　　"簾櫳靜",7　　"廣寒宮里",7

　　"待明朝",7　　"憶當(dāng)年",7　　"急管繁弦",7　　"恨悠悠",7

　　"憔悴",7　　"攜手處",7　　"無一事",7　　"暗香疏影",7

　　"最難忘",7　　"月明風(fēng)細(xì)",7　　"有個(gè)人人",7　　"水悠悠",7

　　"江南春早",7　　"深院宇",7　　"深院靜",7　　"清風(fēng)明月",7

　　"畫圖中",7　　"留戀",7　　"留春不住",7　　"相逢",7

　　"相逢處",7　　"看明年",7　　"算惟有",7　　"經(jīng)行處",7

　　"綺羅叢里",7　　"緩帶輕裘",7　　"腸欲斷",7　　"自別后",7

　　"莫匆匆",7　　"行樂處",7　　"許多愁",7　　"試與問",7

　　"試屈指",7　　"談笑里",7　　"謾回首",7　　"還知道",7

　　"送君南浦",7　　"都不管",7　　"都莫問",7　　"酒巡未止",7

　　"采菱拾翠",7　　"長(zhǎng)亭路",7　　"問誰是",7　　"難忘處",7

　　"非煙非霧",7　　"風(fēng)前月下",7　　"黯銷魂",7　　"一葉扁舟",6

　　"一年一度",6　　"一杯相屬",6　　"一枝枝",6　　"一輪明月",6

　　"下缺",6　　"不知今夕何夕",6　　"東風(fēng)起",6　　"舉杯相屬",6

　　"之句",6　　"人似玉",6　　"人別后",6　　"人生行樂",6

　　"人都道",6　　"人間",6　　"今夕何夕",6　　"仙風(fēng)道骨",6

　　"似當(dāng)年",6　　"但回首",6　　"但贏得",6　　"佳麗地",6

　　"依前是",6　　"依然",6　　"便從今",6　　"便直饒",6

　　"凝眸",6　　"幾番風(fēng)雨",6　　"憑誰說",6　　"憑闌處",6

　　"憑闌干",6　　"分付與",6　　"分?jǐn)y處",6　　"別離情緒",6