استخراج اطلاعات اماری از محتوای متنی

سلام استاد

برای جستجوی full text  شما استفاده از lucene  رو اموزش دادید. سوال من اینه که برای استخراج اطلاعات اماری کلمات و عبارات موجود در محتوای متن ها از چه متد و مدلی باید استفاده کرد ..ایا برای بدست اوردن اطلاعات اماری کلمات و استفاده در جستجو، باید ابتدا بر روی متن پیش پردازش کردو نتایج را در بانک ذخیره کرد تا بشه از اطلاعات اماری  برای نمایش سریع اطلاعات ،استفاده کرد؟ و شاخص گذاری بخش های از محتوا متن (مثلا صحبت های افراد ) را چطور باید انجام داد؟ ممنون میشم راهنمایی کنید.

 منظورم ایجاد چنین سایتی هستش: http://mashruh.ir/search