TF-IDF TF(단어 빈도수, term frequency)는 특정한 단어가 문서 내에 얼마나 자주 등장하는지 나타내는 값 DF(Document Frequency)는 특정 단어가 나타난 문서의 수를 말하며, 이 값의 역수를 IDF(inverse document frequence)라고 한다. TF-IDF = TF*IDF = TF*log((N – n)/n) N : 전체 문서의 수 n : 단어가 포함된 문서의 수 IDF = log((N – n)/n) 예를 들어서 전체 문서가 100,000,000 존재한다. gift 라는 단어가 DOC1에 2번, DOC2에 1번 그리고 존재하는 문서는 300,000 card 라는 단어가 DOC1에 3번, DOC2에 6번 그리고 존재하는 문서는 400,000 gift card 라..

http://en.wikipedia.org/wiki/W-shingling The document, "a rose is a rose is a rose" can be tokenized as follows. (a,rose,is,a,rose,is,a,rose) The set of all contiguous sequences of 4 tokens (N-grams, here: 4-grams) is { (a,rose,is,a), (rose,is,a,rose), (is,a,rose,is), (a,rose,is,a), (rose,is,a,rose) } By removing duplicate elements from this set, a 4-shingling is obtained: { (a,rose,is,a), (rose..

https://crawler.dev.java.net/ 아직 사용해 보지 않았지만 추후에 사용해 보고 정리해야겠다.

검개그의 하얀눈길님께서 만드신 검색엔진 공부 순서에 대하여 순서도이다. 초보를 위해 잘 정리해 주신 것 같다. 물론 저 순서대로 꼭 할 필요는 없겠지만 전체적인 내용을 볼 수 있어서 좋은 듯 하다.

시멘텍 웹 2.0과 개인화솔루션 전략세미나 2007 http://www.btlmarketing.kr/openbase/

1. 검색 엔진 자체를 만드는 엔지니어가 겪는 어려움 - 기능은 간단한데 (sort와 search) 다루어야 하는 대상의 크기가 무지 크다. - 다양한 기법을 적용해 보고 그 중에 가장 적당한 기법을 스스로 찾아서 적용해야 한다. - 한가지 기법을 테스트하려할때 수백만~수천만 건에 대해서 테스트 해야 하므로, 비용이 많이 든다. - 검색 엔진은 크게 "하부저장구조", "색인어 추출기", "역색인 빌딩", "질의어 분석", "Posting 추출과 Ranking 연산", "Ranking 재조정", "결과물 출력"의 모듈을 가지게 됩니다. 그런데 이런 것들에는 뭔가 정답이랄까, 혹은 참고할 만한 교과서가 없다는 것이 문제라고 합니다. 사실 현재와 같은 컴퓨터를 사용하기 시작한 것은 1990년이후라고 보아야 할..

검색 서비스를 만드는 엔지니어가 겪는 어려움 - 검색 솔루션 자체가 불완전한 것이라는 사실을 이해하기 어렵다. - 검색 솔루션의 사용법(API)는 간단한데, 변수를 결정하려면 전체를 알아야 한다. - 검색 서비스 기획자는 새로운, 참신한 기능을 개발해 달라고 요구한다. - 검색 서비스를 만들기 위해서는 "대상으로 하는 문서를 끌어와서 Collection을 만들기", "날짜별/유사도별/가격순/참조순" 등 다양한 Ranking방식 설정하기, "출력 형태의 레이아웃 만들기" 가 기본적으로 필요한 것 같습니다. 첫 단계부터 "협력"을 하여야 하는데, 협력이라는 것이 사실 가장 어려운 일입니다. 상대방은 검색 솔루션이 만능이라고 생각하기 때문에 "이거 내일까지 다 해주실 수 있겠죠?"이런 식으로 이야기하는 것 같..

term vector model이라고도 불리우는 Vector space model은 정보필터링, 문서내에서의 정보검색, 색인과 유사도를 계산하기 위한 수학모델로, 다차원 선형공간에서의 Vector 정보를 이용해서 자연어를 포함한 문서의 중요도를 분석하기 위한 방법을 제시한다. 이 모델은 SMART Information Retrieval System에서 가장 먼저 언급되었다. 문서는 색인단어의 vector로 나타낼 수 있을 것이다. 문서의 유사도는 Vector에 위치한 단어들간의 거리로 계산해낼 수 있을 것이다 라는게 이 모델의 대전제다. vector에 위치한 쿼리에 대한 문서의 유사도는 다음과 같은 간단한 삼각 공식으로 나타낼 수 있다. TF - IDF 모델 Vector Space Model을 사용하기 ..