solr基础

简介

   介绍Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。文档通过Http利用XML加到一个搜索集合中。查询该集合也是通过 http收到一个XML/JSON响应来实现。它的主要特性包括：高效、灵活的缓存功能，垂直搜索功能，高亮显示搜索结果，通过索引复制来提高可用性，提 供一套强大Data Schema来定义字段，类型和设置文本分析，提供基于Web的管理界面等。

   使用目的：让你的系统查询更给力 更高效。

   搭建环境：

1. JDK 1.6 ;

2. Tomcat 6;

3. Solr 3.6;

   搭建步骤:

   1.tomcat 和solr放到windows 下 D盘（随便放,我是放D盘了）先打开tomcat server.xml修改下请求配置

<Connector port="8080" protocol="HTTP/1.1"  connectionTimeout="20000"   redirectPort="8443"URIEncoding="UTF-8"/> 防止URL乱码 Solr请求是get方式。

2. 在apache-solr-3.6.0\dist目录下找到apache-solr-3.6.0.war把重命名为solr.war 并放到 tomcat/webapps下

3.在conf/Catalina/localhost文件夹下 创建solr.xml

   <?xml version="1.0" encoding="UTF-8"?>  

   <Context docBase="D:/apache-tomcat-6.0.35/webapps/solr" debug="0" crossContext="true" >

      <Environment name="solr/home" type="java.lang.String" value="D:/solr" override="true" />  

   </Context>

  4.把apache-solr-3.6.0\example目录下的solr文件夹上传到D:/solr目录下.索引文件会默认会放到 tomca\solr\data下.

       这里打D:/solr/conf/sorlConfig.xml

       找到-><dataDir>${solr.data.dir:D:/solr/data}</dataDir> 把solr.data.dir改成 D:/solr路径

  5.重启tomcat 打开   http://localhost/solr/  会看到Welcome to Solr ! 部署Solr服务器成功

solr 3.5与IKAnalyzer 3.2.8分词的整合

  1.下载IKAnalyzer  

       http://ik-analyzer.googlecode.com/files/IKAnalyzer3.2.8%20bin.zip

  2.添加IKAnalyzer3.2.8.jar

        把IKAnalyzer3.2.8.jar放到 tomcat\webapps\solr\WEB-INF\lib下;

  3.Schema.xml 增加信息

   进入目录编辑schema.xml文件，在<Types>下添加以下内容： （在D:/solr/conf下）    配置分词fieldType类型

<!-- ik-->
<fieldType name="text" class="solr.TextField" >    
              <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>    
              <analyzer type="index">    
                  <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="false"/>    
                  <filter class="solr.StopFilterFactory"    
                          ignoreCase="true" words="stopwords.txt"/>    
                  <filter class="solr.WordDelimiterFilterFactory"    
                          generateWordParts="1"    
                          generateNumberParts="1"    
                          catenateWords="1"    
                          catenateNumbers="1"    
                          catenateAll="0"    
                          splitOnCaseChange="1"/>    
                  <filter class="solr.LowerCaseFilterFactory"/>    
                  <filter class="solr.EnglishPorterFilterFactory"    
                      protected="protwords.txt"/>    
                  <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>    
              </analyzer>    
                <analyzer type="query">    
                  <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="false"/>    
                  <filter class="solr.StopFilterFactory"    
                          ignoreCase="true" words="stopwords.txt"/>    
                  <filter class="solr.WordDelimiterFilterFactory"    
                          generateWordParts="1"    
                          generateNumberParts="1"    
                          catenateWords="1"    
                          catenateNumbers="1"    
                          catenateAll="0"    
                          splitOnCaseChange="1"/>    
                  <filter class="solr.LowerCaseFilterFactory"/>    
                  <filter class="solr.EnglishPorterFilterFactory"    
                      protected="protwords.txt"/>    
                  <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>    
              </analyzer>    
</fieldType>

4.然后在<fields>下添加

<field name="name1" type="text" indexed="true" stored="true" required="true"/>    

  5.重新tomcat 在浏览器中输入： http://localhost/solr/analysis.jsp ; 进去 solr admin 显示：

客户端开发 Solrj

   Solr是搭建好的lucene服务器 当然不可能完全满足一般的业务需求 可能 要针对各种的架构和业务调整 这里就需要用到Solrj了

Solrj是Solr提供的api库 可以进行Solr 的二次开发。

   主要实现原理 服务端利用httpClient发送Solr格式的HTTP请求 到Solr服务器  然后服务器根据请求去找索引（ 当然你要先针对数据源创建索引）最后返回SolrDocument. 然后你再进一步处理 高亮 排序 等功能。

 1. 创建连接

   //这里创建的一个HTTP请求 用的4.1的JAR Solr3.6之前用的CommonHttpSolrServer.新版改成这个类了 创建一个单例服务。

 2. 创建索引

/***
* 创建Solr索引 通过指定的实体
    */
public void create(T t) {
SolrEntityBinder binder = new SolrEntityBinder();//这里这个类是源码DocumentObjectBinder处理类 这里为了实体转换改写了里面一些判断后面会讲到 剩下没改过
SolrInputDocument doc = binder.toSolrInputDocument(t); //把你的实体对象转换成Solr输入文档对象
try {
solrServer.add(doc);//添加文档
solrServer.commit();//提交请求
} catch (SolrServerException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}

  3 .删除索引

/**
* 删除指定ID的索引
*/
public void delete(PK id) {
try {
solrServer.deleteById((String)id );//直接根据ID删除 solrServer.deleteByQuery("*:*");删除所有   
solrServer.commit();
} catch (SolrServerException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}

  4.修改索引

   直接先删除后创建

  5.查询索引

String id = null;
try {
HttpSolrServer server = SolrServiceConfiger.getInstance().getServer();// 创建服务 */
SolrQuery sQuery = new SolrQuery();  // 创建solr查询对象
String para="";  
if(StringUtils.isNotEmpty(content)){ // 拼接solr查询条件
para ="company:"+content;
}
if(!StringUtils.isNotEmpty(para)){  
para="*:*";   
}
sQuery.setQuery(para)
.setStart((page.getPageNo()-1)*page.getPageSize())
.setRows(page.getPageSize());  
//设置高亮  
       sQuery.setHighlight(true); // 开启高亮组件  
       sQuery.addHighlightField("company");// 高亮字段  
       sQuery.setHighlightSimplePre("<font color='red'>");//标记，高亮关键字前缀  
       sQuery.setHighlightSimplePost("</font>");//后缀  
       sQuery.setHighlightSnippets(2);//结果分片数，默认为1  
       sQuery.setHighlightFragsize(1000);//每个分片的最大长度，默认为100  
       sQuery.setFacet(true).setFacetMinCount(1)
                       .setFacetLimit(5)//段  
              .addFacetField("company");//分片字段  
         //返回结果
       QueryResponse response = server.query(sQuery);  
         //得到文档列表
       SolrDocumentList list = response.getResults();  
        //得到总数 设置
                Integer counts=(int) list.getNumFound();               
       page.setTotalCount(counts);
       //得到高亮数据
       Map<String,Map<String,List<String>>> highlightMap=response.getHighlighting(); //得到高亮集合
        //创建对象转换对象
       DocumentObjectBinder binder = new DocumentObjectBinder();  
        //转换对象
       List<Demo> demoList= binder.getBeans(Demo.class, list);
        //设置高亮结果
       for(Demo d :demoList){
       id = d.getId();
       List<String> companyList = highlightMap.get(id).get("company");         
       if(companyList!=null&&companyList.size()>0){
       d.setCompany(companyList.get(0));
       }        
       }
       //返回结果
       page.setResult(demoList);
      
} catch (Exception e) {
e.printStackTrace();
}  
          return page;
}

常见问题

1. org.apache.solr.client.solrj.SolrServerException:

   Timeout occured while waiting response from server at: http://localhost/solr请求超时

解决方法：设置setConnectionTimeout和setSoTimeout为1分钟

2. org.apache.solr.common.SolrException: undefined field text

解决方法： 设置solrConfig.xml <str name="df">id</str> 默认是text

3. org.apache.solr.common.SolrException: Invalid Date String时间格式化问题

主要是Solr使用的是标准的格林威治（GMT）时间 这种（yyyy-MM-dd'T'HH:mm:ss.SSS'Z'）北京在东八区 默认时间会-8小时

所以为了满足他这个减8 我的做法是在创建索引格式化日期类型的时候 判断下 把它时间+8 。

所以重新创建一个SolrEntityBinder类 此类是完全copy的DocumentObjectBinder. 只修改了一处。

修改了类中toSolrInputDocument方法

//判断是否是日期-------------///
if(field.type==Date.class){
Date d = (Date)field.get(obj);
Calendar cal = Calendar.getInstance();
cal.setTimeInMillis(d.getTime());
cal.add(Calendar.HOUR, 8);
d = cal.getTime();
doc.setField(field.name,d,1.0f);
}else{
doc.setField(field.name, field.get(obj), 1.0f);
}