首页 > 编程语言 >Java判断文件编码格式

Java判断文件编码格式

时间:2023-04-17 20:33:09浏览次数:47  
标签:编码 Java cpdetector io new 格式 detector 属性


一般情况下我们遇到的文件编码格式为GBK或者UTF-8。 由于中文Windows默认的编码是GBK,所以一般只要判定UTF-8编码格式。 
对于UTF-8编码格式的文本文件,其前3个字节的值就是-17、-69、-65,所以,判定是否是UTF-8编码格式的代码片段如下:

 

 

java.io.File f=new java.io.File("待判定的文本文件名");  
    try{  
      java.io.InputStream ios=new java.io.FileInputStream(f);  
      byte[] b=new byte[3];  
      ios.read(b);  
      ios.close();  
      if(b[0]==-17&&b[1]==-69&&b[2]==-65)  
         System.out.println(f.getName()+"编码为UTF-8");  
      else System.out.println(f.getName()+"可能是GBK");  
    }catch(Exception e){  
       e.printStackTrace();  
    }

 

上述代码只是简单判定了是否是UTF-8格式编码的文本文件,如果项目对要判定的文本文件编码不可控(比如用户上传的一些HTML、XML等文本),可以采用一个现成的开源项目:cpdetector,它所在的网址是:http://cpdetector.sourceforge.net/ 。它的类库很小,只有500K左右,利用该类库判定文本文件的代码如下(由于cpdetector的算法使用概率统计,所以结果并不是100%准确的,但是是迄今为止我见过的最准确的....@_@):

 

/*------------------------------------------------------------------------ 
      detector是探测器,它把探测任务交给具体的探测实现类的实例完成。 
      cpDetector内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法 
      加进来,如ParsingDetector、 JChardetFacade、ASCIIDetector、UnicodeDetector。   
      detector按照“谁最先返回非空的探测结果,就以该结果为准”的原则返回探测到的 
      字符集编码。 
    --------------------------------------------------------------------------*/  
    cpdetector.io.CodepageDetectorProxy detector =  
    cpdetector.io.CodepageDetectorProxy.getInstance();  
    /*------------------------------------------------------------------------- 
      ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于 
      指示是否显示探测过程的详细信息,为false不显示。 
    ---------------------------------------------------------------------------*/  
    detector.add(new cpdetector.io.ParsingDetector(false));   
    /*-------------------------------------------------------------------------- 
      JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码 
      测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以 
      再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。 
     ---------------------------------------------------------------------------*/   
    detector.add(cpdetector.io.JChardetFacade.getInstance());  
    //ASCIIDetector用于ASCII编码测定  
    detector.add(cpdetector.io.ASCIIDetector.getInstance());  
    //UnicodeDetector用于Unicode家族编码的测定  
    detector.add(cpdetector.io.UnicodeDetector.getInstance());  
    java.nio.charset.Charset charset = null;  
    File f=new File("待测的文本文件名");  
    try {  
          charset = detector.detectCodepage(f.toURL());  
    } catch (Exception ex) {ex.printStackTrace();}  
    if(charset!=null){  
         System.out.println(f.getName()+"编码是:"+charset.name());  
    }else  
        System.out.println(f.getName()+"未知");

 

 

上面代码中的detector不仅可以用于探测文件的编码,也可以探测任意输入的文本流的编码,方法是调用其重载形式: 


Java代码



1. charset=detector.detectCodepage(待测的文本输入流,测量该流所需的读入字节数);

上面的字节数由程序员指定,字节数越多,判定越准确,当然时间也花得越长。要注意,字节数的指定不能超过文本流的最大长度。 

判定文件编码的具体应用举例: 
属性文件(.properties)是Java程序中的常用文本存储方式,象STRUTS框架就是利用属性文件存储程序中的字符串资源。它的内容如下所示: 

 

Java代码



  1. #注释语句  
  2. 属性名=属性值  


读入属性文件的一般方法是: 

 

Java代码



1. FileInputStream ios= new  FileInputStream( "属性文件名" );  
2. Properties prop=new  Properties();  
3. prop.load(ios);  
4. ios.close();

利用java.io.Properties的load方法读入属性文件虽然方便,但如果属性文件中有中文,在读入之后就会发现出现乱码现象。发生这个原因 是load方法使用字节流读入文本,在读入后需要将字节流编码成为字符串,而它使用的编码是“iso-8859-1”,这个字符集是ASCII码字符集, 不支持中文编码,所以这时需要使用显式的转码: 


Java代码


1. String value=prop.getProperty( "属性名" );  
2. String encValue=new  String(value.getBytes( "iso-8859-1" ), "属性文件的实际编码" );

 

 

 

 

 

 

 

标签:编码,Java,cpdetector,io,new,格式,detector,属性
From: https://blog.51cto.com/u_2198048/6196316

相关文章

  • ffmpeg可支持的编码器、解码器、封装格式、网络协议
    {ffmpeg可支持的编码器./configure--list-encodersffmpeg可支持的解码器./configure--list-decodersffmpeg可支持的封装格式./configure--list-muxersffmpeg可支持的解封装格式./configure--list-demuxersffmpeg可支持的网络协议./configure--list-protocols查看......
  • scanf()格式字符串中的普通字符
    scanf()函数中的输入控制符为%c时,用户输入应与引号“”中的内容一致当%c前无空格时:scanf("%c",&i);scanf会读取第一个用户输入的值,就算用户输入的是空格、制表符或回车也会读取当%c前有空格时:scanf("%c",&i);scanf()函数会将"%c"中的空格识别为空白字符(空格、制......
  • Java字符串
    Java字符串String的特点程序当中所有用双引号括起来的东西都说字符串不管有没有生成String类1.字符串的内容永不可变(重点)2.字符串永不可变,所以可以共享使用3.字符串效果相当于char[]数组,但是底层原理是byte[]字节数组创建字符串创建字符串的3+1种方法构造方法:1.创......
  • C#Unicode编码不可逆,Default也不可逆
    不可逆:4个eunsafestaticvoidMain(string[]args){byte[]by=newbyte[256];for(inti=0;i<by.Length;i++)by[i]=(byte)i;strings=Encoding.Unicode.GetString(by);byte[]by2=Encoding.Unicode.GetBytes(s);for(inti=0;i<by.Leng......
  • 查找消耗cpu最高的Java进程
    #!/bin/bashif[-z"$1"];then###1.先找到消耗cpu最高的Java进程###pid=`ps-eopid,%cpu,cmd--sort=-%cpu|grepjava|grep-vgrep|head-1|awk'END{print$1}'`if["$pid"=""];then......
  • 坦克大战项目实践(Java)
     一、设计简介该项目是设计一个坦克大战小游戏,该游戏算不上精美,但是有始有终。有明确的游戏开始、单人模式、双人模式、游戏暂停和游戏失败等事件。设计内容包含图片双缓存技术,解决游戏屏幕闪动问题;还包含了击毁坦克的爆炸特效与子弹消失;还包含了碰撞检测,包括墙体和边界的。二......
  • VM 打开和使用OVA格式文件
    虚拟机版本VMware®Workstation16Pro直接使用VM打开文件打开方式:“文件”-“打开”-“选择文件”-新建名称,运行时会报错误,请忽略。编辑虚拟机-设置为NAT模式。使用虚拟机打开修改密码和网络配置1.出现蓝色界面时按e,进入编辑模式。将红色方框框起来的改成rwsignie......
  • java查看对象占用内存的大小
    1.首先引入jar包lucene-core-4.7.2.jar<dependency><groupId>org.apache.lucene</groupId><artifactId>lucene-core</artifactId><version>4.0.0</version></dependency><depende......
  • 通过JAVA语言如何获取淘宝/天猫搜索词推荐
    Java是一种跨平台的、面向对象的高级编程语言,主要用来进行网站后台开发和AndroidAPP开发,同时它是全球最受欢迎的编程语言之一,在世界编程语言排行榜TIOBE中,Java一直霸占着前三名,有好多年甚至都是获得了第一名。那么为什么Java会如此受欢迎呢?Java是一种半编译型语言,开发比......
  • Java与Mysql锁相关知识总结
    锁的定义在计算机程序中锁用于独占资源,获取到锁才可以操作对应的资源。锁的实现锁在计算机底层的实现,依赖于CPU提供的CAS指令(compareandswsp),对于一个内存地址,会比较原值以及尝试去修改的值,通过值是否修改成功,来表示是否强占到了这个锁。JVM中的锁jvm中,有2个常用的锁synchr......