首页 > 其他分享 >[20241118]NLS_LANG设置问题2.txt

[20241118]NLS_LANG设置问题2.txt

时间:2024-11-18 21:40:54浏览次数:1  
标签:LANG NLS 16 -- 20241118 Len 测试 Typ book01p

[20241118]NLS_LANG设置问题2.txt

--//链接 https://www.itpub.net/thread-2155589-1-1.html上的讨论。

--//PiscesCanon指出:

--//NLS_LANG设置错了,如果你的客户端是sqlplus,那么应该是NLS_LANG=.AL32UTF8或者NLS_LANG=AMERICAN_AMERICA.AL32UTF8,跟着
--//OS的字符集来。另外,SecureCRT或者xshell这类工具本身有自己的字符集,那么也要设置为UTF8。

--//NLS_LANG这个环境变量的作用就是告诉数据库,你客户端(sqlplus、plsql dev之类的)所使用的字符集是什么。这样我数据库才能根
--//据客户端过来的对应字符集编码根据编码表转化为数据库本身的编码来存储。

--//跟我以前的理解或者一般人的理解不一样,测试看看。
--//我以前的测试链接:[20240820]字符集与dml语句.txt

1.环境:
SCOTT@book01p> @ver2
==============================
PORT_STRING                   : x86_64/Linux 2.4.xx
VERSION                       : 21.0.0.0.0
BANNER                        : Oracle Database 21c Enterprise Edition Release 21.0.0.0.0 - Production
BANNER_FULL                   : Oracle Database 21c Enterprise Edition Release 21.0.0.0.0 - Production
Version 21.3.0.0.0
BANNER_LEGACY                 : Oracle Database 21c Enterprise Edition Release 21.0.0.0.0 - Production
CON_ID                        : 0
PL/SQL procedure successfully completed.

--//linux:
# cat /etc/redhat-release
CentOS Linux release 7.3.1611 (Core)

# echo $LANG
en_US.UTF-8

SCOTT@book01p> select * from v$nls_parameters ;
PARAMETER                      VALUE                                    CON_ID
------------------------------ ------------------------------------ ----------
NLS_LANGUAGE                   AMERICAN                                      3
NLS_TERRITORY                  AMERICA                                       3
NLS_CURRENCY                   $                                             3
NLS_ISO_CURRENCY               AMERICA                                       3
NLS_NUMERIC_CHARACTERS         .,                                            3
NLS_CALENDAR                   GREGORIAN                                     3
NLS_DATE_FORMAT                YYYY-MM-DD HH24:MI:SS                         3
NLS_DATE_LANGUAGE              AMERICAN                                      3
NLS_CHARACTERSET               ZHS16GBK                                      3
NLS_SORT                       BINARY                                        3
NLS_TIME_FORMAT                HH.MI.SSXFF AM                                3
NLS_TIMESTAMP_FORMAT           YYYY-MM-DD HH24:MI:SS.FF                      3
NLS_TIME_TZ_FORMAT             HH24.MI.SSXFF TZH:TZM                         3
NLS_TIMESTAMP_TZ_FORMAT        YYYY-MM-DD HH24:MI:SS.FF TZH:TZM              3
NLS_DUAL_CURRENCY              $                                             3
NLS_NCHAR_CHARACTERSET         AL16UTF16                                     3
NLS_COMP                       BINARY                                        3
NLS_LENGTH_SEMANTICS           BYTE                                          3
NLS_NCHAR_CONV_EXCP            FALSE                                         3
19 rows selected.
--//建立数据库字符集NLS_CHARACTERSET=ZHS16GBK,而NLS_NCHAR_CHARACTERSET=AL16UTF16,这种情况几乎是前几年大部分数据库的建立
--//模式,至少我们团队建立的数据库基本都是这样.

$ env | grep -i nls
NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
NLS_TIMESTAMP_TZ_FORMAT=YYYY-MM-DD HH24:MI:SS.FF TZH:TZM
NLS_TIMESTAMP_FORMAT=YYYY-MM-DD HH24:MI:SS.FF
NLS_TIME_TZ_FORMAT=HH24.MI.SSXFF TZH:TZM
NLS_DATE_FORMAT=YYYY-MM-DD HH24:MI:SS
--//以前的测试定义NLS_LANG=AMERICAN_AMERICA.ZHS16GBK,这次测试设置NLS_LANG=AMERICAN_AMERICA.AL32UTF8看看。

2.测试:
$ export NLS_LANG=AMERICAN_AMERICA.AL32UTF8

SCOTT@book01p> create table t1 (id number ,vc varchar2(20),nvc nvarchar2(40));
Table created.

--//在linux服务端插入:
SCOTT@book01p> insert into t1 values (1,'1测试2','a测试b');
1 row created.

SCOTT@book01p> commit;
Commit complete.

--//在linux服务端查询:
SCOTT@book01p> column vc format a20
SCOTT@book01p> column nvc format a20
SCOTT@book01p> select * from t1;

        ID VC                   NVC
---------- -------------------- --------------------
         1 1测试2               a测试b

--//在windows客户端查询:
D:\tmp\study> set | grep -i nls_l
NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

SCOTT@book01p> insert into t1 values (2,'3测试4','c测试d');
1 row created.

SCOTT@book01p> commit;
Commit complete.

SCOTT@book01p> select * from t1;
        ID VC                   NVC
---------- -------------------- -----------------------------------
         1 1测试2               a测试b
         2 3测试4               c测试d

--//确实如此,颠覆我以前的认知。

--//在linux服务端查询:
SCOTT@book01p> select dump(vc,16) c40 ,dump(nvc,16) c50 from t1 ;
C40                                      C50
---------------------------------------- --------------------------------------------------
Typ=1 Len=6: 31,b2,e2,ca,d4,32           Typ=1 Len=8: 0,61,6d,4b,8b,d5,0,62
Typ=1 Len=6: 33,b2,e2,ca,d4,34           Typ=1 Len=8: 0,63,6d,4b,8b,d5,0,64

--//b2,e2,ca,d4 = 测试
--//b2,e2,ca,d4 的GBK编码确实是 "测试"。

3.总结:        

--//看来我们以前许多人的理解严重错误,重复前面的提示:NLS_LANG这个环境变量的作用就是告诉数据库,你客户端(sqlplus、plsql
--//dev之类的)所使用的字符集是什么。这样我数据库才能根据客户端过来的对应字符集编码根据编码表转化为数据库本身的编码来存储。

--//NLS_LANG的设置要与OS字符集保持一致,而不是跟着数据库里面的设置!!

--//不过第一次设置看上去感觉非常别扭,违法以前的认知。我个人建议如果有中文还是尽量减少在服务端操作,在windows客户端操作
--//完成。我也已经发现生产系统建立包过程一些注解是乱码,我不知道同事是在windows下还是liunx下完成操作完成,总之同事建立与
--//维护有点太不上心,建立完成就ok了,事后没有使用工具仔细检查,注解全是乱码,如果语句涉及中文就很麻烦了。

--//我总有一种感觉,统一到utf-8也许是大势所趋,至少许多软件都有这个的趋势.我下载最新vim 9.0,kitty,安装最新的linux发布都遇
--//到类似的问题.

4.补充我还发现一个细节问题,显示宽度问题:
--//在windows下执行,NLS_LANG=AMERICAN_AMERICA.ZHS16GBK:
SCOTT@book01p> select dump('彩',16),dump('测试',16) from dual ;
DUMP('彩',16)       DUMP('测试',16)
------------------- -------------------------
Typ=96 Len=2: b2,ca Typ=96 Len=4: b2,e2,ca,d4

--//在linux服务端下执行,NLS_LANG=AMERICAN_AMERICA.AL32UTF8:
SCOTT@book01p> select dump('彩',16),dump('测试',16) from dual ;
DUMP('彩',16)                                             DUMP('测试',16)
--------------------------------------------------------- ---------------------------------------------------------------------------
Typ=96 Len=2: b2,ca                                       Typ=96 Len=4: b2,e2,ca,d4
--//linux下宽度增加3倍数,占用19,显示宽度57.

SCOTT@book01p> select dump('1',16)  from dual ;
DUMP('1',16)
------------------------------------------------
Typ=96 Len=1: 31
--//没有汉字也是一样。

--//在linux服务端下执行,NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
SCOTT@book01p> select dump('彩',16),dump('测试',16) from dual ;
ERROR:
ORA-01756: quoted string not properly terminated
--//出现问题,如果检查单引号没有问题的情况下特别注意字符集相关问题,为什么出现这样的问题呢?

SYS@book> select dump('1彩2',16),dump('测试',16) from dual ;
DUMP('1彩2',16)              DUMP('测试',16)
---------------------------- -------------------------------
Typ=96 Len=5: 31,e5,bd,a9,32 Typ=96 Len=6: e6,b5,8b,e8,af,95

--//实际上输入的是UTF8的编码,不是ZHS16GBK编码,彩在转换是e5bda9,这样在ZHS16GBK出现半个汉字,导致错误。
--//在结尾加入一个空格正常。
SCOTT@book01p> select dump('彩 ',16) ,dump('测试',16) from dual ;

DUMP('彩 ',16)            DUMP('测试',16)
------------------------- -------------------------------
Typ=96 Len=4: e5,bd,a9,20 Typ=96 Len=6: e6,b5,8b,e8,af,95

--//如果在这样的情况下linux下插入在windows下的显示就是出现乱码。

SCOTT@book01p> insert into t1 values (3,'彩 ','e测试f');
1 row created.

SCOTT@book01p> commit ;
Commit complete.

SCOTT@book01p> select * from t1;
        ID VC                   NVC
---------- -------------------- ---------
         1 1?               a?
         2 3?               c?
         3 彩                   e测试f
--//你以为显示正常,实际上显示的是UTF8的编码。

--//在windows下执行显示如下:
SCOTT@book01p> select * from t1;
        ID VC                   NVC
---------- -------------------- ----------------------
         1 1测试2               a测试b
         2 3测试4               c测试d
         3 褰?                  e娴嬭瘯f

SCOTT@book01p> select id,dump(vc,16) c50,dump(nvc,16) c50 from t1;
        ID C50                                                C50
---------- -------------------------------------------------- --------------------------------------------------
         1 Typ=1 Len=6: 31,b2,e2,ca,d4,32                     Typ=1 Len=8: 0,61,6d,4b,8b,d5,0,62
         2 Typ=1 Len=6: 33,b2,e2,ca,d4,34                     Typ=1 Len=8: 0,63,6d,4b,8b,d5,0,64
         3 Typ=1 Len=4: e5,bd,a9,20                           Typ=1 Len=10: 0,65,5a,34,5b,2d,76,2f,0,66

标签:LANG,NLS,16,--,20241118,Len,测试,Typ,book01p
From: https://www.cnblogs.com/lfree/p/18553744

相关文章

  • 大型语言模型综述 A Survey of Large Language Models
    文章源自2303.18223(arxiv.org)如有侵权,请通知下线这是一篇关于大语言模型(LLMs)的综述论文,主要介绍了LLMs的发展历程、技术架构、训练方法、应用领域以及面临的挑战等方面,具体内容如下:摘要——自从图灵测试在20世纪50年代被提出以来,人类已经探索了机器对语言智能的......
  • 大模型实战(二):langchain+Ollama调用本地大模型实现RAG(保姆级)
    文章目录一、任务描述1.环境2.功能二、代码拆解1.导入包2.配置本地模型3.实例化embedding模型4.导入向量化知识库5.加入提示词6.定义查询方法7.问答三、总体代码一、任务描述由于显卡仍然较为昂贵,个人笔记本的硬件条件很难带动大模型,因此我们可以调用一......
  • langchain long term memory
    Messagehistorieshttps://python.langchain.com/docs/integrations/memory/众多数据库支持。 redis数据库https://www.cnblogs.com/mangod/p/18243321fromlangchain_community.chat_message_historiesimportRedisChatMessageHistoryfromlangchain_core.promptsimpo......
  • golang调用第三方程序并实现交互输入自动化
    应用场景:在openwrt下调用移远的测试程序,并实现输入自动话,获取imeiroot@OpenWrt:~#ql-api-testTestgroups:0:ql_dsi1:ql_nw2:ql_sim3:ql_dev4:ql_voice5:ql_sms6:ql_adc7:ql_i2c8:ql_enit9:......
  • 基于大语言模型的自治代理综述 《A Survey on Large Language Model based Autonomous
    图2基于LLM的自治代理架构设计的统一框架基于大语言模型的自治代理综述《ASurveyonLargeLanguageModelbasedAutonomousAgents》自治代理长期以来一直是学术界和工业界的研究热点。以前的研究往往侧重于在孤立的环境中训练知识有限的代理,这与人类的学习过程存......
  • Golang的GMP调度模型与源码解析
    0、引言我们知道,这当代操作系统中,多线程和多进程模型被广泛的使用以提高系统的并发效率。随着互联网不断的发展,面对如今的高并发场景,为每个任务都创建一个线程是不现实的,使用线程则需要系统不断的在用户态和内核态之间不断的切换,引起不必要的损耗,于是引入了协程。协程存在于用户......
  • Uncertainty of Thoughts: Uncertainty-Aware Planning Enhances Information Seeking
    目录概UoT代码HuZ.,LiuC.,FengX.,ZhaoY.,NgS.,LuuA.T.,HeJ.,KohP.W.andHooiB.Uncertaintyofthoughts:Uncertainty-awareplanningenhancesinformationseekinginlargelanguagemodels.NeurIPS,2024.概通过判断问题所导致的不确定性降低程度来......
  • Golang超详细入门教程
    文章目录Golang超详细入门教程一、数据类型转换二、常量三、输入输出函数1.输出函数2.输入函数四、命令行参数1.go命令行操作指令2.通过os包获取命令行参数3.通过flag包获取命令行参数4.os包和flag包的对比五、流程控制1.选择语句(if..)2.选择结构(switch..case)3.循......
  • 二叉树Golang
    二叉树前言完全二叉树最底层节点按顺序从左到右排列。满二叉树一颗二叉树只有0度和2度的节点。二叉搜索树左子树上的所有节点的值均小于根节点的值。右子树上的所有节点的值均大于根节点的值。平衡二叉搜索树左右两个子树的高度差的绝对值不超过1。......
  • 运维开发之脚本语言(Script Language for Operations and Development)
     ......