PL/Proxy和PostgreSQL集群的结构关系可以用下图清楚地表示,对PL/Proxy和PostgreSQL集群还不太了解的朋友可以看Skype Plans for PostgreSQL to Scale to 1 Billion Users这篇文章。 以下操作是在三台不同机器上执行的情况,其中plproxy节点的机器名是P1,数据库节点的机器名分别是D1和D2。机器硬件配置如下,同时需要Linux-4.2、postgresql-8.3.0和plproxy-2.0.4,pgbouncer的安装过程略去。 plproxy节点: hostname: P1 inet addr:10.0.0.1 OS: Linux 2.6.9-42.ELsmp CPU:Intel(R) Xeon(R) CPU L5320 @ 1.86GHz MemTotal: 514440 kB node1节点: hostname:D1 inet addr:10.0.0.2 OS: Linux 2.6.9-42.ELsmp CPU:Intel(R) Xeon(R) CPU L5320 @ 1.86GHz MemTotal: 254772 kB node2节点: hostname:D2 inet addr:10.0.0.3 OS: Linux 2.6.9-42.ELsmp CPU:Intel(R) Xeon(R) CPU L5320 @ 1.86GHz MemTotal: 254772 kB 1. 在P1, D1,D2上安装postgresql-8.3.0,并创建URTCluster数据库 ## Compile and install gunzip postgresql-8.3.0.tar.gz tar xf postgresql-8.3.0.tar cd postgresql-8.3.0 ./configure –prefix=/home/y/pgsql –with-perl gmake gmake check sudo gmake install ## Add Unix User sudo adduser postgres sudo mkdir /home/y/pgsql/data sudo chown postgres /home/y/pgsql/data ## Init DB and Start service sudo -u postgres /home/y/pgsql/bin/initdb -D /home/y/pgsql/data sudo -u postgres /home/y/pgsql/bin/postgres -D /home/y/pgsql/data >logfile 2>&1 & ## Create DB and Use Local Connection sudo -u postgres /home/y/pgsql/bin/createdb URTCluster ##检查数据库是否已经创建 sudo -u postgres /home/y/pgsql/bin/psql -d URTCluster #D1,D2必须允许P1访问 #编辑postgresql.conf,打开tcp连接端口 sudo vim /home/y/pgsql/data/postgresql.conf listen_addresses = ‘*’ port = 5432 #添加postgres用户的认证 sudo vim /home/y/pgsql/data/pg_hba.conf host URTCluster postgres 10.0.0.0/16 trust # 重起服务器 sudo -u postgres /home/y/pgsql/bin/pg_ctl -D /home/y/pgsql/data stop sudo -u postgres /home/y/pgsql/bin/postgres -D /home/y/pgsql/data >logfile 2>&1 & sudo -u postgres /home/y/pgsql/bin/pg_ctl -D /home/y/pgsql/data reload 2. 在P1上安装plproxy-2.0.4 #检查$PATH变量里是否有/home/y/pgsql/bin目录,如果没有,修改你的.bash_profile文件,添加/home/y/pgsql/bin到path里。 echo $PATH gunzip plproxy-2.0.4.tar.gz tar xf plproxy-2.0.4.tar cd plproxy-2.0.4 gmake sudo gmake install #创建plproxy sudo -u postgres /home/y/pgsql/bin/psql -f /home/y/pgsql/share/contrib/plproxy.sql URTCluster 3. 在P1, D1,D2上安装plpgsql sudo -u postgres /home/y/pgsql/bin/createlang plpgsql URTCluster 4. 在P1上创建schema sudo -u postgres /home/y/pgsql/bin/psql -d URTCluster URTCluster=# create schema plproxy; 5. 在P1上初始化设置 #plproxy的配置是通过三个函数(过程)实现的,这三个函数的标准模版如下: #这个函数是让plproxy可以找到对应的集群 CREATE OR REPLACE FUNCTION plproxy.get_cluster_partitions(cluster_name text) RETURNS SETOF text AS $$ BEGIN IF cluster_name =’URTCluster’ THEN RETURN NEXT ‘dbname=URTCluster host=10.0.0.2′; RETURN NEXT ‘dbname=URTCluster host=10.0.0.3′; RETURN; END IF; RAISE EXCEPTION ‘Unknown cluster’; END; $$ LANGUAGE plpgsql; #这个函数是plproxy用于判断是否给前端返回已经cache过的结果用的 CREATE OR REPLACE FUNCTION plproxy.get_cluster_version(cluster_name text) RETURNS int4 AS $$ BEGIN IF cluster_name = ‘URTCluster’ THEN RETURN 1; END IF; RAISE EXCEPTION ‘Unknown cluster’; END; $$ LANGUAGE plpgsql; #这个函数是获取不同的集群的配置 create or replace function plproxy.get_cluster_config(cluster_name text, out key text, out val text) returns setof record as $$ begin key := ’statement_timeout’; val := 60; return next; return; end; $$ language plpgsql; #把这三个函数放在一个URTClusterInit.sql文件里,并执行 sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterInit.sql -d URTCluster -h 10.0.0.1 6. 在D1,D2节点上设置 #给每个数据库节点都创建一张表users CREATE TABLE users ( username text, email text ); #给每个数据库节点都创建一个插入函数 CREATE OR REPLACE FUNCTION insert_user(i_username text, i_emailaddress text) RETURNS integer AS $$ INSERT INTO users (username, email) VALUES ($1,$2); SELECT 1; $$ LANGUAGE SQL; #把函数保存在 URTClusterNodesInit_1.sql文件里,并执行 sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterNodesInit_1.sql -h 10.0.0.2 -d URTCluster sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterNodesInit_1.sql -h 10.0.0.3 -d URTCluster 7. 在P1节点上设置 #在 plproxy 节点上创建一个同名的插入函数,用于进行集群检索 CREATE OR REPLACE FUNCTION insert_user(i_username text, i_emailaddress text) RETURNS integer AS $$ CLUSTER ‘URTCluster’; RUN ON hashtext(i_username); $$ LANGUAGE plproxy; #在 plproxy 节点上创建一个查询函数,用于进行集群检索 CREATE OR REPLACE FUNCTION get_user_email(i_username text) RETURNS text AS $$ CLUSTER ‘URTCluster’; RUN ON hashtext(i_username) ; SELECT email FROM users WHERE username = i_username; $$ LANGUAGE plproxy; #把函数保存在 URTClusterProxyExec.sql文件里,并执行 sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterProxyExec_1.sql -h 10.0.0.1 -d URTCluster 8. 在P1上测试结果 sudo -u postgres /home/y/pgsql/bin/psql -d URTCluster SELECT insert_user(’Sven’,’[email protected]’); #被保存到D2, 可以用select hashtext(’Sven’) & 1验证,被hash到 partition 1 SELECT insert_user(’Marko’, ‘[email protected]’); #被保存到D2, 可以用select hashtext(’Marko’) & 1验证,被hash到 partition 1 SELECT insert_user(’Steve’,’[email protected]’); #被保存到D1, 可以用select hashtext(’Steve’) & 1验证,,被hash到 partition 0 SELECT get_user_email(’Sven’); SELECT get_user_email(’Marko’); SELECT get_user_email(’Steve’);
|