先决条件
在登陆或复制数据之前,请确保达成以下先决条件:
-
在 数据移动网关 服务器上安装所需的 driver
信息注释只有当您选择使用 数据移动网关 时,才需要这样。有关 数据移动网关 的优势和何时需要它的信息,请参阅 Qlik 数据网关 - 数据移动。
请注意,Qlik Talend Cloud Starter 订阅不可使用 数据移动网关。
-
授予数据源所需的权限
-
配置数据源连接器
驱动程序设置
您可以使用驱动程序安装实用程序(推荐)安装 driver 或手动安装。只有在您遇到驱动程序安装实用程序发生问题的少见情况下,才应尝试手动安装。
使用驱动程序安装实用程序安装驱动程序
本部分介绍如何安装所需的 driver。这个过程包括运行一个脚本,该脚本将自动下载、安装和配置所需的 driver。您还可以根据需要运行脚本来更新和卸载 driver。
准备安装
-
请确保在 数据移动 网关服务器上安装了 Python 3.6 或更高版本。
Python 预装在大多数 Linux 发行版上。您可以通过运行以下命令来检查系统上安装了哪个 Python 版本。
python3 --version
安装 driver
下载并安装 driver :
-
在 数据移动 网关计算机上,将工作目录更改为:
opt/qlik/gateway/movement/drivers/bin
-
然后运行以下命令:
语法:
./install sqlserver
如果无法下载 driver(由于访问限制或技术问题),将显示一条消息,为您指示在 数据移动 网关机器上下载 driver 的位置和复制驱动程序的位置。完成此操作后,请再次运行 install sqlserver 命令。
否则,将显示 driver 的 EULA。
-
执行以下操作之一:
- 重复按 [Enter] 可在 EULA 中缓慢滚动。
- 重复按空格键可快速滚动 EULA。
- 按 q 退出许可证文本并显示 EULA 接受选项。
-
执行以下操作之一:
- 键入 "y" 并按 [Enter] 接受 EULA 并开始安装。
- 键入 "n" 并按 [Enter] 拒绝 EULA 并退出安装。
-
键入“v”并按 [Enter] 以再次查看 EULA。
将会安装 driver。
更新 driver
如果要在安装提供的 driver 之前卸载以前版本的 driver,请运行 update 命令。
下载并更新 driver:
-
在 数据移动 网关计算机上,将工作目录更改为:
opt/qlik/gateway/movement/drivers/bin
-
然后运行以下命令:
语法:
./update sqlserver
如果无法下载 driver(由于访问限制或技术问题),将显示一条消息,为您指示在 数据移动 网关机器上下载 driver 的位置和复制驱动程序的位置。完成此操作后,请再次运行 update sqlserver 命令。
否则,将显示 driver 的 EULA。
-
执行以下操作之一:
- 重复按 [Enter] 可在 EULA 中缓慢滚动。
- 重复按空格键可快速滚动 EULA。
- 按 q 退出许可证文本并显示 EULA 接受选项。
-
执行以下操作之一:
- 键入 "y" 并按 [Enter] 接受 EULA 并开始安装。
- 键入 "n" 并按 [Enter] 拒绝 EULA 并退出安装。
- 键入“v”并按 [Enter] 可从头开始查看 EULA。
将卸载旧的 driver,并安装新的 driver。
卸载 driver
如果要卸载 driver,请运行 uninstall 命令。
卸载 driver:
-
停止所有配置为使用此连接器的任务。
-
在 数据移动 网关计算机上,将工作目录更改为:
opt/qlik/gateway/movement/drivers/bin
-
然后运行以下命令:
语法:
./uninstall sqlserver
将卸载 driver。
手动安装驱动程序
只有在自动驱动程序安装未成功完成的情况下,才应尝试手动安装 driver。
在安装 数据移动网关 后,下载 msodbcsql<版本>.x86_64.rpm 驱动程序。您可以在此路径下面找到受支持版本的直接下载链接:binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml。下载完成后,将 RPM 复制到 数据移动网关 机器上。
在 Data Movement gateway 服务器上,打开 shell 提示符并执行以下操作:
-
停止 Data Movement gateway 服务:
sudo systemctl stop repagent
-
可选择确认服务已停止:
sudo systemctl status repagent
-
安装驱动程序 (RPM)。
-
将工作目录更改为 <product_dir>/bin。
-
如下将驱动程序位置复制到
site_arep_login.sh
文件:echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/
msodbcsql<version>
/lib64/" >> site_arep_login.sh
这将把驱动程序添加到 "LD_LIBRARY_PATH" 并更新驱动程序位置于 site_arep_login.sh 文件。
-
可选择确认已将驱动程序位置复制:
cat site_arep_login.sh
-
启动 Data Movement gateway 服务:
sudo systemctl start repagent
-
可选择确认服务已启动:
sudo systemctl status repagent
状态应如下所示:
Active: active (running) since <timestamp> ago
-
Data Movement gateway 需要以下 ODBC 库:msodbcsql-18.1.so.1.1
要检查当前安装的库版本,请发出以下命令:
ls /opt/microsoft/msodbcsql<version>/lib64/
如果现有库有不同的版本号码(例如 libmsodbcsql-18.0.so.1.1),则需要在现有库和所需库之间创建符号链接。
为此,请发出以下命令:
cd /opt/microsoft/msodbcsql<version>/lib64/
ln -s existing_library_name
msodbcsql-18.1.so.1.1此处
existing_library_name
是当前安装的库的名称(例如 libmsodbcsql-18.0.so.1.1)。
状态应如下所示:
Active: inactive (dead) since <timestamp> ago
数据库选择
为了能够选择数据库(通过单击连接器对话框中的加载数据库),需要在主数据库上创建连接器设置中指定的用户。
端口
默认情况下,需要打开端口 1434 以便在 数据移动网关 服务器上进行出站通信。您可以在连接器设置中更改此项。
为 CDC 准备数据库
以下部分介绍如何为 CDC 设置数据库。
为 CDC 设置数据库:
-
通过执行以下操作为 MS-CDC 设置数据库:
exec source_db_name.dbo.sp_cdc_enable_db
其 source_db_name 中是源数据库的名称。
-
landing 任务自动为所有源表启用 MS-CDC。但是,如果您希望手动启用 MS-CCD,请执行以下脚本(针对每个预期的源表):
exec sys.sp_cdc_enable_table
@source_schema = N'schema_name',
@source_name = N'table_name',
@role_name = NULL
其中 schema_name 和 table_name 分别是源模式和源表的名称。
信息注释- CT 表格名称必须使用默认命名格式:<SchemaName>_<TableName>_CT
-
CT 表必须包括以下列:[__$start_lsn]、[__$end_lsn]、[__$seqval]、[__$operation]、[__$update_mask]、<all the data columns>、[__$command_id]
-
确保 MS-CDC 捕获和清理作业正在运行。
信息注释- 您可以使用 sys.sp_cdc_change_job 控制作业。有关其他信息,请参阅 Microsoft 帮助。
- 为了减少延迟,您可能需要将 @pollinginterval 参数设置为较小的值。