会员登录
还没有账号立即注册

用户名或密码错误

用第三方帐号直接登录

  • 微博帐号注册
  • QQ帐号注册
  • 文章
  • 视频
  • 问答
  • 登录
  • or
  • 注册
  • 最新的
  • 精华
原创 文

【DataExchange】源端抽取策略“时间戳增量”和“快照增量”的含义

  • 发布人:董玉昕
  • 发布时间:2020-11-14 16:41:35
“时间戳增量”和“快照增量”是数据交换产品增量识别源端数据库增量数据的两种策略。时间戳增量:在识别源端增量数据的时候,要求源表必须有一个递增的字段,作为识别增量数据的依据;第一次运行时,抽取全部的源端数据,程序会记录增量字段的最大值;第二次运行时,程序以上次运行时增量字段的最大值作为识别增量数据最小值,同样记录此次同步数据时数据中的增量字段最大值;后面的执行也是一样;优点:效率高;缺点:要求源表必须有递增字段;哪些字段可以成为增量字段?请见:http://www.datax.club/doc/vie...
1 0
原创 文

【DataCatalog】【DataExchange】电子政务目录驱动共享交换,底层数据同步任务情况统计方法

  • 发布人:董玉昕
  • 发布时间:2020-11-14 16:15:21
需求:在实际的项目实施过程中,经常有统计不同机构间的订阅、数据同步情况的需求。统计信息位置:业务上的目录、资源以及订阅关系存储于DataCatalog支撑库中;每次任务执行的状态、具体输入及同步具体数据条数等信息位于DataExchange支撑库中。实际场景示例:1、统计资源名称、订阅机构、发布机构、数据源名称、交换时间、数据量、状态(是否交换成功)DataCatalog支撑库SQL:SELECT DISTINCT (dist.title) AS 资源名称, sub.` TASK_O_ID ...
0 0
原创 文

【DataQuality】SQL规则如何禁用

  • 发布人:w-x-neu
  • 发布时间:2020-11-10 17:46:10
SQL规则未在规则启停中进行规则的启用禁用,需要在SQL规则中定义的SQL后面加上1=2的条件,即为禁用。
0 0
原创 文

【DataQuality】SQL规则增量配置中的错误标志字段未回写

  • 发布人:w-x-neu
  • 发布时间:2020-11-10 17:43:05
在SQL规则中,定义的sql语句取出的字段要包含评估方案配置的错误关键字段,且大小写一致,否则会导致增量配置的错误标志为回写失败。
0 0
原创 文

【DataQuality】基础规则-多字段关联校验

  • 发布人:w-x-neu
  • 发布时间:2020-11-10 17:34:17
多字段关联校验,是校验当源表的某符合定义的条件时中,关联列的数据也需要符合定义的条件;定义条件方式为字符串不加引号,in操作也不要加入括号,示例如下:
0 0
原创 文

【DataCatalog】发布数据服务资源,验证报“安全认证上下文中未找到认证对象”

  • 发布人:董玉昕
  • 发布时间:2020-11-06 17:48:30
现象:在数据目录产品上发布数据服务资源,验证时页面报如下图错误:网关及DataServices分别报下面的错误:问题原因:数据服务产品DataServices未关闭token认证。 解决办法:数据找到DataServices服务部署位置,并进入dataservices\webapps\dataservices\WEB-INF\conf\oauth路径,参考下图修改oauth-services.xml配置文件,然后重启DataServices服务,问题解决。
0 0
原创 文

【DataCatalog】【DataExchange】数据目录系统页面操作时,报“No such operation”错误的解决办法

  • 发布人:董玉昕
  • 发布时间:2020-11-05 14:49:52
现象:在数据目录产品上进行需要与 DataExchange 对接的操作,如:测试/保存 Agent、测试/保存数据源等,提示“No such operation xxx”关键字的错误,形如下图所示:问题原因:数据目录与数据交换版本不配套,或数据交换的中心节点与agent代理节点版本不一致导致。 解决办法:升级数据目录或数据交换,使得二者版本配套:1、获取数据目录、数据交换版本信息,反馈给数据目录产品团队:  ①数据目录版本信息获取方法:查看产品datacatalog/releaseNote.html...
0 0
原创 文

【DataCatalog】【DataExchange】发布数据资源时,都有哪些类型的字段可以作为时间戳增量字段?

  • 发布人:董玉昕
  • 发布时间:2020-10-20 15:59:11
以“时间戳增量”的增量规则发布数据资源,最终订阅方订阅数据资源形成的数据同步任务,每次执行时将基于时间戳增量字段的范围值去源数据库中识别增量数据。“时间戳”是一个抽象概念,不仅仅是时间字段可以被选做,只要是可以用于识别“递增”的字段类型均可,支持以下数据类型:1、时间类型字段:所有时间类字段均可2、数值类型字段:整型类、浮点类均可3、字符类型字段:要求数值内容等长,系统即可基于字符串的比较结果识别增量数据。
0 0
原创 文

Chrome80版本跨域时cookie权限收紧问题解决方法

  • 发布人:w-x-neu
  • 发布时间:2020-09-29 17:20:22
现象:Chrome 80版本开始,将未声明 SameSite 值的 Cookie 默认设置为SameSite=Lax。浏览器的 Cookie的SameSite属性,用来防止 CSRF 攻击和用户追踪,但该设置会阻止第三方Cookie写入。造成一体化平台中各产品的Iframe页面的请求无法写入JSESSIONID,致使各产品请求验证失败,请求被拦截。 可行办法:在response中设置SameSite=None,但该设置需要请求为Https。否则SameSite=None的设置不生效。 解决办法:在C...
0 1
原创 文

远程复制文件的工具

  • 发布人:yyu
  • 发布时间:2020-08-07 17:53:38
pscp.exe是一个远程复制文件的工具。//常用参数-q 安静模式,传输文件时什么也不显示,否则会显示出文件的传输进度  -P port 指定服务器的 SSH 端口,注意这个是大写字母 P,默认是 -P 22,如果主机的 SSH 端口就是 22,就不用指定了  -l user 指定以哪个用户的身份登录主机,用户名称也可以和主机名称写在一起,用@分割开,比如:username@server  -pw passwd 指定登录时所用的口令为:passwd  -C 表示允许压缩传输,提高传输速度把...
0 0
原创 文

【DataCatalog】文档预览中文乱码

  • 发布人:张峻华
  • 发布时间:2020-05-25 19:01:55
DataCatalog中的文档预览在Linux环境可能存在中文乱码情况,解决方式如下:1.下载中文字体,地址:https://mirrors.tuna.tsinghua.edu.cn/adobe-fonts/source-han-sans/SubsetOTF/SourceHanSansCN.zip将下载后字体文件夹复制到 /usr/share/fonts 目录下,然后运行 fc-cache -fv 命令以更新字体缓存。之后重启DI、dataCatalog服务。
0 0
原创 文

【DataExchange】传输文件时,提示No space left on device,是什么原因引起的?

  • 发布人:cil
  • 发布时间:2020-04-07 19:42:44
传输文件时,提示No space left on device,是什么原因引起的?答:目标路径中,系统盘空间不足引起,可以清理一下所在系统盘。
0 0
  •   
  • 1
  • 2
  • 3
  • 4
  • ...
  • 11
  •   

热门话题

24小时热门

周热门

月热门

总热门

  • 关于我们
  • 常见问题
@东软集团
Powered By Mtons