使用增量刷新来刷新流程数据
注意:从版本 2020.4.1 开始,您现在可以在 Tableau Server 和 Tableau Cloud 中创建和编辑流程。除非特别指出,本主题中的内容适用于所有平台。有关在 Web 上制作流程的详细信息,请参见 Tableau Server 帮助中的 Web 上的 Tableau Prep(链接在新窗口中打开)。
从 Tableau Prep Builder 版本 2020.2.1 开始以及在 Web 上,您可以将流程输入和输出配置为以增量方式刷新,以便在流程运行时仅检索和处理新行,从而节省时间和资源。
举例来说,如果流程包含每天更新的事务数据,则可以设置增量刷新以便每天仅检索和处理新事务,然后每周或每月运行一次完全刷新以刷新所有流程数据。
注意:若要对使用 Salesforce 连接器的流程输入运行增量刷新,您必须使用 Tableau Prep Builder 版本 2021.1.2 或更高版本。将流程输出写入 Microsoft Excel 或 CRM Analytics 时,当前不支持增量刷新。
若要使用增量刷新来运行流程,Tableau Prep 需要以下信息:
- 用于检测输入表中的新行的字段。
- 用于将流程输出中最后一个处理的值与输入中的值进行比较以确定哪些行是新行的字段。有关详细信息,请参见使用 Append 进行增量刷新。
- 您希望如何将新数据写入表。您可以将新数据添加到现有表、使用新数据覆盖表数据,或者从 Tableau Prep Builder 版本 2020.3.1 开始以及在 Web 上,替换现有表中的数据。
流程刷新选项
Tableau Prep 使您能够选择如何刷新数据,以及如何使用流程输出更新表。下表描述了不同的选项及其优点。
刷新组合 | 处理的数据 | 表更新 | 好处 |
---|---|---|---|
完全刷新 + 创建表 | 全部 | 使用完整数据集创建或覆盖现有表。 | 在每次流程运行时刷新所有数据。 |
完全刷新 + 追加到表 | 全部 | 将新行添加到现有表。 | 在每次流程运行时跟踪新数据和现有数据。“追加到表”不可用于 .csv 输出类型。 |
完全刷新 + 替换数据 | 全部 | 替换现有表中的行。 | 保留现有的表架构结构,但将所有数据替换为每个流程运行。 |
增量刷新 + 创建表 | 仅新行 | 仅使用新行创建或覆盖现有表。 | 创建一个仅使用新行作为完整数据集的新表。 如果流程运行时输出数据源不存在或无法连接,则流程将失败。需要完全刷新才能创建输出,然后才能以增量方式使用它。 |
增量刷新 + 追加到表 | 仅新行 | 将新行添加到现有表。 | 仅将新行添加到现有表。“追加到表”不可用于 .csv 输出类型。请参见使用 Append 进行增量刷新。 |
增量刷新 + 替换数据 | 仅新行 | 仅将现有表中的所有行替换为新行。 | 保留现有的表架构结构,但将所有数据替换为新行,使此数据集成为您的完整数据集。 |
配置增量刷新
若要将流程配置为使用增量刷新,需要在要使用此选项的“输入”步骤和“输出”步骤上同时指定设置。在“输入”步骤中,指定 Tableau Prep 如何查找新行。在“输出”步骤中,指定如何将新行写入表。运行流程时,可以选择完全或增量刷新类型。
提示:为增量刷新配置输入和输出步骤后,可以保留配置并重复使用它们。复制并粘贴步骤以在当前流程的其他位置或 Tableau Prep Builder 中使用它们,或使用“将步骤另存为流程”将选定步骤保存到本地文件或服务器以在其他流程中重用这些步骤。有关复制、粘贴或重用步骤的详细信息,请参见复制步骤、操作和字段。
- 在流程窗格中,选择要为增量刷新配置的输入步骤。
- 在“设置”选项卡的“输入”窗格中,在“增量刷新”(以前版本中为“设置增量刷新”部分)下设置以下选项:
选择“启用增量刷新”(以前版本中为“启用”)。
输入字段(以前版本中为“使用字段标识新行”):选择要在输入数据中刷新的字段。必须为此字段分配“数字(整数)”、“日期”或“日期或时间”数据类型。目前,您只能选择单个字段。
注意:您可以稍后在流程中移除或重命名此字段,只要在“输出字段”(以前版本中为“输出中的字段名称”)中指定的字段可用于将此字段与最新输出进行比较来查找新行。
输出:选择与您的输入相关的输出,其中包括将用于比较行的字段。
输出字段(以前版本中为“输出中的字段名称”):选择要用于将流程输出中最后处理的值与输入中的值进行比较来查找新行的字段。此字段的数据类型必须与在“输入字段”(以前版本中为“使用字段标识新行”)中指定的字段的数据类型相同。
使用 Append 进行增量刷新
增量刷新首先在输出中搜索增量字段的现有最大值。然后,它会筛选输入中的行,以仅添加增量字段中值较大的行。例如:
现有表:
第 1 列 第 2 列 ID 5 第 5 行 根据第 1 列将新行追加到表中:
第 1 列 第 2 列 ID 1 新行1 ID 6 新行 6 - 未添加新行1。
- 添加了新行 6。
配置写入选项
若要完成增量刷新设置,请设置输出“写入选项”以指定如何将新行写入表。与配置的输入步骤相关的所有输出都选择了默认写入选项,但您可以将其更改为支持的选项。
您可以将行输出到文件(仅限 Tableau Prep Builder)、已发布的数据源或数据库。默认情况下,针对本地或已发布的 .hyper 数据提取的输出设置为 “追加到表”。针对 .csv 文件类型的输出设置为“创建表”。
在流程窗格中,选择要为增量刷新配置的输出步骤。
在“输出”窗格中的“写入选项”部分,查看默认写入选项并根据需要进行任何更改。
- 创建表:此选项创建新表,或将现有表替换为新输出。
- 追加到表:此选项将新数据添加到现有表中。如果表不存在,则在首次运行流程时创建一个新表,后续运行会将新行添加到此表。不可用于 .csv 输出类型。有关支持的刷新组合的详细信息,请参见流程刷新选项。
- 替换数据(Tableau Prep Builder 版本 2020.3.1 及更高版本以及在 Web 上):当您要将输出写回数据库中的现有表时,此选项可用。它将数据库表中的数据替换为流程数据,但保留表架构结构。
运行流程
您可以在 Tableau Prep Builder 中、在 Web 上或通过命令行使用增量刷新来运行单个流程。有关通过命令行运行流程的信息,请参见在启用增量刷新的情况下运行流程。
如果启用了包含 Tableau Prep Conductor 的 Data Management,则可以通过在 Tableau Server 或 Tableau Cloud 上设置计划来使用增量刷新运行流程。
注意:在以前的版本中,写入选项在 Tableau Prep Builder 中设置,在 Tableau Server 或 Tableau Cloud 中运行流程时,无法对其进行更改。从 Tableau Server 和 Tableau Cloud 版本 2020.4 开始,可以直接在 Web 中编辑流程。有关使用 Web 上的 Tableau Prep 的详细信息,请参见 Tableau Server 帮助中的 Web 上的 Tableau Prep(链接在新窗口中打开)。
如果找不到现有输出,无论您选择什么运行选项,Tableau Prep 都会对所有输出运行完全刷新。后续流程运行使用增量刷新过程,并仅检索和处理新行,除非缺少增量刷新配置数据,或者现有输出已移除。
从顶部菜单中,单击“运行”按钮上的下拉选项。
从“输出”窗格中,单击“运行流程”按钮上的下拉选项。
从“流程”窗格中,单击“输出”步骤旁边“运行”按钮上的下拉选项。
如果启用了增量刷新的一个输入与多个输出关联,这些输出必须一起运行,并且必须使用相同的刷新类型。在 Tableau Prep 中运行刷新时,将显示一个对话框,告知您必须同时运行这两个输出。