20 lines
466 B
Markdown
20 lines
466 B
Markdown
|
解析配置文件，在数据进入下一步前进行一定的预处理（如补充空值、采样等）
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
目前完成了Pre-process Lib的部分预处理功能，如下：
|
|||
|
|
|
|||
|
|
- data_insight
|
|||
|
|
- DuplicateInsight - 重复数据的检测
|
|||
|
|
- NullInsight - 空值数据的检测
|
|||
|
|
- ValidationInsight - 数据有效性检测
|
|||
|
|
- data_process
|
|||
|
|
- FilteringProcessor - 数据过滤
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
另外：
|
|||
|
|
|
|||
|
|
- TypeInsight - 其中对date日期的检验方法还未完成
|
|||
|
|
|
|||
|
|
还未完成
|