2017/9/19SmartDataLab——数据科学基础设施搭建的探索与实践主讲人:TalkingData数据科学中心数据科学家冯博2017/9/19SmartDataLab——数据科学基础设施搭建的探索与实践主讲人:冯博·TalkingData2017/9/19内容SmartDataLab解决问题数据科学家工作现状2017/9/19现状—数据预处理数据可视化查看数据特征工程时间学习2017/9/19现状—调参运气耐心经验天赋艺术2017/9/19现状—交流和上线不是是上线!效果不错?求助评审不通过通过2017/9/19问题:大数据环境下,数据预处理成本太高数据管理:?目录浏览数据预览文件名搜索数据可视化?基本统计信息展示自定义统计协同?数据评论?责任人制度解决:标准化2017/9/19问题:工具繁杂,资源分配困难等问题计算资源是黑盒灵活container解决:SmartResource2017/9/19问题:调参占用太多时间数据目标算法内部最优横向比较AutoModelsklearnweka多种算法解决—AutoModelMLlib最佳模型2017/9/19问题:发布流程复杂RestfulAPI模型自发现配置发布解决:一键发布2017/9/19问题:协作、沟通社交教程成果代码项目竞赛心得解决:社交模块2017/9/19SDL-功能架构2017/9/19SDL-系统架构2017/9/19SDL—AutoModel架构2017/9/19SDL—AutoModel原理ABC123……20……9989991000123……20高斯过程预测211000……Top5比较repeatBest2017/9/19SDL——服务用户l6家国内大数据公司l5家国内知名高校lTa