HASH GAME - Online Skill Game GET 300

　　简单易用是我们设计HashML时的首要目标，力求帮助企业无门槛使用各种经典和最前沿的AI算法和模型能力，低成本解决实际业务问题。为了实现这个目标，HashML对编程接口做了高度抽象和标准化。客户只需编写少量代码就可以完成从数据加载到数据处理、模型训练、模型部署和推理预测的全流程工作。例如，针对模型的训练和微调，HashML抽象了统一的fit接口。不论是机器学习模型、深度学习模型还是大语言模型，都可以调用该接口完成模型训练或微调。

　　HashML提供了分布式并行模型训练能力，可以按需将模型训练任务分配给多个Worker执行，同时可以为每个Worker指定所需计算资源（包括CPU核数和GPU卡数）。对于大多数常见的训练任务，数据并行就足以高效完成模型训练。对于参数规模庞大的大语言模型，我们在数据并行的基础上，利用DeepSpeed和Accelerate实现模型并行。另外，得益于HashData对计算资源的统一管理，用户无需费心训练作业具体是在哪些机器上执行，运维工作大幅简化。

　　为了满足各种应用场景，HashML内置了对经典机器学习算法的支持，如Logistic Regression、Random Forest、SVM、XGBoost、LightGBM等，还通过支持主流的深度学习框架（如PyTorch），能够支持各种深度学习算法。另外，HashML也允许用户根据需要定制开发新算法。通过对算法开发框架精心封装，使得用户在充分理解算法原理的基础上，只需关注网络结构的定义和实现，用少量代码就能完成新算法的开发和引入。新算法开发完成后，可以自动具备HashML所提供的分布式并行训练和推理能力。

　　ChatGPT的问世使得大语言模型成为了当前最受关注的研究热点。大语言模型技术的产生与发展不仅重塑了人工智能发展的技术路线，还在很大程度上改变了AI技术在企业的应用范式。HashML顺应技术趋势，提供了对大语言模型的支持，包括模型微调以及知识增强的大语言模型应用开发。HashML对当前业界主流的开源大语言模型都提供了支持，包括ChatGLM、Baichuan、LLaMA-2、Qwen等。基于HashML，可以非常方便地实现百亿级参数大语言模型的私有化部署，并在客户私有环境实现模型微调和智能应用开发。

　　大语言模型使用了大量的文本进行训练从而使人机对话更加智能，但对于特定领域的知识，大语言模型却显得捉襟见肘。基于HashML和大语言模型，可以快速搭建基于向量知识库的检索增强的智能问答系统（ReQA）。在ReQA中，企业通过调用本地部署的Embedding服务将自有的知识库（包括管理制度、产品手册、技术手册、运维手册、工作规范、流程记录、FAQ等）进行向量化，并存放到HashData形成向量知识库。当回答用户提问时，通过检索向量知识库获得相关信息，作为上下文和问题一起提交给大语言模型，这样大语言模型就能够生成精准的回答，从而有效解决困扰大语言模型的生成“幻觉”问题。ReQA在企业有着非常广泛的应用场景，包括智能客服、销售助手、文档阅读助手等。

　　虽然SQL是一种普遍使用的数据库查询语言，但对许多企业员工来说却是一道难以逾越的门槛，这无疑限制了业务部门直接处理数据。针对这个问题，我们基于HashML和大语言模型开发了ChatData，使得企业每个员工可以无门槛地使用自然语言与权限范围内的数据库进行交互。ChatData大大降低了数据分析和应用的门槛，有利于充分地释放企业数据价值。在ChatData中，首先利用大量高质量的查询指令，SQL语句数据对大语言模型进行微调，使之能够准确地将自然语言表达的用户查询意图转换为正确合法的SQL语句，系统通过执行生成的SQL语句完成数据查询并返回结果。在此基础上用户还可以通过自然语言和系统进行交互，实现对查询结果的可视化。

　　新一代人工智能技术正在加速企业数字化、智能化进程，长远来看，将对企业的研发、生产、经营带来深远影响。企业需要逐场景深入打磨，让AI计算贴近应用场景、贴近企业数据资产，才能实现更好的AI落地。酷克数据打造的下一代高级分析和数据科学工具箱HashML，致力于大幅降低AI技术的应用门槛，为数据科学家、数据工程师、AI应用开发者使用先进的AI技术提供便利。我们希望以企业数据仓库为依托，结合前沿的AI技术，帮助用户以低成本快速试错，迭代发掘高价值应用场景，推动AI技术在企业规模化落地，产生真正的业务价值。未来，我们将持续迭代完善产品，将HashData打造成强大的企业级数据和AI基础设施，助力千行百业通过分析与智能实现业务价值！