DataSphereStudio安装部署文档

　　DSS部署在bigdata4节点上。1。1下载安装包
　　地址：https：osp1257653870。cos。apguangzhou。myqcloud。comWeDatasphereDataSphereStudio1。1。1dsslinkisoneclickinstall20221201。zip
　　版本：1。1。11。2部署前注意事项（重要）确保安装的系统为CentOS为6或者7服务器存在多网卡问题。首先通过命令ifconfig命令查看服务器激活状态的网卡，若激活状态的网卡数大于1，那么用户就需要通过命令ifconfig〔NICNAME〕down（〔NICNAME〕为网卡名称）来关闭多余的网卡，以确保激活的网卡数只有1个网卡多IP问题。在确保服务器只存在一个网卡是激活状态的情况下，通过命令echo（hostnameI）查看网卡对应的IP数，若大于1，那么就需要去掉网卡中指定的IP，采用动态获取IP的方式，具体命令如下：ipaddrflushdev〔NICNAME〕
　　ifdown〔NICNAME〕
　　ifup〔NICNAME〕hostname配置。在安装前用户需要配置hostname到ip的映射1。3基础软件安装1。3。1概述需要的命令工具（在正式安装前，脚本会自动检测这些命令是否可用，如果不存在会尝试自动安装，安装失败则需用户手动安装以下基础shell命令工具）：
　　dos2expect需要安装的软件：
　　MySQL（5。5）；JDK（1。8。0141以上）；Python（2。x和3。x都支持）；Nginx下面的服务必须可从本机访问：
　　Hadoop（2。7。2，Hadoop其他版本需自行编译Linkis），安装的机器必须支持执行hdfsdfsls命令
　　Hive（2。3。3，Hive其他版本需自行编译Linkis），安装的机器必须支持执行hiveeshowdatabases命令
　　Spark（支持2。0以上所有版本），安装的机器必须支持执行sparksqleshowdatabases命令Tips：
　　如用户是第一次安装Hadoop，单机部署Hadoop可参考：Hadoop单机部署；分布式部署Hadoop可参考：Hadoop分布式部署
　　如用户是第一次安装Hive，可参考：Hive快速安装部署
　　如用户是第一次安装Spark，OnYarn模式可参考：SparkonYarn部署1。3。2基础软件安装1。3。2。1Linux命令安装yuminstallytelnetserver。x8664yuminstallytelnet。x8664yumyinstallsedyuminstallydos2unixyumyinstallexpect1。3。2。2如果用户的Pyspark想拥有画图功能，则还需在所有安装节点，安装画图模块pythonmpipinstallmatplotlib1。3。2。3MySQL安装
　　。在bigdata4节点上，安装MySQL8。0。31
　　下载地址：https：dev。mysql。comgetDownloadsMySQL8。0mysql8。0。31linuxglibc2。12x8664。tar。xz
　　。上传并解压解压mysql8。0。31linuxglibc2。12x8664。tar。xz1。上传jar包：cdoptsudorzCtrl点击鼠标右键上传jar包2。解压：sudotarxvfmysql8。0。31linuxglibc2。12x8664。tar。xz3。删掉安装包：sudormrfmysql8。0。31linuxglibc2。12x8664。tar。xz4。更改名称sudomvmysql8。0。31linuxglibc2。12x8664mysql8。0。315。更改用户组sudochownRadmin：adminmysql8。0。31
　　。填写配置文件
　　在MySQL根目录下创建配置文件my。cnfvimoptmysql8。0。31my。cnf
　　配置文件如下：〔mysqld〕设置3306端口port3306设置mysql的安装目录basediroptmysql8。0。31设置mysql数据库的数据的存放目录datadiroptmysql8。0。31data允许最大连接数maxconnections2000允许连接失败的次数。这是为了防止有人从该主机试图攻击数据库系统maxconnecterrors10服务端使用的字符集默认为UTF8charactersetserverutf8创建新表时将使用的默认存储引擎defaultstorageengineINNODBsqlmode中去掉了ONLYFULLGROUPBYsqlmodeSTRICTTRANSTABLES，NOZEROINDATE，NOZERODATE，ERRORFORDIVISIONBYZERO，NOENGINESUBSTITUTION〔mysql〕设置mysql客户端默认字符集defaultcharactersetutf8〔client〕设置mysql客户端连接服务端时默认使用的端口port3306defaultcharactersetutf8
　　在MySQL根目录下创建数据文件夹：cdoptmysql8。0。31mkdirdata
　　。MySQL初始化cdoptmysql8。0。31bin。mysqlddefaultsfileoptmysql8。0。31my。cnfinitializeinsecure
　　。启动MySQLoptmysql8。0。31binmysqldsafedefaultsfileoptmysql8。0。31my。cnf
　　。查看是否启动psefgrepmysql
　　。配置环境变量打开etcprofile。d目录下的myenv。sh文件sudovimetcprofile。dmyenv。sh添加如下内容，然后保存（：wq）退出MYSQLHOME
　　exportMYSQLHOMEoptmysql8。0。31
　　exportPATHPATH：MYSQLHOMEbin让环境变量生效sourceetcprofile。dmyenv。sh
　　。登录数据库mysqlurootp
　　。修改密码ALTERUSERrootlocalhostIDENTIFIEDBYrootPASSWORDEXPIRENEVER；ALTERUSERrootlocalhostIDENTIFIEDwITHmysqlnativepasswordBYXl123456；1。3。2。4Nginx安装
　　。在bigdata4节点上，安装nginx1。22。1
　　下载地址：https：nginx。orgdownloadnginx1。22。1。tar。gz
　　。上传并解压解压nginx1。22。1。tar。gz1。上传jar包：cdoptsudorzCtrl点击鼠标右键上传jar包2。解压：sudotarxvfnginx1。22。1。tar。gz3。删掉安装包：sudormrfnginx1。22。1。tar。gz4。更改用户组sudochownRadmin：adminnginx1。22。1
　　。安装nginx创建usrlocalnginx文件夹cdusrlocalsudomkdirnginxsudochownRadmin：adminnginxcdoptnginx1。22。1。configurewithhttpsslmodulewithipv6withstream。configureprefixusrlocalnginxwithhttpstubstatusmodulewithhttpsslmodulewithhttpflvmodulewithhttpstubstatusmodulewithstreamwithhttpgzipstaticmodulemakemakeinstall
　　。启动nginxcdusrlocalnginxsbinsudo。nginx1。4修改配置1。上传jar包：cdoptsudorzCtrl点击鼠标右键上传jar包2。解压：sudounzipdsslinkisoneclickinstall20221201。zip3。删掉安装包：sudormrfdsslinkisoneclickinstall20221201。zip4。更改名称sudomvdsslinkisoneclickinstall20221201dsslinkis5。更改用户组sudochownRadmin：admindsslinkis用户需要对optdsslinkisconf目录下的config。sh和db。sh进行修改。修改config。shvimoptdsslinkisconfconfig。sh
　　修改文件内容如下：deployuserdeployUseradminLinkisVERSIONLINKISVERSION1。1。1DSSWebDSSNGINXIP127。0。0。1DSSWEBPORT8085DSSVERSIONDSSVERSION1。1。1linkis的其他默认配置信息startSpecifiestheuserworkspace，whichisusedtostoretheusersscriptfilesandlogfiles。Generallylocaldirectoryfile：requiredWORKSPACEUSERROOTPATHhomeadminlinkisUsersroothdfspathhdfs：requiredHDFSUSERROOTPATHhdfs：tmplinkisPathtostorejobResultSet：fileorhdfspathhdfs：requiredRESULTSETROOTPATHhdfs：tmplinkisPathtostorestartedenginesandenginelogs，mustbelocalENGINECONNROOTPATHhomeadminlinkistmpENTRANCECONFIGLOGPATHhdfs：tmplinkishdfs：requiredHADOOPCONFDIRappcomconfighadoopconfigHADOOPCONFDIRopthadoop3。1。3etchadoopHIVECONFDIRappcomconfighiveconfigHIVECONFDIRopthiveconfSPARKCONFDIRappcomconfigsparkconfigSPARKCONFDIRopthiveconfforinstallLINKISPUBLICMODULEliblinkiscommonspublicmoduleYARNRESTURLsparkenginerequiredYARNRESTFULURLhttp：172。16。3。45：8088EngineversionconfSPARKVERSIONSPARKVERSION3。0。0HIVEVERSIONHIVEVERSION3。1。2PYTHONVERSIONpython2LDAPisforenterpriseauthorization，ifyoujustwanttohaveatry，ignoreit。LDAPURLldap：localhost：1389LDAPBASEDNdcwebank，dccomLDAPUSERNAMEFORMATcnsxxx。com，OUxxx，DCxxx，DCcomTheinstallConfigurationofallLinkissMicroServicesNOTICE：1。Ifyoujustwannatry，thefollowingmicroserviceconfigurationcanbesetwithoutanysettings。Theseserviceswillbeinstalledbydefaultonthismachine。2。Inordertogetthemostcompleteenterpriselevelfeatures，westronglyrecommendthatyouinstallthefollowingmicroserviceparametersEUREKAinstallinformationYoucanaccessitinyourbrowserattheaddressbelow：http：｛EUREKAINSTALLIP｝：｛EUREKAPORT｝MicroservicesServiceRegistrationDiscoveryCenterLINKISEUREKAINSTALLIP127。0。0。1LINKISEUREKAPORT9600LINKISEUREKAPREFERIPtrueGatewayinstallinformationLINKISGATEWAYINSTALLIP127。0。0。1LINKISGATEWAYPORT9001ApplicationManagerLINKISMANAGERINSTALLIP127。0。0。1LINKISMANAGERPORT9101EngineManagerLINKISENGINECONNMANAGERINSTALLIP127。0。0。1LINKISENGINECONNMANAGERPORT9102EnginePluginServerLINKISENGINECONNPLUGINSERVERINSTALLIP127。0。0。1LINKISENGINECONNPLUGINSERVERPORT9103LinkisEntranceLINKISENTRANCEINSTALLIP127。0。0。1LINKISENTRANCEPORT9104publicserviceLINKISPUBLICSERVICEINSTALLIP127。0。0。1LINKISPUBLICSERVICEPORT9105csLINKISCSINSTALLIP127。0。0。1LINKISCSPORT9108Linkis微服务配置完毕TheinstallConfigurationofallDataSphereStudiosMicroServicesNOTICE：1。Ifyoujustwannatry，thefollowingmicroserviceconfigurationcanbesetwithoutanysettings。Theseserviceswillbeinstalledbydefaultonthismachine。2。Inordertogetthemostcompleteenterpriselevelfeatures，westronglyrecommendthatyouinstallthefollowingmicroserviceparametersDSSSERVERThisserviceisusedtoprovidedssservercapability。projectserverDSSFRAMEWORKPROJECTSERVERINSTALLIP127。0。0。1DSSFRAMEWORKPROJECTSERVERPORT9002orchestratorserverDSSFRAMEWORKORCHESTRATORSERVERINSTALLIP127。0。0。1DSSFRAMEWORKORCHESTRATORSERVERPORT9003apiserviceserverDSSAPISERVICESERVERINSTALLIP127。0。0。1DSSAPISERVICESERVERPORT9004dssworkflowserverDSSWORKFLOWSERVERINSTALLIP127。0。0。1DSSWORKFLOWSERVERPORT9005dssflowexecutionserverDSSFLOWEXECUTIONSERVERINSTALLIP127。0。0。1DSSFLOWEXECUTIONSERVERPORT9006dssscriptisserverDSSSCRIPTISSERVERINSTALLIP127。0。0。1DSSSCRIPTISSERVERPORT9008dssdataapiserverDSSDATAAPISERVERINSTALLIP127。0。0。1DSSDATAAPISERVERPORT9208dssdatagovernanceserverDSSDATAGOVERNANCESERVERINSTALLIP127。0。0。1DSSDATAGOVERNANCESERVERPORT9209dssguideserverDSSGUIDESERVERINSTALLIP127。0。0。1DSSGUIDESERVERPORT9210DSS微服务配置完毕otherdefaultconfiguration其他默认配置信息javaapplicationdefaultjvmmemoryexportSERVERHEAPSIZE512Msendemail配置，只影响DSS工作流中发邮件功能EMAILHOSTsmtp。163。comEMAILPORT25EMAILUSERNAMEmixiangchongxianglin。cnEMAILPASSWORDXl123456EMAILPROTOCOLsmtpSavethefilepathexportedbytheorchestratorserviceORCHESTRATORFILEPATHhomeadmindssSaveDSSflowexecutionservicelogpathEXECUTIONLOGPATHhomeadmindss修改db。shforDSSServerandEventcheckerAPPCONNMYSQLHOST172。16。3。26MYSQLPORT3306MYSQLDBdssMYSQLUSERrootMYSQLPASSWORDXl123456主要是配合scriptis一起使用，如果不配置，会默认尝试通过HIVECONFDIR中的配置文件获取HiveMeta元数据库的URLHIVEMETAURLjdbc：mysql：172。16。3。26：3306metastore？useSSLfalseuseUnicodetruecharacterEncodingUTF8HiveMeta元数据库的用户HIVEMETAUSERrootHiveMeta元数据库的密码HIVEMETAPASSWORDXl1234561。5安装和使用1。5。1停止机器上所有DSS及Linkis服务若从未安装过DSS及Linkis服务，忽略此步骤1。5。2将当前目录切换到bin目录cdoptdsslinkisbin1。5。3执行安装脚本shinstall。sh该安装脚本会检查各项集成环境命令，如果没有请按照提示进行安装，以下命令为必须项：
　　dos2nginx安装时，脚本会询问您是否需要初始化数据库并导入元数据，Linkis和DSS均会询问，第一次安装必须选是通过查看控制台打印的日志信息查看是否安装成功，如果有错误信息，可以查看具体报错原因除非用户想重新安装整个应用，否则该命令执行一次即可1。5。4启动服务若用户的Linkis安装包是通过自己编译获取且用户想启用数据源管理功能，那么就需要去修改配置以启动该项功能，使用下载的安装包无需操作切换到Linkis配置文件目录cdoptdsslinkislinkisconf打开配置文件linkisenv。shvimlinkisenv。sh将如下配置改为trueexportENABLEMETADATAMANAGERtrue若用户的Linkis安装包是通过自己编译获取，在启动服务前尽量将后续用到的密码改成和部署用户名一致，使用下载的安装包无需操作切换到Linkis配置文件目录cdoptdsslinkislinkisconf打开配置文件linkismggateway。propertiesvimlinkismggateway。properties修改密码wds。linkis。admin。passwordhadoop在xxdsslinkisbin目录下执行启动服务脚本shoptdsslinkisbinstartall。sh如果启动产生了错误信息，可以查看具体报错原因。启动后，各项微服务都会进行通信检测，如果有异常则可以帮助用户定位异常日志和原因1。5。5安装默认Appconn切换目录到dss，正常情况下dss目录就在xxdsslinkis目录下，cdoptdsslinkisdssbin执行启动默认Appconn脚本shinstalldefaultappconn。sh该命令执行一次即可，除非用户想重新安装整个应用1。5。6查看验证是否成功用户可以在Eureka界面查看LinkisDSS后台各微服务的启动情况，默认情况下DSS有7个微服务，Linkis有10个微服务（包括启用数据源管理功能后的两个微服务）（Eureka地址在xxdsslinkisconfconfig。sh有配置）用户可以使用谷歌浏览器访问以下前端地址：http：DSSNGINXIP：DSSWEBPORT启动日志会打印此访问地址（在xxdsslinkisconfconfig。sh中也配置了此地址）。登陆时默认管理员的用户名和密码均为部署用户为hadoop（用户若想修改密码，可以通过修改optdsslinkislinkisconflinkismggateway。properties文件中的wds。linkis。admin。password参数）1。5。7停止服务shoptdsslinkisbinstopall。sh若用户需要停止所有服务可执行该命令shstopall。sh，重新启动所有服务就执行shstartall。sh，这两条命令均在xxdsslinkisbin目录下执行1。6补充说明考虑到安装包过于大的问题，Linkis默认仅提供Hive，Python，Shell，Spark引擎插件，用户若想使用其他引擎，可参考文档：Linkis引擎的安装DSS默认未安装调度系统，用户可以选择安装Schedulis或者DolphinScheduler，具体安装方式见下面表格DSS默认仅安装DateChecker，EventSender，EventReceiverAppConn，用户可参考文档安装其他AppConn，如Visualis，Exchangis，Qualitis，Prophecis，Streamis。调度系统可使用Schedulis或DolphinScheduler1。7web端访问地址：
　　地址：http：172。16。3。44：8085login
　　账号：admin
　　密码：hadoop
　　1。8官网文档地址
　　https：github。comWeBankFinTechDataSphereStudioDocblobmainzhCNE5AE89E8A385E983A8E7BDB2DSS26LinkisE4B880E994AEE983A8E7BDB2E69687E6A1A3E58D95E69CBAE78988。md1
　　欢迎进入开发者交流群，以下学习资料有助于你了解WDS：
　　（1）沙箱环境使用指南：https：mp。weixin。qq。comsWoAzboxyhTSk5A69TvaBA
　　（2）WeDataSphere视频介绍：https：www。bilibili。comvideoBV1De4y1Z7ZZ
　　（3）使用DSS实现可视化BI：https：www。bilibili。comvideoBV1xY4y1t7Ma
　　（4）技术文章集锦：https：mp。weixin。qq。comsOLw9VLz80otLMP3BD1m7JA
　　如果你们有培训、安装部署、运维支持等商业合作的需求，欢迎联系小助手进行详细沟通1。9常见问题：1。9。1启动服务报错