让人工智能负责区块链治理和可审计性

　　szhzxw。cncxounion。org
　　在过去的几年里，人们对人工智能（AI）产生了很多担忧，因为商界人士和技术专家都担心他们认为这些系统拥有巨大的决策能力。
　　作为一名数据科学家，我习惯于为人工智能的可能性和局限性发声。在本文中，我将解释公司如何使用区块链技术进行模型开发治理，这是更好地理解人工智能的突破，使模型开发过程可审计，并为人工智能决策识别和分配责任。
　　使用区块链进行模型开发治理
　　尽管人们普遍意识到治理人工智能的必要性，但关于如何治理人工智能的讨论往往含糊不清，例如《哈佛商业评论》中的如何在人工智能中建立问责制：
　　评估治理结构。管理AI的健康生态系统必须包括治理流程和结构。。。。。。AI问责制意味着在组织层面寻找治理的可靠证据，包括AI系统的明确目标和目标；明确定义的角色、职责和权限；能够管理人工智能系统的多学科劳动力；广泛的利益相关者；和风险管理流程。此外，寻找系统级治理元素至关重要，例如特定AI系统的记录技术规范、合规性以及利益相关者对系统设计和操作信息的访问。
　　这份详尽的要求清单足以让任何读者目瞪口呆。组织究竟如何获取系统级治理元素并提供利益相关者访问系统设计和运营信息？
　　以下是切实可行的建议：使用区块链技术确保所有关于人工智能或机器学习模型的决策都被记录下来并且是可审计的。（全面披露：2018年，我提交了一项美国专利申请〔16128，359USA〕，围绕使用区块链进行模型开发治理。）
　　区块链如何创造可审计性
　　开发AI决策模型是一个复杂的过程，其中包含无数增量决策模型的变量、模型设计、使用的训练和测试数据、特征的选择等等。所有这些决定都可以记录到区块链中，这也可以提供查看模型原始潜在特征的能力。您还可以将构建变量集不同部分以及参与模型权重创建和模型测试的所有科学家记录到区块链中。
　　模型治理和透明度对于构建可审计的道德AI技术至关重要。在区块链技术的支持下，这些决策的总和和总记录提供了在内部有效管理模型、赋予问责制并满足肯定会为您的AI服务的监管机构所需的可见性。
　　区块链之前：分析模型漂移
　　在区块链成为流行语之前，我开始在我的数据科学组织中实施类似的分析模型管理方法。2010年，我制定了一个以分析跟踪文档（ATD）为中心的开发流程。这种方法详细的模型设计、变量集、科学家分配、培训和测试数据以及成功标准，将整个开发过程分解为三个或更多敏捷冲刺。
　　我认识到需要采用ATD的结构化方法，因为我已经看到了太多的负面结果，这些负面结果已经成为金融行业的常态：缺乏验证和问责制。以银行业为例，十年前分析模型的典型生命周期如下所示：
　　1、数据科学家构建模型，自行选择其中包含的变量。这导致科学家创建冗余变量，而不是使用经过验证的变量设计并在模型代码中创建新错误。在最坏的情况下，数据科学家可能会使用可能引入偏差、模型敏感性或目标泄漏的变量做出决策。
　　2、当同一位数据科学家离开组织时，他或她的开发目录通常会被删除，或者，如果有许多不同的目录，则不清楚哪些目录负责最终模型。银行通常没有模型的源代码，或者可能只有其中的一部分。仅查看代码，没有人明确了解模型是如何构建的、构建模型的数据以及模型构建中的假设因素。
　　3、最终，银行可能会通过假设模型构建正确并且表现良好而处于高风险境地但也不是真的知道。银行无法验证模型或了解模型在什么情况下不可靠或不可信。这些现实导致不必要的风险或大量模型被丢弃和重建，经常重复上述过程。华东CIO大会、华东CIO联盟、CDLC中国数字化灯塔大会、CXO数字化研学之旅、数字化江湖讲武堂，数字化江湖大侠传、数字化江湖论剑、CXO系列管理论坛（陆家嘴CXO管理论坛、宁波东钱湖CXO管理论坛等）、数字化转型网，走进灯塔工厂系列、ECIO大会等
　　一个区块链来编码问责制
　　我正在申请专利的发明描述了如何使用区块链技术对分析和机器学习模型开发进行编码，以将实体链、工作任务和需求与模型相关联，包括测试和验证检查。它复制了我在组织中用来构建模型的大部分历史方法ATD本质上仍然是我的科学家、经理和我之间的合同，它描述了：
　　1、型号是什么
　　2、模型的目标
　　3、我们如何构建该模型，包括规定的机器学习算法
　　4、该模型必须改进的领域，例如，在交易级别上将不存在卡（CNP）信用卡欺诈提高30
　　5、科学家必须解决问题的自由度，以及他们不需要的自由度
　　6、重用受信任和经过验证的变量和模型代码片段
　　7、训练和测试数据要求
　　8、道德AI程序和测试
　　9、稳健性和稳定性测试
　　10、特定模型测试和模型验证清单
　　11、指定的特定分析科学家选择变量、构建模型和训练它们以及验证代码、确认结果、执行模型变量测试和模型输出的人员
　　12、模型和特定客户群的特定成功标准
　　12、指定的特定分析冲刺、任务和科学家，并满足正式的冲刺审查批准要求。
　　如您所见，ATD提供了一组非常具体的要求。该团队包括直接建模经理、分配给项目的一组数据科学家，以及作为敏捷模型开发过程负责人的我。一旦我们都协商好我们的角色、职责、时间表和构建要求后，团队中的每个人都会签署ATD作为合同。ATD成为我们定义整个敏捷模型开发过程的文档。然后，它被分解为一组需求、角色和任务，这些需求、角色和任务被放到区块链上进行正式分配、工作、验证和完成。
　　根据每个要求跟踪个人，然后团队评估一组现有的抵押品，这些抵押品通常是以前经过验证的可变代码和模型的片段。有些变量是过去批准的，有些会调整，还有一些是新的。然后，区块链会记录每次在该模型中使用该变量的时间例如，从代码存储中采用的任何代码、编写新的代码以及所做的更改谁做了它，做了哪些测试，哪个建模经理批准了它，和我的签字。华东CIO大会、华东CIO联盟、CDLC中国数字化灯塔大会、CXO数字化研学之旅、数字化江湖讲武堂，数字化江湖大侠传、数字化江湖论剑、CXO系列管理论坛（陆家嘴CXO管理论坛、宁波东钱湖CXO管理论坛等）、数字化转型网，走进灯塔工厂系列、ECIO大会等
　　区块链支持细粒度跟踪
　　重要的是，区块链实例化了一系列决策。它显示了一个变量是否可以接受，它是否在模型中引入了偏差，或者该变量是否被正确利用。区块链不仅仅是一个积极成果的清单，它是构建这些模型的过程的记录错误、更正和改进都被记录下来。例如，道德AI测试失败等结果会保留在区块链中，用于消除偏见的补救步骤也是如此。我们可以非常细化地看到旅程：
　　1、模型的碎片
　　2、模型的作用方式
　　3、模型响应预期数据、拒绝不良数据或响应模拟变化环境的方式
　　所有这些项目都在谁在模型上工作以及谁批准了每个操作的背景下进行了编纂。例如，在项目结束时，我们可以看到这个关键模型中包含的每个变量都经过了审查，放到了区块链上并获得了批准。
　　这种方法提供了高度的信心，即没有人在模型中添加了表现不佳的变量或在模型中引入了某种形式的偏差。它确保没有人在其数据规范中使用了不正确的字段或未经许可和验证更改了已验证的变量。如果没有ATD（现在是区块链）提供的严格审查流程来让我的数据科学组织保持可审计性，我的数据科学家可能会无意中引入一个有错误的模型，尤其是当这些模型和相关算法变得越来越复杂时。
　　透明的模型开发过程可减少偏见
　　总之，将模型开发过程覆盖在区块链上，为分析模型提供了自己的实体、生命、结构和描述。模型开发成为一个结构化的过程，最后可以生成详细的文档，以确保所有元素都经过了适当的审查。这些元素也可以在未来随时重新访问，为模型治理提供必要的资产。当模型最终使用时，其中许多资产成为可观察性和监控要求的一部分，而不是必须在开发后发现或分配。
　　通过这种方式，分析模型的开发和决策变得可审计，这是使人工智能技术和设计它的数据科学家负责的关键因素这是消除用于做出影响人们生活的决策的分析模型的偏见的重要一步。
　　ScottZoldi是FICO的首席分析官，负责FICO产品和技术解决方案的分析开发。在FICO期间，Scott负责撰写110多项分析专利，其中71项已获得批准，46项正在申请中。Scott积极参与新分析产品和大数据分析应用程序的开发，其中许多应用程序利用了新的流分析创新，例如自适应分析、协作分析和自我校准分析。Scott最近专注于应用流式自学习分析来实时检测网络安全攻击。Scott在软件圣地亚哥和卓越网络中心两个董事会任职。Scott在杜克大学获得理论和计算物理学博士学位。
　　原文：
　　Thepastfewyearshavebroughtmuchhandwringingandarmwavingaboutartificialintelligence（AI），asbusinesspeopleandtechnologistsalikeworryabouttheoutsizedecisioningpowertheybelievethesesystemstohave。
　　Asadatascientist，IamaccustomedtobeingthevoiceofreasonaboutthepossibilitiesandlimitationsofAI。InthisarticleI’llexplainhowcompaniescanuseblockchaintechnologyformodeldevelopmentgovernance，abreakthroughtobetterunderstandAI，makethemodeldevelopmentprocessauditable，andidentifyandassignaccountabilityforAIdecisioning。
　　Usingblockchainformodeldevelopmentgovernance
　　WhilethereiswidespreadawarenessabouttheneedtogovernAI，thediscussionabouthowtodosoisoftennebulous，suchasinHowtoBuildAccountabilityintoYourAIinHarvardBusinessReview：
　　Assessgovernancestructures。AhealthyecosystemformanagingAImustincludegovernanceprocessesandstructures。。。。AccountabilityforAImeanslookingforsolidevidenceofgovernanceattheorganizationallevel，includingcleargoalsandobjectivesfortheAIwelldefinedroles，responsibilities，amultidisciplinaryworkforcecapableofmanagingAIandriskmanagementprocesses。Additionally，itisvitaltolookforsystemlevelgovernanceelements，suchasdocumentedtechnicalspecificationsoftheparticularAIsystem，compliance，andstakeholderaccesstosystemdesignandoperationinformation。
　　Thisexhaustivelistofrequirementsisenoughtomakeanyreader’seyesglazeover。Howexactlydoesanorganizationgoaboutobtainingsystemlevelgovernanceelementsandprovidestakeholderaccesstosystemdesignandoperationinformation？
　　Hereisactual，actionableadvice：UseblockchaintechnologytoensurethatallofthedecisionsmadeaboutanAIormachinelearningmodelarerecordedandareauditable。（Fulldisclosure：In2018IfiledaUSpatentapplication〔16128，359USA〕aroundusingblockchainformodeldevelopmentgovernance。）
　　Howblockchaincreatesauditability
　　DevelopinganAIdecisioningmodelisacomplexprocessthatcomprisesmyriadincrementaldecisionsthemodel’svariables，themodeldesign，thetrainingandtestdatautilized，theselectionoffeatures，andsoon。Allofthesedecisionscouldberecordedtotheblockchain，whichcouldalsoprovidetheabilitytoviewthemodel’srawlatentfeatures。Youcouldalsorecordtotheblockchainallscientistswhobuiltdifferentportionsofthevariablesets，andwhoparticipatedinmodelweightcreationandmodeltesting。
　　ModelgovernanceandtransparencyareessentialinbuildingethicalAItechnologythatisauditable。Asenabledbyblockchaintechnology，thesumandtotalrecordofthesedecisionsprovidesthevisibilityrequiredtoeffectivelygovernmodelsinternally，ascribeaccountability，andsatisfytheregulatorswhoaredefinitelycomingforyourAI。
　　Beforeblockchain：Analyticmodelsadrift
　　Beforeblockchainbecameabuzzword，Ibeganimplementingasimilaranalyticmodelmanagementapproachinmydatascienceorganization。In2010Iinstitutedadevelopmentprocesscenteredonananalytictrackingdocument（ATD）。Thisapproachdetailedmodeldesign，variablesets，scientistsassigned，trainingandtestingdata，andsuccesscriteria，breakingdowntheentiredevelopmentprocessintothreeormoreagilesprints。
　　IrecognizedthatastructuredapproachwithATDswasrequiredbecauseI’dseenfartoomanynegativeoutcomesfromwhathadbecomethenormacrossmuchofthefinancialindustry：alackofvalidationandaccountability。Usingbankingasanexample，adecadeagothetypicallifespanofananalyticmodellookedlikethis：
　　Adatascientistbuildsamodel，selfselectingthevariablesitcontains。Thisledtoscientistscreatingredundantvariables，notusingvalidatedvariabledesignandcreatingofnewerrorsinmodelcode。Intheworstcases，adatascientistmightmakedecisionswithvariablesthatcouldintroducebias，modelsensitivity，ortargetleaks。
　　Whenthesamedatascientistleavestheorganization，hisorherdevelopmentdirectoriesaretypicallyeitherdeletedor，ifthereareanumberofdifferentdirectories，itbecomesunclearwhichdirectoriesareresponsibleforthefinalmodel。Thebankoftendoesn’thavethesourcecodeforthemodelormighthavejustpiecesofit。Justlookingatcode，noonedefinitivelyunderstandshowthemodelwasbuilt，thedataonwhichitwasbuilt，andtheassumptionsthatfactoredintothemodelbuild。
　　Ultimatelythebankcouldbeputinahighrisksituationbyassumingthemodelwasbuiltproperlyandwillbehavewellbutnotreallyknowingeither。Thebankisunabletovalidatethemodelorunderstandunderwhatconditionsthemodelwillbeunreliableoruntrustworthy。Theserealitiesresultinunnecessaryriskorinalargenumberofmodelsbeingdiscardedandrebuilt，oftenrepeatingthejourneyabove。
　　Ablockchaintocodifyaccountability
　　Mypatentpendinginventiondescribeshowtocodifyanalyticandmachinelearningmodeldevelopmentusingblockchaintechnologytoassociateachainofentities，worktasks，andrequirementswithamodel，includingtestingandvalidationchecks。ItreplicatesmuchofthehistoricalapproachIusedtobuildmodelsinmyorganizationtheATDremainsessentiallyacontractbetweenmyscientists，managers，andmethatdescribes：
　　Whatthemodelis
　　Themodel’sobjectives
　　Howwe’dbuildthatmodel，includingprescribedmachinelearningalgorithm
　　Areasthatthemodelmustimproveupon，forexample，a30improvementincardnotpresent（CNP）creditcardfraudatatransactionlevel
　　Thedegreesoffreedomthescientistshavetosolvetheproblem，andthosewhichtheydon’t
　　Reuseoftrustedandvalidatedvariableandmodelcodesnipits
　　Trainingandtestdatarequirements
　　EthicalAIproceduresandtests
　　Robustnessandstabilitytests
　　Specificmodeltestingandmodelvalidationchecklists
　　Specificassignedanalyticscientiststoselectthevariables，buildthemodels，andtrainthemandthosewhowillvalidatecode，confirmresults，performtestingofthemodelvariablesandmodeloutput
　　Specificsuccesscriteriaforthemodelandspecificcustomersegments
　　Specificanalyticsprints，tasks，andscientistsassigned，andformalsprintreviewsapprovalsofrequirementsmet。
　　Asyoucansee，theATDinformsasetofrequirementsthatisveryspecific。Theteamincludesthedirectmodelingmanager，thegroupofdatascientistsassignedtotheproject，andmeasowneroftheagilemodeldevelopmentprocess。EveryoneontheteamsignstheATDasacontractoncewe’veallnegotiatedourroles，responsibilities，timelines，andrequirementsofthebuild。TheATDbecomesthedocumentbywhichwedefinetheentireagilemodeldevelopmentprocess。Itthengetsbrokenintoasetofrequirements，roles，andtasks，whichareputontheblockchaintobeformallyassigned，worked，validated，andcompleted。
　　Havinginpidualswhoaretrackedagainsteachoftherequirements，theteamthenassessesasetofexistingcollateral，whicharetypicallypiecesofpreviousvalidatedvariablecodeandmodels。Somevariableshavebeenapprovedinthepast，otherswillbeadjusted，andstillotherswillbenew。Theblockchainthenrecordseachtimethevariableisusedinthismodelforexample，anycodethatwasadoptedfromcodestores，writtennew，andchangesthatweremadewhodidit，whichtestsweredone，whichmodelingmanagerapprovedit，andmysignoff。
　　Ablockchainenablesgranulartracking
　　Importantly，theblockchaininstantiatesatrailofdecisionmaking。Itshowsifavariableisacceptable，ifitintroducesbiasintothemodel，orifthevariableisutilizedproperly。Theblockchainisnotjustachecklistofpositiveoutcomes，it’sarecordingofthejourneyofbuildingthesemodelsmistakes，corrections，andimprovementsareallrecorded。Forexample，outcomessuchasfailedEthicalAItestsarepersistedtotheblockchain，asaretheremediationstepsusedtoremovebias。Wecanseethejourneyataverygranularlevel：
　　Thepiecesofthemodel
　　Thewaythemodelfunctions
　　Thewaythemodelrespondstoexpecteddata，rejectsbaddata，orrespondstoasimulatedchangingenvironment
　　Alloftheseitemsarecodifiedinthecontextofwhoworkedonthemodelandwhoapprovedeachaction。Attheendoftheprojectwecansee，forexample，thateachofthevariablescontainedinthiscriticalmodelhasbeenreviewed，putontheblockchain，andapproved。
　　Thisapproachprovidesahighlevelofconfidencethatnoonehasaddedavariabletothemodelthatperformspoorlyorintroducessomeformofbiasintothemodel。Itensuresthatnoonehasusedanincorrectfieldintheirdataspecificationorchangedvalidatedvariableswithoutpermissionandvalidation。WithoutthecriticalreviewprocessaffordedbytheATD（andnowtheblockchain）toholdmydatascienceorganizationauditable，mydatascientistscouldinadvertentlyintroduceamodelwitherrors，particularlyasthesemodelsandassociatedalgorithmsbecomemoreandmorecomplex。
　　Modeldevelopmentjourneysthataretransparentresultinlessbias
　　Insum，overlayingthemodeldevelopmentprocessontheblockchaingivestheanalyticmodelitsownentity，life，structure，anddescription。Modeldevelopmentbecomesastructuredprocess，attheendofwhichdetaileddocumentationcanbeproducedtoensurethatallelementshavegonethroughtheproperreview。Theseelementsalsocanberevisitedatanytimeinthefuture，providingessentialassetsforuseinmodelgovernance。Manyoftheseassetsbecomepartoftheobservabilityandmonitoringrequirementswhenthemodelisultimatelyused，versushavingtobediscoveredorassignedpostdevelopment。
　　Inthisway，analyticmodeldevelopmentanddecisioningbecomesauditable，acriticalfactorinmakingAItechnology，andthedatascientiststhatdesignit，accountableanessentialstepineradicatingbiasfromtheanalyticmodelsusedtomakedecisionsthataffectpeople’slives。
　　ScottZoldiischiefanalyticsofficeratFICOresponsiblefortheanalyticdevelopmentofFICO’sproductandtechnologysolutions。WhileatFICO，Scotthasbeenresponsibleforauthoringmorethan110analyticpatents，with71grantedand46pending。Scottisactivelyinvolvedinthedevelopmentofnewanalyticproductsandbigdataanalyticsapplications，manyofwhichleveragenewstreaminganalyticinnovationssuchasadaptiveanalytics，collaborativeprofiling，andselfcalibratinganalytics。Scottismostrecentlyfocusedontheapplicationsofstreamingselflearninganalyticsforrealtimedetectionofcybersecurityattacks。Scottservesontwoboardsofdirectors，SoftwareSanDiegoandCyberCenterofExcellence。ScottreceivedhisPhDintheoreticalandcomputationalphysicsfromDukeUniversity。
　　本文主要内容转载原作者ScottZoldi，仅供广大读者参考，如有侵犯您的知识产权或者权益，请联系我提供证据，我会予以删除。
　　CXO联盟（CXOunion）是一家聚焦于CIO，CDO，cto，ciso，cfo，coo，chro，cpo，ceo等人群的平台组织，其中在CIO会议领域的领头羊，目前举办了大量的CIO大会、CIO论坛、CIO活动、CIO会议、CIO峰会、CIO会展。如华东CIO会议、华南cio会议、华北cio会议、中国cio会议、西部CIO会议。在这里，你可以参加大量的IT大会、IT行业会议、IT行业论坛、IT行业会展、数字化论坛、数字化转型论坛，在这里你可以认识很多的首席信息官、首席数字官、首席财务官、首席技术官、首席人力资源官、首席运营官、首席执行官、IT总监、财务总监、信息总监、运营总监、采购总监、供应链总监。
　　数字化转型网（资讯媒体，是企业数字化转型的必读参考，在这里你可以学习大量的知识，如财务数字化转型、供应链数字化转型、运营数字化转型、生产数字化转型、人力资源数字化转型、市场营销数字化转型。通过关注我们的公众号，你就知道如何实现企业数字化转型？数字化转型如何做？
　　【CXOUNION部分社群会员】津膜科技CISO、迪森股份CISO、新文化CISO、银邦股份CISO、开元教育CISO、润和软件CISO、科恒股份CISO、麦克奥迪CISO、天银机电CISO、联创股份CISO、立方数科CISO、华民股份CISO、南大光电CISO、泰格医药CISO、长亮科技CISO、金卡智能CISO、华鹏飞CISO、永贵电器CISO、北信源CISO、东土科技CISO、东华测试CISO、蒙草生态CISO、光一CISO、我武生物CISO、楚天科技CISO、全通教育CISO、炬华科技CISO、博腾股份CISO、中文在线CISO、恒华科技CISO、创意信息CISO、网力CISO、汇金股份CISO、绿盟科技CISO、安控CISO、汇中股份CISO、扬杰科技CISO、中铁装配CISO、鹏翎股份CISO、易事特CISO、赢时胜CISO、鼎捷软件CISO、东方通CISO、安硕信息CISO、溢多利CISO、斯莱克CISO、光环新网CISO、三联虹普CISO、雪浪环境CISO、飞天诚信CISO、富邦股份CISO、节能国祯CISO、艾比森CISO、天华超净CISO、康跃科技CISO、腾信股份CISO、中来股份CISO、天孚通信CISO、菲利华CISO、迪瑞医疗CISO、天和防务CISO、飞凯材料CISO、天利科技CISO、劲拓股份CISO、花园生物CISO、宝色股份CISO、汉宇集团CISO、博济医药CISO、科隆股份CISO、九强生物CISO、凯发电气CISO、三环集团CISO、道氏技术CISO、正业科技CISO、金盾股份CISO、迦南科技CISO、芒果超媒CISO、中光防雷CISO、伊之密CISO、苏试试验CISO、南华仪器CISO、昆仑万维CISO、浩丰科技CISO、五洋停车CISO、力星股份CISO等