尊龙凯时随着网络化、数字化、智能化的飞速融合发展，人类逐渐步入信息社会时代和数字时代。党的十九届五中全会强调，要坚定不移建设数字中国。整体推进社会数字化转型是一项系统性工程，司法在其中扮演者关键角色、承担了重要使命，同时也面临一系列课题和挑战。如何重塑数字时代的司法理念，如何实现工作模式、办案方式的整体性转变，如何让司法为国家治理、社会发展全方位赋能，都值得我们理性审视和深入思考。
“75号咖啡”将以“数字时代的司法观”为主题，以“大咖来访”“法律沙龙”两种形式，对司法人工智能、大数据治理等进行深入探讨。
第一期，带来上海交通大学文科资深教授季卫东在上海市检察院的讲座实录“司法人工智能开发的原则与政策”。
今天要与大家分享三方面内容：一是司法改革与人工智能普及的逻辑；二是人工智能引发的法律与社会变迁；三是司法人工智能治理的规则体系。
我们今天聚焦的关键词是网络空间，主要是数字化信息技术形成的网络结构。中国传统社会也有人际关系网络，这是我国一个非常鲜明的特点。这两者当然不一样，但是在属性上有一定的相通性。因为网络结构存在着纵横交错的互动关系，这使得我们如果从法治的角度去观察它，法律规范很难一竿子插到底。这种平面的、个人间的互动关系，会影响到法律实施的效果。这样的网络社会一般来说更重视个人之间达成的合意或者共识，所以具有一定的当事人主义倾向。但在另一方面，网络结构会造成法律规范、国家政令很难渗透到社会的底层，为此必须加强国家的权力，以保证规范能够落到实处。这就势必助长职权主义倾向。
当事人主义与职权主义这两者之间存在一种张力。这种张力在网络结构中是始终存在的。如果我们强调网络当中的互动的话，当事人主义的色彩就会变重。所以当中国向调解、司法民主的方向倾斜时，就有可能出现一种“超当事人主义”现象。大家可能读过董必武的法学文集，其中就提到一个农村的轻微案件，法院判决出来后根本没法执行。一个很小的案件都没法执行，我们从法治的角度来看觉得不可理解，这是过分强调群众意见、群众路线的结果。我们不妨把这种特色现象概括为“超当事人主义”。反之，如果公说公有理、婆说婆有理，众说纷纭永远不能案结事了，就需要通过职权的行使强制性地终结没完没了的缠讼活动。这时就很容易出现所谓“超职权主义”现象，通过强势的权力行使来一锤定音，改变无法做出决定、无法结案的状况。
“超当事人主义”与“超职权主义”相反又相成，这两个侧面并存和纠结，会形成短路联结的状况。我认为这是中国传统社会法律秩序原理的一个非常重要的特点，也影响到司法制度的设计。正因为中国传统社会是一个关系网络社会，国家治理不得不考虑网络中的互动以及当事人的承认、合意、共识，所以制度设计必须保留讨价还价和事后调整的空间，结果导致判决缺乏既判力。一直到今天，我们仍然可以看到判决生效之后还允许甚至强调回访、信访等等做法。这就为事后对司法判断进行质疑、挑战、操作提供了机会性结构。
司法的属性决定了判决不可能让所有人满意。如果一定要把大家都理解、同意甚至满意作为司法制度设计的目标，那就一定造成久拖不决的事态。为了解决这个问题，为了及时案结事了，不得不反过来加强司法的职权、加强决断的权力。这样一种职权主义方式很容易把法官变成强制命令的化身，也很容易引起反弹。因此，当司法转向超职权主义的时候，司法的正当性问题就会凸显出来，不得不加强对强制正当性的论证或证明。这样又会向强调承认、合意、共识的超当事人主义回归。
实际上，回顾当代中国司法改革的过程，就发现好像在一个“强职权”与“大调解”之间来回摇摆的循环怪圈。当我们强调司法制度的现代化、国家治理体系的现代化时，往往要强调与传统不同的那种司法专业化、法官职业化，这正是大家都很熟悉的二十世纪九十年代以来司法改革的基本理念。在中国的语境里，专业化、职业化往往体现为职权化。另外，现代化过程中的社会动员要求国家权力渗透到社会基层——“送法下乡”就是一种表示形式，这就使得职权化的特征在社会各个层面都有非常鲜明的体现。如果我们没有其他制度条件（例如程序公正、理由论证等）来配合的话，职权化就很容易给人一个司法强权化的印象，法官俨然成为命令者。这时候要解决正当性的问题，往往我们会强调舆论监督，强调调解，强调司法民主等。而这样做的结果又会导致审判的舆论化，传统的司法群众路线的复兴，似乎与司法的专业化、职业化取向又会发生矛盾。在这里，可以发现司法改革形成了一个怪圈。如何打破这个怪圈？能否通过嵌入规则的人工智能系统打破这个怪圈？人工智能系统能否为司法提供正当性根据？这是深化司法改革之际必须考虑的问题。
深化司法改革、加强司法正当性，首先必须解决司法公信力问题。一般而言，司法公信力有四个因素是最关键的。第一，司法公正。这是不言而喻的。第二，司法权威。没有权威也无法确立司法的公信力。第三，司法效率。案件久拖不决，正义总是迟到，大家就会觉得司法难以信赖。所以司法效率对于司法公信力也非常重要。第四，司法便民。司法制度必须方便老百姓利用，否则人们就会敬而远之。总之，以上这四个因素对于司法公信力具有决定性意义。
在现代法治国家的制度设计中，司法公正主要通过司法独立的制度安排来实现。包括审判独立和检察独立在内的司法独立不被滥用，有赖于一些配套条件，例如公正程序的设计，例如通过法律解释、法律推理、法律议论来进行的理由论证活动。同样，司法的权威性也通过这样的方式来加以确保。但是，在当代中国，情况有些特殊，我们还通过不同的方式来实现司法公正和司法权威。
的确，中国宪法也规定了检察独立和审判独立的原则，但在实际上，我们确保司法公正的一个主要举措是强调责任制，强调结果责任，强调内部问责。我们可以看到，在中国司法制度发展以及司法改革的过程中，推行错案责任制，加强检察官、法官的绩效考核和问责，对错案实施终身问责，以司法责任制保障司法公正性，这是显著的中国特色。网络社会错综复杂的互动关系会带来相对性和不确定性，只有根据结果追究责任才能进行有效监控和管理，这一层的道理也是可以理解的。因此，在中国的语境里，为了司法公正就必须进行司法责任制改革。
那么，司法权威靠什么树立？在传统中国，官僚机构的权威性以科举制为基础。通过科举制选拔最优秀的人才进行统治，这种贤人支配就不仅依仗权力，还具备权威——权威可以减少权力运行的成本、提高统治的效率。在今天，通过全国统一的法律资格考试制度来遴选优秀人才成为司法的担纲者，当然也有助于提高司法权威。但直到最近为止中国司法人员的规模却过于庞大、良莠不齐，为此在理论上需要通过员额制改革来遴选真正优秀的检察官和法官，并淘汰那些在岗却不适格的人员，这就可以补强法律职业资格考试制度的优选功能。不管现在实施的情况怎么样，司法员额制的基本理念是重新筛选，让最优秀的专业人员来担任检察官、法官，通过这种方式来确立司法的权威、确保司法的质量。
根据上述分析，我们可以理解司法责任制和司法员额制在提高司法公信力的改革方面具有非常重要意义。除此之外，决定司法公信力的另外两个基本因素是司法效率和司法便民，中国司法改革一直很被重视，也颇有成效。在这一轮司法改革中，新的举措是通过互联网、大数据、人工智能等数字信息技术的应用，把司法效率和司法便民推升到一个更高的水平。当然，数字信息技术不仅有利于提高司法效率，在同案同判、克服个案偏误的意义上也有利于保障司法公正。特别是中国司法过程中一直存在的打官司难和法官裁量权过大的问题，还有近些年来诉讼呈几何级数增加而造成案件积压的问题，通过司法人工智能的应用都有望得到适当控制或者解决。
在这里，我们着重讨论司法智能化方面的进展。首先简单看一看作为司法改革突破口的人工智能的应用现状。“产业革命4.0版”中非常重要的特点是通过数字化的信息沟通技术，使物联网、大数据、人工智能形成一个非常有效互补的支撑关系。不言而喻，在网络空间中会不断产生大量数据，这种大数据的分析运用需要借助人工智能；反之，人工智能本身又使我们这个物联网能够进一步发展，同时不断产生大数据并提高大数据的质量——这是数字空间里普遍存在的“三位一体”关系。这种互动过程使社会逐步形成了信息和实体交融的系统，也就是智能融入物理世界。到目前这个阶段，人工智能进一步发展，从机械学习到深度学习，实现了量变到质变的飞跃，导致这一波人工智能的热潮。人工智能在过去十几、二十年左右的时间里飞速发展，正在引起产业模式乃至社会结构的大转型。我们可以看到，在2000年的时候人工智能还属于一种他律系统，强调的是逻辑演算。但2012年之后，深度学习功能出现和加强之后，人工智能逐步演变成一种自律系统尊龙凯时。从事实、数据中进行归纳，而不仅仅按照人类给出的指令或程序运算，这是目前人工智能所到达的现状。当然，司法人工智能的技术水平离这个新阶段目标还有很长一段距离。
然而，人工智能发达的条件使得我们面对的当今社会具有以下特点：首先，通过对大数据的人工智能分析，我们社会的透明度大大提高。我们都知道，现在社会日益透明化。尤其这次疫情防控进一步加强了社会的数字覆盖，不仅行踪信息、而且生理信息都可以通过“健康码”等系统或网络式治理平台进行分析、监控以及预测。但在另一方面，对大数据进行处理的人工智能运作的算法本身越来越复杂，特别是在具有深度学习的功能之后算法的演变越来越让人难以理解、难以说明。这就是所谓算法的黑箱化。社会的透明化与算法的黑箱化，这是考虑司法人工智能治理时必须注意的一对基本矛盾。
下面，我们再来看看人工智能导致中国社会发生了什么样的变化。第一种变化是日常生活的各个方面都出现了数字覆盖。我们现在不仅到餐馆点菜可以用手机支付，连缴停车费、买早点都可以如此。移动支付使我们的生活非常方便，但是理论上它使我们整个生活世界数字化了，形成了另外一个数字的“copy”（复制品）。现在疫情防控使我们的行踪大数据、社交关系大数据、生理指标大数据、医疗大数据也都纳入信息技术处理的范围之内，传感器在日常生活中无所不在、无往不胜。这就使整个社会生活全部被数字覆盖了。这是一个非常重要的实质性变化。
这种变化会进一步导致什么？我们都知道阿里巴巴集团非常强有力，其中一个重要原因是它掌握了十几亿人口的行踪数据、消费取向数据，使得生产和销售的计划和实施都变得更加精准，并且可以预测和影响人们的未来。所以，马云曾经说数据就是21世纪的石油。这意味着数据是生产资料、是交易通货、是经济动力、是企业的利器。数据具有经济价值，会产生利润。值得特别注意的是，中国在数据收集和利用方面具有独特的优势。首先，我国老百姓的价值观和权利意识跟欧美人很不一样。中国人对人工智能持有比较乐观、友好的态度尊龙凯时，也没有很强的隐私保护观念。比如扫码刷脸在中国比较普及、也比较容易被接受。人们为了生活的便捷、为了社区的安全、为了防疫和健康，对有关数据的采集采取支持的立场，至少没有特别明显的抵触情绪。但是在欧美各国，公众非常脸部识别技术，特别注重个人数据安全问题，对人工智能的风险也持比较悲观的看法。因此，大数据产业在中国更容易发达，人工智能也因富有数据养料而迅速提升水平。其次，因为经济和社会体制的关系，中国优质数据的70%到80%都是由国有企业或者国家机构掌握的。这种状况当然存在隐患，但好处是可以打破不同行业，不同企业的壁垒，使得数据的多维度利用得到充分实现。也就是说，中国的数字空间没有碎片化，没有导致人工智能的发展遭遇太多的人为障碍。
另外，数据的本质是信息，而信息的特点是流动性。所以数据也是具有流动性的，数据主体的界定、数据权利的保护也就比较难，尤其难以用物权方式进行把握。比如每个人的消费、行踪等信息是被企业收集起来的，这些数据的所有权在个人还是企业？在这里，权利主体的边际线是有些模糊的。与此相应，也很难在法律上对数据权利进行排他性的保护。欧盟曾经通过数据库权利法规，试图加强对数据权利的排他性保护，但结果却失败了。失败的证据之一就是在欧洲没有出现大规模的大数据产业、没有出现在国际社会具有影响的巨型网络经济平台。用物权方式保护数据的制度安排与数据作为信息的属性不很吻合。
大数据和人工智能导致社会发生的第二种变化是，市场交易的形态从物品转向服务。我们都知道，现代法律体系的本质是物品的所有、处分以及交易，基础是物权。对现代社会的个人或者企业而言，财富或者物品的占有具有非常重要的意义。但是，进入人工智能时代，服务变成了更重要的交易形态。记得我刚回国的时候，想听音乐、想看影视剧，就要去买光碟。正因为很多发烧友希望拥有光碟，于是存在光碟交易的市场，也催生了盗版光碟的黑市，屡禁不止。现在不必派纠察队在大街小巷忙着禁止盗版光碟的贩卖了，因为现在拥有光碟本身也变得不再重要了，你在网上就可以付费下载有关的音乐或影视剧，质量更好，也更方便。在这里，我们可以清楚地看到交易形态发生了从物品到服务的变化并带来深远影响。汽车市场也有类似的趋势。原来买一部好车对于年轻人来说是一种生活的梦想。但是，现在租车非常方便，根据需要随时可以租到好车，实际上买车的意义也就不是很大了。
与上述社会变化相对应，通过人工智能进行治理的方式以及制度条件也发生了本质的变化，法与社会之间关系呈现出如下三种新的基本特征：
第一，智能网络化。法与社会的各个方面都有人工智能的使用，但各种人工智能系统的目标是不一样的，有时甚至是互相矛盾的。在物联网的背景下，人工智能系统相互间的作用变得越来越频繁，结果导致了所谓智能网络化的趋势。我们在考虑人工智能作用的时候，AIoT即智能物联网是一个非常重要的特征。
第二，算法黑箱化。在万物互联互通、人工智能网络化的背景下，算法变的越来越不可预测、越来越不可解释。我们当然希望算法是非常清楚的，可以理解、可以说明，这样可以对因果关系加以确定，从法律的角度来看是可以问责。但是，如果算法黑箱化了，而我们又根据人工智能给出的结果进行决策，那么对决策进行问责就变得非常困难。与算法黑箱化相关的还有一个问题，这就是机器自主化。2019年8月，很多人注意到在Youtube网站上，一些机器人互相战斗的视频被算法自动删除了，但这不是原来人为设计的内容，为什么会出现这样意料之外的情况呢？有些人认为这是机器人产生自我意识、具有认知能力的一种征兆。人工智能系统自主判断同类不能互相残杀，所以自动把视频删除了。算法黑箱化和机器觉醒等现象势必导致对于法律来说最重要的问责机制的裂变或者瓦解。
第三，代码即法律。法律系统面临的来自人工智能的挑战不限于问责问题，还包括从九十年代中期以来很多专家指出的代码取代法律的问题。本来法律上已经规定的权利，人工智能的技术规格设置之后导致这些权利没有办法行使或者改变行使的方式和内容。比如说DVD复制是很方便、很常见的行为，但是为了保护知识产权，避免人们不断对某个作品进行DVD复制甚至牟利，有关行业设立新的标准,通过技术代码使DVD的复制次数只能限于两到三次，也就是说限于家庭内消费使用。在这里,技术代码实际上取代法律发挥了行为规范的作用。
实际上，经济社会的数字化也迫使法律系统在其他方面采取各种各样的应对举措，既包括法律决策的技术辅助系统的开发，也包括判决自动生成等智能决策系统的开发。但是，我们应该清醒地认识到，人工智能真正用于法律决策本身还有很漫长的路要走。因为法律决策涉及常识以及价值判断，涉及几乎没有止境的常识库建构以及符号落地问题，这对人工智能来说是非常难的。人工智能更擅长对海量数据按照既定样式进行重复处理或者学习，有助于大幅度提高初级作业的效率。尽管如此，由于近年来人工智能的长足发展，特别是深度学习以及图像和语音处理技术水平的提高，探讨人工智能系统自动做出法律决定的可能性增大了。刚才提到的这一切变化都使我们意识到，法律系统的基本概念和机制设计需要某种范式革命。
一是预测式的警察系统尊龙凯时。人工智能用于大数据及其模型的分析可以精准把握行为方式及其趋势，有助于刑事犯罪的侦查和证明，也有助于对城市犯罪进行预防。5G通信系统使大数据和人工智能的应用范围更广，技术安装和操作更便捷。中国5G宣传片的主题就是利用这种智能化信息技术抓捕犯罪嫌疑人。嫌疑人不管逃往什么地方，不管怎样变装，都能迅速而精准地进行识别和定位。这种预测式的警察和检察系统不仅在中国，在欧洲、美国、亚洲其他国家也都有广泛的应用。只是在这里确实会发生一些制度原理上的变化。
首先，预测式警务是根据行为人过去的行踪以及社会状况的大数据。预测犯罪可能性就意味着要根据一定的指标处理大数据并对个人进行区别归类，实际上就是给每个公民贴上标签，加以区别对待。在分类、贴标签以及重点监控的操作中很容易出现算法歧视的问题。其次，人工智能系统根据算法对大数据进行计算，推测某一部分人存在较强的犯罪倾向，需要对他们进行更严格的监控，实际上就对一部分人采取了不同的法律对待，有违法律面前人人平等的原则。再者，更重要的是现代法治国家在刑事领域特别强调无罪推定原则以防止冤枉无辜，但是预测式警察和检察系统针对特定人群提前采取各种监控举措，容易产生“疑人偷斧”的效应，容易因标签而故入人罪，在一定意义上可以说是以有罪推定为前提的。
二是联合信用惩戒系统。为了提高社会信用度，近年来中国一直在推广信用评分的做法以及联合信用惩戒系统。其中一个非常有代表性的实例是芝麻信用。芝麻信用的评分以350分为下限、950分为上限，其中350分到550分是属于“丝”阶层，550分到750分则是属于信用优良度较高人群。在芝麻信用系统打分超过800分的可以享有一些特权，例如租车、住酒店、买保险、购房等等都可以免除押金或出具各种证明材料，甚至到国外旅行也可以享有一些特权，例如不需要开具银行存款证明。这样就为人们提高芝麻信用评分提供了各种诱因，同时也进一步为社会的数字覆盖提供了动力。
当然我们应该适当评价芝麻信用在提高社会信用度方面的积极作用。这个系统也有利于债权回收、债务履行绩效的改进。过去司法系统最头疼的就是执行难问题，借助芝麻信用的大数据有望得到解决。例如，失信人联合惩戒机制的设计以及通过大数据的智能分析即时把握被执行人的财产转移状况等等。最高人民法院系统与芝麻信用签署了合作协议，目的就是把资产分布大数据以及消费行踪大数据与诉讼保全、判决执行等司法举措的实效性联系起来。不得不指出，从法律与正义的角度来看，芝麻信用等打分系统也存在一些问题。其中一个最大的问题就是把人进行分类、贴上标签，使一部分人在孩子入学、贷款、入保、租车、住酒店以及出国履行等问题享有与他人不同的待遇，社会变得等级化、差别化，有违法律面前人人平等的原则，形成某种事实上的歧视。总之，在中国网络化、大数据化以及人工智能化实际上形成了一种“打分社会”，这个信用评价系统导致我们在社会治理和执法司法上有了更方便的抓手，但同时带来了一些新问题。
无论如何，物联网、大数据以及人工智能对司法效率和司法质量的提高还是发挥了显著作用的，对改进司法服务具有非常显著的效果，所以我们应该支持这样一种改革。当然，在理论上也要注意数字信息沟通技术所带来的一系列变化，还要预防那些副作用和弊端。实际上，司法人工智能在中国迅速普及与近些年来诉讼案件的爆发式增长有着非常密切的关系。一方面，员额制改革导致法官、检察官人数的减少，另一方面案件呈几何级数增加，这就对司法效率提出了更高的要求。新一波人工智能发展为司法效率的提高确实创造了前提条件。但是，科技的广泛应用也会冲击现有的体制机制。比如说，法官、检察官的身份特权，实际上被解构了。
法官、检察官的职业身份保障，特别是法官在司法判断方面的终局性地位，这些都是现代法治国家制度设计的基本原理。为什么赋予审判、检察以独立性，让法官享有终局性判断的权力呢？当然因为法官、检察官的遴选标准最严格，审判程序最公开、透明，在案件审理中要进行公开辩论，不同主张反复进行技术竞赛和理由论证后才凝聚成判决。从这个意义上来说，终审判决应该构成“案结事了”的最佳节点。也正是为了保证这个“案结事了”节点的客观性、中立性、权威性，才需要赋予司法判断者以某种身份特权。但是，在人工智能引入司法之后，这种特权就被解构了。比如说，审判主体其实是再次多元化了，存在复数的决定者。在很大程度上，司法人工智能把判决变成了法官与电脑工程师、软件设计师、数据处理承包公司的共同决定，甚至还可能会在机器自主认知、自主学习、自主决策的过程中出现“算法独裁”的局面。
欧盟通用数据条例中有一条规定是非常重要的，即人工智能系统自动做出的决定不能直接执行，必须有人介入和监控决定过程。这是一个坚持以人为本的非常重要的原则，可以防止审判最后被算法或者自动化机器所支配。在这个方面，上海司法界的认识是清楚的、正确的，例如“206工程”等司法人工智能系统都被明确定位为审判的辅助性系统，要求法官成为真正的决策者。尽管如此，了解实际情况的人都可以理解，如果案件数量太多、审理工作负担太重、又必须在法定审理期限内结案，这时办案法官难免倾向于直接使用人工智能系统自动生成的参考判决文案，而不愿担任自动化作业负责专家思维和复杂沟通的“临时工”，不愿从事数字信息技术时代的“幽灵工作”。其实办案法官接受自动决策的动机也是合理的，因为他如果做出与人工智能对模型和大数据进行分析后得出的结论不同的判断，那就必须进行非常谨慎地推敲，并给出充分的理由，否则就有被问责的可能性。何况充分的审理需要支付大量的时间和精力成本，弄不好还会超过法定审理期限。反之，如果他接受人工智能系统给出的方案，由于“算法黑箱”现象的存在根本无法对他进行问责，反而会因为处理案件的高效率而受到奖励。这个情况下，算法支配审判的问题显然是很容易出现的——尽管我们强调司法人工智能系统只是一种辅助性系统。
另外一个更深刻的问题就是所有人工智能系统推送的判决建议，都是根据既有的司法大数据做出来的，这时法律和案例已有的系统偏误很可能会被大数据处理固定化。我们说的司法体制和制度的改革，即系统的改革在人工智能处理大数据和模型的情况下会变得比较困难。
还有一个重要问题是对于司法具有决定性意义的法律解释和法律议论的空洞化乃至消亡。我们都知道，司法公正的关键是正当程序以及在这个前提条件下进行的理由论证。但是，大数据和人工智能相结合以及在此基础上出现的算法独裁，势必使通过法庭公开辩论进行法律推理的环节变得不太重要、不太可能，甚至逐步形同虚设。尤其是现阶段中国的司法人工智能系统并没有以关于法律推理的算法研究以及相关软件程序设计为前提，对于法律议论与智能化审理之间关系的考虑不太充分，那就更容易出现压抑乃至扼杀法庭辩论的严重后果。否则，中国的司法人工智能很容易蜕变为电子计算机系统加简易审判或者在线ADR这样一种庸俗形态。因此，在推广司法人工智能之际，必须认真考虑法律的推理、解释、议论等语言行为适当反映到算法之中的问题。
从上世纪六十年代末七十年代初开始，美国、英国、德国、日本、苏联等主要国家都做过关于法律推理的智能化研究和系统设计，但进展并不很大。坦率地说，我国司法人工智能在法律推理这一方面的研究积累还是很不充分的。法律解释和法律议论的计算机化程度不高的原因，主要是把人工智能用于司法时存在的两大障碍都与语言沟通活动密切相关。
首先，处理案件时法官、检察官往往会形成一个直觉判断，这就是心证。这种直觉判断是法官、检察官根据案情、经验、常识做出来的。然后司法者会根据证据和理由论证活动检验、证明或者修正这个直觉判断，最后形成司法决定。如果用人工智能系统进行判断，那就必须把包括案情、经验、感觉、知觉、常识在内的所有信息都转化为计算机语言，都要进行编程计算。这意味着必须为司法人工系统构建一个非常庞大的常识库和知识图谱。对人类来说非常直观简单的问题，但要将其转换成计算机系统的计算程序就极为困难。甚至可以说，常识库构建是一项永无止境的工程。但是，如果没有这样的常识库，人工智能系统对很多问题就无法进行适当的判断。这就是人工智能发展面临的“框架问题”。如果没有一个充分的常识库作为参照框架用以支撑判断活动，那么人工智能系统就会陷入无限想象和没有止境的语言游戏。在座各位如果曾经跟人工智能系统进行过对话就会知道，假如你说了一句气话，对话机器人就会不断问你不高兴吗，我能为你做什么之类，却无法在判断为什么不高兴的基础上做出适当的反馈。常识性判断对人类很容易，但对人工智却非常难，这就是所谓“框架问题”。
其次，法律判断大都涉及价值判断、文化特征、语言含义，这时候还存在一个所谓“符号接地问题”。对于人工智能系统来说，说“我爱你”并不会产生特异的感觉和浪漫的情调。人工智能系统可以把语言转换成概念定义、计算规则，但不能真正理解语言所包含的情感、意义。对人工智能系统而言，任何甜言蜜语都只是计算的符号，而符号的价值蕴含是无法落实和体验的。但在司法过程中，对语言含义的理解却是极其重要的，中国传统的“五声断狱”做法、强调“听讼”也证明了这一点。
尽管司法人工智能系统的开发面临“框架问题”和“符号接地问题”，我们还是应该尽量把语言沟通的过程、把法律解释和法律议论的理由论证过程反映到编程之中，尽量通过各种专家系统以及人机对话系统的软件设计来改进案件审理，尽量把法律沟通活动转变成以通信协议网络为媒介的人机共生状况。归根结底，要通过物联网、大数据以及人工智能的结合让一种对话式的论证算法不断进行再生产，在现阶段我们能够做到的大概也就是这些。
既然人工智能已在司法实践中广泛应用，但同时又存在以上所说的这些问题，为此必须加强对司法人工智能的治理，并且需要不断对数据治理和算法治理进行改善。在这样的前提下，让我们再来探讨一下司法人工智能治理的相关问题。
首先应该注意准确定位。到目前为止，司法人工智能主要还是作为司法的辅助手段，是一种信息输入和输出的反馈系统。人工智能真正用于司法判断，进行自主认知、自主学习乃至自主决策还有比较遥远的路要走。即使在司法辅助系统这个范围之内，我们仍然可以看到一些问题。目前在中国，司法人工智能的普及速度这么快，除了提高司法效率的现实需求以外，还有一个原因，这就是前面讲到的网络社会内部互动关系导致法官的裁量权变得非常大，容易导致个案偏误，构成司法不公或者司法腐败的重要诱因。在这样的状况里，对法官的个案偏误进行校正，尽量实现所谓“同案同判”，这当然是一条非常重要的正义标准。从这个角度来看下，人工智能在司法领域的应用的确具有重要意义。但是，对大数据和模型进行分析的人工智能系统能够校正法官的个案偏误，却没有办法矫正所有法官都有可能存在的系统偏误，没有办法矫正沉淀或潜伏在既往案例大数据里的那些系统偏误，甚至还有可能放大已有的问题。
其次应该注意治理的规则和举措。但这里还要指出与治理相关的以下三种主要问题。一是算法的透明化悖论问题。针对前面所说的算法黑箱化趋势，按照人工智能治理的原则，我们当然要使算法透明化。这里需要留意的是司法领域中的算法透明化还存在一些特殊的悖论。在存在箱的情况下，如果把算法资源加以封闭，则很有可能导致内部人滥用算法支配。但是，如果把算法资源开放化，又有可能促进司法博弈，导致高明的律师或者技术专家来操作算法。这是一个非常复杂的问题。算法也很难考量具体案件中的特殊情景、例外、规范创新等。特别是日常场景中的暧昧性，还有价值判断，都是司法人工智能发展的瓶颈问题。特别是人工智能网络化，使得人工智能技术上失控和产生网络混沌的风险增加。另外，目前我们各个地方的司法数据搜集的规格、标准不同，还有各地司法人工智能研发的标准也都不统一。这些相关问题归结起来，我们可以得出这样的结论：应该尽快明确与法律相关人工智能的研发原则、政策、伦理标准、指导方针等，特别是要统一数据规格、统一算法设计标准，并且加强与国际社会的对话。
二是知识图谱构建问题。为此，我们首先需要构建人工智能治理的知识图谱，这当然涉及到非常多的领域和维度。目前上海交通大学中国法与社会研究院以及人工智能治理与法律研究中心正在研究人工智能治理的知识图谱，既包括与司法人工智能相关的各种影响，也包括规则体系的比较分析。比如说，人工智能在政治方面的影响是带来黑箱决策问题，其中也包括公权力外包的问题；在经济方面的影响包括算法套利问题；在安全方面的影响是公共数据安全问题，例如数据被窃取、数据被篡改，还有个人隐私保护的问题。人工智能在文化、民生等方面也有深刻的影响，例如社会打分系统有潜在的违法性，对个人社会信用和社会危险性的评价有可能导致歧视，导致一部分人永远处在不利状况之中。由此可见，对人工智能进行治理是一项浩大的系统工程，需要建构相关的知识图谱，还要分别对数据、算法以及应用场景的知识规则进行梳理和监控。
三是具体举措问题。针对数据、算法以及应用场景逐一分析具体的实践问题和应对举措，首先会发现公权力外包的合法性问题是司法大数据、司法人工智能应用中不得不面对的一个重要问题。在座各位可能都非常清楚，司法机关必须把数据处理和算法设计这些技术性步骤委托给外面的公司处理。我也认识一些人工智能技术专家，他们也跟法院、检察院都有沟通，但这种沟通感觉是不充分的。他们会发现在进行具体处理的时候有些标准本来应该由法律专家提供的，但是实际上却没有，而是由对法律一窍不通的技术人员来裁量决定，有时候他们会觉得非常恐慌，担心产生严重的问题和后果。
关于人工智能治理，国际上已经形成了一些经验和标准。在数据治理的层面，涉及个人敏感信息的处理，主要是保障隐私权、信息安全，也包括数据清洗的问题。在算法治理的层面，特别强调的是透明性、准确性、可靠性、可解释性、可验证性及可追溯性。可追溯性在法律上往往用还原主义来表述，但我们知道这其实是很难的。另外，人工智能具有超人的计算能力，对海量数据进行快速处理，这本来是人工智能特有的优势。如果我们让人介入和监控，就不得不使人工智能系统的运转慢下来，结果人工智能的优势就会失去。尤其在高度发达的人工智能阶段，深度学习导致出现了一些人没法理解的算法，这时就无法做到可解释性。例如2017年柯洁与阿尔法狗进行对弈以三比零败给人工智能系统，后来专业棋手们复盘为什么阿尔法狗能够赢，发现它在自我学习过程中有50盘棋的走法是围棋高手都没有办法理解的。由此可见，要真正实现算法的可解释性、可验证性，其实是蛮困难的。在应用系统治理上，主要是向善性和无偏性这样一些标准。
进行比较分析可以发现，尽管存在基本共识，但各国关于数据和人工智能的具体治理模式还是有些不一样。简单地说，美国模式侧重商业利益和数据公司、人工智能公司的发展，欧洲模式更强调规则以及对个人权利的保障，我国的治理方法有一点像上述两种模式的混合。这些规则在座各位已经很熟悉了，我就不赘述了。
从我国新一代人工智能发展规划的发布可以看出，它的基本理念、主要方法、立法重点都是非常清晰的。特别是关于人工智能治理的九条原则，即共享互信原则、个体尊严原则、民主参与原则、国际合作原则、相机治理原则、公开透明原则、双重规制原则、追踪制裁原则、预防响应原则，这些在国际上是具有共性的。其中也有一些特点，比如说第五条关于相机而动的治理，与网络社会的特征相吻合，也反映了中国传统治理方式的影响。还有双重规制原则，也体现了中国行政主导、综合治理的特色。无论是数据治理，还是人工智能治理，都包括制度治理与技术治理这两种不同的方式或者层面。制度治理主要表现为法律、法规、标准、指南以及伦理规则等，硬法、软法都有。技术治理主要表现为人工智能系统操作中的技术细则及系统日志、记录软硬件的情况、监督数据的收集等等。值得注意的是，制度治理和技术治理的这种耦合是理解人工智能治理规则体系的重要视角。
特别需要强调，2019年世界人工智能大会法治论坛上提出的法治导则是非常有意思的。其中把算法纳入专利保护的范围体现了中国制度化的重要成果；关于人工智能侵权的责任，强调根据过错程度进行分担，这具有鲜明的中国特色。从今年5月份颁布的《民法典》中我们也可以看出，对于数字化时代的一些问题已经有一些非常重要的规则，此外还有正在审议之中的《个人信息保护法》草案和《数据安全法》草案。由于时间关系，就不展开说明了。
最后，梳理一下跟智能网络和数据相关的主要法律问题，包括装置、网络、数据、人工智能、服务等不同的层面。还应特别留意到在数字信息技术普及时代的法律范式创新问题，例如交易形态从物品转向服务会导致权利观念发生变化，例如技术代码在很多方面取代合同及法律发挥行为规范的作用，这意味着规范形态正在发生重要的变化。人工智能系统导致的责任问题还包括算法黑箱化使问责变得比较困难，这对检察院发挥法律监督功能或多或少产生影响。另外，如果由人工智能系统的开发者、利用者分担责任的话，可能导致责任负荷过重，妨碍人工智能在各领域的广泛应用。那么能不能使人工智能系统利用者的责任有限化，从而让机器人也享有法律上的人格？如果机器人享有法律上的人格，随之而来的还有机器人的权利、防止虐待机器人的问题，甚至包括人工智能系统的刑事责任问题都会提出来。这些问题看起来比较玄妙，但是在人工智能已经如此普及、社会已经实现数字覆盖的今天，这样的问题离我们似乎并不遥远了。
原标题：《75号咖啡数字时代的司法观（一）： 司法人工智能开发的原则与政策》
本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。
