在 Java 9 的运行时中扫描类路径/模块路径

Scanning classpath/modulepath in runtime in Java 9

提问人:kaqqao 提问时间:1/30/2017 最后编辑:kaqqao 更新时间:7/20/2022 访问量:11389

问:

我似乎找不到任何关于在运行时是否仍然可以扫描所有可用类(用于接口、注释等)的信息,就像 Spring、Reflections 和许多其他框架和库目前所做的那样,面对与类加载方式相关的 Jigsaw 相关更改。

编辑: 这个问题是关于扫描真实的物理文件路径以查找类。另一个问题是关于动态加载类和资源。它是相关的,但非常不重复

更新:Jetty 项目为此提出了一个标准化 API 的 JEP 提案。如果您有办法帮助实现这一目标,请这样做。否则,等待和希望。

更新2:找到了这个相关的帖子。引用代码片段供后人参考:

如果您真的只是想了解 引导层(在启动时解析的模块),然后你会做 像这样的东西:

  ModuleLayer.boot().configuration().modules().stream()
         .map(ResolvedModule::reference)
         .forEach(mref -> {
             System.out.println(mref.descriptor().name());
             try (ModuleReader reader = mref.open()) {
                 reader.list().forEach(System.out::println);
            } catch (IOException ioe) {
                 throw new UncheckedIOException(ioe);
             }
         });
类路径 java-9 java-platform-module-system java-module

评论

0赞 Eugene 1/30/2017
我认为没有太大变化,我的意思是,如果一个模块对另一个模块可见,你仍然可以做通常的事情。如果你无法从模块访问一个类,你可能会遇到类似或类似的东西InaccessibleObjectException
0赞 kaqqao 1/30/2017
@Eugene 你确定吗?问,因为类路径现在似乎是一个“遗留”的东西,被模块路径所取代。所以我猜扫描曾经的类路径已经改变了......
0赞 Michael Easter 8/1/2017
Java 9 中加载类和资源的可能重复
1赞 Luke Hutchison 6/28/2018
请参阅下面的答案,扫描的不仅仅是引导模块层。
1赞 phreed 7/25/2019
github.com/classgraph/classgraph/wiki/Code-examplesClassGraph(以前称为 FastClassGraph)对我很有帮助。

答:

31赞 Luke Hutchison 8/10/2017 #1

以下代码在 Java 9+ (Jigsaw / JPMS) 中实现了模块路径扫描。它查找调用堆栈上的所有类,然后为每个类引用调用 ,它返回一个 ,而不仅仅是一个 .(允许您访问模块资源,而不能。给定每个模块的引用,可以调用该方法来获取模块的 。 为您提供一个 ,它允许您列出模块中的资源,使用 ,或者使用 或使用 打开资源。然后,在完成模块后关闭。这在我见过的任何地方都没有记录。要弄清楚这一切是非常困难的。但这是代码,希望其他人能从中受益。classRef.getModule().getLayer().getConfiguration().modules()List<ResolvedModule>List<Module>ResolvedModuleModuleResolvedModule.reference()ModuleReferenceModuleReference#open()ModuleReaderModuleReader#list()Optional<InputStream> ModuleReader#open(resourcePath)Optional<ByteBuffer> ModuleReader#read(resourcePath)ModuleReader

请注意,即使在 JDK9+ 中,您仍然可以使用传统的类路径元素和模块路径元素,因此对于完整的模块路径 + 类路径扫描,您可能应该使用适当的类路径扫描解决方案,例如 ClassGraph,它支持使用以下机制进行模块扫描(免责声明,我是作者)。您可以在此处找到以下代码的基于反射的版本。

另请注意,在 JDK 9 之后的几个 JDK 版本中,StackWalker 中存在一个必须解决的错误,有关详细信息,请参阅上面基于反射的代码。

package main;

import java.lang.StackWalker;
import java.lang.StackWalker.Option;
import java.lang.StackWalker.StackFrame;
import java.lang.module.ModuleReader;
import java.lang.module.ModuleReference;
import java.lang.module.ResolvedModule;
import java.net.URI;
import java.security.AccessController;
import java.security.PrivilegedAction;
import java.util.AbstractMap.SimpleEntry;
import java.util.ArrayDeque;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Deque;
import java.util.HashSet;
import java.util.List;
import java.util.Map.Entry;
import java.util.Optional;
import java.util.Set;
import java.util.stream.Stream;

public class Java9Scanner {

    /** Recursively find the topological sort order of ancestral layers. */
    private static void findLayerOrder(ModuleLayer layer,
            Set<ModuleLayer> visited, Deque<ModuleLayer> layersOut) {
        if (visited.add(layer)) {
            List<ModuleLayer> parents = layer.parents();
            for (int i = 0; i < parents.size(); i++) {
                findLayerOrder(parents.get(i), visited, layersOut);
            }
            layersOut.push(layer);
        }
    }

    /** Get ModuleReferences from a Class reference. */
    private static List<Entry<ModuleReference, ModuleLayer>> findModuleRefs(
            Class<?>[] callStack) {
        Deque<ModuleLayer> layerOrder = new ArrayDeque<>();
        Set<ModuleLayer> visited = new HashSet<>();
        for (int i = 0; i < callStack.length; i++) {
            ModuleLayer layer = callStack[i].getModule().getLayer();
            findLayerOrder(layer, visited, layerOrder);
        }
        Set<ModuleReference> addedModules = new HashSet<>();
        List<Entry<ModuleReference, ModuleLayer>> moduleRefs = new ArrayList<>();
        for (ModuleLayer layer : layerOrder) {
            Set<ResolvedModule> modulesInLayerSet = layer.configuration()
                    .modules();
            final List<Entry<ModuleReference, ModuleLayer>> modulesInLayer =
                    new ArrayList<>();
            for (ResolvedModule module : modulesInLayerSet) {
                modulesInLayer
                        .add(new SimpleEntry<>(module.reference(), layer));
            }
            // Sort modules in layer by name for consistency
            Collections.sort(modulesInLayer,
                    (e1, e2) -> e1.getKey().descriptor().name()
                            .compareTo(e2.getKey().descriptor().name()));
            // To be safe, dedup ModuleReferences, in case a module occurs in multiple
            // layers and reuses its ModuleReference (no idea if this can happen)
            for (Entry<ModuleReference, ModuleLayer> m : modulesInLayer) {
                if (addedModules.add(m.getKey())) {
                    moduleRefs.add(m);
                }
            }
        }
        return moduleRefs;
    }

    /** Get the classes in the call stack. */
    private static Class<?>[] getCallStack() {
        // Try StackWalker (JDK 9+)
        PrivilegedAction<Class<?>[]> stackWalkerAction =
                (PrivilegedAction<Class<?>[]>) () ->
                    StackWalker.getInstance(
                            Option.RETAIN_CLASS_REFERENCE)
                    .walk(s -> s.map(
                            StackFrame::getDeclaringClass)
                            .toArray(Class[]::new));
        try {
            // Try with doPrivileged()
            return AccessController
                    .doPrivileged(stackWalkerAction);
        } catch (Exception e) {
        }
        try {
            // Try without doPrivileged()
            return stackWalkerAction.run();
        } catch (Exception e) {
        }

        // Try SecurityManager
        PrivilegedAction<Class<?>[]> callerResolverAction = 
                (PrivilegedAction<Class<?>[]>) () ->
                    new SecurityManager() {
                        @Override
                        public Class<?>[] getClassContext() {
                            return super.getClassContext();
                        }
                    }.getClassContext();
        try {
            // Try with doPrivileged()
            return AccessController
                    .doPrivileged(callerResolverAction);
        } catch (Exception e) {
        }
        try {
            // Try without doPrivileged()
            return callerResolverAction.run();
        } catch (Exception e) {
        }

        // As a fallback, use getStackTrace() to try to get the call stack
        try {
            throw new Exception();
        } catch (final Exception e) {
            final List<Class<?>> classes = new ArrayList<>();
            for (final StackTraceElement elt : e.getStackTrace()) {
                try {
                    classes.add(Class.forName(elt.getClassName()));
                } catch (final Throwable e2) {
                    // Ignore
                }
            }
            if (classes.size() > 0) {
                return classes.toArray(new Class<?>[0]);
            } else {
                // Last-ditch effort -- include just this class
                return new Class<?>[] { Java9Scanner.class };
            }
        }
    }

    /**
     * Return true if the given module name is a system module.
     * There can be system modules in layers above the boot layer.
     */
    private static boolean isSystemModule(
            final ModuleReference moduleReference) {
        String name = moduleReference.descriptor().name();
        if (name == null) {
            return false;
        }
        return name.startsWith("java.") || name.startsWith("jdk.")
            || name.startsWith("javafx.") || name.startsWith("oracle.");
    }

    public static void main(String[] args) throws Exception {
        // Get ModuleReferences for modules of all classes in call stack,
        List<Entry<ModuleReference, ModuleLayer>> systemModuleRefs = new ArrayList<>();
        List<Entry<ModuleReference, ModuleLayer>> nonSystemModuleRefs = new ArrayList<>();

        Class<?>[] callStack = getCallStack();
        List<Entry<ModuleReference, ModuleLayer>> moduleRefs = findModuleRefs(
                callStack);
        // Split module refs into system and non-system modules based on module name
        for (Entry<ModuleReference, ModuleLayer> m : moduleRefs) {
            (isSystemModule(m.getKey()) ? systemModuleRefs
                    : nonSystemModuleRefs).add(m);
        }

        // List system modules
        System.out.println("\nSYSTEM MODULES:\n");
        for (Entry<ModuleReference, ModuleLayer> e : systemModuleRefs) {
            ModuleReference ref = e.getKey();
            System.out.println("  " + ref.descriptor().name());
        }

        // Show info for non-system modules
        System.out.println("\nNON-SYSTEM MODULES:");
        for (Entry<ModuleReference, ModuleLayer> e : nonSystemModuleRefs) {
            ModuleReference ref = e.getKey();
            ModuleLayer layer = e.getValue();
            System.out.println("\n  " + ref.descriptor().name());
            System.out.println(
                    "    Version: " + ref.descriptor().toNameAndVersion());
            System.out.println(
                    "    Packages: " + ref.descriptor().packages());
            System.out.println("    ClassLoader: "
                    + layer.findLoader(ref.descriptor().name()));
            Optional<URI> location = ref.location();
            if (location.isPresent()) {
                System.out.println("    Location: " + location.get());
            }
            try (ModuleReader moduleReader = ref.open()) {
                Stream<String> stream = moduleReader.list();
                stream.forEach(s -> System.out.println("      File: " + s));
            }
        }
    }
}

评论

2赞 Vadzim 10/21/2017
以下是同一作者的更详细调查: github.com/lukehutch/fast-classpath-scanner/issues/36
2赞 Luke Hutchison 6/13/2018
@kaqqao我用完整的扫描码更新了我的答案。
0赞 kaqqao 6/14/2018
@LukeHutchison先生,您是人类的神皇吗:)这是否意味着 FastClasspathScanner 现在能够使用 modulepath(而不是类路径)处理 Java 9?
1赞 Joakim Erdfelt 9/26/2018
@LukeHutchison模块的位置 url 是否有方案?这意味着该模块属于 java-runtime,对吧?jrt:
2赞 Holger 8/16/2019
您可以将堆栈 walker 的使用简化为单个语句。无需手动添加到数组中,也无需在之后将其转换为数组。在 Java 9 代码中,您可以使用 lambda 表达式(就像您在某些地方所做的那样),而不是匿名内部类。return AccessController.doPrivileged((PrivilegedAction<Class<?>[]>)() -> StackWalker.getInstance(Option.RETAIN_CLASS_REFERENCE) .walk(s -> s.map(StackFrame::getDeclaringClass).toArray(Class<?>[]::new)));ArrayList
2赞 igr 12/6/2017 #2

这里的实际问题是找到类路径上所有 jar 和文件夹的路径。一旦你拥有它们,你就可以扫描了。

我所做的如下:

  • 获取当前类的当前模块描述符
  • 获取所有模块requires
  • 对于每个这样的模块,打开资源MANIFEST.MF
  • 从资源 URL 中删除路径MANIFEST.MF
  • 剩下的是模块的类路径,即它的 jar 或文件夹。

我对当前模块执行相同的操作,以获取当前代码的类路径。

通过这种方式,我收集当前工作模块及其所有必需模块的类路径(1 步之外)。这对我有用 - 我的 Java8 扫描程序仍然能够完成这项工作。此方法不需要任何其他 VM 标志等。

我可以扩展这种方法以轻松获取所有必需的模块(不仅是第一级),但现在,我不需要它。

代码

评论

1赞 Luke Hutchison 6/13/2018
在 Java 9+ 中,模块路径上的模块 jar 未在传统类路径中列出。